Aplikasi low-code dina platform analitik

Pembaca anu hormat, wilujeng siang!

Tugas ngawangun platform IT pikeun ngumpulkeun sareng nganalisa data engké atanapi engké timbul pikeun perusahaan naon waé anu usahana dumasar kana modél pangiriman jasa anu dimuat sacara intelektual atanapi nyiptakeun produk anu rumit sacara teknis. Ngawangun platform analitik mangrupikeun tugas anu rumit sareng nyéépkeun waktos. Sanajan kitu, sagala tugas bisa disederhanakeun. Dina artikel ieu abdi hoyong bagikeun pangalaman abdi ngagunakeun parabot low-kode pikeun mantuan nyieun solusi analitik. Pangalaman ieu kaala nalika palaksanaan sababaraha proyék dina arah Big Data Solutions tina perusahaan Neoflex. Kusabab 2005, arah Big Data Solutions of Neoflex geus nungkulan masalah ngawangun gudang data jeung situ, ngarengsekeun masalah optimizing speed processing informasi jeung dipake dina metodologi pikeun manajemén kualitas data.

Teu aya anu tiasa ngahindarkeun akumulasi sadar data anu lemah sareng / atanapi terstruktur kuat. Sugan sanajan urang ngobrol ngeunaan usaha leutik. Barina ogé, nalika skala bisnis, pangusaha anu ngajangjikeun bakal disanghareupan ku masalah ngembangkeun program kasatiaan, bakal hoyong nganalisis efektivitas titik penjualan, bakal mikirkeun iklan anu disasarkeun, sareng bakal bingung ku paménta pikeun produk anu disarengan. . Pikeun perkiraan anu munggaran, masalahna tiasa direngsekeun "dina dengkul". Tapi sakumaha bisnis tumuwuh, datang ka platform analitik masih bisa dilawan.

Nanging, dina hal naon tugas analitik data tiasa janten masalah kelas "Élmu Rokét"? Panginten dina waktos urang nyarioskeun data anu ageung pisan.
Pikeun ngagampangkeun Élmu Rocket, anjeun tiasa ngadahar sapotong-sapotong gajah.

Beuki diskrit sareng otonom aplikasi anjeun / jasa / jasa mikro, langkung gampang pikeun anjeun, kolega anjeun sareng sadaya usaha pikeun nyerna gajah.

Ampir kabéh klien kami datang ka postulat ieu, sanggeus diwangun deui bentang dumasar kana prakték rékayasa tim DevOps.

Tapi sanajan kalawan diet "kapisah, gajah", urang boga kasempetan alus "oversaturation" bentang IT. Dina momen ieu sia eureun, exhaling sarta pilari ka gigir platform rékayasa low-kode.

Seueur pamekar anu sieun ku prospek jalan buntu dina karirna nalika ngajauhan langsung nyerat kode ka arah "nyeret" panah dina antarmuka UI sistem kode rendah. Tapi mecenghulna alat mesin teu ngakibatkeun leungit insinyur, tapi dibawa karya maranéhanana ka tingkat anyar!

Hayu urang ngartos naha.

Analisis data dina widang logistik, industri telekomunikasi, panalungtikan média, séktor kauangan sok dipatalikeun sareng patarosan ieu:

• Laju analisis otomatis;
• Kamampuhan pikeun ngalaksanakeun percobaan tanpa mangaruhan aliran produksi data utama;
• Réliabilitas data anu disusun;
• Robah tracking na versioning;
• Data proveance, Data nasab, CDC;
• Pangiriman gancang fitur anyar pikeun lingkungan produksi;
• Sareng anu kasohor: biaya pangwangunan sareng dukungan.

Nyaéta, insinyur gaduh sajumlah ageung tugas tingkat luhur, anu tiasa direngsekeun kalayan efisiensi anu cekap ngan ukur ku ngabersihan kasadaran ngeunaan tugas pangembangan tingkat rendah.

Prasyarat pikeun pamekar pikeun ngalih ka tingkat anyar nyaéta évolusi sareng digitalisasi bisnis. Nilai pamekar ogé robih: aya kakurangan anu signifikan tina pamekar anu tiasa neuleumkeun diri dina konsép bisnis anu otomatis.

Hayu urang ngagambar analogi sareng basa pamrograman tingkat rendah sareng tingkat luhur. Transisi tina basa tingkat handap ka tingkat luhur mangrupikeun transisi tina nyerat "direktif langsung dina basa hardware" nuju "direktif dina basa jalma". Nyaéta, nambahan sababaraha lapisan abstraksi. Dina hal ieu, transisi ka platform low-kode tina basa programming tingkat luhur mangrupakeun transisi tina "directives dina basa jalma" ka arah "directives dina basa bisnis". Upami aya pamekar anu hanjelu ku kanyataan ieu, aranjeunna parantos sedih, sigana, ti saprak lahirna Java Script anu ngagunakeun fungsi sorting array. Sareng fungsi ieu, tangtosna, gaduh palaksanaan parangkat lunak dina handapeun tiung ku cara anu sanés tina program tingkat tinggi anu sami.

Ku alatan éta, low-kode ngan penampilan tingkat sejen tina abstraksi.

pangalaman Applied ngagunakeun low-kode

Topik low-code cukup lega, tapi ayeuna Abdi hoyong ngobrol ngeunaan aplikasi praktis "konsép low-kode" ngagunakeun conto salah sahiji proyék urang.

Divisi Solusi Data Big Neoflex ngahususkeun langkung seueur dina sektor kauangan bisnis, ngawangun gudang data sareng danau sareng ngajadikeun otomatis rupa-rupa laporan. Dina Ecological ieu, pamakéan low-kode geus lila jadi standar. Diantara alat-alat low-kode anu sanés, urang tiasa nyebatkeun alat pikeun ngatur prosés ETL: Informatica Power Center, IBM Datastage, Pentaho Data Integration. Atawa Oracle Apex, nu tindakan minangka hiji lingkungan pikeun ngembangkeun gancang tina interfaces pikeun ngakses jeung ngédit data. Sanajan kitu, pamakéan parabot ngembangkeun low-kode teu salawasna ngalibetkeun ngawangun aplikasi kacida sasaran dina tumpukan téhnologi komérsial kalawan gumantungna jelas dina ngajual.

Nganggo platform low-code, anjeun ogé tiasa ngatur orkestrasi aliran data, nyiptakeun platform élmu data atanapi, contona, modul pikeun mariksa kualitas data.

Salah sahiji conto pangalaman anu diterapkeun dina ngagunakeun alat pangembangan kode rendah nyaéta kolaborasi antara Neoflex sareng Mediascope, salah sahiji pamimpin pasar riset média Rusia. Salah sahiji tujuan bisnis pausahaan ieu nya éta produksi data dina dasar nu advertisers, platform Internet, saluran TV, stasiun radio, agénsi iklan jeung merek nyieun kaputusan ngeunaan purchasing iklan jeung rencana komunikasi pamasaran maranéhanana.

Panaliti média mangrupikeun daérah bisnis anu sarat téknologi. Ngenalkeun urutan pidéo, ngumpulkeun data tina alat anu nganalisa ningali, ngukur kagiatan dina sumber wéb - sadayana ieu nunjukkeun yén perusahaan ngagaduhan staf IT anu ageung sareng pangalaman anu ageung dina ngawangun solusi analitis. Tapi kamekaran éksponénsial dina jumlah inpormasi, jumlah sareng rupa-rupa sumberna maksakeun industri data IT pikeun terus maju. Solusi pangbasajanna pikeun skala platform analitik Mediascope anu parantos tiasa dianggo nyaéta ningkatkeun staf IT. Tapi solusi anu langkung efektif nyaéta nyepetkeun prosés pangwangunan. Salah sahiji léngkah anu nuju ka arah ieu nyaéta ngagunakeun platform kode-rendah.

Dina waktos proyék dimimitian, perusahaan parantos ngagaduhan solusi produk anu tiasa dianggo. Nanging, palaksanaan solusi dina MSSQL henteu tiasa pinuh nyumponan ekspektasi pikeun fungsionalitas skala bari ngajaga biaya pangwangunan anu ditarima.

Tugas sateuacan urang leres-leres ambisius - Neoflex sareng Mediascope kedah nyiptakeun solusi industri kirang ti sataun, tunduk kana sékrési MVP dina kuartal kahiji tina tanggal mimiti.

Tumpukan téknologi Hadoop dipilih salaku pondasi pikeun ngawangun platform data anyar dumasar kana komputasi low-code. HDFS parantos janten standar pikeun neundeun data nganggo file parquet. Pikeun ngakses data lokasina di platform nu, Hive ieu dipaké, nu sagala storefronts sadia dibere dina bentuk tabel éksternal. Ngamuat data kana panyimpenan dilaksanakeun nganggo Kafka sareng Apache NiFi.

Alat Lowe-code dina konsép ieu dianggo pikeun ngaoptimalkeun tugas anu paling padat karya dina ngawangun platform analitik - tugas ngitung data.

Alat Datagram low-code dipilih salaku mékanisme utama pikeun pemetaan data. Datagram Neoflex mangrupa alat pikeun ngamekarkeun transformasi jeung aliran data.
Nganggo alat ieu, anjeun tiasa ngalakukeun tanpa nyerat kode Scala sacara manual. Kode Scala dihasilkeun sacara otomatis ngagunakeun pendekatan Model Driven Arsitéktur.

Kauntungannana atra tina pendekatan ieu nyaéta nyepetkeun prosés pangwangunan. Sanajan kitu, salian speed, aya ogé kaunggulan handap:

• Ningali eusi sareng struktur sumber / panarima;
• Nyukcruk asal-usul obyék ngalirkeun data kana widang individu (garis keturunan);
• Palaksanaan parsial transformasi kalayan ningali hasil panengah;
• Marios kodeu sumber sareng nyaluyukeun sateuacan palaksanaan;
• Validasi otomatis tina transformasi;
• Ngundeur data otomatis 1 dina 1.

Halangan pikeun asup kana solusi low-code pikeun ngahasilkeun transformasi anu rada handap: pamekar kedah terang SQL sareng gaduh pangalaman damel sareng alat ETL. Perlu disebatkeun yén generator transformasi anu didorong ku kode sanés alat ETL dina harti kecap anu lega. Pakakas low-code bisa jadi teu boga lingkungan palaksanaan kode sorangan. Nyaéta, kodeu anu dihasilkeun bakal dieksekusi di lingkungan anu aya dina kluster bahkan sateuacan masang solusi low-code. Sareng ieu mangrupikeun tambihan anu sanés pikeun karma-kode rendah. Kusabab, paralel sareng tim low-code, tim "klasik" tiasa dianggo anu ngalaksanakeun fungsionalitas, contona, dina kode Scala murni. Nyangking perbaikan ti dua tim kana produksi bakal saderhana sareng lancar.

Eta meureun sia noting yén salian low-kode, aya ogé solusi no-kode. Sarta dina inti maranéhanana, ieu hal béda. Low-kode ngamungkinkeun pamekar pikeun ngaganggu leuwih kode dihasilkeun. Dina kasus Datagram, anjeun tiasa ningali sareng ngédit kode Scala anu dihasilkeun; no-kode moal masihan kasempetan sapertos kitu. Bedana ieu pisan signifikan teu ukur dina watesan kalenturan solusi, tapi ogé dina hal kanyamanan sarta motivasi dina karya insinyur data.

Arsitéktur solusi

Hayu urang coba ngartos persis kumaha alat low-kode mantuan ngabéréskeun masalah optimizing laju ngembangkeun fungsionalitas itungan data. Kahiji, hayu urang nempo arsitektur fungsional sistem. Conto dina hal ieu nya éta modél produksi data pikeun panalungtikan média.

Sumber data dina hal urang pisan hétérogén sareng rupa-rupa:

• Meter jalma (TV meter) nyaéta parangkat lunak sareng parangkat keras anu maca paripolah pangguna ti réspondén panel televisi - saha, iraha sareng saluran TV naon anu ditonton di rumah tangga anu milu dina pangajaran. Inpormasi anu disayogikeun nyaéta aliran interval tontonan siaran anu dihubungkeun sareng pakét média sareng produk média. Data dina tahap loading kana Data Lake bisa enriched kalawan atribut demografi, geostratifikasi, zona waktos sareng inpo nu sejenna diperlukeun pikeun nganalisis nempoan televisi tina produk média nu tangtu. Pangukuran anu dicandak tiasa dianggo pikeun nganalisa atanapi ngarencanakeun kampanye iklan, ngira-ngira kagiatan sareng karesep pamiarsa, sareng nyusun jaringan siaran;
• Data tiasa asalna tina sistem ngawaskeun pikeun ngalirkeun siaran televisi sareng ngukur panempoan eusi sumber video dina Internét;
• Alat ukur dina lingkungan wéb, kalebet méteran-centric sareng centric-pamaké. Panyadia data pikeun Data Lake tiasa janten panambah browser bar panalungtikan sareng aplikasi sélulér sareng VPN anu diwangun.
• Data ogé tiasa asalna tina situs anu ngahijikeun hasil ngeusian kuesioner online sareng hasil wawancara telepon dina survey perusahaan;
• Pengayaan tambahan tina danau data tiasa lumangsung ku ngaunduh inpormasi tina log perusahaan mitra.

Palaksanaan salaku loading tina sistem sumber kana pementasan primér data atah bisa diatur dina sagala rupa cara. Upami kode-kode rendah dianggo pikeun tujuan ieu, generasi otomatis ngamuat skrip dumasar kana metadata tiasa waé. Dina hal ieu, teu perlu turun ka tingkat ngembangkeun sumber pikeun sasaran pemetaan. Pikeun nerapkeun loading otomatis, urang kudu nyieun sambungan kana sumber, lajeng nangtukeun dina panganteur loading daptar entitas nu bakal dimuat. Struktur diréktori dina HDFS bakal dijieun otomatis tur bakal luyu jeung struktur gudang data dina sistem sumber.

Nanging, dina kontéks proyék ieu, kami mutuskeun pikeun henteu nganggo fitur ieu tina platform low-code kusabab kanyataan yén perusahaan Mediascope parantos ngamimitian sacara mandiri pikeun ngahasilkeun jasa anu sami nganggo kombinasi Nifi + Kafka.

Eta sia geuwat nunjukkeun yén parabot ieu teu ditukeurkeun, tapi rada pelengkap. Nifi sareng Kafka tiasa dianggo sacara langsung (Nifi -> Kafka) sareng sabalikna (Kafka -> Nifi). Pikeun platform panalungtikan média, vérsi kahiji bundel digunakeun.

Dina kasus urang, NayFi kedah ngolah rupa-rupa jinis data tina sistem sumber sareng ngirimkeunana ka calo Kafka. Dina hal ieu, pesen dikirim ka topik Kafka husus ngagunakeun prosesor PublishKafka Nifi. Orkestrasi sareng pangropéa saluran pipa ieu dilaksanakeun dina antarmuka visual. Alat Nifi sarta pamakéan kombinasi Nifi + Kafka ogé bisa disebut pendekatan low-kode pikeun ngembangkeun, nu boga panghalang low pikeun asupna kana téhnologi Big Data na speeds up prosés ngembangkeun aplikasi.

Tahap salajengna dina palaksanaan proyék nya éta mawa data lengkep kana format lapisan semantik tunggal. Upami hiji éntitas gaduh atribut sajarah, itungan dilaksanakeun dina kontéks partisi anu dimaksud. Lamun éntitas henteu sajarah, éta optionally mungkin boh recalculate sakabéh eusi obyék, atawa sagemblengna nolak recalculate objék ieu (kusabab kurangna parobahan). Dina tahap ieu, konci dihasilkeun pikeun sakabéh éntitas. Konci disimpen dina diréktori Hbase pakait sareng objék master, anu ngandung susuratan antara konci dina platform analitik sareng konci tina sistem sumber. Konsolidasi éntitas atom dibarengan ku pengayaan kalayan hasil itungan awal data analitik. Kerangka pikeun itungan data éta Spark. Fungsi anu dijelaskeun pikeun nyangking data kana semantik tunggal ogé dilaksanakeun dumasar kana pemetaan tina alat Datagram low-code.

Arsitéktur target merlukeun aksés SQL kana data pikeun pamaké bisnis. Hive dipaké pikeun pilihan ieu. Objék didaptarkeun di Hive sacara otomatis nalika anjeun ngaktipkeun pilihan "Registr Hive Table" dina alat low-code.

kontrol aliran itungan

Datagram gaduh antarmuka pikeun nyiptakeun desain aliran alur kerja. Mappings tiasa diluncurkeun nganggo panjadwal Oozie. Dina panganteur pamekar stream, kasebut nyaéta dimungkinkeun pikeun nyieun skéma pikeun transformasi data paralel, sequential, atawa palaksanaan-gumantung. Aya dukungan pikeun skrip cangkang sareng program java. Ieu oge mungkin ngagunakeun server Apache Livy. Apache Livy dipaké pikeun ngajalankeun aplikasi langsung ti lingkungan ngembangkeun.

Upami perusahaan parantos gaduh orkestra prosés sorangan, anjeun tiasa nganggo REST API pikeun nyelapkeun pemetaan kana aliran anu tos aya. Salaku conto, urang ngagaduhan pangalaman anu suksés pikeun nampilkeun pemetaan dina Scala kana orkestrator anu ditulis dina PLSQL sareng Kotlin. API REST tina alat low-kode ngawengku operasi kayaning generating hiji taun laksana dumasar kana desain pemetaan, nelepon pemetaan a, nelepon runtuyan mappings, sarta, tangtosna, ngalirkeun parameter ka URL pikeun ngajalankeun mappings.

Marengan Oozie, kasebut nyaéta dimungkinkeun pikeun ngatur aliran itungan ngagunakeun Airflow. Sugan kuring moal Huni panjang dina ngabandingkeun antara Oozie na Airflow, tapi ngan bakal disebutkeun yen dina konteks gawé dina proyék panalungtikan média, pilihan murag dina ni'mat Airflow. Argumen utama waktos ieu mangrupikeun komunitas anu langkung aktip dina ngembangkeun produk sareng antarmuka + API anu langkung maju.

Aliran udara ogé saé sabab ngagunakeun Python tercinta pikeun ngajelaskeun prosés itungan. Sareng sacara umum, teu aya seueur platform manajemén workflow open source. Ngaluncurkeun sareng ngawaskeun palaksanaan prosés (kalebet bagan Gantt) ngan ukur nambihan titik kana karma Airflow.

Format file konfigurasi pikeun ngaluncurkeun pemetaan solusi low-code parantos janten spark-submit. Ieu lumangsung pikeun dua alesan. Kahiji, spark-kintunkeun ngidinan Anjeun pikeun langsung ngajalankeun file jar ti konsol nu. Bréh, éta bisa ngandung sagala informasi diperlukeun pikeun ngonpigurasikeun workflow nu (anu matak ngamudahkeun pikeun nulis Aksara nu ngahasilkeun Dag).
Unsur anu paling umum tina aliran kerja Airflow dina kasus urang nyaéta SparkSubmitOperator.

SparkSubmitOperator ngidinan Anjeun pikeun ngajalankeun kendi - rangkep Datagram mappings kalawan parameter input pre-generate pikeun aranjeunna.

Perlu disebatkeun yén unggal tugas Airflow dijalankeun dina benang anu misah sareng henteu terang nanaon ngeunaan tugas anu sanés. Ku alatan éta, interaksi antara tugas dilumangsungkeun maké operator kontrol, kayaning DummyOperator atanapi BranchPythonOperator.

Dicokot babarengan, pamakéan solusi low-kode Datagram ditéang jeung universalization of file konfigurasi (ngabentuk Dag) ngarah ka akselerasi signifikan jeung nyederhanakeun prosés ngembangkeun data loading ngalir.

itungan showcase

Panginten tahap anu paling sarat sacara intelektual dina produksi data analitis nyaéta léngkah ngawangun paméran. Dina konteks salah sahiji aliran itungan data parusahaan panalungtikan urang, dina tahap ieu, data diréduksi jadi siaran rujukan, nyokot kana akun koreksi pikeun zona waktos tur numbu ka grid siaran. Éta ogé mungkin pikeun nyaluyukeun pikeun jaringan siaran lokal (warta sareng iklan lokal). Diantara hal séjén, léngkah ieu ngarecah interval nempoan kontinyu produk media dumasar kana analisis interval nempoan. Langsung, nilai tempoan "ditimbang" dumasar kana inpormasi ngeunaan pentingna (itungan faktor koreksi).

Léngkah anu misah dina nyiapkeun paméran nyaéta validasi data. Algoritma validasi ngalibatkeun pamakéan sababaraha model elmu matematik. Sanajan kitu, pamakéan platform low-kode ngidinan Anjeun pikeun megatkeun hiji algoritma kompléks jadi sababaraha mappings visually dibaca misah. Unggal pemetaan ngalaksanakeun tugas anu sempit. Hasilna, debugging panengah, logging sareng visualisasi tahap persiapan data mungkin.

Diputuskeun pikeun ngabédakeun algoritma validasi kana substages ieu:

• Ngawangun régrési gumantungna ningali jaringan TV di daérah kalayan ningali sadaya jaringan di daérah salami 60 dinten.
• Itungan sésa-sésa murid (simpang tina nilai aktual tina anu diprediksi ku modél régrési) pikeun sadaya titik régrési sareng kanggo dinten anu diitung.
• Pilihan pasangan wewengkon-jaringan anomali, dimana kasaimbangan studentized poé pakampungan ngaleuwihan norma (ditetepkeun ku setélan operasi).
• Recalculation tina residual studentized dilereskeun pikeun pasangan jaringan wewengkon-TV anomali pikeun tiap réspondén anu lalajo jaringan di wewengkon, nangtukeun kontribusi réspondén ieu (jumlah parobahan dina residual studentized) nalika teu kaasup nempoan responden ieu tina sampel. .
• Pilarian pikeun calon anu pangaluaran nyangking kasaimbangan murid tina gajian deui normal.

Conto di luhur negeskeun hipotesa yén insinyur data parantos gaduh seueur teuing dina pikiranna ... Sareng, upami ieu leres-leres "insinyur" sareng sanés "coder," maka sieun degradasi profésional nalika ngagunakeun alat-alat low-code anjeunna. tungtungna kudu mundur.

Naon deui anu tiasa dilakukeun ku kode rendah?

Ruang lingkup aplikasi alat low-kode pikeun angkatan sareng ngolah data aliran tanpa kedah nyerat kode sacara manual dina Scala henteu aya tungtungna.

Pamakéan kodeu rendah dina pamekaran datalake parantos janten standar pikeun urang. Urang meureun bisa disebutkeun yen solusi dumasar kana tumpukan Hadoop nuturkeun jalur ngembangkeun DWHs Palasik dumasar kana RDBMS. Alat-alat low-code dina tumpukan Hadoop tiasa ngabéréskeun tugas ngolah data sareng tugas ngawangun antarmuka BI ahir. Leuwih ti éta, éta kudu dicatet yén BI bisa hartosna teu ukur ngagambarkeun data, tapi ogé éditan ku pamaké bisnis. Urang sering nganggo pungsi ieu nalika ngawangun platform analitik pikeun sektor kauangan.

Diantara hal séjén, ngagunakeun low-kode na, hususna, Datagram, kasebut nyaéta dimungkinkeun pikeun ngajawab masalah nyukcruk asal data stream objék kalawan atomicity handap pikeun widang individu (garis). Jang ngalampahkeun ieu, alat low-code nerapkeun panganteur sareng Apache Atlas sareng Cloudera Navigator. Intina, pamekar kedah ngadaptarkeun sakumpulan objék dina kamus Atlas sareng ngarujuk kana objék anu kadaptar nalika ngawangun pemetaan. Mékanisme pikeun nyukcruk asal data atanapi nganalisa katergantungan obyék ngahémat seueur waktos nalika peryogi perbaikan kana algoritma itungan. Contona, nalika Nyiapkeun laporan keuangan, fitur ieu ngidinan Anjeun pikeun leuwih comfortably salamet periode parobahan législatif. Barina ogé, anu hadé urang ngartos gumantungna antar-formulir dina konteks objék tina lapisan lengkep, nu kirang urang bakal sapatemon "ngadadak" defects sarta ngurangan jumlah reworks.

Kualitas Data & Low-kode

Tugas sejen dilaksanakeun ku alat low-kode dina proyék Mediascope éta tugas kelas Data Quality. A peculiarity tina palaksanaan pipa verifikasi data pikeun proyék parusahaan panalungtikan éta kurangna dampak dina kinerja sarta laju aliran itungan data utama. Pikeun tiasa ngatur aliran verifikasi data mandiri, Apache Airflow anu parantos biasa dianggo. Kusabab unggal léngkah produksi data parantos siap, bagian anu misah tina pipa DQ diluncurkeun paralel.

Hal ieu dianggap prakték alus pikeun ngawas kualitas data ti momen mimiti na dina platform analitik. Ngabogaan informasi ngeunaan metadata, urang tiasa pariksa minuhan kaayaan dasar ti momen informasi asup ka lapisan primér - teu null, konstrain, konci asing. Pungsi ieu dilaksanakeun dumasar kana mappings otomatis dihasilkeun tina kulawarga kualitas data dina Datagram. Generasi kode dina hal ieu ogé dumasar kana metadata modél. Dina proyék Mediascope, antarbeungeutna dilaksanakeun sareng metadata produk Enterprise Architect.

Ku masangkeun alat low-code sareng Enterprise Architect, cék di handap ieu sacara otomatis dibangkitkeun:

• Mariksa ayana nilai "null" dina widang kalayan modifier "henteu null";
• Mariksa ayana duplikat konci primér;
• Mariksa konci asing hiji éntitas;
• Mariksa uniqueness tina string dumasar kana sakumpulan widang.

Pikeun pamariksaan anu langkung kompleks ngeunaan kasadiaan sareng kabébasan data, pemetaan sareng Scala Expression diciptakeun, anu nyandak salaku input kode cek Spark SQL éksternal anu disiapkeun ku analis di Zeppelin.

Tangtu, generasi otomatis tina cék kudu dihontal laun. Dina kerangka proyék anu dijelaskeun, ieu dimimitian ku léngkah-léngkah ieu:

• DQ dilaksanakeun dina notebook Zeppelin;
• DQ diwangun kana pemetaan;
• DQ dina bentuk mappings masif misah ngandung sakabeh susunan cék pikeun éntitas misah;
• Pemetaan DQ parameterized universal anu nampi inpormasi ngeunaan metadata sareng cék bisnis salaku input.

Panginten kaunggulan utama nyiptakeun jasa cek parameter nyaéta pangurangan waktos anu diperyogikeun pikeun nganteurkeun fungsionalitas ka lingkungan produksi. Pamariksaan kualitas anyar tiasa ngalangkungan pola klasik pangiriman kode sacara henteu langsung ngalangkungan lingkungan pangembangan sareng uji:

• Sadaya cék metadata dihasilkeun sacara otomatis nalika modél dirobih dina EA;
• Cék kasadiaan data (nangtukeun ayana data dina hiji titik dina waktu) bisa dihasilkeun dumasar kana hiji diréktori nu nyimpen timing ekspektasi tina penampilan sapotong salajengna data dina konteks objék;
• Cék validasi data bisnis dijieun ku analis dina notebook Zeppelin. Ti dinya aranjeunna dikirim langsung ka tabel setelan modul DQ di lingkungan produksi.

Henteu aya résiko langsung ngirim naskah ka produksi. Sanaos kasalahan sintaksis, maksimal anu ngancam urang nyaéta kagagalan ngalaksanakeun hiji pamariksaan, sabab aliran itungan data sareng aliran peluncuran pamariksaan kualitas dipisahkeun.

Intina, jasa DQ sacara permanén dijalankeun di lingkungan produksi sareng siap pikeun ngamimitian padamelan na nalika potongan data salajengna muncul.

Gantina kacindekan

Kauntungannana ngagunakeun low-code atra. Pamekar henteu kedah ngembangkeun aplikasi ti mimiti. Sareng programer anu dibébaskeun tina tugas tambahan ngahasilkeun hasil anu langkung gancang. Speed, kahareupna frees up waktu tambahan pikeun resolving masalah optimasi. Ku alatan éta, dina hal ieu, anjeun tiasa ngandelkeun solusi anu langkung saé sareng langkung gancang.

Tangtosna, kode rendah sanés panacea, sareng sihir moal kajantenan nyalira:

• Industri low-kode bakal ngaliwatan tahap "meunang kuat", sarta teu acan aya standar industri seragam;
• Loba solusi low-kode henteu haratis, sarta purchasing aranjeunna kedah janten hambalan sadar, nu kudu dilakukeun kalawan kapercayaan pinuh dina kauntungan finansial ti ngagunakeun éta;
• Loba solusi low-kode teu salawasna dianggo ogé kalawan GIT / SVN. Atawa aranjeunna teu merenah ngagunakeun lamun kode dihasilkeun disumputkeun;
• Nalika ngalegaan arsitéktur, panginten peryogi pikeun nyaring solusi kode rendah - anu, giliranna, nyababkeun pangaruh "kantétan sareng gumantungna" dina panyadia solusi kode rendah.
• Hiji tingkat nyukupan kaamanan mungkin, tapi pisan kuli-intensif jeung hésé pikeun nerapkeun dina mesin sistem low-kode. Platform low-code kedah dipilih henteu ngan ukur dina prinsip milarian kauntungan tina panggunaanana. Nalika milih, éta patut naroskeun patarosan ngeunaan kasadiaan fungsionalitas pikeun kontrol aksés sareng delegasi / escalation data idéntifikasi ka tingkat sakabéh bentang IT organisasi.

Nanging, upami anjeun terang sadayana kakurangan sistem anu dipilih, sareng kauntungan tina pamakeanna, sanaos, aya dina mayoritas dominan, teras teraskeun kana kode leutik tanpa sieun. Leuwih ti éta, transisi ka dinya téh bisa dilawan - sagampil évolusi sagala bisa dilawan.

Upami salah sahiji pamekar dina platform low-code ngalaksanakeun tugasna langkung gancang tibatan dua pamekar tanpa kode-kode, maka ieu masihan perusahaan ngamimitian dina sagala hal. Ambang pikeun asupna kana solusi low-code langkung handap tina téknologi "tradisional", sareng ieu gaduh pangaruh anu positif kana masalah kakurangan tanaga. Lamun ngagunakeun parabot low-kode, kasebut nyaéta dimungkinkeun pikeun nyepetkeun interaksi antara tim fungsional jeung nyieun kaputusan leuwih gancang ngeunaan correctness tina jalur dipilih panalungtikan elmu data. Platform tingkat rendah tiasa nyababkeun transformasi digital hiji organisasi sabab solusi anu dihasilkeun tiasa kahartos ku spesialis non-teknis (khususna pangguna bisnis).

Upami anjeun gaduh wates waktu anu ketat, logika bisnis anu dimuat, kurangna kaahlian téknologi, sareng anjeun kedah nyepetkeun waktos anjeun ka pasar, maka kode rendah mangrupikeun salah sahiji cara pikeun nyumponan kabutuhan anjeun.

Teu aya anu mungkir pentingna alat pamekaran tradisional, tapi dina seueur kasus, ngagunakeun solusi kode rendah mangrupikeun cara anu pangsaéna pikeun ningkatkeun efisiensi tugas anu direngsekeun.

sumber: www.habr.com