Hello kulħadd, jien jisimni Alexander, u jien inġinier tal-Kwalità tad-Data li jiċċekkja d-dejta għall-kwalità tagħha. Dan l-artikolu se jitkellem dwar kif wasalt għal dan u għaliex fl-2020 dan il-qasam ta 'ttestjar kien fuq il-crest ta' mewġa.
Xejra globali
Id-dinja tal-lum qed tesperjenza rivoluzzjoni teknoloġika oħra, aspett wieħed tagħha huwa l-użu ta 'dejta akkumulata minn kull tip ta' kumpaniji biex jippromwovu l-flywheel tagħhom stess tal-bejgħ, profitti u PR. Jidher li l-preżenza ta 'dejta tajba (ta' kwalità), kif ukoll imħuħ tas-sengħa li jistgħu jagħmlu l-flus minnha (jipproċessaw b'mod korrett, viżwalizzaw, jibnu mudelli ta 'tagħlim tal-magni, eċċ.), saru ċ-ċavetta għas-suċċess għal ħafna llum. Jekk 15-20 sena ilu kumpaniji kbar kienu prinċipalment involuti f'xogħol intensiv b'akkumulazzjoni ta 'dejta u monetizzazzjoni, illum dan huwa l-lott ta' kważi n-nies sani kollha.
F'dan ir-rigward, bosta snin ilu, il-portals kollha ddedikati għat-tfittxija tax-xogħol madwar id-dinja bdew jimtlew b'postijiet vakanti għax-Xjentisti tad-Data, peress li kulħadd kien ċert li, wara li impjega speċjalista bħal dan, ikun possibbli li tinbena supermudell ta' tagħlim bil-magni. , tbassar il-futur u twettaq "qabża kwantika" għall-kumpanija. Maż-żmien, in-nies indunaw li dan l-approċċ kważi qatt ma jaħdem imkien, peress li mhux id-dejta kollha li taqa 'f'idejn speċjalisti bħal dawn hija adattata għal mudelli ta' taħriġ.
U talbiet minn Xjentisti tad-Data bdew: "Ejja nixtru aktar data minn dawn u dawk...", "M'għandniex biżżejjed data...", "Għandna bżonn aktar data, preferibbilment waħda ta' kwalità għolja..." . Fuq il-bażi ta’ dawn it-talbiet, bdew jinbnew bosta interazzjonijiet bejn kumpaniji li għandhom sett wieħed jew ieħor ta’ data. Naturalment, dan kien jeħtieġ l-organizzazzjoni teknika ta 'dan il-proċess - konnessjoni mas-sors tad-dejta, tniżżilha, tivverifika li kienet mgħobbija b'mod sħiħ, eċċ In-numru ta' proċessi bħal dawn beda jikber, u llum għandna ħtieġa kbira għal tip ieħor ta ' speċjalisti - inġiniera tal-Kwalità tad-Data - dawk li jimmonitorjaw il-fluss tad-dejta fis-sistema (pipelines tad-dejta), il-kwalità tad-dejta fid-dħul u l-ħruġ, u jiġbdu konklużjonijiet dwar is-suffiċjenza, l-integrità u karatteristiċi oħra tagħhom.
It-tendenza għall-inġiniera tal-Kwalità tad-Data waslet għandna mill-Istati Uniti, fejn, f'nofs l-era qalila tal-kapitaliżmu, ħadd mhu lest li jitlef il-battalja għad-data. Hawn taħt ipprovdejt screenshots minn tnejn mill-aktar siti popolari ta’ tfittxija ta’ xogħol fl-Istati Uniti: и — li turi dejta mis-17 ta’ Marzu, 2020 dwar in-numru ta’ postijiet vakanti stazzjonati riċevuti bl-użu tal-kliem prinċipali: Data Quality and Data Scientist.
Xjentisti tad-Data – 21416 post battal
Kwalità tad-Data – 41104 postijiet battala
Xjentisti tad-Data – 404 post battal
Kwalità tad-Data – postijiet vakanti 2020
Ovvjament, dawn il-professjonijiet bl-ebda mod mhuma jikkompetu ma’ xulxin. Bi screenshots, ridt biss nuri s-sitwazzjoni attwali fis-suq tax-xogħol f'termini ta' talbiet għal inġiniera tal-Kwalità tad-Data, li minnhom hemm bżonn ħafna aktar issa minn Xjentisti tad-Data.
F'Ġunju 2019, EPAM, li wieġeb għall-ħtiġijiet tas-suq modern tal-IT, separat il-Kwalità tad-Data fi prattika separata. L-inġiniera tal-Kwalità tad-Data, fil-kors tax-xogħol tagħhom ta 'kuljum, jimmaniġġjaw id-dejta, jiċċekkjaw l-imġieba tagħha f'kundizzjonijiet u sistemi ġodda, jimmonitorjaw ir-rilevanza tad-dejta, is-suffiċjenza u r-rilevanza tagħha. B'dan kollu, f'sens prattiku, l-inġiniera tal-Kwalità tad-Data verament jiddedikaw ftit ħin għall-ittestjar funzjonali klassiku, IMMA dan jiddependi ħafna fuq il-proġett (se nagħti eżempju hawn taħt).
Ir-responsabbiltajiet ta’ inġinier tal-Kwalità tad-Data mhumiex limitati biss għal kontrolli manwali/awtomatiċi ta’ rutina għal “nulli, għadd u somom” fit-tabelli tad-database, iżda jeħtieġu fehim profond tal-ħtiġijiet tan-negozju tal-klijent u, għaldaqstant, il-kapaċità li tittrasforma d-data disponibbli f’ informazzjoni kummerċjali utli.
Teorija tal-Kwalità tad-Data
Sabiex nimmaġinaw b'mod aktar sħiħ ir-rwol ta 'tali inġinier, ejja nsemmu x'inhi l-Kwalità tad-Data fit-teorija.
Kwalità tad-Dejta — wieħed mill-istadji tal-Ġestjoni tad-Data (dinja sħiħa li aħna nħallu għalik biex tistudja waħdek) u huwa responsabbli mill-analiżi tad-dejta skont il-kriterji li ġejjin:
Naħseb li m'hemmx bżonn li jiġu deċifrati kull wieħed mill-punti (fit-teorija jissejħu "dimensjonijiet tad-dejta"), huma deskritti pjuttost tajjeb fl-istampa. Iżda l-proċess tal-ittestjar innifsu ma jimplikax li dawn il-karatteristiċi jiġu kkupjati b'mod strett f'każijiet tat-test u li jiġu ċċekkjati. Fil-Kwalità tad-Data, bħal f'kull tip ieħor ta' ttestjar, huwa meħtieġ, l-ewwel nett, li wieħed jibni fuq ir-rekwiżiti tal-kwalità tad-dejta miftiehma mal-parteċipanti tal-proġett li jieħdu deċiżjonijiet kummerċjali.
Skont il-proġett tal-Kwalità tad-Data, inġinier jista 'jwettaq funzjonijiet differenti: minn tester ta' awtomazzjoni ordinarju b'valutazzjoni superfiċjali tal-kwalità tad-dejta, għal persuna li twettaq profili profond tad-dejta skont il-kriterji ta 'hawn fuq.
Deskrizzjoni dettaljata ħafna tal-Ġestjoni tad-Data, Kwalità tad-Data u proċessi relatati hija deskritta sew fil-ktieb imsejjaħ "DAMA-DMBOK: Korp ta' Għarfien dwar il-Ġestjoni tad-Data: it-2 Edizzjoni". Nirrakkomanda ħafna dan il-ktieb bħala introduzzjoni għal dan is-suġġett (ssib link għalih fl-aħħar tal-artiklu).
L-istorja tiegħi
Fl-industrija tal-IT, ħdimt minn Junior tester f'kumpaniji tal-prodott għal Lead Data Quality Engineer fl-EPAM. Wara madwar sentejn ta' xogħol bħala tester, kelli l-konvinzjoni soda li kont għamilt assolutament kull tip ta' ttestjar: rigressjoni, funzjonali, stress, stabbiltà, sigurtà, UI, eċċ. - u ppruvajt numru kbir ta' għodod ta' ttestjar, wara li ħadem fl-istess ħin fi tliet lingwi ta’ programmar: Java, Scala, Python.
Meta nħares lura, nifhem għaliex is-sett ta’ ħiliet tiegħi kien daqshekk divers—Kont involut fi proġetti mmexxija mid-dejta, kbar u żgħar. Dan hu li ġabni f’dinja ta’ ħafna għodod u opportunitajiet għat-tkabbir.
Biex tapprezza l-varjetà ta 'għodod u opportunitajiet biex tikseb għarfien u ħiliet ġodda, ħares biss lejn l-istampa hawn taħt, li turi dawk l-aktar popolari fid-dinja "Data & AI".
Din it-tip ta 'illustrazzjoni hija kkumpilata kull sena minn wieħed mill-kapitalisti ta' riskju famużi Matt Turck, li ġej mill-iżvilupp tas-softwer. Hawn għall-blog tiegħu u , fejn jaħdem bħala sieħeb.
I kiber professjonalment speċjalment malajr meta I kien l-uniku tester fuq il-proġett, jew għall-inqas fil-bidu tal-proġett. Huwa f'tali mument li trid tkun responsabbli għall-proċess kollu tal-ittestjar, u m'għandekx opportunità li tirtira, biss 'il quddiem. Għall-ewwel kien tal-biża ', iżda issa l-vantaġġi kollha ta' tali test huma ovvji għalija:
- Tibda tikkomunika mat-tim kollu bħal qatt qabel, peress li m'hemm l-ebda prokura għall-komunikazzjoni: la l-maniġer tat-test u lanqas sħabi testers.
- L-immersjoni fil-proġett issir oerhört profonda, u għandek informazzjoni dwar il-komponenti kollha, kemm b'mod ġenerali kif ukoll fid-dettall.
- L-iżviluppaturi ma jħarsux lejk bħala "dak il-bniedem mill-ittestjar li ma jafx x'qed jagħmel," iżda pjuttost bħala ugwali li jipproduċi benefiċċji inkredibbli għat-tim bit-testijiet awtomatizzati tiegħu u l-antiċipazzjoni ta 'bugs li jidhru f'komponent speċifiku tal- prodott.
- Bħala riżultat, inti aktar effettiv, aktar kwalifikat, u aktar fid-domanda.
Hekk kif il-proġett kiber, f'100% tal-każijiet sirt parrinu għal testers ġodda, għallimhom u ngħaddi l-għarfien li kont tgħallimt jien stess. Fl-istess ħin, skont il-proġett, mhux dejjem irċivejt l-ogħla livell ta’ speċjalisti tal-ittestjar tal-karozzi mill-maniġment u kien hemm bżonn li jew jitħarrġuhom fl-awtomazzjoni (għal dawk interessati) jew noħolqu għodod għall-użu f’attivitajiet ta’ kuljum (għodod għall-ġenerazzjoni tad-dejta u t-tagħbija tagħha fis-sistema, għodda biex twettaq ittestjar tat-tagħbija/ittestjar tal-istabbiltà "malajr", eċċ.).
Eżempju ta' proġett speċifiku
Sfortunatament, minħabba obbligi ta' non-divulgazzjoni, ma nistax nitkellem fid-dettall dwar il-proġetti li ħdimt fuqhom, iżda se nagħti eżempji ta' kompiti tipiċi ta' Inġinier tal-Kwalità tad-Data fuq wieħed mill-proġetti.
L-essenza tal-proġett hija li timplimenta pjattaforma għall-preparazzjoni tad-dejta għat-taħriġ ta 'mudelli ta' tagħlim tal-magni bbażati fuqha. Il-klijent kien kumpanija farmaċewtika kbira mill-Istati Uniti. Teknikament kien raggruppament , jogħlew għal każijiet, b'diversi mikroservizzi u l-proġett sottostanti Open Source ta 'EPAM - , adattat għall-ħtiġijiet ta 'klijent speċifiku (issa l-proġett reġa' twieled fih ). Proċessi ETL ġew organizzati bl-użu u mċaqalqa data minn sistemi tal-klijenti fi Bramel. Sussegwentement, immaġni Docker ta 'mudell ta' tagħlim tal-magni ġiet skjerata fuq il-pjattaforma, li ġiet imħarrġa fuq data ġdida u, bl-użu tal-interface tal-API REST, ipproduċiet tbassir li kienu ta 'interess għan-negozju u solvuti problemi speċifiċi.
Viżwalment, kollox deher xi ħaġa bħal din:
Kien hemm ħafna ttestjar funzjonali fuq dan il-proġett, u minħabba l-veloċità tal-iżvilupp tal-karatteristiċi u l-ħtieġa li jinżamm il-pass taċ-ċiklu ta 'rilaxx (sprints ta' ġimgħatejn), kien meħtieġ li immedjatament taħseb dwar l-awtomatizzazzjoni tal-ittestjar tal-komponenti l-aktar kritiċi ta ' is-sistema. Il-biċċa l-kbira tal-pjattaforma bbażata fuq Kubernetes nnifisha kienet koperta minn autotests implimentati fi + Python, iżda kien meħtieġ ukoll li jiġu appoġġjati u estiżi. Barra minn hekk, għall-konvenjenza tal-klijent, inħoloq GUI biex timmaniġġja l-mudelli tat-tagħlim tal-magni skjerati fil-cluster, kif ukoll il-kapaċità li tispeċifika fejn u fejn id-dejta trid tiġi trasferita għat-taħriġ tal-mudelli. Din iż-żieda estensiva kienet tinvolvi espansjoni ta 'ttestjar funzjonali awtomatizzat, li sar l-aktar permezz ta' sejħiet API REST u numru żgħir ta 'testijiet UI end-2-end. Madwar l-ekwatur ta 'dan il-moviment kollu, ingħaqadna ma' tester manwali li għamel xogħol eċċellenti bl-ittestjar ta 'aċċettazzjoni tal-verżjonijiet tal-prodott u kkomunika mal-klijent dwar l-aċċettazzjoni tar-rilaxx li jmiss. Barra minn hekk, minħabba l-wasla ta 'speċjalista ġdid, stajna niddokumentaw ix-xogħol tagħna u nżidu diversi kontrolli manwali importanti ħafna li kienu diffiċli biex jiġu awtomatizzati minnufih.
U fl-aħħarnett, wara li ksibna stabbiltà mill-pjattaforma u l-GUI add-on fuqha, bdejna nibnu pipelines ETL billi tuża Apache Airflow DAGs. L-iċċekkjar tal-kwalità tad-dejta awtomatizzat sar bil-kitba ta’ Airflow DAGs speċjali li ċċekkjaw id-dejta abbażi tar-riżultati tal-proċess ETL. Bħala parti minn dan il-proġett, konna xxurtjati u l-klijent tana aċċess għal settijiet ta 'dejta anonimizzati li fuqhom ittestjajna. Aħna vverifikajna l-linja tad-dejta b'linja għal konformità mat-tipi, il-preżenza ta 'dejta miksura, in-numru totali ta' rekords qabel u wara, tqabbil ta 'trasformazzjonijiet magħmula mill-proċess ETL għall-aggregazzjoni, ismijiet tal-kolonni li jinbidlu, u affarijiet oħra. Barra minn hekk, dawn il-kontrolli ġew skalati għal sorsi ta 'dejta differenti, pereżempju, minbarra SalesForce, ukoll għal MySQL.
Verifiki finali tal-kwalità tad-dejta diġà twettqu fil-livell S3, fejn kienu maħżuna u kienu lesti għall-użu għat-taħriġ tal-mudelli tat-tagħlim tal-magni. Biex tinkiseb data mill-fajl CSV finali li jinsab fuq l-S3 Bucket u tivvalidaha, inkiteb kodiċi bl-użu .
Kien hemm ukoll rekwiżit mill-klijent li jaħżen parti mid-dejta f'S3 Bucket wieħed u parti f'ieħor. Dan kien jeħtieġ ukoll il-kitba ta' kontrolli addizzjonali biex tiġi kkontrollata l-affidabbiltà ta' tali għażla.
Esperjenza ġeneralizzata minn proġetti oħra
Eżempju tal-aktar lista ġenerali ta' attivitajiet ta' inġinier tal-Kwalità tad-Data:
- Ipprepara data tat-test (valida invalida kbira żgħira) permezz ta' għodda awtomatizzata.
- Ittella s-sett tad-dejta ppreparat fis-sors oriġinali u ċċekkja li huwa lest għall-użu.
- Tnedija proċessi ETL għall-ipproċessar ta 'sett ta' dejta mill-ħażna tas-sors għall-ħażna finali jew intermedja bl-użu ta 'ċertu sett ta' settings (jekk possibbli, issettja parametri konfigurabbli għall-kompitu ETL).
- Ivverifika d-dejta pproċessata mill-proċess ETL għall-kwalità tagħha u l-konformità mar-rekwiżiti tan-negozju.
Fl-istess ħin, il-fokus ewlieni tal-kontrolli għandu jkun mhux biss fuq il-fatt li l-fluss tad-dejta fis-sistema, fil-prinċipju, ħadem u laħaq it-tlestija (li huwa parti mill-ittestjar funzjonali), iżda l-aktar fuq il-verifika u l-validazzjoni tad-dejta għal konformità mar-rekwiżiti mistennija, identifikazzjoni ta 'anomaliji u affarijiet oħra.
Għodod
Waħda mit-tekniki għal tali kontroll tad-dejta tista 'tkun l-organizzazzjoni ta' kontrolli tal-katina f'kull stadju tal-ipproċessar tad-dejta, l-hekk imsejħa "katina tad-dejta" fil-letteratura - kontroll tad-dejta mis-sors sal-punt tal-użu finali. Dawn it-tipi ta' kontrolli huma l-aktar spiss implimentati billi tikteb mistoqsijiet SQL ta' verifika. Huwa ċar li mistoqsijiet bħal dawn għandhom ikunu ħfief kemm jista 'jkun u jiċċekkjaw biċċiet individwali tal-kwalità tad-dejta (metadejta tat-tabelli, linji vojta, NULLs, Żbalji fis-sintassi - attributi oħra meħtieġa għall-iċċekkjar).
Fil-każ ta’ ttestjar ta’ rigressjoni, li juża settijiet ta’ dejta lesti (ma jistgħux jinbidlu, kemmxejn li jistgħu jinbidlu), il-kodiċi tal-awtotest jista’ jaħżen mudelli lesti għall-iċċekkjar tad-dejta għall-konformità mal-kwalità (deskrizzjonijiet tal-metadejta tat-tabella mistennija; oġġetti ta’ kampjuni ta’ ringiela li jistgħu jiġu magħżula bl-addoċċ waqt it-test, eċċ.).
Barra minn hekk, waqt l-ittestjar, trid tikteb proċessi tat-test ETL billi tuża oqfsa bħal Apache Airflow, jew saħansitra għodda sħaba kaxxa sewda simili , U l-bqija. Din iċ-ċirkustanza ġġiegħel lill-inġinier tat-test jgħaddas ruħu fil-prinċipji tat-tħaddim tal-għodod ta 'hawn fuq u saħansitra b'mod aktar effettiv kemm iwettaq ittestjar funzjonali (pereżempju, proċessi ETL eżistenti fuq proġett) kif ukoll jużahom biex jiċċekkja d-data. B'mod partikolari, Apache Airflow għandu operaturi lesti biex jaħdmu ma 'databases analitiċi popolari, pereżempju . L-aktar eżempju bażiku tal-użu tiegħu diġà ġie deskritt fil-qosor , għalhekk mhux se nirrepeti ruħi.
Minbarra soluzzjonijiet lesti, ħadd ma jipprojbixxi li timplimenta t-tekniki u l-għodod tiegħek stess. Dan mhux biss se jkun ta 'benefiċċju għall-proġett, iżda wkoll għall-Inġinier tal-Kwalità tad-Data nnifsu, li b'hekk se jtejjeb l-orizzonti tekniċi u l-ħiliet tal-kodifikazzjoni tiegħu.
Kif taħdem fuq proġett reali
Illustrazzjoni tajba tal-aħħar paragrafi dwar il-"katina tad-dejta", l-ETL u l-kontrolli kullimkien huwa l-proċess li ġej minn wieħed mill-proġetti reali:
Hawnhekk, dejta varji (naturalment, ippreparata minna) tidħol fil-"lembut" tad-dħul tas-sistema tagħna: valida, invalida, imħallta, eċċ., Imbagħad tiġi ffiltrata u jispiċċaw f'ħażna intermedja, imbagħad jerġgħu jgħaddu minn serje ta 'trasformazzjonijiet u jitqiegħdu fil-ħażna finali , li minnha, min-naħa tagħhom, se jitwettqu l-analiżi, il-bini tad-data marts u t-tiftix għal għarfien tan-negozju. F'sistema bħal din, mingħajr ma niċċekkjaw funzjonalment l-operat tal-proċessi ETL, aħna niffukaw fuq il-kwalità tad-dejta qabel u wara t-trasformazzjonijiet, kif ukoll fuq l-output għall-analiżi.
Biex niġbor fil-qosor ta 'hawn fuq, irrispettivament mill-postijiet fejn ħdimt, kullimkien kont involut fi proġetti tad-Data li jaqsmu l-karatteristiċi li ġejjin:
- Biss permezz ta 'awtomazzjoni tista' tittestja xi każijiet u tikseb ċiklu ta 'rilaxx aċċettabbli għan-negozju.
- Tester fuq proġett bħal dan huwa wieħed mill-aktar membri rispettati tat-tim, peress li jġib benefiċċji kbar għal kull wieħed mill-parteċipanti (aċċelerazzjoni tal-ittestjar, data tajba mill-Xjentist tad-Data, identifikazzjoni ta 'difetti fl-istadji bikrija).
- Ma jimpurtax jekk taħdem fuq il-ħardwer tiegħek jew fis-sħab - ir-riżorsi kollha huma estratti fi cluster bħal Hortonworks, Cloudera, Mesos, Kubernetes, eċċ.
- Il-proġetti huma mibnija fuq approċċ ta’ mikroservizz, il-kompjuters distribwiti u paralleli jippredominaw.
Nixtieq ninnota li meta jagħmel l-ittestjar fil-qasam tal-Kwalità tad-Data, speċjalista tal-ittestjar ibiddel l-attenzjoni professjonali tiegħu għall-kodiċi tal-prodott u l-għodod użati.
Karatteristiċi distintivi tal-ittestjar tal-Kwalità tad-Data
Barra minn hekk, għalija nnifsi, identifikajt dawn li ġejjin (immedjatament se nagħmel riżerva li huma ġeneralizzati ĦAFNA u esklussivament suġġettivi) karatteristiċi distintivi tal-ittestjar fi proġetti (sistemi) tad-Data (Big Data) u oqsma oħra:
Links utli
- Teorija: .
- EPAM
- Materjali rakkomandati għal inġinier tal-Kwalità tad-Data li jibda:
- Kors b'xejn fuq Stepik: .
- Kors fuq LinkedIn Learning: .
- Artikoli:
- ;
- ;
- ;
- Video:
- ;
- ;
Konklużjoni
Kwalità tad-Dejta hija direzzjoni żgħira ħafna promettenti, li tkun parti minnha tfisser li tkun parti minn startup. Ladarba tkun fil-Kwalità tad-Data, tkun mgħaddas f'numru kbir ta' teknoloġiji moderni u li jintalbu, iżda l-aktar importanti, jinfetħu opportunitajiet enormi għalik biex tiġġenera u timplimenta l-ideat tiegħek. Int tkun tista 'tuża l-approċċ ta' titjib kontinwu mhux biss fuq il-proġett, iżda wkoll għalik innifsek, tiżviluppa kontinwament bħala speċjalista.
Sors: www.habr.com