Suure ja väikese andmete testija: suundumused, teooria, minu lugu

Tere, minu nimi on Aleksandr ja olen andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega. Selles artiklis räägin, kuidas ma selleni jõudsin ja miks on 2020. aastal see testimise suundumine saavutanud tipu.

Maailma trend

Tänapäevane maailm kogeb järjekordset tehnoloogilist revolutsiooni, mille üheks aspektiks on ettevõtete andmete kasutamine oma müügivihjade, kasumi ja PR-i edendamiseks. Tundub, et just kvaliteetsete andmete olemasolu ja oskuslikud ajusid, kes suudavad neid rahaks muuta (korrektne töötlemine, visualiseerimine, masinõppemudelite loomine jne), on tänapäeval paljude eduks määravaks võtmena. Kui 15–20 aastat tagasi tegelesid andmete kogumise ja monetiseerimisega peamiselt suured ettevõtted, siis täna on see peaaegu kõigi mõistlike ettevõtete prioriteet.

Seetõttu hakkasid paar aastat tagasi kõik maailmas tööotsimisele pühendatud veebilehed üha enam täituma Data Scientist'ide töötamisest, kuna kõik olid veendunud, et kui nad saavad enda meeskonda sellise spetsialisti, saavad nad ehitada ülipower masinõppemudeli, ennustada tulevikku ja saavutada ettevõtte jaoks "kvantüpet". Aja jooksul mõistsid inimesed, et selline lähenemine praktiliselt ei tööta, kuna kaugelki kõik andmed, mis selliste spetsialistide kätte satuvad, ei sobi mudelite koolitamiseks.

Ja algasid Data Scientist'ide päringud: "Ostame veel andmeid nendelt ja seelt...", "Meil on andmetest puudu...", "Vajame veel natuke andmeid ja soovitavalt kvaliteetseid...". Nende päringute põhjal hakkasid kujunema mitmed koostöösuhted ettevõtete vahel, kellel on oma andmekogud. Loomulikult nõudis see protsessi tehnilist korraldamist — andmeallikaga ühendamine, andmete väljavõtmine, nende täislaadimise kontrollimine jne. Selliste protsesside arv hakkas suurenema ja tänaseks on meil suurenenud nõudlus teistsuguste spetsialistide — andmekvaliteedi inseneride — järele, kes jälgivad andmete voogu süsteemis (data pipelines), andmete kvaliteeti sisendil ja väljundil, teevad järeldusi nende piisavuse, terviklikkuse ja teiste omaduste kohta.

Andmed kvaliteedi insenerite trend on tulnud meile Ameerika Ühendriikidest, kus kapitalismi õitseva ajastu tipphetkel ei ole keegi valmis andmete lahingut kaotama. Allpool olen esitanud ekraanipildid kahest kõige populaarsemast tööotsingu veebisaidist Ameerikas: www.monster.com ja www.dice.com — kus kuupäeva seisuga 17. märts 2020 on nähtavad avaldatud tööpakkumiste andmed, kasutades märksõnu: Andmekvaliteet ja Andmete Teadlane.

www.monster.com

Andmete Teadlastel – 21416 tööpakkumist
Andmekvaliteedil – 41104 tööpakkumist

www.dice.com

Andmete Teadlastel – 404 tööpakkumist
Andmekvaliteedil – 2020 tööpakkumist

On ilmne, et need ametid ei konkureeri omavahel. Ekraanipildid on lihtsalt näitlikustus hetkeolukorrast tööturul Andmekvaliteedi inseneride nõudluses, mida vajatakse praegu oluliselt rohkem kui Andmete Teadlasi.

2019. aasta juunis eraldas EPAM, reageerides kaasaegse IT-turu vajadustele, Andmekvaliteedi valdkonna eraldi praktikaks. Andmekvaliteedi insenerid haldavad oma igapäevases töös andmeid, kontrollivad nende käitumist uutes tingimustes ja süsteemides, jälgivad andmete asjakohasust, piisavust ja ajakohasust. Sellega seoses pühendavad Andmekvaliteedi insenerid praktikas tõesti veidi aega klassikalisele funktsionaalsele testimisele, KUID see sõltub suuresti projektist (näitena toome edaspidi).

Andmekvaliteedi inseneri kohustused ei piirdu ainult rutiinsete käsitsi/automaatsete kontrollidega „nullide, arvu ja summade” osas andmebaasi tabelites, vaid nõuavad sügavat arusaama kliendi ärivajadustest ja vastavalt oskustest muuta olemasolevad andmed äriliseks teabeks.

Andmekvaliteedi teooria

Kuna soovime paremini mõista sellise inseneri rolli, uurime, mis on Andmekvaliteet teoorias.

Andmekvaliteet — on üks etapp Andmehaldusest (kogu maailm, mille me jätame teie iseseivasse uurimistöösse) ja vastutab andmete analüüsi eest järgmiste kriteeriumide järgi:

Mõtleksin, et pole mõtet igat punkti lahti seletada (teoorias nimetatakse neid «data dimensions»), need on pildil üsna hästi kirjeldatud. Kuid testimise protsess ei eelda nende omaduste rangeid koopiaid testjuhtumitesse ja nende kontrollimist. Andmekvaliteedis, nagu iga teise testimisviisi puhul, on peamine lähtuda andmekvaliteedi nõuetest, mis on kooskõlastatud projekti osalistega, kes teevad äriotsuseid.

Sõltuvalt projektist võib andmekvaliteedi insener täita erinevaid funktsioone: alates tavalise automatiseeritud testija rollist, kes teeb pinnapealse andmekvaliteedi hindamise, kuni inimeseni, kes viib läbi nende sügavat profiilimist ülaltoodud omaduste põhjal.

Andmehalduse, andmekvaliteedi ja seotud protsesside väga põhjalik kirjeldus on raamatus, mille pealkiri on «DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition». Soovitan seda raamatut selle valdkonna sissejuhatuseks (lingi leiate artikli lõpust).

Minu lugu

IT-sektoris olen läbinud teekonna Junior testijast tootmisettevõtetes kuni Lead Data Quality Engineer'ini ettevõttes EPAM. Umbes kahe aasta pärast testijana töötamist olin kindel, et olen teinud kõiki teste: regressioonitestimine, funktsionaalne testimine, koormustestimine, stabiilsusetestimine, turvatestimine, UI jne — ja proovinud rohkelt testimistööriistu, töötades samal ajal kolme programmeerimiskeelega: Java, Scala, Python.

Tagasi vaadates mõistan, miks mu ametioskuste komplekt osutus nii mitmekesiseks — olen osalenud projektides, mis on seotud andmetega, suurte ja väikeste. Just see viis mind paljude tööriistade ja kasvuvõimaluste maailma.

Et hinnata tööriistade ja uute teadmiste ning oskuste saamise võimaluste mitmekesisust, piisab, kui vaadata allolevat pilti, kus on kujutatud kõige populaarsemaid neist maailmas «Data & AI».

Selliseid illustreerimisi koostab iga-aastaselt üks tuntud riskikapitalist Matt Turck, kes on pärit tarkvaraarenduses. Siin on link tema blogi ja riskikapitalifirma, kus ta töötab partnerina.

Ma professionaalne areng kiirenes eriti siis, kui olin ainus testija projektis või vähemalt projekti alguses. Just sellistel hetkedel pead sa vastutama kogu testimisprotsessi eest ja sul pole võimalust taganeda, vaid liikuda edasi. Alguses oli see hirmutav, kuid nüüd on mulle selged kõik need eelised, mida see proovikivi pakkus:

• Sa hakkad suhtlema kogu meeskonnaga nagu kunagi varem, kuna ei ole mingit vahekihti suhtlemiseks: ei ole testihaldurit ega ühtegi teist testijat.
• Projektiga süvenemine muutub uskumatult sügavaks ning sa omandad infot kõigi komponentide kohta nii üldiselt kui ka detailselt.
• Arendajad ei vaata sind enam kui 'seda tüüpi, kes testimises ei tea, millega tegeleb', vaid pigem kui võrdsust, kes toob meeskonnale tohutu kasu oma automaatsete testide ja vigade prognoosimisega konkreetse toote osas.
• Tulemusena oled sa efektiivsem, kvalifitseeritum ja nõutum.

Projektide kasvades olin 100% juhtudest mentoriks uutele testijatele, õpetasin neid ning edastasin teadmisi, mida ise olin õppinud. Sõltuvalt projektist ei saanud ma alati juhtkonnalt kõrgetasemelisi automaattestimise spetsialiste ning seetõttu oli vajadus kas neid automatiseerimist õpetada (neile, kes soovisid) või luua neile tööriistu igapäevastes tegevustes kasutamiseks (andmete genereerimise ja süsteemi laadimise tööriistad, koormustestimise/stabiilsustestimise tööriist 'kiireks' jms).

Konkreetse projekti näide

Kahjuks ei saa ma konfidentsiaalsusnõuete tõttu projekti kohta üksikasjalikult rääkida, kuid toon näite tüüpilistest Data Quality Engineer'i ülesannetest ühes projektis.

Projekti sisu oli luua platvorm andmete ettevalmistamiseks masinõppemudelite töötamiseks. Klient oli suur farmaatsiaettevõte Ameerika Ühendriikidest. Tehniliselt oli tegemist klastriga Kubernetes, mis töötas AWS EC2 instantsidel, millel olid mitmed mikroteenused ning mille aluseks oli ettevõtte EPAM avatud lähtekoodiga projekt — Legion, kohandatud vastavalt konkreetse kliendi vajadustele (praegu on projekt muutunud odahu). ETL-protsessid olid korraldatud abiga Apache Airflow ja ja kanti andmeid SalesForce kliendi süsteemist AWS S3 Buckets. Seejärel tõukati platvormile konteinerimudel, mis õppis viimastest andmetest ja andis REST API kaudu välja ennustusi, mis huvitavad äri ja lahendavad konkreetseid ülesandeid.

Visuaalselt nägi kõik välja umbes selline:

Antud projektis oli funktsionaalseid teste piisavalt, arvestades uute funktsioonide arendamise kiirusest ja vajadusest säilitada väljalaske tsüklite rütmi (kahe nädala sprindid), tuli kohe hakata mõtlema testimise automatiseerimisele kõige kriitilisemate süsteemi komponentide osas. Suur osa platvormist, mille aluseks on Kubernetes, oli kaetud automaatsete testidega, mis olid loodud Robot Framework + Python, kuid oli vajalik ka nende hooldamine ja laiendamine. Lisaks, tellija mugavuse huvides, loodi GUI masinõppemudelite haldamiseks, mis olid klastrisse paigaldatud, samuti võimalus määrata, kust ja kuhu andmed mudelite koolitamiseks tuleb edastada. See ulatuslik täiendus tõi kaasa automatiseeritud funktsionaalsete kontrollide laienemise, mis suurel määral tehti läbi REST API kutsed ja väike arv end-2-end UI teste. Umbes selle kuidas kogu see protsess kulges, liitus meiega manuaalne testija, kes tegi suurepärast tööd toote versioonide vastuvõtutestimisel ja suhtlemisel tellijaga järgmise väljaande vastuvõtmise küsimustes. Lisaks, uue spetsialisti tulekuga suutsime dokumenteerida oma töö ja lisada mitmeid väga olulisi manuaalseid kontrollidest, mida oli raske kohe automatiseerida.

Ja lõpuks, pärast seda, kui olime saavutanud stabiilsuse platvormilt ja selle ülemise GUI üle, alustasime ETL-pipeline'ide ehitamist Apache Airflow DAG-ide abil. Andmete kvaliteedi automaatne kontroll viidi läbi spetsiaalsete Airflow DAG-ide kirjutamisega, mis kontrollisid andmeid ETL-protsessi tulemuste alusel. Selle projekti raames oli meil õnne, ja klient andis meile juurdepääsu anonüümsetele andmekogudele, millel me testisime. Kontrollisime andmeid reaga, et need vastaksid tüüpidele, et tuvastada puudulikud andmed, üldine kirje arv enne ja pärast, et võrrelda ETL-protsessi teostatud muudatusi, sealhulgas agregatsiooni, veergude nimede muutmist jne. Lisaks oli need kontrollid skaleeritud erinevatele andmeallikatele, näiteks peaaegu SalesForce, samuti MySQL-le.

Lõplikud andmete kvaliteedi kontrollid viidi läbi juba S3 tasemel, kus need olid salvestatud ja valmis kasutamiseks masinõppe mudelite koolitamiseks. Andmete saamiseks lõplikust CSV-failist, mis asub S3 Bucket'is, ja nende valideerimiseks kirjutati kood, kasutades boto3 klienti.

Samuti oli kliendi poolt nõue, et osa andmeid salvestatakse ühte S3 Bucket'isse, osa teise. Selleks oli samuti vajalik kirjutada täiendavad kontrollid, mis jälgisid sellise sortimise tõhusust.

Kokkuvõtlik kogemus teistelt projektidelt

Näide kõige üldisemast tegevuste loendist andmekvaliteedi insenerile:

• Valmistada ette testandmed (kehtivad, mittekehtivad, suured, väikesed) automatiseeritud tööriista kaudu.
• Laadida ettevalmistatud andmestik algsesse allikasse ja kontrollida selle kasutusvalmidust.
• Käivitada ETL-protsessid, et töödelda andmestikku algses andmehoius lõplikuks või vahepealseks, rakendades kindlat konfiguratsioonide kogumit (kui on võimalik seadistada ETL-ülesande jaoks konfigureeritavad parameetrid).
• Kinnitama töödeldud ETL-protsessi andmete kvaliteeti ja vastavust ärinõuetele.

Peamine tähelepanu peab olema suunatud sellele, et andmevoog süsteemis oleks mitte ainult üldiselt toiminud ja lõpuni jõudnud (mis on funktsionaalset testimist osa), vaid peamiselt andmete kontrollimisele ja valideerimisele, et need vastaksid ootustele, tuvastades anomaaliaid ja muud.

Tööriistad

Üks sellise andmekontrolli tehnikaid võib olla andmeprotsesside igas etapis ahelatest kontrollide organiseerimine, nii nimetatud "data chain" — andmete kontroll allikast kuni lõppkasutuse punktini. Selliseid kontrolle rakendatakse enamasti kontrollivate SQL-päringute kirjutamise kaudu. Loomulikult peavad sellised päringud olema võimalikult kerged ja kontrollima andmekvaliteedi eraldi osakesi (tabelite metainformatsioon, tühjad read, NULL-id, süntaksivead — teised vajalikud kontrollitavad atribuudid).

Regressioonitestimise korral, kus kasutatakse juba valmis (muutmata või minimaalselt muudetud) andmekogumeid, võivad automaatkatsetes olla salvestatud juba valmiskujundatud andmete kvaliteedi kontrollimise mallid (ootuste metainformatsiooni tabelite kirjeldused; valikulised objektid, mida võib testi käigus juhuslikult valida, jne).

Samuti tuleb testimise käigus kirjutada teste ETL-protsesside jaoks, kasutades selliseid raamistikke nagu Apache Airflow, Apache Spark või täiesti black-box pilve tööriistu nagu GCP Dataprep, GCP Dataflow jne. See olukord sunnib testimise inseneri süvenema eespool nimetatud tööriistade toimimispõhimõtetesse ja veelgi efektiivsemalt viima läbi funktsionaalset testimist (näiteks olemasolevate ETL-protsesside testimist projektis) ning kasutama neid andmete kontrollimisel. Eelkõige on Apache Airflow jaoks olemas juba valmiskujundatud operaatorid töötamiseks populaarsete analüütiliste andmebaasidega, näiteks GCP BigQuery. Kõige alusmõte selle kasutamisest on juba välja toodud siit, seega ei hakka ma kordama.

Lisaks valmis lahendustele ei keela keegi teil rakendada oma tehnikaid ja tööriistu. See toob kasu mitte ainult projektile, vaid ka Data Quality Engineer'ile, kes seeläbi arendab oma tehnilist silmaringi ja kodeerimisoskusi.

Kuidas see reaalses projektis töötab

Hea näide viimaste lõikude kohta "data chain", ETL ja kõikjal esinevate kontrollide osas on järgmine protsess ühest tegelikust projektist:

Siia, meie süsteemi sisend «tunnelisse», voolab erinev teave (loomulikult meie ette valmistatud): kehtivad, kehtetud, segatud jne, seejärel filtreeritakse need ja jõuavad vahehoidlasse, kus neid ootab veel hulk muudatusi ning nende edasine paigutamine lõplikku hoidlasse, millest omakorda hakkatakse analüütikat, andmemudelite loomist ja ärivaatluste leidmist tegema. Sellises süsteemis, ETL-protsesside funktsionaalsust kontrollimata, keskendume andmete kvaliteedile enne ja pärast muudatusi, samuti analüütika väljundis.

Kokkuvõttes võib öelda, et sõltumata kohtadest, kus olen töötanud, olen igal pool olnud kaasatud andmeprojektidesse, mis omavad järgmisi jooni:

• Ainult automatiseerimise kaudu on võimalik mõningaid juhtumeid kontrollida ja saavutada äri jaoks vastuvõetav väljalasketsükkel.
• Testija sellises projektis on üks austatumaid meeskonna liikmeid, kuna ta toob igale osalejale suurt kasu (testimise kiirus, head andmed andmeteadlastele, defektide tuvastamine varases etapis).
• Ei ole oluline, kas töötate oma riistvaral või pilves - kõik ressursid on abstraktsioonitud Hortonworks, Cloudera, Mesos, Kubernetes jne klastrisse.
• Projektid on üles ehitatud mikroteenuste lähenemisele, domineerivad jaotatud ja paralleelsed arvutused.

Tahan märkida, et andmekvaliteedi testimisega tegeledes nihutab testija oma professionaalset fookust toote koodile ja kasutatavatele tööriistadele.

Andmekvaliteedi testimise eripärad

Kuid olen välja toonud järgmised (välja arvatud, et nad on ÜLIÜLDISED ja rangelt subjektiivsed) eripärad andmete (Big Data) projektide (süsteemide) ja muude valdkondade testimisel:

Kasulikud lingid

1. Teooria: DAMA-DMBOK: Andmehalduse teadmiste kogum: 2. väljaanne.
2. Koolituscenter EPAM 
3. Soovitatavad materjalid algajale Andmekvaliteedi insenerile:
   1. Tasuta kursus Stepik'is: Sissejuhatus andmebaasidesse. 
   2. Kursus LinkedIn Learning'is: Data Science Foundations: Data Engineering.
   3. Artiklid:
      • Business Intelligence ja Andmekvaliteet; 
      • ETL Testimine; 
      • Mis on Andmeprofii? Protsess, parimad praktikud ja tööriistad; 
      • Testandmete genereerimine: mis see on, kuidas, näide, tööriistad; 
      • 5 testandmete genereerimise tehnikat, millest peate teadma. 
   4. Video:
      • Andmekvaliteedi kontseptsioonid | Andmekvaliteedi õpetus | Andmete ladustamise õpetus;
      • Andmeprofiilimine kasutades SSIS;
      • Andmete analüüs ja torujuhtmete töötlemine Sparkiga.

Kokkuvõte

Andmekvaliteet — see on väga noor perspektiivne valdkond, mille osa olemine tähendab olla osa millestki suurest. Sisenedes Andmekvaliteedi maailma, sukeldute kaasaegsete nõutud tehnoloogiate rohkusesse, kuid mis veelgi olulisem — avanevad tohutud võimalused oma ideede genereerimiseks ja elluviimiseks. Saate rakendada pideva täiustamise lähenemist mitte ainult projektis, vaid ka enda jaoks, arendades pidevalt oma oskusi.

Allikas: habr.com