Suurte ja väikeste andmete testija: trendid, teooria, minu lugu

Tere kõigile, minu nimi on Aleksander, ja ma olen andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega. Selles artiklis räägin, kuidas ma siia jõudsin ja miks 2020. aastal sai see testimise suundumus väga popiks.

Globaalne suundumus

Täna toimub jälle tehnoloogiline revolutsioon, mille üheks aspektiks on erinevate ettevõtete kasutamine kogutud andmete abil oma müügi, kasumi ja reklaami edendamiseks. Näib, et just kvaliteetsete andmete olemasolu ning osavate inimeste leidmine, kes suudavad neist raha teenida (õige töötlemine, visualiseerimine, masinõppe mudelite loomine jne), on tänapäeva jaoks paljude jaoks edu võti. Kui 15-20 aastat tagasi tegelesid andmete kogumise ja monetiseerimisega peamiselt suured ettevõtted, siis täna on see kõikide mõistlike inimeste tegevus.

Seoses sellega muutus mitu aastat tagasi kogu maailmas tööotsinguportaalid üha rohkemate andmete teadlaste tööpakkumistega üle ujutatuks, kuna kõik olid veendunud, et sellise spetsialisti värbamisega on võimalik luua suurepärane masinõppemudel, ennustada tulevikku ja teha ettevõttele "kvanthüpe". Aja jooksul mõistsid inimesed, et selline lähenemine ei toimi peaaegu kusagil, kuna kaugelki kõik andmed, mis selliste spetsialistide kätte satuvad, ei sobi mudelite õpetamiseks.

Ja alustasid andmete teadlased küsimusi: „Ostame veel andmeid nendelt ja nendelt…“, „Meil pole andmeid…“, „Vaja on veel natuke andmeid, eelistatavalt kvaliteetseid…“. Nendele päringutele tuginedes hakkasid ettevõtted, kellel on erinevad andmepaigad, looma mitmeid koostöösuhteid. Loomulikult nõudis see protsessi tehnilist korraldust — andmeallikaga ühendust luua, andmed alla laadida, kontrollida, et need oleksid täielikult laaditud jne. Selliste protsesside arv kasvas ning tänaseks oleme saanud tohutu vajaduse teistsuguste spetsialistide — andmekvaliteedi inseneride — järele, kes jälgiksid andmete voogu süsteemis (data pipelines), andmete kvaliteeti sisenemisel ja väljamisel ning teeksid järeldusi nende piisavuse, terviklikkuse ja muude omaduste kohta.

Andmekvaliteedi inseneride trend jõudis meieni USA-st, kus keegi ei ole valmis kaotama andmete lahingut kapitalismi õitsva ajastu keskel. Allpool olen esitanud ekraanipildid kahest kõige populaarsemast tööotsingu saidist USA-s: www.monster.com ja www.dice.com — mille see andmed on kuupäeval 17. märts 2020 aastast, kajastades tööpakkumiste arvu, mis on seotud märksõnadega: Data Quality ja Data Scientist.

www.monster.com

Andmeteadlased – 21416 tööpakkumist
Andmekvaliteet – 41104 tööpakkumist

www.dice.com

Andmeteadlased – 404 tööpakkumist
Andmekvaliteet – 2020 tööpakkumist

On selge, et need ametid ei konkureeri omavahel. Screenshottidega tahtsin lihtsalt illustreerida praegust olukorda tööturul seoses Andmekvaliteedi inseneride nõudlusega, mida on praegu palju rohkem kui Andmeteadlaste nõudlust.

Juuni 2019. aastal eraldas EPAM, reageerides kaasaegse IT-turu vajadustele, Andmekvaliteedi suuna eraldi praktikaks. Andmekvaliteedi insenerid oma igapäevases töös haldavad andmeid, kontrollivad nende käitumist uutes tingimustes ja süsteemides, jälgivad andmete asjakohasust, piisavust ja ajakohasust. Sellega seoses pühendavad Andmekvaliteedi insenerid praktikas tõepoolest vaid piiratud aega klassikalisele funktsionaalsele testimisele, KUID see sõltub tugevalt projektist (näitena toon edasise).

Data Quality inseneri kohustused ei piirdu ainult rutiinsete käsitsi/automaatsete kontrollidega "nullide, koguste ja summade" osas andmebaasitabelites, vaid nõuavad sügavat arusaamist kliendi äri vajadustest ja vastavalt võimetest muuta olemasolevad andmed kasutatavaks äriinfoks.

Data Quality Teooria

Kuna me püüame täielikult mõista, milline on sellise inseneri roll, siis uurime, mis on Data Quality teoorias.

Data Quality on üks etappidest Data Managementis (koos terve maailma, mille uurimist jätame teile enda teha) ja vastutab andmete analüüsimise eest järgmiste kriteeriumide alusel:

Ma arvan, et ei tasu iga punkti täpselt lahti seletada (teoorias nimetatakse neid "data dimensions"), need on pildil üsna selgelt kirjeldatud. Kuid testimisprotsess ei tähenda nende omaduste range kopeerimise tegemist testikastidesse ja nende kontrollimist. Data Quality's, nagu igas teises testimise vormis, tuleb eeskätt lähtuda andmekvaliteedi nõuetest, mis on kooskõlastatud projekti osalejatega, kes teevad äriotsuseid.

Projekti iseloomust sõltuvalt võib andmekvaliteedi insener täita erinevaid rolle: alates tavalise automatiseeritud testija funktsioonist, kes hindab andmete kvaliteeti pinnapealselt, kuni inimeseni, kes viib läbi süvaintervjuusid ülaltoodud omaduste järgi.

Andmehalduse, andmekvaliteedi ja sellega seotud protsesside väga üksikasjalik kirjeldus on suurepäraselt esitatud raamatus pealkirjaga „DAMA-DMBOK: Andmehalduse teadmusbaas: 2. väljaanne“. Soovitan seda raamatuid kui sisenemist sellesse teema (link leiate artikli lõpus).

Minu lugu

IT-valdkonnas olen läbinud teekonna Junior testijast tootmisettevõtetes kuni Lead Data Quality Engineer'ini ettevõttes EPAM. Umbes kahe aasta pärast testijana töötades oli mul kindel veendumus, et tegin absoluutselt kõiki tüüpe teste: regressiooniteste, funktsionaalseid teste, stressiteste, stabiilsusteste, turvateste, UI teste jne — ja proovisin hulgaliselt testimisriistu, töötades samal ajal kolmes programmeerimiskeeles: Java, Scala, Python.

Tagasi vaadates mõistan, miks minu professionaalsete oskuste komplekt on saanud nii mitmekesiseks – olen osalenud projektides, mis on seotud andmete töötlemisega, olgu need siis suured või väikesed. See on toonud mind hulga tööriistade ja kasvuvõimaluste maailma.

Uute teadmiste ja oskuste saamise tööriistade ja võimaluste mitmekesisuse hindamiseks piisab, kui heita pilk allolevale pildile, mis näitab kõige populaarsemaid neist "Data & AI" maailmas.

Selliseid illustreerimisi koostab igal aastal tuntud riskikapitalist Matt Turck, kes on pärit tarkvaraarendusest. Siin on link tema blogi ja riskikapitalifirma, kus ta töötab partnerina.

Olen professionaalselt kasvanud eriti kiiresti, kui olin projektis ainus testija või vähemalt projekti alguses. Just sel hetkel peab vastutama kogu testimisprotsessi eest ja taganemist ei ole, ainult edasi. Esialgu hirmutas see mind, kuid nüüd on kõik selle proovimise eelised mulle selged:

• Sa alustad suhtlemist kogu meeskonnaga nagu kunagi varem, sest pole ühtegi suunajat suhtlemiseks: ei testihaldurit, ega teste tegevaid kolleege.
• Projektis süvenemine muutub erakordselt sügavaks ning sa valdad teavet kõigi komponentide kohta nii üldiselt kui ka üksikasjalikult.
• Arendajad ei vaata sinule kui „testimise kutsele, kes ei tea, millega tegeleb“, vaid pigem kui võrdsusele, kes toob meeskonnale tohutut kasu oma automatiseeritud testidega ja suudab ette ennustada vigu toote konkreetses osas.
• Tulemuseks oled sa tõhusam, kvalifitseeritum ja nõutum.

Projektiga edenedes olen 100% juhtudest saanud mentoriks uutele testijatele, õpetanud neid ja jaganud nendega teadmisi, mida olen ise omandanud. Samas, sõltuvalt projektist, ei ole ma alati saanud juhtkonnalt kõrgetasemelisi automaatkatsetamise spetsialiste ning on olnud vajalik kas koolitada neid automatiseerimisele (soovijatele) või luua tööriistu nende igapäevaste tegevuste toetamiseks (andmete genereerimise ja nende süsteemi laadimise tööriistad, koormustestimise/stabiilsuse testimise tööriist „kiirelt” jt).

Konkreetse projekti näide

Kahjuks ei saa ma konfidentsiaalsusnõuete tõttu projektidest, millega olen töötanud, üksikasjalikult rääkida, kuid toon välja tüüpilisi Data Quality Engineer'i ülesandeid ühes projektis.

Projekti sisu – luua andmete ettevalmistamise platvorm, et koolitada masinõppimise mudelite alusel. Tellijaks oli suur Ameerika Ühendriikide farmaatsiaettevõte. Tehniliselt oli see klaster Kubernetes, mis tõuseb AWS EC2 mitmekesiste mikroteenustega ja EPAMi avatud lähtekoodiga projektiga, Legion, mis on kohandatud konkreetse kliendi vajadustele (praegu on projekt taastatud odahu). ETL-protsessid korraldati Apache Airflow abil ja andmeid liigutati SalesForce kliendi süsteemist AWS S3 Bucketsisse. Edasi paigaldati platvormile Docker'i konteiner masin õppe mudelist, mis õppis värsketel andmetel ning andis REST API liidese kaudu välja ennustusi, mis olid huvitavad äri jaoks ja lahendasid konkreetseid ülesandeid.

Visuaalselt nägi kõik välja umbes nii:

Sellel projektil oli piisavalt funktsionaalset testimist ning arvestades funktsioonide arendamise kiirus ja vajadust säilitada väljaandmise tsükli tempot (kahe nädala sprindid), tuli kohe mõelda kriitiliste süsteemi sõlmede automaatse testimise peale. Suur osa platvormist, mille alus on Kubernetes, oli kaetud automaattestidega, mis on rakendatud Robot Framework + Python, kuid nende toetamine ja arendamine oli samuti vajalik. Lisaks lihtsustasime kliendi jaoks GUI loomist, et hallata masinõppemudeleid, mis oli paigaldatud klastrisse, samuti võimaldasime määrata, kust ja kuhu on vaja andmeid mudelite treenimiseks edastada. See ulatuslik lisa tõi endaga kaasa automatiseeritud funktsionaalsete kontrollide laiendamise, millest suurem osa toimus REST API kõnede kaudu ja väikese hulga end-2-end UI-testide kaudu. Umbes liikumise keskel liitus meiega käsitsi testija, kes tegi suurepärast tööd tooteversioonide vastuvõtutestimisel ning suhtlemisel kliendiga järgmise väljaande vastuvõtu osas. Lisaks suutsime uue spetsialistiga meie tööd dokumenteerida ja lisada mitmeid väga olulisi käsitsi kontrolle, mida oli alguses keeruline automatiseerida.

Ja lõpuks, pärast seda, kui oleme saavutanud platvormi ja GUI-lahenduse stabiilsuse, alustasime ETL-pipe-joonte loomist Apache Airflow DAGide abil. Andmekvaliteedi automatiseeritud kontroll viidi läbi spetsiaalsete Airflow DAGide kirjutamise kaudu, mis kontrollisid andmeid ETL-protsessi tulemuste põhjal. Selle projekti raames olime õnnelikud, et tellija andis meile juurdepääsu tundmatutele andmekogudele, millel me katsetasime. Kontrollisime andmeid rida-realt tüüpide vastavuse, vigaste andmete olemasolu, rekordite koguarvu enne ja pärast, võrreldes ETL-protsessi käigus teostatud muudatusi aggregatsiooni, veergude nimede muutmise ja muu osas. Lisaks laiendati neid kontrollimisi erinevatele andmeallikatele, näiteks SalesForce'i ja MySQL-i kõrval.

Lõpliku andmekvaliteedi kontrollid viidi läbi juba S3 tasemel, kus need olid hoitud ja valmis mudelite masinõppeks. Andmete saamiseks lõplikust CSV-failist, mis asus S3 Buckets ja nende valideerimiseks, kirjutati kood kasutades boto3 klienti.

Samuti oli tellija poolt nõudmine hoida osa andmeid ühes S3 Bucket’is ja osa teises. Selleks oli samuti vajalik kirjutada täiendavaid kontrollimisi, mis jälgivad sellise sorteerimise usaldusväärsust.

Kogutud kogemus teistelt projektidelt

Näide kõige üldisemast tegevuste loetelust Data Quality insenerile:

• Valmistada ette testandmed (kehtivad, kehtetuks tunnistatud, suured, väikesed) automatiseeritud tööriista abil.
• Laadida ettevalmistatud andmekogum algsesse allikasse ja kontrollida selle kasutusvalmidust.
• Käivitada ETL-protsessid andmekogumi töötlemiseks algses hoidlasesse lõplikku või vahepealsesse koos teatud seadistuste kasutamisega (kui on võimalik määrata konfigureeritavad parameetrid ETL-ülesande jaoks).
• Verifitseerida ETL-protsessi töötlemised andmed nende kvaliteedi ja ärinõuete täitmise kohta.

Peamine rõhk kontrollidel ei tohiks olla mitte ainult andmevoo toimivusel süsteemis (mis on osa funktsionaalsest testimisest), vaid peamiselt andmete kontrollimisel ja valideerimisel vastavuses ootustele, anomaaliate tuvastamisel ja muul sellisel.

Tööriistad

Üks sellise andmekontrolli tehnikaid võib olla ahela kontrollide korraldamine iga andmete töötlemise etapi juures, mida tuntakse kirjanduses kui "data chain" — andmete kontroll allikast kuni lõppkasutuse punktini. Selliseid kontrollimisi teostatakse enamasti kontrollivate SQL-päringute kirjutamise kaudu. Loomulikult peavad need päringud olema maksimaalselt kerged ja kontrollima andmete kvaliteedi üksikuid osi (tabelite metaandmed, tühjad read, NULL-id, süntaksi vead — muud nõutavad kontrollitavad atribuudid).

Regressioonitestimise korral, kus kasutatakse juba valmis (muutumatuid või vaid veidi muudetud) andmekogumeid, võivad automaatsete testide koodis olla salvestatud juba valmis andmete kvaliteedi kontrollimise mallid (oodatavate tabelite metaandmete kirjeldused; valikutes olevate üksuste kirjeldused, mida saab juhuslikult valida testi käigus, jne).

Testimise käigus tuleb samuti kirjutada testimisprotsesse ETL, kasutades selliseid raamistikke nagu Apache Airflow, Apache Spark või hoopis musta kasti pilve tööriistu, nagu GCP Dataprep, GCP Dataflow ja teised. See olukord sunnib testimisinseneri süvenema ülaltoodud tööriistade toimimispõhimõtetesse ning veelgi tõhusamalt teostama funktsionaalset testimist (näiteks projekti olemasolevate ETL-protsesside osas) ja kasutama neid andmete kontrollimiseks. Eriti Apache Airflow'i puhul on juba olemas lihtsalt kasutatavad operaatorid populaarsete analüütiliste andmebaaside, näiteks GCP BigQuery. Selle kasutamise kõige põhjalikum näide on juba esitatud, siinseega ei hakka ma uuesti kordama.

Lisaks valmislahendustele ei ole keegi takistanud teid oma meetodite ja tööriistade rakendamisel. See toob kasu mitte ainult projektile, vaid ka iseendale Data Quality Engineer’ina, kes saab seeläbi arendada oma tehnilisi teadmisi ja programmeerimisoskusi.

Kuidas see tegelikus projektis töötab

Hea illustratsioon ülaltoodud lõikude kohta 'data chain', ETL ja kõikjalolevatest kontrollidest on järgmine protsess ühelt reaalsest projektist:

Siin saab meie süsteemi sisendisse erinevad andmed (loomulikult meie ettevalmistatud): kehtivad, kehtetuks tunnistatud, segatud jne., seejärel filtreeritakse need ja saadetakse vahehoidlasse, seejärel ootavad neid taas mitmed muudatused ja paigutatakse lõpphoidlasse, kust omakorda tehakse analüüs, andmete vitriinide koostamine ja äriliste teadlikkuste otsimine. Sellises süsteemis, kontrollimata ETL-protsesside funktsionaalsust, keskendume andmete kvaliteedile enne ja pärast muudatusi, samuti analüüsi väljundis.

Kokkuvõttes, olenemata kohtadest, kus olen töötanud, olin igal pool kaasatud Data-projektidesse, mis ühendasid järgmised omadused:

• Automatiseerimise kaudu on võimalik testida teatud juhtumeid ja saavutada äri jaoks vastuvõetav vabastamistsükkel.
• Sellise projekti testija on üks austatumaid meeskonna liikmeid, sest ta toob igaühele tohutut väärtust (testimise kiirus, head andmed andmete teadlase jaoks, defektide avastamine varaste etappide jooksul).
• Oluline pole, kas töötate oma riistvaraga või pilves — kõik ressursid on abstraktsioonitud Hortonworksi, Cloudera, Mesos, Kubernetes jne tüüpi klastrisse.
• Projektid on üles ehitatud mikroteenuste põhimõttele, kus domineerivad jaotatud ja paralleelsed arvutused.

Tahan rõhutada, et andmekvaliteedi testimisega tegeledes suunab testimisspetsialist oma professionaalse fookuse toote koodile ja kasutatavatele tööriistadele.

Andmekvaliteedi testimise eripära

Lisaks olen välja toonud järgmised (üsna üldised ja eranditult subjektiivsed) iseloomulikud jooned andmetest (suured andmed) projektides (süsteemides) ja teistes valdkondades:

Kasulikud lingid

1. Teooria: DAMA-DMBOK: Andmehalduse teadmiste alus: 2. väljaanne.
2. Koolituscenter EPAM 
3. Soovitatavad materjalid alustavale andmekvaliteedi insenerile:
   1. Tasuta kursus Stepik'il: Sissejuhatus andmebaasidesse. 
   2. Kursus LinkedIn Learning'is: Andmete teaduse põhialused: Andmeinsenerimine.
   3. Artiklid:
      • Äriintelligentsus ja andmekvaliteet; 
      • ETL testimine; 
      • Mis on andmetest repotereerimine? Protsess, parimad praktikad ja tööriistad; 
      • Testandmete genereerimine: Mis see on, kuidas ja näide, tööriistad; 
      • 5 testandmete genereerimise tehnikat, millest peate teadma. 
   4. Video:
      • Andmekvaliteedi mõisted | Andmekvaliteedi õpetus | Andmete ladustamise õpetus;
      • Andmete repotereerimine SSIS'i abil;
      • Andmete repotereerimine ja voogude töötlemine Spark'iga.

Kokkuvõte

Data Quality — see on väga noor ja perspektiivikas suund, mille osaks olemine tähendab osalemist mingisuguses stardil. Sisenedes andmekvaliteeti, sukeldute te suurde hulka kaasaegsetesse nõutud tehnoloogiatesse, kuid kõige tähtsam — avanevad ees teile suured võimalused oma ideede genereerimiseks ja elluviimiseks. Saate rakendada pideva täiustamise lähenemist mitte ainult projektis, vaid ka enda jaoks, arenedes pidevalt spetsialistina.

Allikas: habr.com