{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Tere k\u00f5igile, minu nimi on Aleksander, ja ma olen andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega. Selles artiklis r\u00e4\u00e4gin, kuidas ma siia j\u00f5udsin ja miks 2020. aastal sai see testimise suundumus v\u00e4ga popiks. <\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/0691d5a78bcbc8f4f102eafbbef20c0a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Globaalne suundumus <\/h2>\n<p>\nT\u00e4na toimub j\u00e4lle tehnoloogiline revolutsioon, mille \u00fcheks aspektiks on erinevate ettev\u00f5tete kasutamine kogutud andmete abil oma m\u00fc\u00fcgi, kasumi ja reklaami edendamiseks. N\u00e4ib, et just kvaliteetsete andmete olemasolu ning osavate inimeste leidmine, kes suudavad neist raha teenida (\u00f5ige t\u00f6\u00f6tlemine, visualiseerimine, masin\u00f5ppe mudelite loomine jne), on t\u00e4nap\u00e4eva jaoks paljude jaoks edu v\u00f5ti. Kui 15-20 aastat tagasi tegelesid andmete kogumise ja monetiseerimisega peamiselt suured ettev\u00f5tted, siis t\u00e4na on see k\u00f5ikide m\u00f5istlike inimeste tegevus. <\/p>\n<p>Seoses sellega muutus mitu aastat tagasi kogu maailmas t\u00f6\u00f6otsinguportaalid \u00fcha rohkemate andmete teadlaste t\u00f6\u00f6pakkumistega \u00fcle ujutatuks, kuna k\u00f5ik olid veendunud, et sellise spetsialisti v\u00e4rbamisega on v\u00f5imalik luua suurep\u00e4rane masin\u00f5ppemudel, ennustada tulevikku ja teha ettev\u00f5ttele \"kvanth\u00fcpe\". Aja jooksul m\u00f5istsid inimesed, et selline l\u00e4henemine ei toimi peaaegu kusagil, kuna kaugelki k\u00f5ik andmed, mis selliste spetsialistide k\u00e4tte satuvad, ei sobi mudelite \u00f5petamiseks. <\/p>\n<p>\u0418 \u043d\u0430\u0447\u0430\u043b\u0438\u0441\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043e\u0442 Data Scientists: \u00ab\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043a\u0443\u043f\u0438\u043c \u0435\u0449\u0451 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443 \u044d\u0442\u0438\u0445 \u0438 \u0443 \u0442\u0435\u0445.\u2026\u00bb, \u00ab\u041d\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0445&#8230;\u00bb, \u00ab\u041d\u0443\u0436\u043d\u043e \u0435\u0449\u0451 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445&#8230;\u00bb. \u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445, \u0441\u0442\u0430\u043b\u0438 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f\u043c\u0438, \u0432\u043b\u0430\u0434\u0435\u044e\u0449\u0438\u043c\u0438 \u0442\u0435\u043c \u0438\u043b\u0438 \u0438\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u043e \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u2014 \u043f\u043e\u0434\u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c\u0441\u044f \u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432\u044b\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u0432 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0431\u044a\u0451\u043c\u0435 \u0438 \u0442. \u043f. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 \u0441\u0442\u0430\u043b\u043e \u0440\u0430\u0441\u0442\u0438, \u0438 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043e\u0433\u0440\u043e\u043c\u043d\u0443\u044e \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u044c \u0432 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u0445 \u2014 Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u0445 \u2014 \u0442\u0435\u0445 \u043a\u0442\u043e \u0441\u043b\u0435\u0434\u0438\u043b \u0431\u044b \u0437\u0430 \u043f\u043e\u0442\u043e\u043a\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 (data pipelines), \u0437\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u0434\u0435\u043b\u0430\u043b \u0431\u044b \u0432\u044b\u0432\u043e\u0434\u044b \u043e\u0431 \u0438\u0445 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445. <\/p>\n<p>Andmekvaliteedi inseneride trend j\u00f5udis meieni USA-st, kus keegi ei ole valmis kaotama andmete lahingut kapitalismi \u00f5itsva ajastu keskel. Allpool olen esitanud ekraanipildid kahest k\u00f5ige populaarsemast t\u00f6\u00f6otsingu saidist USA-s: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex> ja <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> \u2014 mille see andmed on kuup\u00e4eval 17. m\u00e4rts 2020 aastast, kajastades t\u00f6\u00f6pakkumiste arvu, mis on seotud m\u00e4rks\u00f5nadega: Data Quality ja Data Scientist. <\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex><\/p>\n<p>Andmeteadlased \u2013 21416 t\u00f6\u00f6pakkumist<br \/>\nAndmekvaliteet \u2013 41104 t\u00f6\u00f6pakkumist<\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8578f2d1e600791e166ed6e8a7068015.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/3ff69acc3c7e0d649eae0808b1b535be.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> <\/p>\n<p>Andmeteadlased \u2013 404 t\u00f6\u00f6pakkumist<br \/>\nAndmekvaliteet \u2013 2020 t\u00f6\u00f6pakkumist<\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/b35a9b423ba4bef8736659580e3c281e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/2c29b83bbe2361089de5a0ab65017300.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\nOn selge, et need ametid ei konkureeri omavahel. Screenshottidega tahtsin lihtsalt illustreerida praegust olukorda t\u00f6\u00f6turul seoses Andmekvaliteedi inseneride n\u00f5udlusega, mida on praegu palju rohkem kui Andmeteadlaste n\u00f5udlust. <\/p>\n<p>Juuni 2019. aastal eraldas EPAM, reageerides kaasaegse IT-turu vajadustele, Andmekvaliteedi suuna eraldi praktikaks. Andmekvaliteedi insenerid oma igap\u00e4evases t\u00f6\u00f6s haldavad andmeid, kontrollivad nende k\u00e4itumist uutes tingimustes ja s\u00fcsteemides, j\u00e4lgivad andmete asjakohasust, piisavust ja ajakohasust. Sellega seoses p\u00fchendavad Andmekvaliteedi insenerid praktikas t\u00f5epoolest vaid piiratud aega klassikalisele funktsionaalsele testimisele, <u>KUID<\/u> see s\u00f5ltub tugevalt projektist (n\u00e4itena toon edasise). <\/p>\n<p>Data Quality inseneri kohustused ei piirdu ainult rutiinsete k\u00e4sitsi\/automaatsete kontrollidega \"nullide, koguste ja summade\" osas andmebaasitabelites, vaid n\u00f5uavad s\u00fcgavat arusaamist kliendi \u00e4ri vajadustest ja vastavalt v\u00f5imetest muuta olemasolevad andmed kasutatavaks \u00e4riinfoks. <\/p>\n<h2>Data Quality Teooria<\/h2>\n<p>\n<img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/d920a7a0435d6f3a1eb84fc16221c742.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>Kuna me p\u00fc\u00fcame t\u00e4ielikult m\u00f5ista, milline on sellise inseneri roll, siis uurime, mis on Data Quality teoorias. <\/p>\n<p><b>Data Quality<\/b> on \u00fcks etappidest Data Managementis (koos terve maailma, mille uurimist j\u00e4tame teile enda teha) ja vastutab andmete anal\u00fc\u00fcsimise eest j\u00e4rgmiste kriteeriumide alusel: <\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8f5e75bad69e3cb589cc0e1104ad946f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nMa arvan, et ei tasu iga punkti t\u00e4pselt lahti seletada (teoorias nimetatakse neid \"data dimensions\"), need on pildil \u00fcsna selgelt kirjeldatud. Kuid testimisprotsess ei t\u00e4henda nende omaduste range kopeerimise tegemist testikastidesse ja nende kontrollimist. Data Quality's, nagu igas teises testimise vormis, tuleb eesk\u00e4tt l\u00e4htuda andmekvaliteedi n\u00f5uetest, mis on koosk\u00f5lastatud projekti osalejatega, kes teevad \u00e4riotsuseid. <\/p>\n<p><\/p>\n<blockquote><p>Projekti iseloomust s\u00f5ltuvalt v\u00f5ib andmekvaliteedi insener t\u00e4ita erinevaid rolle: alates tavalise automatiseeritud testija funktsioonist, kes hindab andmete kvaliteeti pinnapealselt, kuni inimeseni, kes viib l\u00e4bi s\u00fcvaintervjuusid \u00fclaltoodud omaduste j\u00e4rgi. <\/p><\/blockquote>\n<p>Andmehalduse, andmekvaliteedi ja sellega seotud protsesside v\u00e4ga \u00fcksikasjalik kirjeldus on suurep\u00e4raselt esitatud raamatus pealkirjaga <i>\u201eDAMA-DMBOK: Andmehalduse teadmusbaas: 2. v\u00e4ljaanne\u201c<\/i>. Soovitan seda raamatuid kui sisenemist sellesse teema (link leiate artikli l\u00f5pus).<\/p>\n<h2>Minu lugu<\/h2>\n<p>\nIT-valdkonnas olen l\u00e4binud teekonna Junior testijast tootmisettev\u00f5tetes kuni Lead Data Quality Engineer'ini ettev\u00f5ttes EPAM. Umbes kahe aasta p\u00e4rast testijana t\u00f6\u00f6tades oli mul kindel veendumus, et tegin absoluutselt k\u00f5iki t\u00fc\u00fcpe teste: regressiooniteste, funktsionaalseid teste, stressiteste, stabiilsusteste, turvateste, UI teste jne \u2014 ja proovisin hulgaliselt testimisriistu, t\u00f6\u00f6tades samal ajal kolmes programmeerimiskeeles: Java, Scala, Python. <\/p>\n<p><\/p>\n<blockquote><p>Tagasi vaadates m\u00f5istan, miks minu professionaalsete oskuste komplekt on saanud nii mitmekesiseks \u2013 olen osalenud projektides, mis on seotud andmete t\u00f6\u00f6tlemisega, olgu need siis suured v\u00f5i v\u00e4ikesed. See on toonud mind hulga t\u00f6\u00f6riistade ja kasvuv\u00f5imaluste maailma.<\/p><\/blockquote>\n<p>Uute teadmiste ja oskuste saamise t\u00f6\u00f6riistade ja v\u00f5imaluste mitmekesisuse hindamiseks piisab, kui heita pilk allolevale pildile, mis n\u00e4itab k\u00f5ige populaarsemaid neist \"Data &amp; AI\" maailmas.<\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/e3278694195bf59b44055e1eaafd62b1.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nSelliseid illustreerimisi koostab igal aastal tuntud riskikapitalist Matt Turck, kes on p\u00e4rit tarkvaraarendusest. Siin on <noindex><a rel=\"nofollow\" href=\"https:\/\/mattturck.com\">link<\/a><\/noindex> tema blogi ja <noindex><a rel=\"nofollow\" href=\"https:\/\/firstmarkcap.com\/team\/matt-turck\">riskikapitalifirma<\/a><\/noindex>, kus ta t\u00f6\u00f6tab partnerina. <\/p>\n<p>Olen professionaalselt kasvanud eriti kiiresti, kui olin projektis ainus testija v\u00f5i v\u00e4hemalt projekti alguses. Just sel hetkel peab vastutama kogu testimisprotsessi eest ja taganemist ei ole, ainult edasi. Esialgu hirmutas see mind, kuid n\u00fc\u00fcd on k\u00f5ik selle proovimise eelised mulle selged: <\/p>\n<ul>\n<li>Sa alustad suhtlemist kogu meeskonnaga nagu kunagi varem, sest pole \u00fchtegi suunajat suhtlemiseks: ei testihaldurit, ega teste tegevaid kolleege. <\/li>\n<li>Projektis s\u00fcvenemine muutub erakordselt s\u00fcgavaks ning sa valdad teavet k\u00f5igi komponentide kohta nii \u00fcldiselt kui ka \u00fcksikasjalikult. <\/li>\n<li>Arendajad ei vaata sinule kui \u201etestimise kutsele, kes ei tea, millega tegeleb\u201c, vaid pigem kui v\u00f5rdsusele, kes toob meeskonnale tohutut kasu oma automatiseeritud testidega ja suudab ette ennustada vigu toote konkreetses osas. <\/li>\n<li>Tulemuseks oled sa t\u00f5husam, kvalifitseeritum ja n\u00f5utum. <\/li>\n<\/ul>\n<p>\nProjektiga edenedes olen 100% juhtudest saanud mentoriks uutele testijatele, \u00f5petanud neid ja jaganud nendega teadmisi, mida olen ise omandanud. Samas, s\u00f5ltuvalt projektist, ei ole ma alati saanud juhtkonnalt k\u00f5rgetasemelisi automaatkatsetamise spetsialiste ning on olnud vajalik kas koolitada neid automatiseerimisele (soovijatele) v\u00f5i luua t\u00f6\u00f6riistu nende igap\u00e4evaste tegevuste toetamiseks (andmete genereerimise ja nende s\u00fcsteemi laadimise t\u00f6\u00f6riistad, koormustestimise\/stabiilsuse testimise t\u00f6\u00f6riist \u201ekiirelt\u201d jt). <\/p>\n<h3>Konkreetse projekti n\u00e4ide<\/h3>\n<p>\nKahjuks ei saa ma konfidentsiaalsusn\u00f5uete t\u00f5ttu projektidest, millega olen t\u00f6\u00f6tanud, \u00fcksikasjalikult r\u00e4\u00e4kida, kuid toon v\u00e4lja t\u00fc\u00fcpilisi Data Quality Engineer'i \u00fclesandeid \u00fches projektis. <\/p>\n<p>Projekti sisu \u2013 luua andmete ettevalmistamise platvorm, et koolitada masin\u00f5ppimise mudelite alusel. Tellijaks oli suur Ameerika \u00dchendriikide farmaatsiaettev\u00f5te. Tehniliselt oli see klaster <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\">Kubernetes<\/a><\/noindex>, mis t\u00f5useb <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/ec2\">AWS EC2<\/a><\/noindex> mitmekesiste mikroteenustega ja EPAMi avatud l\u00e4htekoodiga projektiga, <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/legion-platform\/legion\">Legion<\/a><\/noindex>, mis on kohandatud konkreetse kliendi vajadustele (praegu on projekt taastatud <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/odahu\/odahu-flow\">odahu<\/a><\/noindex>). ETL-protsessid korraldati <noindex><a rel=\"nofollow\" href=\"https:\/\/airflow.apache.org\">Apache Airflow<\/a><\/noindex> abil ja andmeid liigutati <noindex><a rel=\"nofollow\" href=\"https:\/\/www.salesforce.com\">SalesForce<\/a><\/noindex> kliendi s\u00fcsteemist <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/s3\/?nc1=h_ls\">AWS S3<\/a><\/noindex> Bucketsisse. Edasi paigaldati platvormile Docker'i konteiner masin \u00f5ppe mudelist, mis \u00f5ppis v\u00e4rsketel andmetel ning andis REST API liidese kaudu v\u00e4lja ennustusi, mis olid huvitavad \u00e4ri jaoks ja lahendasid konkreetseid \u00fclesandeid. <\/p>\n<p><b>Visuaalselt n\u00e4gi k\u00f5ik v\u00e4lja umbes nii: <\/b><\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/c2de3c1919f3f9ff29147fce09eb14c4.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nSellel projektil oli piisavalt funktsionaalset testimist ning arvestades funktsioonide arendamise kiirus ja vajadust s\u00e4ilitada v\u00e4ljaandmise ts\u00fckli tempot (kahe n\u00e4dala sprindid), tuli kohe m\u00f5elda kriitiliste s\u00fcsteemi s\u00f5lmede automaatse testimise peale. Suur osa platvormist, mille alus on Kubernetes, oli kaetud automaattestidega, mis on rakendatud <noindex><a rel=\"nofollow\" href=\"https:\/\/robotframework.org\/\">Robot Framework<\/a><\/noindex> + Python, kuid nende toetamine ja arendamine oli samuti vajalik. Lisaks lihtsustasime kliendi jaoks GUI loomist, et hallata masin\u00f5ppemudeleid, mis oli paigaldatud klastrisse, samuti v\u00f5imaldasime m\u00e4\u00e4rata, kust ja kuhu on vaja andmeid mudelite treenimiseks edastada. See ulatuslik lisa t\u00f5i endaga kaasa automatiseeritud funktsionaalsete kontrollide laiendamise, millest suurem osa toimus REST API k\u00f5nede kaudu ja v\u00e4ikese hulga end-2-end UI-testide kaudu. Umbes liikumise keskel liitus meiega k\u00e4sitsi testija, kes tegi suurep\u00e4rast t\u00f6\u00f6d tooteversioonide vastuv\u00f5tutestimisel ning suhtlemisel kliendiga j\u00e4rgmise v\u00e4ljaande vastuv\u00f5tu osas. Lisaks suutsime uue spetsialistiga meie t\u00f6\u00f6d dokumenteerida ja lisada mitmeid v\u00e4ga olulisi k\u00e4sitsi kontrolle, mida oli alguses keeruline automatiseerida. <\/p>\n<p>Ja l\u00f5puks, p\u00e4rast seda, kui oleme saavutanud platvormi ja GUI-lahenduse stabiilsuse, alustasime ETL-pipe-joonte loomist Apache Airflow DAGide abil. Andmekvaliteedi automatiseeritud kontroll viidi l\u00e4bi spetsiaalsete Airflow DAGide kirjutamise kaudu, mis kontrollisid andmeid ETL-protsessi tulemuste p\u00f5hjal. Selle projekti raames olime \u00f5nnelikud, et tellija andis meile juurdep\u00e4\u00e4su tundmatutele andmekogudele, millel me katsetasime. Kontrollisime andmeid rida-realt t\u00fc\u00fcpide vastavuse, vigaste andmete olemasolu, rekordite koguarvu enne ja p\u00e4rast, v\u00f5rreldes ETL-protsessi k\u00e4igus teostatud muudatusi aggregatsiooni, veergude nimede muutmise ja muu osas. Lisaks laiendati neid kontrollimisi erinevatele andmeallikatele, n\u00e4iteks SalesForce'i ja MySQL-i k\u00f5rval. <\/p>\n<p>L\u00f5pliku andmekvaliteedi kontrollid viidi l\u00e4bi juba S3 tasemel, kus need olid hoitud ja valmis mudelite masin\u00f5ppeks. Andmete saamiseks l\u00f5plikust CSV-failist, mis asus S3 Buckets ja nende valideerimiseks, kirjutati kood kasutades <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/sdk-for-python\">boto3 klienti<\/a><\/noindex>. <\/p>\n<p>Samuti oli tellija poolt n\u00f5udmine hoida osa andmeid \u00fches S3 Bucket\u2019is ja osa teises. Selleks oli samuti vajalik kirjutada t\u00e4iendavaid kontrollimisi, mis j\u00e4lgivad sellise sorteerimise usaldusv\u00e4\u00e4rsust. <\/p>\n<h3>Kogutud kogemus teistelt projektidelt<\/h3>\n<p>\nN\u00e4ide k\u00f5ige \u00fcldisemast tegevuste loetelust Data Quality insenerile: <\/p>\n<ul>\n<li>Valmistada ette testandmed (kehtivad, kehtetuks tunnistatud, suured, v\u00e4ikesed) automatiseeritud t\u00f6\u00f6riista abil. <\/li>\n<li>Laadida ettevalmistatud andmekogum algsesse allikasse ja kontrollida selle kasutusvalmidust. <\/li>\n<li>K\u00e4ivitada ETL-protsessid andmekogumi t\u00f6\u00f6tlemiseks algses hoidlasesse l\u00f5plikku v\u00f5i vahepealsesse koos teatud seadistuste kasutamisega (kui on v\u00f5imalik m\u00e4\u00e4rata konfigureeritavad parameetrid ETL-\u00fclesande jaoks). <\/li>\n<li>Verifitseerida ETL-protsessi t\u00f6\u00f6tlemised andmed nende kvaliteedi ja \u00e4rin\u00f5uete t\u00e4itmise kohta. <\/li>\n<\/ul>\n<p>\nPeamine r\u00f5hk kontrollidel ei tohiks olla mitte ainult andmevoo toimivusel s\u00fcsteemis (mis on osa funktsionaalsest testimisest), vaid peamiselt andmete kontrollimisel ja valideerimisel vastavuses ootustele, anomaaliate tuvastamisel ja muul sellisel. <\/p>\n<h3>T\u00f6\u00f6riistad<\/h3>\n<p>\n\u00dcks sellise andmekontrolli tehnikaid v\u00f5ib olla ahela kontrollide korraldamine iga andmete t\u00f6\u00f6tlemise etapi juures, mida tuntakse kirjanduses kui \"data chain\" \u2014 andmete kontroll allikast kuni l\u00f5ppkasutuse punktini. Selliseid kontrollimisi teostatakse enamasti kontrollivate SQL-p\u00e4ringute kirjutamise kaudu. Loomulikult peavad need p\u00e4ringud olema maksimaalselt kerged ja kontrollima andmete kvaliteedi \u00fcksikuid osi (tabelite metaandmed, t\u00fchjad read, NULL-id, s\u00fcntaksi vead \u2014 muud n\u00f5utavad kontrollitavad atribuudid). <\/p>\n<p>Regressioonitestimise korral, kus kasutatakse juba valmis (muutumatuid v\u00f5i vaid veidi muudetud) andmekogumeid, v\u00f5ivad automaatsete testide koodis olla salvestatud juba valmis andmete kvaliteedi kontrollimise mallid (oodatavate tabelite metaandmete kirjeldused; valikutes olevate \u00fcksuste kirjeldused, mida saab juhuslikult valida testi k\u00e4igus, jne). <\/p>\n<p>Testimise k\u00e4igus tuleb samuti kirjutada testimisprotsesse ETL, kasutades selliseid raamistikke nagu Apache Airflow, <noindex><a rel=\"nofollow\" href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a><\/noindex> v\u00f5i hoopis musta kasti pilve t\u00f6\u00f6riistu, nagu <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataprep\">GCP Dataprep<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\">GCP Dataflow<\/a><\/noindex> ja teised. See olukord sunnib testimisinseneri s\u00fcvenema \u00fclaltoodud t\u00f6\u00f6riistade toimimisp\u00f5him\u00f5tetesse ning veelgi t\u00f5husamalt teostama funktsionaalset testimist (n\u00e4iteks projekti olemasolevate ETL-protsesside osas) ja kasutama neid andmete kontrollimiseks. Eriti Apache Airflow'i puhul on juba olemas lihtsalt kasutatavad operaatorid populaarsete anal\u00fc\u00fctiliste andmebaaside, n\u00e4iteks <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\">GCP BigQuery<\/a><\/noindex>. Selle kasutamise k\u00f5ige p\u00f5hjalikum n\u00e4ide on juba esitatud, <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@yuu.ishikawa\/apache-airflow-as-a-data-quality-checker-416ca7f5a3ad\">siin<\/a><\/noindex>seega ei hakka ma uuesti kordama. <\/p>\n<p>Lisaks valmislahendustele ei ole keegi takistanud teid oma meetodite ja t\u00f6\u00f6riistade rakendamisel. See toob kasu mitte ainult projektile, vaid ka iseendale Data Quality Engineer\u2019ina, kes saab seel\u00e4bi arendada oma tehnilisi teadmisi ja programmeerimisoskusi. <\/p>\n<h3>Kuidas see tegelikus projektis t\u00f6\u00f6tab<\/h3>\n<p>\nHea illustratsioon \u00fclaltoodud l\u00f5ikude kohta 'data chain', ETL ja k\u00f5ikjalolevatest kontrollidest on j\u00e4rgmine protsess \u00fchelt reaalsest projektist: <\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/4a4cd3043b584bb3fbce4b9c3021e9f6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSiin saab meie s\u00fcsteemi sisendisse erinevad andmed (loomulikult meie ettevalmistatud): kehtivad, kehtetuks tunnistatud, segatud jne., seej\u00e4rel filtreeritakse need ja saadetakse vahehoidlasse, seej\u00e4rel ootavad neid taas mitmed muudatused ja paigutatakse l\u00f5pphoidlasse, kust omakorda tehakse anal\u00fc\u00fcs, andmete vitriinide koostamine ja \u00e4riliste teadlikkuste otsimine. Sellises s\u00fcsteemis, kontrollimata ETL-protsesside funktsionaalsust, keskendume andmete kvaliteedile enne ja p\u00e4rast muudatusi, samuti anal\u00fc\u00fcsi v\u00e4ljundis. <\/p>\n<p>Kokkuv\u00f5ttes, olenemata kohtadest, kus olen t\u00f6\u00f6tanud, olin igal pool kaasatud Data-projektidesse, mis \u00fchendasid j\u00e4rgmised omadused: <\/p>\n<ul>\n<li>Automatiseerimise kaudu on v\u00f5imalik testida teatud juhtumeid ja saavutada \u00e4ri jaoks vastuv\u00f5etav vabastamists\u00fckkel. <\/li>\n<li>Sellise projekti testija on \u00fcks austatumaid meeskonna liikmeid, sest ta toob iga\u00fchele tohutut v\u00e4\u00e4rtust (testimise kiirus, head andmed andmete teadlase jaoks, defektide avastamine varaste etappide jooksul). <\/li>\n<li>Oluline pole, kas t\u00f6\u00f6tate oma riistvaraga v\u00f5i pilves \u2014 k\u00f5ik ressursid on abstraktsioonitud Hortonworksi, Cloudera, Mesos, Kubernetes jne t\u00fc\u00fcpi klastrisse. <\/li>\n<li>Projektid on \u00fcles ehitatud mikroteenuste p\u00f5him\u00f5ttele, kus domineerivad jaotatud ja paralleelsed arvutused. <\/li>\n<\/ul>\n<p>\nTahan r\u00f5hutada, et andmekvaliteedi testimisega tegeledes suunab testimisspetsialist oma professionaalse fookuse toote koodile ja kasutatavatele t\u00f6\u00f6riistadele. <\/p>\n<h3>Andmekvaliteedi testimise erip\u00e4ra<\/h3>\n<p>\nLisaks olen v\u00e4lja toonud j\u00e4rgmised (\u00fcsna \u00fcldised ja eranditult subjektiivsed) iseloomulikud jooned andmetest (suured andmed) projektides (s\u00fcsteemides) ja teistes valdkondades: <\/p>\n<p><img decoding=\"async\" alt=\"Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8df52fbae2998e70755bf84e254db83e.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h2>Kasulikud lingid<\/h2>\n<p><\/p>\n<ol>\n<li>Teooria: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/DAMA-DMBOK-Data-Management-Body-Knowledge\/dp\/1634622340\">DAMA-DMBOK: Andmehalduse teadmiste alus: 2. v\u00e4ljaanne<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/training.ru\/#!\/Home?lang=ru\">Koolituscenter<\/a><\/noindex>&nbsp;EPAM&nbsp;<\/li>\n<li>\u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u044b\u0435&nbsp;\u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b&nbsp;\u0434\u043b\u044f&nbsp;\u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0435\u0433\u043e&nbsp;Data&nbsp;Quality&nbsp;\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430:\n<ol>\n<li>\u0411\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u043a\u0443\u0440\u0441 \u043d\u0430&nbsp;Stepik:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/551\/syllabus\">Sissejuhatus andmebaasidesse<\/a><\/noindex>.&nbsp;<\/li>\n<li>\u041a\u0443\u0440\u0441&nbsp;\u043d\u0430&nbsp;LinkedIn Learning:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/www.linkedin.com\/learning\/data-science-foundations-data-engineering\/welcome\">Andmete teaduse p\u00f5hialused: Andmeinsenerimine<\/a><\/noindex>.<\/li>\n<li>Artiklid:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.stickyminds.com\/article\/business-intelligence-and-data-quality\">\u00c4riintelligentsus ja andmekvaliteet<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datagaps.com\/concepts\/etl-testing\">ETL testimine<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/panoply.io\/analytics-stack-guide\/data-profiling-best-practices\">Mis on andmetest repotereerimine? Protsess, parimad praktikad ja t\u00f6\u00f6riistad<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.guru99.com\/software-testing-test-data.html\">Testandmete genereerimine: Mis see on, kuidas ja n\u00e4ide, t\u00f6\u00f6riistad;&nbsp;<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.testbytes.net\/blog\/5-test-data-generation-techniques-to-know\">5 testandmete genereerimise tehnikat, millest peate teadma.<\/a><\/noindex>&nbsp;<\/li>\n<\/ul>\n<\/li>\n<li>Video:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=HWaBdqmTqEA\">Andmekvaliteedi m\u00f5isted | Andmekvaliteedi \u00f5petus | Andmete ladustamise \u00f5petus<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=avDqzhuHFkw\">Andmete repotereerimine SSIS'i abil<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=r7SF5WldITk\">Andmete repotereerimine ja voogude t\u00f6\u00f6tlemine Spark'iga.<\/a><\/noindex><\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<p><\/p>\n<h2>Kokkuv\u00f5te<\/h2>\n<p>\n<b>Data Quality<\/b> \u2014 see on v\u00e4ga noor ja perspektiivikas suund, mille osaks olemine t\u00e4hendab osalemist mingisuguses stardil. Sisenedes andmekvaliteeti, sukeldute te suurde hulka kaasaegsetesse n\u00f5utud tehnoloogiatesse, kuid k\u00f5ige t\u00e4htsam \u2014 avanevad ees teile suured v\u00f5imalused oma ideede genereerimiseks ja elluviimiseks. Saate rakendada pideva t\u00e4iustamise l\u00e4henemist mitte ainult projektis, vaid ka enda jaoks, arenedes pidevalt spetsialistina.<br \/>\n<br \/>Allikas: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/epam_systems\/blog\/495478\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":77181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-77180","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"et_EE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Suurte ja v\u00e4ikeste andmete testija: trendid, teooria, minu lugu | ProHoster","description":"Tere k\u00f5igile, minu nimi on Aleksander ja ma olen andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega. Selles artiklis r\u00e4\u00e4gin, kuidas ma sinnapoole j\u00f5udsin ja miks 2020. aastal osutus see testimise suund k\u00f5rgeks laineks. \u00dclemaailmne trend T\u00e4nap\u00e4eva maailm elab l\u00e4bi uue tehnoloogilise revolutsiooni, mille \u00fcheks aspektiks on","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-04-08T11:42:32+00:00","article:modified_time":"2020-04-08T11:42:32+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"77180","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:22:32","updated":"2022-10-03 00:36:00"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/77180","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=77180"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/77180\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/77181"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=77180"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=77180"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=77180"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}