{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Tere, minu nimi on Aleksandr ja olen andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega. Selles artiklis r\u00e4\u00e4gin, kuidas ma selleni j\u00f5udsin ja miks on 2020. aastal see testimise suundumine saavutanud tipu. <\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/0691d5a78bcbc8f4f102eafbbef20c0a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Maailma trend <\/h2>\n<p>\nT\u00e4nap\u00e4evane maailm kogeb j\u00e4rjekordset tehnoloogilist revolutsiooni, mille \u00fcheks aspektiks on ettev\u00f5tete andmete kasutamine oma m\u00fc\u00fcgivihjade, kasumi ja PR-i edendamiseks. Tundub, et just kvaliteetsete andmete olemasolu ja oskuslikud ajusid, kes suudavad neid rahaks muuta (korrektne t\u00f6\u00f6tlemine, visualiseerimine, masin\u00f5ppemudelite loomine jne), on t\u00e4nap\u00e4eval paljude eduks m\u00e4\u00e4ravaks v\u00f5tmena. Kui 15\u201320 aastat tagasi tegelesid andmete kogumise ja monetiseerimisega peamiselt suured ettev\u00f5tted, siis t\u00e4na on see peaaegu k\u00f5igi m\u00f5istlike ettev\u00f5tete prioriteet. <\/p>\n<p>Seet\u00f5ttu hakkasid paar aastat tagasi k\u00f5ik maailmas t\u00f6\u00f6otsimisele p\u00fchendatud veebilehed \u00fcha enam t\u00e4ituma Data Scientist'ide t\u00f6\u00f6tamisest, kuna k\u00f5ik olid veendunud, et kui nad saavad enda meeskonda sellise spetsialisti, saavad nad ehitada \u00fclipower masin\u00f5ppemudeli, ennustada tulevikku ja saavutada ettev\u00f5tte jaoks \"kvant\u00fcpet\". Aja jooksul m\u00f5istsid inimesed, et selline l\u00e4henemine praktiliselt ei t\u00f6\u00f6ta, kuna kaugelki k\u00f5ik andmed, mis selliste spetsialistide k\u00e4tte satuvad, ei sobi mudelite koolitamiseks. <\/p>\n<p>Ja alustasid k\u00fcsitlused andmete teadlastelt: \u201eOstame veel andmeid nendelt ja nendelt...\u201c, \u201eMeil puuduvad andmed...\u201c, \u201eVajad veel natuke andmeid, eelistatavalt kvaliteetseid...\u201c. Nende p\u00e4ringute p\u00f5hjal hakati looma arvukalt koost\u00f6\u00f6suhteid ettev\u00f5tete vahel, kes omavad teatud andmekogumeid. Loomulikult n\u00f5udis see protsessi tehnilist korraldamist \u2014 andmeallika \u00fchendamine, andmete t\u00f5mbamine, kontrollimine, et need on t\u00e4ielikult laaditud jne. Selliste protsesside arv on kasvanud ja t\u00e4na on meil suured vajadused teist t\u00fc\u00fcpi spetsialistide j\u00e4rele \u2014 andmekvaliteedi inseneride j\u00e4rele \u2014 nende, kes j\u00e4lgivad andmete voogu s\u00fcsteemis (data pipelines), andmete kvaliteeti sisendil ja v\u00e4ljundil, teevad j\u00e4reldusi nende piisavuse, terviklikkuse ja muude omaduste kohta. <\/p>\n<p>Andmed kvaliteedi insenerite trend on tulnud meile Ameerika \u00dchendriikidest, kus kapitalismi \u00f5itseva ajastu tipphetkel ei ole keegi valmis andmete lahingut kaotama. Allpool olen esitanud ekraanipildid kahest k\u00f5ige populaarsemast t\u00f6\u00f6otsingu veebisaidist Ameerikas: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex> ja <noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> \u2014 kus kuup\u00e4eva seisuga 17. m\u00e4rts 2020 on n\u00e4htavad avaldatud t\u00f6\u00f6pakkumiste andmed, kasutades m\u00e4rks\u00f5nu: Andmekvaliteet ja Andmete Teadlane. <\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/www.monster.com\">www.monster.com<\/a><\/noindex><\/p>\n<p>Andmete Teadlastel \u2013 21416 t\u00f6\u00f6pakkumist<br \/>\nAndmekvaliteedil \u2013 41104 t\u00f6\u00f6pakkumist<\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8578f2d1e600791e166ed6e8a7068015.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/3ff69acc3c7e0d649eae0808b1b535be.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/www.dice.com\">www.dice.com<\/a><\/noindex> <\/p>\n<p>Andmete Teadlastel \u2013 404 t\u00f6\u00f6pakkumist<br \/>\nAndmekvaliteedil \u2013 2020 t\u00f6\u00f6pakkumist<\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/b35a9b423ba4bef8736659580e3c281e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/2c29b83bbe2361089de5a0ab65017300.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>\nOn ilmne, et need ametid ei konkureeri omavahel. Ekraanipildid on lihtsalt n\u00e4itlikustus hetkeolukorrast t\u00f6\u00f6turul Andmekvaliteedi inseneride n\u00f5udluses, mida vajatakse praegu oluliselt rohkem kui Andmete Teadlasi. <\/p>\n<p>2019. aasta juunis eraldas EPAM, reageerides kaasaegse IT-turu vajadustele, Andmekvaliteedi valdkonna eraldi praktikaks. Andmekvaliteedi insenerid haldavad oma igap\u00e4evases t\u00f6\u00f6s andmeid, kontrollivad nende k\u00e4itumist uutes tingimustes ja s\u00fcsteemides, j\u00e4lgivad andmete asjakohasust, piisavust ja ajakohasust. Sellega seoses p\u00fchendavad Andmekvaliteedi insenerid praktikas t\u00f5esti veidi aega klassikalisele funktsionaalsele testimisele, <u>KUID<\/u> see s\u00f5ltub suuresti projektist (n\u00e4itena toome edaspidi). <\/p>\n<p>Andmekvaliteedi inseneri kohustused ei piirdu ainult rutiinsete k\u00e4sitsi\/automaatsete kontrollidega \u201enullide, arvu ja summade\u201d osas andmebaasi tabelites, vaid n\u00f5uavad s\u00fcgavat arusaama kliendi \u00e4rivajadustest ja vastavalt oskustest muuta olemasolevad andmed \u00e4riliseks teabeks. <\/p>\n<h2>Andmekvaliteedi teooria<\/h2>\n<p>\n<img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/d920a7a0435d6f3a1eb84fc16221c742.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>Kuna soovime paremini m\u00f5ista sellise inseneri rolli, uurime, mis on Andmekvaliteet teoorias. <\/p>\n<p><b>Andmekvaliteet<\/b> \u2014 on \u00fcks etapp Andmehaldusest (kogu maailm, mille me j\u00e4tame teie iseseivasse uurimist\u00f6\u00f6sse) ja vastutab andmete anal\u00fc\u00fcsi eest j\u00e4rgmiste kriteeriumide j\u00e4rgi: <\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8f5e75bad69e3cb589cc0e1104ad946f.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nM\u00f5tleksin, et pole m\u00f5tet igat punkti lahti seletada (teoorias nimetatakse neid \u00abdata dimensions\u00bb), need on pildil \u00fcsna h\u00e4sti kirjeldatud. Kuid testimise protsess ei eelda nende omaduste rangeid koopiaid testjuhtumitesse ja nende kontrollimist. Andmekvaliteedis, nagu iga teise testimisviisi puhul, on peamine l\u00e4htuda andmekvaliteedi n\u00f5uetest, mis on koosk\u00f5lastatud projekti osalistega, kes teevad \u00e4riotsuseid. <\/p>\n<p><\/p>\n<blockquote><p>S\u00f5ltuvalt projektist v\u00f5ib andmekvaliteedi insener t\u00e4ita erinevaid funktsioone: alates tavalise automatiseeritud testija rollist, kes teeb pinnapealse andmekvaliteedi hindamise, kuni inimeseni, kes viib l\u00e4bi nende s\u00fcgavat profiilimist \u00fclaltoodud omaduste p\u00f5hjal. <\/p><\/blockquote>\n<p>Andmehalduse, andmekvaliteedi ja seotud protsesside v\u00e4ga p\u00f5hjalik kirjeldus on raamatus, mille pealkiri on <i>\u00abDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u00bb<\/i>. Soovitan seda raamatut selle valdkonna sissejuhatuseks (lingi leiate artikli l\u00f5pust).<\/p>\n<h2>Minu lugu<\/h2>\n<p>\nIT-sektoris olen l\u00e4binud teekonna Junior testijast tootmisettev\u00f5tetes kuni Lead Data Quality Engineer'ini ettev\u00f5ttes EPAM. Umbes kahe aasta p\u00e4rast testijana t\u00f6\u00f6tamist olin kindel, et olen teinud k\u00f5iki teste: regressioonitestimine, funktsionaalne testimine, koormustestimine, stabiilsusetestimine, turvatestimine, UI jne \u2014 ja proovinud rohkelt testimist\u00f6\u00f6riistu, t\u00f6\u00f6tades samal ajal kolme programmeerimiskeelega: Java, Scala, Python. <\/p>\n<p><\/p>\n<blockquote><p>Tagasi vaadates m\u00f5istan, miks mu ametioskuste komplekt osutus nii mitmekesiseks \u2014 olen osalenud projektides, mis on seotud andmetega, suurte ja v\u00e4ikeste. Just see viis mind paljude t\u00f6\u00f6riistade ja kasvuv\u00f5imaluste maailma.<\/p><\/blockquote>\n<p>Et hinnata t\u00f6\u00f6riistade ja uute teadmiste ning oskuste saamise v\u00f5imaluste mitmekesisust, piisab, kui vaadata allolevat pilti, kus on kujutatud k\u00f5ige populaarsemaid neist maailmas \u00abData &amp; AI\u00bb.<\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/e3278694195bf59b44055e1eaafd62b1.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nSelliseid illustreerimisi koostab iga-aastaselt \u00fcks tuntud riskikapitalist Matt Turck, kes on p\u00e4rit tarkvaraarenduses. Siin on <noindex><a rel=\"nofollow\" href=\"https:\/\/mattturck.com\">link<\/a><\/noindex> tema blogi ja <noindex><a rel=\"nofollow\" href=\"https:\/\/firstmarkcap.com\/team\/matt-turck\">riskikapitalifirma<\/a><\/noindex>, kus ta t\u00f6\u00f6tab partnerina. <\/p>\n<p>Ma professionaalne areng kiirenes eriti siis, kui olin ainus testija projektis v\u00f5i v\u00e4hemalt projekti alguses. Just sellistel hetkedel pead sa vastutama kogu testimisprotsessi eest ja sul pole v\u00f5imalust taganeda, vaid liikuda edasi. Alguses oli see hirmutav, kuid n\u00fc\u00fcd on mulle selged k\u00f5ik need eelised, mida see proovikivi pakkus: <\/p>\n<ul>\n<li>Sa hakkad suhtlema kogu meeskonnaga nagu kunagi varem, kuna ei ole mingit vahekihti suhtlemiseks: ei ole testihaldurit ega \u00fchtegi teist testijat. <\/li>\n<li>Projektiga s\u00fcvenemine muutub uskumatult s\u00fcgavaks ning sa omandad infot k\u00f5igi komponentide kohta nii \u00fcldiselt kui ka detailselt. <\/li>\n<li>Arendajad ei vaata sind enam kui 'seda t\u00fc\u00fcpi, kes testimises ei tea, millega tegeleb', vaid pigem kui v\u00f5rdsust, kes toob meeskonnale tohutu kasu oma automaatsete testide ja vigade prognoosimisega konkreetse toote osas. <\/li>\n<li>Tulemusena oled sa efektiivsem, kvalifitseeritum ja n\u00f5utum. <\/li>\n<\/ul>\n<p>\nProjektide kasvades olin 100% juhtudest mentoriks uutele testijatele, \u00f5petasin neid ning edastasin teadmisi, mida ise olin \u00f5ppinud. S\u00f5ltuvalt projektist ei saanud ma alati juhtkonnalt k\u00f5rgetasemelisi automaattestimise spetsialiste ning seet\u00f5ttu oli vajadus kas neid automatiseerimist \u00f5petada (neile, kes soovisid) v\u00f5i luua neile t\u00f6\u00f6riistu igap\u00e4evastes tegevustes kasutamiseks (andmete genereerimise ja s\u00fcsteemi laadimise t\u00f6\u00f6riistad, koormustestimise\/stabiilsustestimise t\u00f6\u00f6riist 'kiireks' jms). <\/p>\n<h3>Konkreetse projekti n\u00e4ide<\/h3>\n<p>\nKahjuks ei saa ma konfidentsiaalsusn\u00f5uete t\u00f5ttu projekti kohta \u00fcksikasjalikult r\u00e4\u00e4kida, kuid toon n\u00e4ite t\u00fc\u00fcpilistest Data Quality Engineer'i \u00fclesannetest \u00fches projektis. <\/p>\n<p>Projekti sisu oli luua platvorm andmete ettevalmistamiseks masin\u00f5ppemudelite t\u00f6\u00f6tamiseks. Klient oli suur farmaatsiaettev\u00f5te Ameerika \u00dchendriikidest. Tehniliselt oli tegemist klastriga <noindex><a rel=\"nofollow\" href=\"https:\/\/kubernetes.io\">Kubernetes<\/a><\/noindex>, mis t\u00f6\u00f6tas <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/ec2\">AWS EC2<\/a><\/noindex> instantsidel, millel olid mitmed mikroteenused ning mille aluseks oli ettev\u00f5tte EPAM avatud l\u00e4htekoodiga projekt \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/legion-platform\/legion\">Legion<\/a><\/noindex>, kohandatud vastavalt konkreetse kliendi vajadustele (praegu on projekt muutunud <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/odahu\/odahu-flow\">odahu<\/a><\/noindex>). ETL-protsessid olid korraldatud abiga <noindex><a rel=\"nofollow\" href=\"https:\/\/airflow.apache.org\">Apache Airflow<\/a><\/noindex> ja ja kanti andmeid <noindex><a rel=\"nofollow\" href=\"https:\/\/www.salesforce.com\">SalesForce<\/a><\/noindex> kliendi s\u00fcsteemist <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/s3\/?nc1=h_ls\">AWS S3<\/a><\/noindex> Buckets. Seej\u00e4rel t\u00f5ukati platvormile konteinerimudel, mis \u00f5ppis viimastest andmetest ja andis REST API kaudu v\u00e4lja ennustusi, mis huvitavad \u00e4ri ja lahendavad konkreetseid \u00fclesandeid. <\/p>\n<p><b>Visuaalselt n\u00e4gi k\u00f5ik v\u00e4lja umbes selline: <\/b><\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/c2de3c1919f3f9ff29147fce09eb14c4.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nAntud projektis oli funktsionaalseid teste piisavalt, arvestades uute funktsioonide arendamise kiirusest ja vajadusest s\u00e4ilitada v\u00e4ljalaske ts\u00fcklite r\u00fctmi (kahe n\u00e4dala sprindid), tuli kohe hakata m\u00f5tlema testimise automatiseerimisele k\u00f5ige kriitilisemate s\u00fcsteemi komponentide osas. Suur osa platvormist, mille aluseks on Kubernetes, oli kaetud automaatsete testidega, mis olid loodud <noindex><a rel=\"nofollow\" href=\"https:\/\/robotframework.org\/\">Robot Framework<\/a><\/noindex> + Python, kuid oli vajalik ka nende hooldamine ja laiendamine. Lisaks, tellija mugavuse huvides, loodi GUI masin\u00f5ppemudelite haldamiseks, mis olid klastrisse paigaldatud, samuti v\u00f5imalus m\u00e4\u00e4rata, kust ja kuhu andmed mudelite koolitamiseks tuleb edastada. See ulatuslik t\u00e4iendus t\u00f5i kaasa automatiseeritud funktsionaalsete kontrollide laienemise, mis suurel m\u00e4\u00e4ral tehti l\u00e4bi REST API kutsed ja v\u00e4ike arv end-2-end UI teste. Umbes selle kuidas kogu see protsess kulges, liitus meiega manuaalne testija, kes tegi suurep\u00e4rast t\u00f6\u00f6d toote versioonide vastuv\u00f5tutestimisel ja suhtlemisel tellijaga j\u00e4rgmise v\u00e4ljaande vastuv\u00f5tmise k\u00fcsimustes. Lisaks, uue spetsialisti tulekuga suutsime dokumenteerida oma t\u00f6\u00f6 ja lisada mitmeid v\u00e4ga olulisi manuaalseid kontrollidest, mida oli raske kohe automatiseerida. <\/p>\n<p>Ja l\u00f5puks, p\u00e4rast seda, kui olime saavutanud stabiilsuse platvormilt ja selle \u00fclemise GUI \u00fcle, alustasime ETL-pipeline'ide ehitamist Apache Airflow DAG-ide abil. Andmete kvaliteedi automaatne kontroll viidi l\u00e4bi spetsiaalsete Airflow DAG-ide kirjutamisega, mis kontrollisid andmeid ETL-protsessi tulemuste alusel. Selle projekti raames oli meil \u00f5nne, ja klient andis meile juurdep\u00e4\u00e4su anon\u00fc\u00fcmsetele andmekogudele, millel me testisime. Kontrollisime andmeid reaga, et need vastaksid t\u00fc\u00fcpidele, et tuvastada puudulikud andmed, \u00fcldine kirje arv enne ja p\u00e4rast, et v\u00f5rrelda ETL-protsessi teostatud muudatusi, sealhulgas agregatsiooni, veergude nimede muutmist jne. Lisaks oli need kontrollid skaleeritud erinevatele andmeallikatele, n\u00e4iteks peaaegu SalesForce, samuti MySQL-le. <\/p>\n<p>L\u00f5plikud andmete kvaliteedi kontrollid viidi l\u00e4bi juba S3 tasemel, kus need olid salvestatud ja valmis kasutamiseks masin\u00f5ppe mudelite koolitamiseks. Andmete saamiseks l\u00f5plikust CSV-failist, mis asub S3 Bucket'is, ja nende valideerimiseks kirjutati kood, kasutades <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/ru\/sdk-for-python\">boto3 klienti<\/a><\/noindex>. <\/p>\n<p>Samuti oli kliendi poolt n\u00f5ue, et osa andmeid salvestatakse \u00fchte S3 Bucket'isse, osa teise. Selleks oli samuti vajalik kirjutada t\u00e4iendavad kontrollid, mis j\u00e4lgisid sellise sortimise t\u00f5husust. <\/p>\n<h3>Kokkuv\u00f5tlik kogemus teistelt projektidelt<\/h3>\n<p>\nN\u00e4ide k\u00f5ige \u00fcldisemast tegevuste loendist andmekvaliteedi insenerile: <\/p>\n<ul>\n<li>Valmistada ette testandmed (kehtivad, mittekehtivad, suured, v\u00e4ikesed) automatiseeritud t\u00f6\u00f6riista kaudu. <\/li>\n<li>Laadida ettevalmistatud andmestik algsesse allikasse ja kontrollida selle kasutusvalmidust. <\/li>\n<li>K\u00e4ivitada ETL-protsessid, et t\u00f6\u00f6delda andmestikku algses andmehoius l\u00f5plikuks v\u00f5i vahepealseks, rakendades kindlat konfiguratsioonide kogumit (kui on v\u00f5imalik seadistada ETL-\u00fclesande jaoks konfigureeritavad parameetrid). <\/li>\n<li>Kinnitama t\u00f6\u00f6deldud ETL-protsessi andmete kvaliteeti ja vastavust \u00e4rin\u00f5uetele. <\/li>\n<\/ul>\n<p>\nPeamine t\u00e4helepanu peab olema suunatud sellele, et andmevoog s\u00fcsteemis oleks mitte ainult \u00fcldiselt toiminud ja l\u00f5puni j\u00f5udnud (mis on funktsionaalset testimist osa), vaid peamiselt andmete kontrollimisele ja valideerimisele, et need vastaksid ootustele, tuvastades anomaaliaid ja muud. <\/p>\n<h3>T\u00f6\u00f6riistad<\/h3>\n<p>\n\u00dcks sellise andmekontrolli tehnikaid v\u00f5ib olla andmeprotsesside igas etapis ahelatest kontrollide organiseerimine, nii nimetatud \"data chain\" \u2014 andmete kontroll allikast kuni l\u00f5ppkasutuse punktini. Selliseid kontrolle rakendatakse enamasti kontrollivate SQL-p\u00e4ringute kirjutamise kaudu. Loomulikult peavad sellised p\u00e4ringud olema v\u00f5imalikult kerged ja kontrollima andmekvaliteedi eraldi osakesi (tabelite metainformatsioon, t\u00fchjad read, NULL-id, s\u00fcntaksivead \u2014 teised vajalikud kontrollitavad atribuudid). <\/p>\n<p>Regressioonitestimise korral, kus kasutatakse juba valmis (muutmata v\u00f5i minimaalselt muudetud) andmekogumeid, v\u00f5ivad automaatkatsetes olla salvestatud juba valmiskujundatud andmete kvaliteedi kontrollimise mallid (ootuste metainformatsiooni tabelite kirjeldused; valikulised objektid, mida v\u00f5ib testi k\u00e4igus juhuslikult valida, jne). <\/p>\n<p>Samuti tuleb testimise k\u00e4igus kirjutada teste ETL-protsesside jaoks, kasutades selliseid raamistikke nagu Apache Airflow, <noindex><a rel=\"nofollow\" href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a><\/noindex> v\u00f5i t\u00e4iesti black-box pilve t\u00f6\u00f6riistu nagu <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataprep\">GCP Dataprep<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/dataflow\">GCP Dataflow<\/a><\/noindex> jne. See olukord sunnib testimise inseneri s\u00fcvenema eespool nimetatud t\u00f6\u00f6riistade toimimisp\u00f5him\u00f5tetesse ja veelgi efektiivsemalt viima l\u00e4bi funktsionaalset testimist (n\u00e4iteks olemasolevate ETL-protsesside testimist projektis) ning kasutama neid andmete kontrollimisel. Eelk\u00f5ige on Apache Airflow jaoks olemas juba valmiskujundatud operaatorid t\u00f6\u00f6tamiseks populaarsete anal\u00fc\u00fctiliste andmebaasidega, n\u00e4iteks <noindex><a rel=\"nofollow\" href=\"https:\/\/cloud.google.com\/bigquery\">GCP BigQuery<\/a><\/noindex>. K\u00f5ige alusm\u00f5te selle kasutamisest on juba v\u00e4lja toodud <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@yuu.ishikawa\/apache-airflow-as-a-data-quality-checker-416ca7f5a3ad\">siit<\/a><\/noindex>, seega ei hakka ma kordama. <\/p>\n<p>Lisaks valmis lahendustele ei keela keegi teil rakendada oma tehnikaid ja t\u00f6\u00f6riistu. See toob kasu mitte ainult projektile, vaid ka Data Quality Engineer'ile, kes seel\u00e4bi arendab oma tehnilist silmaringi ja kodeerimisoskusi. <\/p>\n<h3>Kuidas see reaalses projektis t\u00f6\u00f6tab<\/h3>\n<p>\nHea n\u00e4ide viimaste l\u00f5ikude kohta \"data chain\", ETL ja k\u00f5ikjal esinevate kontrollide osas on j\u00e4rgmine protsess \u00fchest tegelikust projektist: <\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/4a4cd3043b584bb3fbce4b9c3021e9f6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nSiia, meie s\u00fcsteemi sisend \u00abtunnelisse\u00bb, voolab erinev teave (loomulikult meie ette valmistatud): kehtivad, kehtetud, segatud jne, seej\u00e4rel filtreeritakse need ja j\u00f5uavad vahehoidlasse, kus neid ootab veel hulk muudatusi ning nende edasine paigutamine l\u00f5plikku hoidlasse, millest omakorda hakkatakse anal\u00fc\u00fctikat, andmemudelite loomist ja \u00e4rivaatluste leidmist tegema. Sellises s\u00fcsteemis, ETL-protsesside funktsionaalsust kontrollimata, keskendume andmete kvaliteedile enne ja p\u00e4rast muudatusi, samuti anal\u00fc\u00fctika v\u00e4ljundis. <\/p>\n<p>Kokkuv\u00f5ttes v\u00f5ib \u00f6elda, et s\u00f5ltumata kohtadest, kus olen t\u00f6\u00f6tanud, olen igal pool olnud kaasatud andmeprojektidesse, mis omavad j\u00e4rgmisi jooni: <\/p>\n<ul>\n<li>Ainult automatiseerimise kaudu on v\u00f5imalik m\u00f5ningaid juhtumeid kontrollida ja saavutada \u00e4ri jaoks vastuv\u00f5etav v\u00e4ljalaskets\u00fckkel. <\/li>\n<li>Testija sellises projektis on \u00fcks austatumaid meeskonna liikmeid, kuna ta toob igale osalejale suurt kasu (testimise kiirus, head andmed andmeteadlastele, defektide tuvastamine varases etapis). <\/li>\n<li>Ei ole oluline, kas t\u00f6\u00f6tate oma riistvaral v\u00f5i pilves - k\u00f5ik ressursid on abstraktsioonitud Hortonworks, Cloudera, Mesos, Kubernetes jne klastrisse. <\/li>\n<li>Projektid on \u00fcles ehitatud mikroteenuste l\u00e4henemisele, domineerivad jaotatud ja paralleelsed arvutused. <\/li>\n<\/ul>\n<p>\nTahan m\u00e4rkida, et andmekvaliteedi testimisega tegeledes nihutab testija oma professionaalset fookust toote koodile ja kasutatavatele t\u00f6\u00f6riistadele. <\/p>\n<h3>Andmekvaliteedi testimise erip\u00e4rad<\/h3>\n<p>\nKuid olen v\u00e4lja toonud j\u00e4rgmised (v\u00e4lja arvatud, et nad on \u00dcLI\u00dcLDISED ja rangelt subjektiivsed) erip\u00e4rad andmete (Big Data) projektide (s\u00fcsteemide) ja muude valdkondade testimisel: <\/p>\n<p><img decoding=\"async\" alt=\"Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu\" src=\"\/wp-content\/uploads\/2020\/04\/8df52fbae2998e70755bf84e254db83e.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<h2>Kasulikud lingid<\/h2>\n<p><\/p>\n<ol>\n<li>Teooria: <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/DAMA-DMBOK-Data-Management-Body-Knowledge\/dp\/1634622340\">DAMA-DMBOK: Andmehalduse teadmiste kogum: 2. v\u00e4ljaanne<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/training.ru\/#!\/Home?lang=ru\">Koolituscenter<\/a><\/noindex>&nbsp;EPAM&nbsp;<\/li>\n<li>Soovitatavad materjalid algavale andmekvaliteedi insenerile:\n<ol>\n<li>Tasuta kursus Stepik:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/551\/syllabus\">Sissejuhatus andmebaasidesse<\/a><\/noindex>.&nbsp;<\/li>\n<li>Kursus LinkedIn Learning:&nbsp;<noindex><a rel=\"nofollow\" href=\"https:\/\/www.linkedin.com\/learning\/data-science-foundations-data-engineering\/welcome\">Data Science Foundations: Data Engineering<\/a><\/noindex>.<\/li>\n<li>Artiklid:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.stickyminds.com\/article\/business-intelligence-and-data-quality\">Business Intelligence ja Andmekvaliteet<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datagaps.com\/concepts\/etl-testing\">ETL Testimine<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/panoply.io\/analytics-stack-guide\/data-profiling-best-practices\">Mis on Andmeprofii? Protsess, parimad praktikud ja t\u00f6\u00f6riistad<\/a><\/noindex>;&nbsp;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.guru99.com\/software-testing-test-data.html\">Testandmete genereerimine: mis see on, kuidas, n\u00e4ide, t\u00f6\u00f6riistad;&nbsp;<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.testbytes.net\/blog\/5-test-data-generation-techniques-to-know\">5 testandmete genereerimise tehnikat, millest peate teadma.<\/a><\/noindex>&nbsp;<\/li>\n<\/ul>\n<\/li>\n<li>Video:\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=HWaBdqmTqEA\">Andmekvaliteedi kontseptsioonid | Andmekvaliteedi \u00f5petus | Andmete ladustamise \u00f5petus<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=avDqzhuHFkw\">Andmeprofiilimine kasutades SSIS<\/a><\/noindex>;<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=r7SF5WldITk\">Andmete anal\u00fc\u00fcs ja torujuhtmete t\u00f6\u00f6tlemine Sparkiga.<\/a><\/noindex><\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n<p><\/p>\n<h2>Kokkuv\u00f5te<\/h2>\n<p>\n<b>Andmekvaliteet<\/b> \u2014 see on v\u00e4ga noor perspektiivne valdkond, mille osa olemine t\u00e4hendab olla osa millestki suurest. Sisenedes Andmekvaliteedi maailma, sukeldute kaasaegsete n\u00f5utud tehnoloogiate rohkusesse, kuid mis veelgi olulisem \u2014 avanevad tohutud v\u00f5imalused oma ideede genereerimiseks ja elluviimiseks. Saate rakendada pideva t\u00e4iustamise l\u00e4henemist mitte ainult projektis, vaid ka enda jaoks, arendades pidevalt oma oskusi.<br \/>\n<br \/>Allikas: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/epam_systems\/blog\/495478\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0435\u0447\u044c \u043f\u043e\u0439\u0434\u0451\u0442 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044f \u043a \u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0448\u0451\u043b \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 2020 \u0433\u043e\u0434\u0443 \u044d\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u0433\u0440\u0435\u0431\u043d\u0435 \u0432\u043e\u043b\u043d\u044b. \u041c\u0438\u0440\u043e\u0432\u043e\u0439 \u0442\u0440\u0435\u043d\u0434 \u0421\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u043c\u0438\u0440 \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0432\u043e\u043b\u044e\u0446\u0438\u044e, \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":77181,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-77180","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"et_EE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-04-08T11:42:32+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Suure ja v\u00e4ikese andmete testija: suundumused, teooria, minu lugu | ProHoster","description":"Tere k\u00f5igile, minu nimi on Aleksander ja ma olen Andmekvaliteedi insener, kes tegeleb andmete kvaliteedi kontrollimisega.","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445: \u0442\u0440\u0435\u043d\u0434\u044b, \u0442\u0435\u043e\u0440\u0438\u044f, \u043c\u043e\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442, \u043c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0438 \u044f Data Quality \u0438\u043d\u0436\u0435\u043d\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u0438\u0445 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-04-08T11:42:32+00:00","article:modified_time":"2020-04-08T11:42:32+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"77180","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:22:32","updated":"2022-10-03 00:36:00","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/77180","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=77180"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/77180\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/77181"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=77180"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=77180"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=77180"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}