{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester velikih i malih podataka: trendovi, teorija, moja pri\u010da","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Bok svima, zovem se Aleksandar i ja sam in\u017eenjer kvalitete podataka koji se bavi provjerom kvalitete podataka. U ovom \u010dlanku govorit \u0107u o tome kako sam do toga do\u0161ao i za\u0161to je u 2020. godini ovo podru\u010dje testiranja do\u0161lo u sredi\u0161te pozornosti. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Globalni trend <\/h2>\n

\nDanas svijet prolazi kroz jo\u0161 jednu tehnolo\u0161ku revoluciju, a jedan od aspekata je na\u010din na koji brojne tvrtke koriste akumulirane podatke za unapre\u0111enje vlastitih prodajnih ciklusa, dobiti i PR-a. \u010cini se da je upravo posjedovanje dobrih (kvalitetnih) podataka, kao i sposobnosti onih koji ih mogu pretvoriti u novac (ispravno obraditi, vizualizirati, izgraditi modele strojnog u\u010denja itd.), postalo klju\u010d uspjeha za mnoge. Dok su se prije 15-20 godina predano radili sakupljanje podataka i njihova monetizacija prvenstveno u velikim tvrtkama, danas je to postalo podru\u010dje gotovo svih razboritih. <\/p>\n

U tom kontekstu, prije nekoliko godina, svi portali posve\u0107eni tra\u017eenju posla \u0161irom svijeta po\u010deli su biti preplavljeni oglasima za pozicije Data Scientist-a, jer su svi vjerovali da zapo\u0161ljavanjem takvog stru\u010dnjaka mogu izgraditi supermodel strojnog u\u010denja, predvidjeti budu\u0107nost i napraviti \"kvantni skok\" za tvrtku. S vremenom su ljudi shvatili da takav pristup gotovo nigdje ne funkcionira, jer nisu svi podaci koje ovakvi stru\u010dnjaci dobiju prikladni za obu\u010davanje modela. <\/p>\n

I po\u010deli su zahtjevi od Data Scientists: \u201eHajde da kupimo jo\u0161 podataka od ovih i onih\u2026\u201d, \u201eNedostaje nam podataka\u2026\u201d, \u201ePotrebno nam je jo\u0161 malo podataka i po\u017eeljno kvalitetnih\u2026\u201d. Na temelju tih zahtjeva po\u010dela su se razvijati brojna me\u0111usobna povezivanja izme\u0111u kompanija koje posjeduju odre\u0111ene skupove podataka. Naravno, to je zahtijevalo tehni\u010dku organizaciju tog procesa \u2014 povezivanje na izvor podataka, preuzimanje istih, provjera da li su u potpunosti u\u010ditani itd. Broj takvih procesa je rastao, i danas imamo ogroman interes za drugim vrstama stru\u010dnjaka \u2014 in\u017eenjerima kvalitete podataka \u2014 onima koji bi pratili protok podataka u sustavu (data pipelines), kvalitetu podataka na ulazu i izlazu, te dono\u0161enje zaklju\u010daka o njihovoj dostatnosti, cjelovitosti i drugim karakteristikama. <\/p>\n

Trend Data Quality in\u017eenjera do\u0161ao je k nama iz SAD-a, gdje u jeku bujne ere kapitalizma nitko nije spreman izgubiti bitku za podatke. Ispod sam prikazao snimke zaslona s dva najpopularnija web mjesta za tra\u017eenje posla u SAD-u: www.monster.com<\/a><\/noindex> i www.dice.com<\/a><\/noindex> \u2014 na kojima su prikazani podaci zaklju\u010dno s 17. o\u017eujka 2020. godine o broju objavljenih radnih mjesta po klju\u010dnim rije\u010dima: Data Quality i Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientist \u2013 21416 radnih mjesta
\nData Quality \u2013 41104 radna mjesta<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientist \u2013 404 radna mjesta
\nData Quality \u2013 2020 radnih mjesta<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nO\u010digledno, ove profesije ni na koji na\u010din ne konkuriraju jedna drugoj. Snimkama zaslona samo sam htio ilustrirati trenutnu situaciju na tr\u017ei\u0161tu rada u vezi s potra\u017enjom za Data Quality in\u017eenjerima, kojih sada ima znatno vi\u0161e nego Data Scientist-a. <\/p>\n

U lipnju 2019. godine, EPAM, reagiraju\u0107i na potrebe modernog IT tr\u017ei\u0161ta, izdvojio je Data Quality kao posebnu praksu. Data Quality in\u017eenjeri u svom svakodnevnom radu upravljaju podacima, provjeravaju njihovo pona\u0161anje u novim uvjetima i sustavima, te kontroliraju relevantnost podataka, njihovu dovoljnost i aktualnost. Ipak, prakti\u010dno gledano, Data Quality in\u017eenjeri zaista malo vremena posve\u0107uju klasi\u010dnom funkcionalnom testiranju, ALI<\/u> to uvelike ovisi o projektu (primjer \u0107u navesti dalje). <\/p>\n

Obveze Data Quality in\u017eenjera ne ograni\u010davaju se samo na rutinske ru\u010dne\/automatske provjere \u201enulls, count i sums\u201c u DB tablicama, ve\u0107 zahtijevaju duboko razumijevanje poslovnih potreba naru\u010ditelja i, prema tome, sposobnost transformiranja postoje\u0107ih podataka u korisne poslovne informacije. <\/p>\n

Teorija Data Quality<\/h2>\n

\n\"Tester<\/p>\n

Kako bismo najbolje razumjeli ulogu takvog in\u017eenjera, razjasnimo \u0161to je Data Quality u teoriji. <\/p>\n

Data Quality<\/b> \u2014 jedna od faza upravljanja podacima (cijeli svijet koji \u0107emo vam ostaviti za samostalno prou\u010davanje) i odgovara za analizu podataka prema sljede\u0107im kriterijima: <\/p>\n

\"Tester
\nMislim da ne treba obja\u0161njavati svaku stavku (teorijski nazivaju se \u201edata dimensions\u201c), one su prili\u010dno dobro opisane na slici. No, sam proces testiranja ne podrazumijeva strogo Kopiranje ovih osobina u testne slu\u010dajeve i njihovu provjeru. U Kvaliteti podataka, kao i u bilo kojem drugom obliku testiranja, potrebno je prvenstveno se oslanjati na zahtjeve za kvalitetu podataka, dogovorene s sudionicima projekta koji donose poslovne odluke. <\/p>\n

<\/p>\n

Ovisno o projektu, in\u017eenjer Kvalitete podataka mo\u017ee obavljati razli\u010dite funkcije: od obi\u010dnog automatiziranog testera s povr\u0161inskom procjenom kvalitete podataka, do osobe koja provodi dubinsko profiliranje prema gore navednim osobinama. <\/p><\/blockquote>\n

Vrlo detaljan opis procesa Upravljanja podacima, Kvalitete podataka i povezanih koncepata izvrsno je opisan u knjizi pod nazivom \u201eDAMA-DMBOK: Body of Knowledge za upravljanje podacima: 2. izdanje\u201c<\/i>. Iskreno preporu\u010dujem ovu knjigu kao uvod u ovu tematiku (link na nju \u0107ete prona\u0107i na kraju \u010dlanka).<\/p>\n

Moja pri\u010da<\/h2>\n

\nU IT industriji pro\u0161ao sam put od Junior testera u produktnim kompanijama do Lead Data Quality Engineera u kompaniji EPAM. Nakon otprilike dvije godine rada kao tester imao sam \u010dvrsto uvjerenje da sam prolazio kroz sve vrste testiranja: regresijsko, funkcionalno, stresno, stabilnosti, sigurnosti, UI itd. \u2014 i isprobao sam veliki broj alata za testiranje, rade\u0107i pritom na tri programska jezika: Java, Scala, Python. <\/p>\n

<\/p>\n

Gledaju\u0107i unatrag, razumijem za\u0161to je moj set profesionalnih vje\u0161tina postao toliko raznolik \u2014 sudjelovao sam u projektima vezanim uz rad s podacima, velikim i malim. Upravo me to dovelo u svijet velikog broja alata i mogu\u0107nosti za rast.<\/p><\/blockquote>\n

Da biste procijenili raznolikost alata i mogu\u0107nosti stjecanja novih znanja i vje\u0161tina, dovoljno je samo pogledati sliku u nastavku, na kojoj su prikazani najpopularniji me\u0111u njima u svijetu \u201ePodaci & AI\u201c.<\/p>\n

\"Tester
\nOve ilustracije sastavlja godi\u0161nje jedan od poznatih rizi\u010dnih kapitalista Matt Turck, biv\u0161i programer. Evo link<\/a><\/noindex> njegovog bloga i tvrtke rizi\u010dnog kapitala<\/a><\/noindex>, gdje radi kao partner. <\/p>\n

Osobito sam brzo napredovao kada sam bio jedini tester na projektu, ili barem na po\u010detku projekta. U tom trenutku mora\u0161 biti odgovoran za cijeli proces testiranja, bez mogu\u0107nosti povla\u010denja, samo naprijed. Isprva je to bilo zastra\u0161uju\u0107e, me\u0111utim sada su mi o\u010diti svi pozitivni aspekti tog iskustva: <\/p>\n