{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester de date mari \u0219i mici: tendin\u021be, teorie, povestea mea","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Salut tuturor, numele meu este Alexander \u0219i sunt inginer \u00een calitatea datelor, ocup\u00e2ndu-m\u0103 cu verificarea calit\u0103\u021bii datelor. \u00cen acest articol voi vorbi despre cum am ajuns aici \u0219i de ce, \u00een 2020, aceast\u0103 direc\u021bie de testare s-a dovedit a fi pe val. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Tendin\u021ba global\u0103 <\/h2>\n

\nLumea de ast\u0103zi tr\u0103ie\u0219te o nou\u0103 revolu\u021bie tehnologic\u0103, unul dintre aspectele c\u0103reia este utilizarea de c\u0103tre diverse companii a datelor acumulate pentru a-\u0219i impulsiona v\u00e2nz\u0103rile, profiturile \u0219i imaginea public\u0103. Se pare c\u0103 dispunerea de date de calitate \u0219i de min\u021bi capabile s\u0103 transforme aceste date \u00een bani (prin procesare corect\u0103, vizualizare, construirea de modele de \u00eenv\u0103\u021bare automat\u0103 etc.) a devenit cheia succesului pentru multe dintre acestea. Dac\u0103 acum 15-20 de ani, lucrul intens cu acumularea \u0219i monetizarea datelor era apanajul \u00een principal al companiilor mari, ast\u0103zi aceasta este o preocupare comun\u0103 pentru aproape to\u021bi cei care g\u00e2ndesc ra\u021bional. <\/p>\n

\u00cen acest context, acum c\u00e2\u021biva ani, toate portalurile dedicate c\u0103ut\u0103rii de locuri de munc\u0103 din \u00eentreaga lume au fost inundate cu anun\u021buri pentru Data Scientists, deoarece toat\u0103 lumea era convins\u0103 c\u0103, angaj\u00e2nd un astfel de specialist, se poate construi un supermodel de \u00eenv\u0103\u021bare automat\u0103, prezic\u00e2nd viitorul \u0219i realiz\u00e2nd un 'salt cuantic' pentru companie. Cu timpul, oamenii au \u00een\u021beles c\u0103 aceast\u0103 abordare func\u021bioneaz\u0103 foarte rar, deoarece nu toate datele care ajung \u00een m\u00e2inile acestor speciali\u0219ti sunt adecvate pentru antrenarea modelelor. <\/p>\n

\u0218i au \u00eenceput cererile din partea Data Scientists: \u201eS\u0103 cump\u0103r\u0103m mai multe date de la ace\u0219tia \u0219i aceia...\u201d, \u201eNe lipsesc datele...\u201d, \u201eAvem nevoie de pu\u021bin mai multe date, iar acestea trebuie s\u0103 fie de calitate...\u201d. Pe baza acestor cereri, s-au construit numeroase interac\u021biuni \u00eentre companiile care de\u021bin diverse seturi de date. Fire\u0219te, aceasta a necesitat o organizare tehnic\u0103 a procesului \u2014 conectare la sursa de date, extragerea acestora, verificarea c\u0103 au fost \u00eenc\u0103rcate complet etc. Num\u0103rul acestor procese a crescut, iar \u00een prezent avem o cerere uria\u0219\u0103 pentru alt tip de speciali\u0219ti \u2014 inginerii de Data Quality \u2014 cei care monitorizau fluxul de date \u00een sistem (data pipelines), calitatea datelor la intrare \u0219i ie\u0219ire, \u0219i tr\u0103geau concluzii despre suficien\u021ba, integritatea \u0219i alte caracteristici ale acestora. <\/p>\n

Trendul inginerilor de Data Quality a venit la noi din SUA, unde, \u00een plina er\u0103 a capitalismului, nimeni nu este dispus s\u0103 piard\u0103 b\u0103t\u0103lia pentru date. Mai jos am inclus capturi de ecran de pe dou\u0103 dintre cele mai populare site-uri de c\u0103utare a locurilor de munc\u0103 din SUA: www.monster.com<\/a><\/noindex> \u0219i www.dice.com<\/a><\/noindex> \u2014 pe care sunt afi\u0219ate datele la 17 martie 2020 despre num\u0103rul locurilor de munc\u0103 publicate, ob\u021binute folosind cuvintele cheie: Data Quality \u0219i Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 locuri de munc\u0103
\nData Quality \u2013 41104 locuri de munc\u0103<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 locuri de munc\u0103
\nData Quality \u2013 2020 locuri de munc\u0103<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nEste evident c\u0103 aceste profesii nu concurent \u00eentre ele. Capturile de ecran le-am folosit doar pentru a ilustra situa\u021bia actual\u0103 pe pia\u021ba muncii \u00een ceea ce prive\u0219te cererea pentru inginerii de Data Quality, care sunt acum solicita\u021bi mult mai mult dec\u00e2t Data Scientists. <\/p>\n

\u00cen iunie 2019, EPAM, r\u0103spunz\u00e2nd nevoilor pie\u021bei IT moderne, a \u00eenfiin\u021bat Data Quality ca o practic\u0103 separat\u0103. Inginerii de Data Quality, \u00een cadrul activit\u0103\u021bii lor zilnice, gestioneaz\u0103 datele, verific\u0103 comportamentul acestora \u00een condi\u021bii \u0219i sisteme noi, monitorizeaz\u0103 relevan\u021ba, suficien\u021ba \u0219i actualitatea datelor. \u00cen acela\u0219i timp, \u00een practic\u0103, inginerii de Data Quality dedic\u0103 \u00eentr-adev\u0103r pu\u021bin timp test\u0103rii func\u021bionale clasice, DAR<\/u> asta depinde foarte mult de proiect (exemplul \u00eel voi oferi mai departe). <\/p>\n

Responsabilit\u0103\u021bile inginerului de Data Quality nu se limiteaz\u0103 doar la verific\u0103ri manuale\/automate de rutin\u0103 pentru \u201enulls, count \u0219i sums\u201d \u00een tabelele DB, ci necesit\u0103 o \u00een\u021belegere profund\u0103 a nevoilor de afaceri ale clientului \u0219i, \u00een consecin\u021b\u0103, capacitatea de a transforma datele disponibile \u00een informa\u021bii de afaceri utile. <\/p>\n

Teoria Data Quality<\/h2>\n

\n\"Tester<\/p>\n

Pentru a \u00een\u021belege pe deplin rolul unui astfel de inginer, haide\u021bi s\u0103 analiz\u0103m ce reprezint\u0103 Data Quality \u00een teorie. <\/p>\n

Data Quality<\/b> \u2014 este unul dintre pa\u0219ii din Data Management (o lume \u00eentreag\u0103, pe care o vom l\u0103sa pentru studiu individual) \u0219i r\u0103spunde de analiza datelor dup\u0103 urm\u0103toarele criterii: <\/p>\n

\"Tester
\nCred c\u0103 nu are sens s\u0103 explic fiecare dintre punctele (teoretic denumite \u201edimensiuni de date\u201d), ele sunt descrise destul de bine \u00een imagine. Totu\u0219i, procesul de testare nu implic\u0103 copierea strict\u0103 a acestor atribute \u00een cazurile de testare \u0219i verificarea lor. \u00cen Calitatea Datelor, ca \u0219i \u00een orice alt tip de testare, trebuie s\u0103 ne baz\u0103m mai \u00eent\u00e2i pe cerin\u021bele de calitate a datelor, convenite cu participan\u021bii la proiect, care iau decizii de afaceri. <\/p>\n

<\/p>\n

\u00cen func\u021bie de proiect, un inginer de Calitate a Datelor poate \u00eendeplini diferite func\u021bii: de la un simplu testator automatizat cu o evaluare superficial\u0103 a calit\u0103\u021bii datelor, p\u00e2n\u0103 la o persoan\u0103 care realizeaz\u0103 profilarea lor detaliat\u0103 pe baza caracteristicilor men\u021bionate mai sus. <\/p><\/blockquote>\n

O descriere foarte detaliat\u0103 a proceselor de Management al Datelor, Calitate a Datelor \u0219i domenii conexe este excelent prezentat\u0103 \u00een cartea intitulat\u0103 \u201eDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u201d<\/i>. Recomand cu c\u0103ldur\u0103 aceast\u0103 carte ca o introducere \u00een acest domeniu (linkul c\u0103tre ea \u00eel ve\u021bi g\u0103si la sf\u00e2r\u0219itul articolului).<\/p>\n

Povestea mea<\/h2>\n

\n\u00cen industria IT, am parcurs un drum de la Junior tester \u00een companii de produse p\u00e2n\u0103 la Lead Data Quality Engineer \u00een compania EPAM. Dup\u0103 aproximativ doi ani de munc\u0103 ca tester, eram ferm convins c\u0103 am realizat absolut toate tipurile de testare: regresiv\u0103, func\u021bional\u0103, de stres, de stabilitate, de securitate, UI etc. \u2014 \u0219i am experimentat o mul\u021bime de instrumente de testare, lucr\u00e2nd totodat\u0103 \u00een trei limbaje de programare: Java, Scala, Python. <\/p>\n

<\/p>\n

Privind \u00eenapoi, \u00een\u021beleg de ce setul meu de abilit\u0103\u021bi profesionale a fost at\u00e2t de divers \u2014 am participat la proiecte legate de manipularea datelor, mari \u0219i mici. Acest lucru m-a adus \u00eentr-o lume plin\u0103 de instrumente \u0219i oportunit\u0103\u021bi de cre\u0219tere.<\/p><\/blockquote>\n

Pentru a aprecia diversitatea instrumentelor \u0219i posibilit\u0103\u021bile de a ob\u021bine noi cuno\u0219tin\u021be \u0219i abilit\u0103\u021bi, este suficient s\u0103 ne uit\u0103m la imaginea de mai jos, care prezint\u0103 cele mai populare dintre ele \u00een domeniul \u201eDate \u0219i AI\u201d.<\/p>\n

\"Tester
\nAstfel de ilustra\u021bii sunt realizate anual de c\u0103tre unul dintre cunoscu\u021bii investitori de capital de risc, Matt Turck, venit din domeniul dezvolt\u0103rii de software. Iat\u0103 linkul<\/a><\/noindex> blogul s\u0103u \u0219i firma de capital de risc<\/a><\/noindex>, unde lucreaz\u0103 ca partener. <\/p>\n

Am crescut profesional extrem de rapid atunci c\u00e2nd am fost singurul tester al proiectului, sau cel pu\u021bin \u00een primele etape ale acestuia. \u00centr-un astfel de moment, trebuie s\u0103 r\u0103spunzi de \u00eentregul proces de testare, iar op\u021biunea de a te retrage nu exist\u0103, trebuie s\u0103 mergi \u00eenainte. La \u00eenceput, acest lucru era \u00eenfrico\u0219\u0103tor, dar acum \u00eemi sunt evidente toate avantajele acestei experien\u021be: <\/p>\n