{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester af store og sm\u00e5 data: trends, teori, min historie","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hej alle sammen, jeg hedder Alexander, og jeg er Data Quality-engineer, der arbejder med at kontrollere data for kvalitet. I denne artikel vil jeg fort\u00e6lle om, hvordan jeg kom hertil, og hvorfor denne testretning i 2020 blev meget popul\u00e6r. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Global trend <\/h2>\n

\nDen moderne verden oplever endnu en teknologisk revolution, hvor et af aspekterne er brugen af de indsamlende data af forskellige virksomheder til at fremme deres salgs- og PR-motor. Det ser ud til, at tilstedev\u00e6relsen af gode (kvalitets) data samt dygtige hjerner, der kan udnytte dem til at skabe v\u00e6rdi (behandle dem korrekt, visualisere, bygge maskinl\u00e6ringsmodeller osv.), er blevet n\u00f8glen til succes for mange i dag. For 15-20 \u00e5r siden var det hovedsageligt st\u00f8rre virksomheder, der var besk\u00e6ftiget med indsamling og monetisering af data, men i dag er det en opgave for n\u00e6sten alle fornuftige virksomheder. <\/p>\n

Som f\u00f8lge heraf blev alle jobportaler verden over for et par \u00e5r siden oversv\u00f8mmet med stillingsopslag for Data Scientists, da alle var overbevist om, at ved at ans\u00e6tte en s\u00e5dan specialist kunne de bygge en supermodel for maskinl\u00e6ring, forudsige fremtiden og skabe et \"kvantespring\" for virksomheden. Med tiden inds\u00e5 folk, at denne tilgang n\u00e6sten ingen steder fungerer, da langt fra alle data, der n\u00e5r h\u00e6nderne p\u00e5 denne slags specialister, er egnede til at tr\u00e6ne modeller. <\/p>\n

Og begyndte foresp\u00f8rgslerne fra Data Scientists: \u00abLad os k\u00f8be flere data fra disse og disse...\u00bb, \u00abVi mangler data...\u00bb, \u00abVi har brug for lidt flere data, og gerne af h\u00f8j kvalitet...\u00bb. Baseret p\u00e5 disse foresp\u00f8rgsler begyndte der at opst\u00e5 talrige interaktioner mellem virksomheder, der ejer forskellige datas\u00e6t. Naturligvis kr\u00e6vede det teknisk organisering af denne proces \u2014 at oprette forbindelse til datakilden, hente dem, kontrollere at de er indl\u00e6st i fuldt omfang osv. Antallet af s\u00e5danne processer er steget, og i dag har vi en enorm behov for en anden type specialister \u2014 Data Quality ingeni\u00f8rer \u2014 dem, der overv\u00e5ger datastreamet i systemet (data pipelines), kvaliteten af dataene i indgangen og udgangen, og drager konklusioner om deres tilstr\u00e6kkelighed, integritet og andre karakteristika. <\/p>\n

Trenden med Data Quality ingeni\u00f8rer kommer til os fra USA, hvor ingen er klar til at tabe kampen om data i midten af den rasende kapitalisme. Nedenfor har jeg pr\u00e6senteret sk\u00e6rmbilleder fra to af de mest popul\u00e6re job portals i USA: www.monster.com<\/a><\/noindex> og www.dice.com<\/a><\/noindex> \u2014 hvor data er vist pr. 17. marts 2020 for antallet af opsl\u00e5ede job med n\u00f8gleordene: Data Quality og Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 job
\nData Quality \u2013 41104 job<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 job
\nData Quality \u2013 2020 job<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nDet er tydeligt, at disse professioner p\u00e5 ingen m\u00e5de konkurrerer med hinanden. Med sk\u00e6rmbillederne ville jeg blot illustrere den nuv\u00e6rende situation p\u00e5 arbejdsmarkedet i forhold til eftersp\u00f8rgslen p\u00e5 Data Quality ingeni\u00f8rer, som der nu er meget st\u00f8rre behov for end Data Scientists. <\/p>\n

I juni 2019 etablerede EPAM, som reaktion p\u00e5 behovene p\u00e5 det moderne IT-marked, Data Quality som en separat praksis. Data Quality ingeni\u00f8rer h\u00e5ndterer dagligt data, tester deres opf\u00f8rsel i nye forhold og systemer, samt kontrollerer dataenes relevans, tilstr\u00e6kkelighed og aktualitet. I praktisk forstand dedikerer Data Quality ingeni\u00f8rer dog faktisk lidt tid til klassisk funktionel testning, MEN<\/u> det afh\u00e6nger i h\u00f8j grad af projektet (jeg vil give et eksempel senere). <\/p>\n

Data Quality ingeni\u00f8rens ansvar begr\u00e6nser sig ikke kun til rutinem\u00e6ssige manuelle\/automatiske kontroller af \"nulls, count og sums\" i databaser, men kr\u00e6ver en dyb forst\u00e5else af kundens forretningsbehov og evnen til at transformere eksisterende data til brugbar forretningsinformation. <\/p>\n

Teori om Data Quality<\/h2>\n

\n\"Tester<\/p>\n

For at f\u00e5 et fuldt billede af rollen som en s\u00e5dan ingeni\u00f8r, lad os unders\u00f8ge, hvad Data Quality er i teorien. <\/p>\n

Data Quality<\/b> \u2014 er et af stadierne i Data Management (en hel verden, som vi lader dig udforske p\u00e5 egen h\u00e5nd) og omhandler analyse af data ud fra f\u00f8lgende kriterier: <\/p>\n

\"Tester
\nJeg tror ikke, det er n\u00f8dvendigt at dechiffrere hvert enkelt punkt (i teorien kaldes de \"data dimensions\"); de er ganske godt beskrevet p\u00e5 billedet. Men selve testprocessen foruds\u00e6tter ikke en striks kopi af disse karakteristika i testcases og deres validering. Inden for Data Quality, som i enhver anden type testning, er det prim\u00e6rt n\u00f8dvendigt at basere sig p\u00e5 kravene til datakvalitet, som er aftalt med deltagerne i projektet, der tr\u00e6ffer forretningsbeslutninger. <\/p>\n

<\/p>\n

Afh\u00e6ngigt af projektet kan en Data Quality-ingeni\u00f8r udf\u00f8re forskellige funktioner: fra en almindelig automatiseringstestere med en overfladisk vurdering af datakvaliteten til en person, der udf\u00f8rer en dybdeg\u00e5ende profilering af dem i henhold til de n\u00e6vnte karakteristika. <\/p><\/blockquote>\n

Meget detaljeret beskrivelse af processerne inden for Data Management, Data Quality og besl\u00e6gtede emner er fremragende beskrevet i bogen ved navn \u00abDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u00bb<\/i>. Jeg anbefaler st\u00e6rkt denne bog som en introduktion til emnet (linket til den finder du i slutningen af artiklen).<\/p>\n

Min historie<\/h2>\n

\nI IT-branchen har jeg bev\u00e6get mig fra Junior tester i produktvirksomheder til Lead Data Quality Engineer hos EPAM. Efter omkring to \u00e5rs arbejde som tester havde jeg en fast overbevisning om, at jeg havde udf\u00f8rt alle former for testning: regression, funktionel, stresstest, stabilitet, sikkerhed, UI osv. \u2014 og pr\u00f8vet et stort antal testv\u00e6rkt\u00f8jer, mens jeg har arbejdet med tre programmeringssprog: Java, Scala, Python. <\/p>\n

<\/p>\n

N\u00e5r jeg ser tilbage, forst\u00e5r jeg, hvorfor mit f\u00e6rdighedss\u00e6t har v\u00e6ret s\u00e5 forskelligt \u2014 jeg har deltaget i projekter, der involverer arbejde med data, b\u00e5de store og sm\u00e5. Det var netop dette, der bragte mig ind i en verden af mange v\u00e6rkt\u00f8jer og muligheder for v\u00e6kst.<\/p><\/blockquote>\n

For at vurdere mangfoldigheden af v\u00e6rkt\u00f8jer og muligheder for at opn\u00e5 ny viden og f\u00e6rdigheder er det tilstr\u00e6kkeligt blot at se p\u00e5 billedet nedenfor, som viser de mest popul\u00e6re af dem i verden af \"Data & AI\".<\/p>\n

\"Tester
\nDenne slags illustrationer laves \u00e5rligt af en kendt venturekapitalist Matt Turck, der kommer fra softwareudvikling. Her er link<\/a><\/noindex> hans blog og virksomheden for venturekapital<\/a><\/noindex>, hvor han arbejder som partner. <\/p>\n

Jeg udviklede mig is\u00e6r hurtigt, da jeg var den eneste tester p\u00e5 projektet, eller i det mindste i starten af projektet. I s\u00e5danne situationer er man ansvarlig for hele testprocessen, og man har ikke mulighed for at tr\u00e6kke sig tilbage, kun at g\u00e5 fremad. I begyndelsen var det skr\u00e6mmende, men nu ser jeg klart alle fordelene ved denne udfordring: <\/p>\n