{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester av stora och sm\u00e5 data: trender, teori, min historia","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hej alla, jag heter Alexander och jag \u00e4r Data Quality-ingenj\u00f6r som ansvarar f\u00f6r att kontrollera datakvaliteten. I den h\u00e4r artikeln kommer jag att ber\u00e4tta hur jag kom hit och varf\u00f6r denna typ av testning blev en trend 2020. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Global trend <\/h2>\n

\nDagens v\u00e4rld genomg\u00e5r en ny teknologisk revolution, d\u00e4r en aspekt \u00e4r anv\u00e4ndningen av insamlad data av olika f\u00f6retag f\u00f6r att driva sina egna f\u00f6rs\u00e4ljningsmaskiner, vinster och PR. Det verkar som att n\u00e4rvaron av bra (kvalitativa) data, tillsammans med skickliga personer som kan tj\u00e4na pengar p\u00e5 dem (bearbeta dem korrekt, visualisera dem, bygga maskininl\u00e4rningsmodeller osv.), har blivit nyckeln till framg\u00e5ng f\u00f6r m\u00e5nga. F\u00f6r 15-20 \u00e5r sedan \u00e4gnade sig fr\u00e4mst stora f\u00f6retag \u00e5t intensivt arbete med att samla in och monetisera data, medan det idag \u00e4r en uppgift f\u00f6r n\u00e4stan alla rationella f\u00f6retag. <\/p>\n

I och med detta b\u00f6rjade f\u00f6r n\u00e5gra \u00e5r sedan alla plattformar f\u00f6r jobbs\u00f6kning runt om i v\u00e4rlden att \u00f6versv\u00e4mmas av annonser f\u00f6r Data Scientists, eftersom alla var \u00f6vertygade om att om de anst\u00e4llde en s\u00e5dan specialist kunde de bygga en supermodell f\u00f6r maskininl\u00e4rning, f\u00f6ruts\u00e4ga framtiden och g\u00f6ra ett \"kvantsteg\" f\u00f6r f\u00f6retaget. Med tiden ins\u00e5g folk att denna metod n\u00e4stan aldrig fungerar, d\u00e5 l\u00e5ngt ifr\u00e5n all data som hamnar i h\u00e4nderna p\u00e5 s\u00e5dana specialister \u00e4r anv\u00e4ndbar f\u00f6r att tr\u00e4na modeller. <\/p>\n

Och f\u00f6rfr\u00e5gningarna fr\u00e5n Data Scientists b\u00f6rjade: \"L\u00e5t oss k\u00f6pa mer data fr\u00e5n dessa och dessa...\", \"Vi har inte tillr\u00e4ckligt med data...\", \"Vi beh\u00f6ver lite mer data och helst av h\u00f6g kvalitet...\". Baserat p\u00e5 dessa f\u00f6rfr\u00e5gningar b\u00f6rjade m\u00e5nga interaktioner mellan f\u00f6retag som \u00e4ger olika upps\u00e4ttningar av data att ta form. Naturligtvis kr\u00e4vde detta en teknisk organisation av processen - att ansluta till datak\u00e4llan, h\u00e4mta dem, kontrollera att de har laddats upp i fullst\u00e4ndig m\u00e4ngd osv. Antalet s\u00e5dana processer har \u00f6kat, och idag har vi f\u00e5tt ett stort behov av en annan typ av specialister - Data Quality-ingenj\u00f6rer - de som skulle \u00f6vervaka fl\u00f6det av data i systemet (data pipelines), kvaliteten p\u00e5 data vid in- och utg\u00e5ng, dra slutsatser om deras tillr\u00e4cklighet, integritet och andra egenskaper. <\/p>\n

Trenden f\u00f6r Data Quality ingenj\u00f6rer har n\u00e5tt oss fr\u00e5n USA, d\u00e4r ingen \u00e4r redo att f\u00f6rlora kampen om data mitt under den p\u00e5g\u00e5ende kapitalismens era. Nedan har jag presenterat sk\u00e4rmdumpar fr\u00e5n tv\u00e5 av de mest popul\u00e4ra jobbs\u00f6kningssajterna i USA: www.monster.com<\/a><\/noindex> och www.dice.com<\/a><\/noindex> \u2014 d\u00e4r data fr\u00e5n den 17 mars 2020 visas, ang\u00e5ende antalet publicerade jobbannonser, baserat p\u00e5 nyckelorden: Data Quality och Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 jobbannonser
\nData Quality \u2013 41104 jobbannonser<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 jobbannonser
\nData Quality \u2013 2020 jobbannonser<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nDet \u00e4r uppenbart att dessa yrken p\u00e5 ingen s\u00e4tt konkurrerar med varandra. Med sk\u00e4rmdumparna ville jag bara illustrera den nuvarande situationen p\u00e5 arbetsmarknaden n\u00e4r det g\u00e4ller efterfr\u00e5gan p\u00e5 Data Quality ingenj\u00f6rer, som just nu beh\u00f6vs mycket mer \u00e4n Data Scientists. <\/p>\n

I juni 2019, som svar p\u00e5 behoven hos den moderna IT-marknaden, inr\u00e4ttade EPAM Data Quality som en separat praktik. Data Quality ingenj\u00f6rer hanterar data i sitt dagliga arbete, testar deras beteende i nya milj\u00f6er och system, och \u00f6vervakar relevansen, tillr\u00e4ckligheten och aktualiteten av data. Samtidigt \u00e4gnar Data Quality ingenj\u00f6rer faktiskt lite tid \u00e5t klassisk funktionell testning, MEN<\/u> detta beror mycket p\u00e5 projektet (ett exempel kommer jag att ge senare). <\/p>\n

Data Quality ingenj\u00f6rers ansvar begr\u00e4nsar sig inte bara till rutinm\u00e4ssiga manuella\/automatiska kontroller av 'nulls, count och sums' i databastabeller, utan kr\u00e4ver en djup f\u00f6rst\u00e5else f\u00f6r kundens aff\u00e4rsbehov och d\u00e4rmed f\u00f6rm\u00e5gan att omvandla befintliga data till nyttig aff\u00e4rsinformation. <\/p>\n

Teorin om Data Quality<\/h2>\n

\n\"Tester<\/p>\n

F\u00f6r att f\u00e5 en s\u00e5 fullst\u00e4ndig bild av rollen f\u00f6r en s\u00e5dan ingenj\u00f6r som m\u00f6jligt, l\u00e5t oss unders\u00f6ka vad Data Quality inneb\u00e4r i teorin. <\/p>\n

Data Quality<\/b> \u2014 en av etapperna i Data Management (en hel v\u00e4rld som vi l\u00e4mnar till er f\u00f6r sj\u00e4lvstudier) och ansvarar f\u00f6r analys av data enligt f\u00f6ljande kriterier: <\/p>\n

\"Tester
\nJag tror inte att det \u00e4r n\u00f6dv\u00e4ndigt att avkoda varje punkt (som i teorin kallas 'data dimensions'); de \u00e4r ganska v\u00e4l beskrivna p\u00e5 bilden. Men sj\u00e4lva testprocessen inneb\u00e4r inte en strikt kopiering av dessa egenskaper till testfallen och deras verifiering. Inom Data Quality, precis som i all annan typ av testning, m\u00e5ste man f\u00f6rst och fr\u00e4mst utg\u00e5 fr\u00e5n de kvalitetskrav som har \u00f6verenskommits med projektets deltagare som fattar aff\u00e4rsbeslut. <\/p>\n

<\/p>\n

Beroende p\u00e5 projektet kan Data Quality-ingenj\u00f6ren utf\u00f6ra olika funktioner: fr\u00e5n en vanlig testautomatiserare med ytlig bed\u00f6mning av datakvalitet, till en person som utf\u00f6r djupg\u00e5ende profilering av dem enligt de ovan n\u00e4mnda egenskaperna. <\/p><\/blockquote>\n

En mycket detaljerad beskrivning av processerna f\u00f6r Data Management, Data Quality och relaterat material \u00e4r v\u00e4l beskrivna i boken med titeln \u2018DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u2019<\/i>. Jag rekommenderar varmt denna bok som en introduktion till \u00e4mnet (l\u00e4nken till den hittar du i slutet av artikeln).<\/p>\n

Min historia<\/h2>\n

\nInom IT-branschen har jag g\u00e5tt fr\u00e5n Junior-testare i produktf\u00f6retag till Lead Data Quality Engineer p\u00e5 EPAM. Redan efter cirka tv\u00e5 \u00e5r som testare hade jag en fast \u00f6vertygelse om att jag hade utf\u00f6rt alla typer av testning: regression, funktionell, stress, stabilitets-, s\u00e4kerhets-, UI osv. - och jag har pr\u00f6vat m\u00e5nga testverktyg, arbetat med tre programmeringsspr\u00e5k: Java, Scala, Python. <\/p>\n

<\/p>\n

N\u00e4r jag ser tillbaka inser jag varf\u00f6r min upps\u00e4ttning professionella f\u00e4rdigheter blev s\u00e5 m\u00e5ngsidig - jag deltog i projekt kopplade till databehandling, stora och sm\u00e5. Just detta ledde mig in i en v\u00e4rld av m\u00e5nga verktyg och m\u00f6jligheter till tillv\u00e4xt.<\/p><\/blockquote>\n

F\u00f6r att bed\u00f6ma m\u00e5ngfalden av verktyg och m\u00f6jligheter till nya kunskaper och f\u00e4rdigheter r\u00e4cker det med att titta p\u00e5 bilden nedan, som visar de mest popul\u00e4ra av dem inom 'Data & AI'.<\/p>\n

\"Tester
\nS\u00e5dana typer av illustrationer sammanst\u00e4lls \u00e5rligen av en k\u00e4nd riskkapitalist, Matt Turck, som kommer fr\u00e5n mjukvaruutveckling. H\u00e4r \u00e4r l\u00e4nk<\/a><\/noindex> hans blogg och riskkapitalbolaget<\/a><\/noindex>, d\u00e4r han arbetar som partner. <\/p>\n

Jag v\u00e4xte s\u00e4rskilt snabbt i min profession n\u00e4r jag var den enda testaren i projektet, eller \u00e5tminstone i b\u00f6rjan av projektet. Just i s\u00e5dana stunder m\u00e5ste man ta ansvar f\u00f6r hela testprocessen, och man har ingen m\u00f6jlighet att backa, bara att g\u00e5 fram\u00e5t. I b\u00f6rjan var det skr\u00e4mmande, men nu ser jag tydligt alla f\u00f6rdelar med en s\u00e5dan pr\u00f6vning: <\/p>\n