{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester velk\u00fdch a mal\u00fdch dat: trendy, teorie, m\u016fj p\u0159\u00edb\u011bh","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ahoj, jmenuji se Alexandr a jsem in\u017een\u00fdr kvality dat, kter\u00fd se zab\u00fdv\u00e1 kontrolou dat na kvalitu. V tomto \u010dl\u00e1nku se pod\u00edv\u00e1me na to, jak jsem se k tomu dostal a pro\u010d se v roce 2020 uk\u00e1zalo toto odv\u011btv\u00ed testov\u00e1n\u00ed jako kl\u00ed\u010dov\u00e9. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Sv\u011btov\u00fd trend <\/h2>\n

\nDne\u0161n\u00ed sv\u011bt proch\u00e1z\u00ed dal\u0161\u00edm technologick\u00fdm revoluc\u00ed, jej\u00ed\u017e jedn\u00edm z aspekt\u016f je vyu\u017e\u00edv\u00e1n\u00ed akumulovan\u00fdch dat r\u016fzn\u00fdmi spole\u010dnostmi k podpo\u0159e vlastn\u00edho prodeje, zisk\u016f a PR. Zd\u00e1 se, \u017ee pr\u00e1v\u011b dostupnost kvalitn\u00edch dat a schopn\u00fdch mozk\u016f, kter\u00e9 z nich dok\u00e1\u017eou ud\u011blat pen\u00edze (spr\u00e1vn\u011b je zpracovat, vizualizovat, vytvo\u0159it modely strojov\u00e9ho u\u010den\u00ed atd.), jsou dnes kl\u00ed\u010dem k \u00fasp\u011bchu pro mnoh\u00e9. Zat\u00edmco p\u0159ed 15-20 lety se intenzivn\u00ed pr\u00e1ce na akumulaci a monetizaci dat soust\u0159edila hlavn\u011b na velk\u00e9 firmy, dnes je to v\u00fdsadou t\u00e9m\u011b\u0159 v\u0161ech rozumn\u00fdch subjekt\u016f. <\/p>\n

Vzhledem k tomu p\u0159ed n\u011bkolika lety v\u0161echny port\u00e1ly v\u011bnovan\u00e9 hled\u00e1n\u00ed pr\u00e1ce po cel\u00e9m sv\u011bt\u011b za\u010daly p\u0159et\u00e9k\u00e1n\u00edm nab\u00eddkami na pozice Data Scientist, proto\u017ee v\u0161ichni byli p\u0159esv\u011bd\u010deni, \u017ee pokud maj\u00ed ve sv\u00e9m t\u00fdmu takov\u00e9ho specialistu, mohou vytvo\u0159it supermodel strojov\u00e9ho u\u010den\u00ed, p\u0159edpov\u011bd\u011bt budoucnost a ud\u011blat \"kvantov\u00fd skok\" pro firmu. Postupem \u010dasu lid\u00e9 pochopili, \u017ee tento p\u0159\u00edstup t\u00e9m\u011b\u0159 nikde nefunguje, proto\u017ee ne v\u0161echna data, kter\u00e1 se dostanou do rukou t\u011bchto specialist\u016f, jsou vhodn\u00e1 pro tr\u00e9nink model\u016f. <\/p>\n

A za\u010daly p\u0159ich\u00e1zet \u017e\u00e1dosti od datov\u00fdch v\u011bdc\u016f: \u201eKupme si je\u0161t\u011b v\u00edce dat od t\u011bch a t\u011bch...\u201c, \u201ePot\u0159ebujeme v\u00edce dat...\u201c, \u201eJe t\u0159eba je\u0161t\u011b trochu dat, a pokud mo\u017eno kvalitn\u00edch...\u201c. Na z\u00e1klad\u011b t\u011bchto \u017e\u00e1dost\u00ed se za\u010dalo vytv\u00e1\u0159et mno\u017estv\u00ed interakc\u00ed mezi firmami, kter\u00e9 vlastn\u00ed r\u016fzn\u00e9 datov\u00e9 sady. To samoz\u0159ejm\u011b vy\u017eadovalo technickou organizaci tohoto procesu \u2014 p\u0159ipojen\u00ed k datov\u00e9mu zdroji, sta\u017een\u00ed dat, ov\u011b\u0159en\u00ed, \u017ee jsou na\u010dtena v pln\u00e9m rozsahu atd. Po\u010det takov\u00fdch proces\u016f vzrostl, a dnes m\u00e1me obrovskou pot\u0159ebu specialist\u016f jin\u00e9ho druhu \u2014 in\u017een\u00fdr\u016f kvality dat \u2014 t\u011bch, kte\u0159\u00ed dohl\u00ed\u017eej\u00ed na tok dat v syst\u00e9mu (datov\u00e9 kan\u00e1ly), na kvalitu dat na vstupu a v\u00fdstupu, a d\u011blaj\u00ed z\u00e1v\u011bry o jejich dostate\u010dnosti, celistvosti a dal\u0161\u00edch charakteristik\u00e1ch. <\/p>\n

Trend kvality datov\u00fdch in\u017een\u00fdr\u016f k n\u00e1m p\u0159i\u0161el ze Spojen\u00fdch st\u00e1t\u016f, kde v bou\u0159liv\u00e9 \u00e9\u0159e kapitalismu nikdo nen\u00ed p\u0159ipraven prohr\u00e1t bitvu o data. N\u00ed\u017ee jsem uvedl screenshoty z dvou nejpopul\u00e1rn\u011bj\u0161\u00edch pracovn\u00edch port\u00e1l\u016f v USA: www.monster.com<\/a><\/noindex> a www.dice.com<\/a><\/noindex> \u2014 na kter\u00fdch jsou zobrazeny \u00fadaje k 17. b\u0159eznu 2020 o po\u010dtu vyhl\u00e1\u0161en\u00fdch pracovn\u00edch pozic podle kl\u00ed\u010dov\u00fdch slov: Data Quality a Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21,416 pracovn\u00edch pozic
\nData Quality \u2013 41,104 pracovn\u00edch pozic<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 pracovn\u00edch pozic
\nData Quality \u2013 2,020 pracovn\u00edch pozic<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nJe z\u0159ejm\u00e9, \u017ee tyto profese si navz\u00e1jem nekonkuruj\u00ed. Screenshoty jsem cht\u011bl pouze ilustrovat aktu\u00e1ln\u00ed situaci na trhu pr\u00e1ce, pokud jde o popt\u00e1vku po in\u017een\u00fdrech kvality dat, kter\u00fdch je nyn\u00ed v\u00fdrazn\u011b v\u00edce ne\u017e po Data Scientists. <\/p>\n

V \u010dervnu 2019 spole\u010dnost EPAM, reaguj\u00edc na pot\u0159eby modern\u00edho IT trhu, vy\u010dlenila Data Quality jako samostatnou praxi. Data Quality in\u017een\u00fd\u0159i ve sv\u00e9 ka\u017edodenn\u00ed pr\u00e1ci spravuj\u00ed data, kontroluj\u00ed jejich chov\u00e1n\u00ed v nov\u00fdch podm\u00ednk\u00e1ch a syst\u00e9mech, monitoruj\u00ed relevanci dat, jejich dostate\u010dnost a aktu\u00e1lnost. P\u0159esto\u017ee v praktick\u00e9m smyslu se Data Quality in\u017een\u00fd\u0159i skute\u010dn\u011b v\u011bnuj\u00ed klasick\u00e9mu funk\u010dn\u00edmu testov\u00e1n\u00ed pouze m\u00e1lo, NE<\/u> co\u017e siln\u011b z\u00e1vis\u00ed na projektu (p\u0159\u00edklad uvedu d\u00e1le). <\/p>\n

Povinnosti Data Quality in\u017een\u00fdra se neomezuj\u00ed pouze na rutinn\u00ed manu\u00e1ln\u00ed\/automatick\u00e9 kontroly na \u201enulls, count a sums\u201c v datab\u00e1zov\u00fdch tabulk\u00e1ch, ale vy\u017eaduj\u00ed hlubok\u00e9 pochopen\u00ed obchodn\u00edch pot\u0159eb klienta a odpov\u00eddaj\u00edc\u00edm zp\u016fsobem schopnosti transformovat dostupn\u00e1 data na u\u017eite\u010dn\u00e9 obchodn\u00ed informace. <\/p>\n

Teorie kvality dat<\/h2>\n

\n\"Tester<\/p>\n

Abychom si co nejl\u00e9pe p\u0159edstavili roli takov\u00e9ho in\u017een\u00fdra, poj\u010fme si objasnit, co vlastn\u011b kvalitn\u00ed data v teorii znamenaj\u00ed. <\/p>\n

Kvalita dat<\/b> \u2014 je jedn\u00edm z krok\u016f spr\u00e1vy dat (cel\u00fd sv\u011bt, kter\u00fd v\u00e1m ponech\u00e1me na samostatn\u00e9 studium) a zodpov\u00edd\u00e1 za anal\u00fdzu dat podle n\u00e1sleduj\u00edc\u00edch krit\u00e9ri\u00ed: <\/p>\n

\"Tester
\nMysl\u00edm, \u017ee nen\u00ed pot\u0159eba rozeb\u00edrat ka\u017ed\u00fd z bod\u016f (v teorii se naz\u00fdvaj\u00ed \u201edata dimensions\u201c), jsou dob\u0159e pops\u00e1ny na obr\u00e1zku. Av\u0161ak samotn\u00fd proces testov\u00e1n\u00ed nep\u0159edpokl\u00e1d\u00e1 striktn\u00ed kop\u00edrov\u00e1n\u00ed t\u011bchto charakteristik do testovac\u00edch sc\u00e9n\u00e1\u0159\u016f a jejich kontrolu. V oblasti kvality dat, stejn\u011b jako v jin\u00fdch typech testov\u00e1n\u00ed, je t\u0159eba se p\u0159edev\u0161\u00edm \u0159\u00eddit po\u017eadavky na kvalitu dat, kter\u00e9 byly dohodnuty s \u00fa\u010dastn\u00edky projektu, p\u0159ij\u00edmaj\u00edc\u00edmi obchodn\u00ed rozhodnut\u00ed. <\/p>\n

<\/p>\n

V z\u00e1vislosti na projektu m\u016f\u017ee in\u017een\u00fdr kvality dat vykon\u00e1vat r\u016fzn\u00e9 funkce: od obvykl\u00e9ho testera-automatiz\u00e1tora s povrchn\u00edmi posouzen\u00edmi kvality dat a\u017e po osobu, kter\u00e1 prov\u00e1d\u00ed hlubok\u00e9 profilov\u00e1n\u00ed podle v\u00fd\u0161e uveden\u00fdch charakteristik. <\/p><\/blockquote>\n

Velmi podrobn\u00e9 popisy proces\u016f spr\u00e1vy dat, kvality dat a p\u0159\u00edbuzn\u00fdch t\u00e9mat jsou skv\u011ble pops\u00e1ny v knize s n\u00e1zvem \u201eDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u201c<\/i>. Tuto knihu velmi doporu\u010duji jako \u00favod do t\u00e9to t\u00e9matiky (odkaz na ni najdete na konci \u010dl\u00e1nku).<\/p>\n

M\u016fj p\u0159\u00edb\u011bh<\/h2>\n

\nV IT pr\u016fmyslu jsem pro\u0161el cestou od Junior testera v produktov\u00fdch firm\u00e1ch a\u017e po Lead Data Quality Engineer ve spole\u010dnosti EPAM. Po p\u0159ibli\u017en\u011b dvou letech pr\u00e1ce jako tester jsem m\u011bl pevn\u00e9 p\u0159esv\u011bd\u010den\u00ed, \u017ee jsem vykonal v\u0161echny druhy testov\u00e1n\u00ed: regresn\u00ed, funk\u010dn\u00ed, stresov\u00e9, stability, bezpe\u010dnosti, UI atd. \u2014 a vyzkou\u0161el jsem velk\u00e9 mno\u017estv\u00ed testovac\u00edch n\u00e1stroj\u016f, p\u0159i\u010dem\u017e jsem pracoval ve t\u0159ech programovac\u00edch jazyc\u00edch: Java, Scala, Python. <\/p>\n

<\/p>\n

Kdy\u017e se ohl\u00e9dnu zp\u011bt, ch\u00e1pu, pro\u010d se soubor m\u00fdch profesion\u00e1ln\u00edch dovednost\u00ed uk\u00e1zal b\u00fdt tak r\u016fznorod\u00fd \u2014 \u00fa\u010dastnil jsem se projekt\u016f spojen\u00fdch s prac\u00ed s daty, velk\u00fdmi i mal\u00fdmi. To m\u011b p\u0159ivedlo do sv\u011bta mnoha n\u00e1stroj\u016f a p\u0159\u00edle\u017eitost\u00ed pro r\u016fst.<\/p><\/blockquote>\n

Abychom ocenili rozmanitost n\u00e1stroj\u016f a mo\u017enost\u00ed, jak z\u00edsk\u00e1vat nov\u00e9 znalosti a dovednosti, sta\u010d\u00ed se pod\u00edvat na obr\u00e1zek n\u00ed\u017ee, na kter\u00e9m jsou zobrazeny ty nejpopul\u00e1rn\u011bj\u0161\u00ed z nich ve sv\u011bt\u011b \u201eData & AI\u201c.<\/p>\n

\"Tester
\nTakov\u00e9to ilustrace ka\u017edoro\u010dn\u011b vytv\u00e1\u0159\u00ed jeden z renomovan\u00fdch venture kapitalist\u016f Matt Turck, kter\u00fd poch\u00e1z\u00ed z v\u00fdvoje softwaru. Zde odkaz<\/a><\/noindex> je jeho blog a firma venture kapit\u00e1lu<\/a><\/noindex>, kde pracuje jako partner. <\/p>\n

Obzvl\u00e1\u0161\u0165 rychle jsem profesion\u00e1ln\u011b rostl, kdy\u017e jsem byl jedin\u00fdm testerem na projektu, nebo alespo\u0148 na za\u010d\u00e1tku projektu. Pr\u00e1v\u011b v takov\u00e9m okam\u017eiku je t\u0159eba p\u0159evz\u00edt odpov\u011bdnost za cel\u00fd testovac\u00ed proces, a nem\u00e1te mo\u017enost ustoupit, pouze j\u00edt vp\u0159ed. Zpo\u010d\u00e1tku to bylo d\u011bsiv\u00e9, ale nyn\u00ed jsou mi jasn\u00e9 v\u0161echny v\u00fdhody takov\u00e9ho zkou\u0161en\u00ed: <\/p>\n