{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Tester du\u017cych i ma\u0142ych danych: trendy, teoria, moja historia","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Cze\u015b\u0107 wszystkim, nazywam si\u0119 Aleksander i jestem in\u017cynierem jako\u015bci danych, zajmuj\u0105cym si\u0119 weryfikacj\u0105 jako\u015bci danych. W tym artykule opowiem, jak do tego doszed\u0142em i dlaczego w 2020 roku ta dziedzina testowania sta\u0142a si\u0119 tak popularna. <\/p>\n

\"Tester
\n<\/a><\/noindex><\/p>\n

Globalny trend <\/h2>\n

\nDzisiejszy \u015bwiat prze\u017cywa kolejn\u0105 rewolucj\u0119 technologiczn\u0105, z kt\u00f3rej jednym z aspekt\u00f3w jest wykorzystanie danych przez r\u00f3\u017cne firmy do nap\u0119dzania swoich proces\u00f3w sprzeda\u017cy, zysk\u00f3w i PR. Wygl\u0105da na to, \u017ce posiadanie dobrych (jako\u015bciowych) danych oraz zdolnych ludzi, kt\u00f3rzy potrafi\u0105 przekszta\u0142ca\u0107 je w zyski (prawid\u0142owo przetwarza\u0107, wizualizowa\u0107, budowa\u0107 modele uczenia maszynowego itd.), sta\u0142y si\u0119 kluczem do sukcesu dla wielu firm. Je\u015bli 15-20 lat temu intensywn\u0105 prac\u0105 nad gromadzeniem danych i ich monetyzacj\u0105 zajmowa\u0142y si\u0119 g\u0142\u00f3wnie du\u017ce przedsi\u0119biorstwa, to dzi\u015b jest to domen\u0105 praktycznie wszystkich rozs\u0105dnych. <\/p>\n

W zwi\u0105zku z tym kilka lat temu wszystkie portale po\u015bwi\u0119cone poszukiwaniu pracy na ca\u0142ym \u015bwiecie zacz\u0119\u0142y by\u0107 zalewane ofertami pracy dla Data Scientists, poniewa\u017c wszyscy byli przekonani, \u017ce zatrudniaj\u0105c takiego specjalist\u0119, mo\u017cna stworzy\u0107 supermodel uczenia maszynowego, przewidzie\u0107 przysz\u0142o\u015b\u0107 i dokona\u0107 'kwantowego skoku' dla firmy. Z czasem ludzie zrozumieli, \u017ce takie podej\u015bcie prawie nigdzie nie dzia\u0142a, poniewa\u017c nie wszystkie dane, kt\u00f3re trafiaj\u0105 w r\u0119ce takich specjalist\u00f3w, nadaj\u0105 si\u0119 do trenowania modeli. <\/p>\n

I rozpocz\u0119\u0142y si\u0119 zapytania od Data Scientist\u00f3w: \u201eKupmy jeszcze wi\u0119cej danych od tych oraz tamtych\u2026\u201d, \u201eBrakuje nam danych\u2026\u201d, \u201ePotrzebujemy wi\u0119cej danych, a najlepiej wysokiej jako\u015bci\u2026\u201d. Na podstawie tych zapyta\u0144 zacz\u0119\u0142y si\u0119 kszta\u0142towa\u0107 liczne interakcje mi\u0119dzy firmami posiadaj\u0105cymi r\u00f3\u017cne zbiory danych. Oczywi\u015bcie wymaga\u0142o to technicznej organizacji tego procesu \u2013 pod\u0142\u0105czenia do \u017ar\u00f3d\u0142a danych, pobrania ich, sprawdzenia, czy zosta\u0142y za\u0142adowane w pe\u0142nym zakresie itd. Liczba takich proces\u00f3w zacz\u0119\u0142a rosn\u0105\u0107, a dzi\u015b mamy ogromne zapotrzebowanie na inny rodzaj specjalist\u00f3w \u2013 in\u017cynier\u00f3w Data Quality \u2013 kt\u00f3rzy dbaliby o przep\u0142yw danych w systemie (data pipelines), o jako\u015b\u0107 danych na wej\u015bciu i wyj\u015bciu, a tak\u017ce wyci\u0105galiby wnioski dotycz\u0105ce ich wystarczalno\u015bci, integralno\u015bci i innych charakterystyk. <\/p>\n

Trend na in\u017cynier\u00f3w jako\u015bci danych przyszed\u0142 do nas z USA, gdzie w czasie szalej\u0105cej ery kapitalizmu nikt nie jest gotowy przegra\u0107 walki o dane. Poni\u017cej przedstawiam zrzuty ekranu z dw\u00f3ch najbardziej popularnych stron z ofertami pracy w USA: www.monster.com<\/a><\/noindex> i www.dice.com<\/a><\/noindex> \u2014 na kt\u00f3rych przedstawiono dane na dzie\u0144 17 marca 2020 roku dotycz\u0105ce liczby opublikowanych ofert pracy, zwi\u0105zanych ze s\u0142owami kluczowymi: Data Quality i Data Scientist. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21416 ofert pracy
\nData Quality \u2013 41104 ofert pracy<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 ofert pracy
\nData Quality \u2013 2020 ofert pracy<\/p>\n

\"Tester
\n\"Tester<\/p>\n

\nOczywi\u015bcie, \u017ce te profesje w \u017caden spos\u00f3b nie konkuruj\u0105 ze sob\u0105. Zrzutami ekranu chcia\u0142em po prostu zilustrowa\u0107 aktualn\u0105 sytuacj\u0119 na rynku pracy mianowicie zapotrzebowanie na in\u017cynier\u00f3w jako\u015bci danych, kt\u00f3rych obecnie potrzebujemy znacznie wi\u0119cej ni\u017c Data Scientists. <\/p>\n

W czerwcu 2019 roku EPAM, odpowiadaj\u0105c na potrzeby nowoczesnego rynku IT, wyodr\u0119bni\u0142 kierunek Data Quality jako odr\u0119bn\u0105 praktyk\u0119. In\u017cynierowie jako\u015bci danych w trakcie swojej codziennej pracy zarz\u0105dzaj\u0105 danymi, sprawdzaj\u0105 ich zachowanie w nowych warunkach i systemach, kontroluj\u0105 adekwatno\u015b\u0107 danych, ich wystarczalno\u015b\u0107 i aktualno\u015b\u0107. Przy tym wszystkim w praktycznym sensie in\u017cynierowie jako\u015bci danych rzeczywi\u015bcie po\u015bwi\u0119caj\u0105 troch\u0119 czasu na klasyczne testowanie funkcjonalne, NIE<\/u> co w du\u017cej mierze zale\u017cy od projektu (podam przyk\u0142ad p\u00f3\u017aniej). <\/p>\n

Obowi\u0105zki in\u017cyniera jako\u015bci danych nie ograniczaj\u0105 si\u0119 tylko do rutynowych r\u0119cznych\/automatycznych sprawdze\u0144 na \u201enulls, count i sums\u201d w tabelach baz danych, ale wymagaj\u0105 g\u0142\u0119bokiego zrozumienia potrzeb biznesowych klienta, a co za tym idzie, umiej\u0119tno\u015bci przekszta\u0142cania posiadanych danych w u\u017cyteczn\u0105 informacj\u0119 biznesow\u0105. <\/p>\n

Teoria jako\u015bci danych<\/h2>\n

\n\"Tester<\/p>\n

\u017beby jak najlepiej zrozumie\u0107 rol\u0119 takiego in\u017cyniera, przyjrzyjmy si\u0119, czym jest teoria jako\u015bci danych. <\/p>\n

Jako\u015b\u0107 danych<\/b> \u2014 jest jednym z etap\u00f3w zarz\u0105dzania danymi (ca\u0142y \u015bwiat, kt\u00f3ry pozostawiamy do samodzielnego zg\u0142\u0119bienia) i odpowiada za analiz\u0119 danych wed\u0142ug nast\u0119puj\u0105cych kryteri\u00f3w: <\/p>\n

\"Tester
\nMy\u015bl\u0119, \u017ce nie ma sensu szczeg\u00f3\u0142owo opisywa\u0107 ka\u017cdego z punkt\u00f3w (teoretycznie nazywa si\u0119 to \u201ewymiary danych\u201d), s\u0105 one dobrze opisane na obrazku. Jednak sam proces testowania nie zak\u0142ada \u015bcis\u0142ego kopiowania tych cech do przypadk\u00f3w testowych i ich weryfikacji. W zakresie jako\u015bci danych, jak w ka\u017cdym innym typie testowania, nale\u017cy przede wszystkim opiera\u0107 si\u0119 na wymaganiach dotycz\u0105cych jako\u015bci danych, uzgodnionych z uczestnikami projektu, podejmuj\u0105cymi decyzje biznesowe. <\/p>\n

<\/p>\n

W zale\u017cno\u015bci od projektu in\u017cynier jako\u015bci danych mo\u017ce pe\u0142ni\u0107 r\u00f3\u017cne funkcje: od zwyk\u0142ego testera automatyzacji z powierzchown\u0105 ocen\u0105 jako\u015bci danych, po osob\u0119 przeprowadzaj\u0105c\u0105 ich g\u0142\u0119bokie profilowanie wed\u0142ug powy\u017cszych cech. <\/p><\/blockquote>\n

Bardzo szczeg\u00f3\u0142owy opis proces\u00f3w zarz\u0105dzania danymi, jako\u015bci danych i pokrewnych znajduje si\u0119 w ksi\u0105\u017cce pod tytu\u0142em \u201eDAMA-DMBOK: Zbi\u00f3r Wiedzy o Zarz\u0105dzaniu Danymi: 2. edycja\u201d<\/i>. Gor\u0105co polecam t\u0119 ksi\u0105\u017ck\u0119 jako wst\u0119p do tej tematyki (link do niej znajdziesz na ko\u0144cu artyku\u0142u).<\/p>\n

Moja historia<\/h2>\n

\nW bran\u017cy IT przeszed\u0142em drog\u0119 od Junior testera w firmach produktowych do Lead Data Quality Engineer w firmie EPAM. Ju\u017c po oko\u0142o dw\u00f3ch latach pracy jako tester by\u0142em przekonany, \u017ce wykonywa\u0142em wszystkie rodzaje test\u00f3w: regresyjnych, funkcjonalnych, obci\u0105\u017ceniowych, stabilno\u015bci, bezpiecze\u0144stwa, UI itd. \u2014 i przetestowa\u0142em wiele narz\u0119dzi testowych, pracuj\u0105c w trzech j\u0119zykach programowania: Java, Scala, Python. <\/p>\n

<\/p>\n

Patrz\u0105c wstecz, rozumiem, dlaczego zestaw moich umiej\u0119tno\u015bci zawodowych by\u0142 tak r\u00f3\u017cnorodny \u2014 bra\u0142em udzia\u0142 w projektach zwi\u0105zanych z prac\u0105 z danymi, du\u017cymi i ma\u0142ymi. To w\u0142a\u015bnie doprowadzi\u0142o mnie do \u015bwiata wielu narz\u0119dzi i mo\u017cliwo\u015bci rozwoju.<\/p><\/blockquote>\n

Aby oceni\u0107 r\u00f3\u017cnorodno\u015b\u0107 narz\u0119dzi i mo\u017cliwo\u015bci zdobywania nowej wiedzy i umiej\u0119tno\u015bci, wystarczy spojrze\u0107 na obrazek poni\u017cej, na kt\u00f3rym przedstawione s\u0105 najpopularniejsze z nich w \u015bwiecie \u201eDanych i AI\u201d.<\/p>\n

\"Tester
\nTego rodzaju ilustracje przygotowuje corocznie jeden z znanych inwestor\u00f3w venture capital Matt Turck, kt\u00f3ry ma do\u015bwiadczenie w programowaniu. Oto link<\/a><\/noindex> jego blog i firma venture capital<\/a><\/noindex>, w kt\u00f3rej pracuje jako partner. <\/p>\n

Szybko rozwija\u0142em swoje umiej\u0119tno\u015bci, gdy by\u0142em jedynym testuj\u0105cym w projekcie, przynajmniej na pocz\u0105tku. W takim momencie odpowiada si\u0119 za ca\u0142y proces testowania i nie ma mo\u017cliwo\u015bci wycofania si\u0119, tylko i\u015b\u0107 naprz\u00f3d. Na pocz\u0105tku by\u0142o to przera\u017caj\u0105ce, ale teraz dostrzegam wszystkie zalety takiego do\u015bwiadczenia: <\/p>\n