{"id":77180,"date":"2020-04-08T13:42:32","date_gmt":"2020-04-08T11:42:32","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya"},"modified":"2020-04-08T13:42:32","modified_gmt":"2020-04-08T11:42:32","slug":"testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/testirovshhik-bolshih-i-malenkih-dannyh-trendy-teoriya-moya-istoriya","title":{"rendered":"Nagy \u00e9s kis adatok tesztel\u0151je: trendek, elm\u00e9let, t\u00f6rt\u00e9netem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Hell\u00f3 mindenkinek, a nevem S\u00e1ndor, \u00e9s Adatmin\u0151s\u00e9g m\u00e9rn\u00f6k vagyok, aki az adatok min\u0151s\u00e9g\u00e9nek ellen\u0151rz\u00e9s\u00e9vel foglalkozik. Ebben a cikkben arr\u00f3l lesz sz\u00f3, hogy hogyan jutottam el id\u00e1ig, \u00e9s mi\u00e9rt v\u00e1lt ez a tesztel\u00e9si ir\u00e1ny 2020-ban a hull\u00e1m tetej\u00e9re. <\/p>\n

\"Nagy
\n<\/a><\/noindex><\/p>\n

Glob\u00e1lis trend <\/h2>\n

\nA mai vil\u00e1g \u00fajabb technol\u00f3giai forradalmon megy kereszt\u00fcl, amelynek egyik aspektusa, hogy k\u00fcl\u00f6nb\u00f6z\u0151 c\u00e9gek az \u00f6sszegy\u0171jt\u00f6tt adatokat haszn\u00e1lj\u00e1k saj\u00e1t \u00e9rt\u00e9kes\u00edt\u00e9si, nyeres\u00e9gi \u00e9s PR-motorjuk el\u0151mozd\u00edt\u00e1s\u00e1ra. \u00dagy t\u0171nik, hogy a j\u00f3 (min\u0151s\u00e9gi) adatok rendelkez\u00e9se, valamint azoknak a tehets\u00e9ges elm\u00e9knek a megl\u00e9te, akik k\u00e9pesek ezeket p\u00e9nzz\u00e9 tenni (helyesen feldolgozni, visualiz\u00e1lni, g\u00e9pi tanul\u00e1si modelleket \u00e9p\u00edteni stb.), ma a siker kulcs\u00e1v\u00e1 v\u00e1lt sokak sz\u00e1m\u00e1ra. M\u00edg 15-20 \u00e9vvel ezel\u0151tt az adatok gy\u0171jt\u00e9s\u00e9vel \u00e9s monetiz\u00e1l\u00e1s\u00e1val legink\u00e1bb nagy c\u00e9gek foglalkoztak, ma m\u00e1r ez minden \u00e9sszer\u0171 gondolkod\u00e1s\u00fa c\u00e9g saj\u00e1tja. <\/p>\n

Ennek k\u00f6vetkezt\u00e9ben n\u00e9h\u00e1ny \u00e9vvel ezel\u0151tt a vil\u00e1g minden munkahelykeres\u00e9si port\u00e1lja tele lett Data Scientist \u00e1ll\u00e1shirdet\u00e9sekkel, mivel mindenki biztos volt benne, hogy ha egy ilyen szakembert alkalmaznak, akkor supermodelleket \u00e9p\u00edthetnek g\u00e9pi tanul\u00e1sra, el\u0151rejelezhetik a j\u00f6v\u0151t, \u00e9s kvantumugr\u00e1st tehetnek a c\u00e9g sz\u00e1m\u00e1ra. Id\u0151vel az emberek r\u00e1j\u00f6ttek, hogy ez a megk\u00f6zel\u00edt\u00e9s szinte sehol sem m\u0171k\u00f6dik, mivel a Data Scientist kezei k\u00f6z\u00e9 ker\u00fcl\u0151 adatok messze nem mind alkalmasak a modellek tan\u00edt\u00e1s\u00e1ra. <\/p>\n

Elkezdt\u00e9k az adatm\u00e9rn\u00f6k\u00f6k a k\u00e9rd\u00e9seket: \u201eV\u00e1s\u00e1roljunk m\u00e9g adatokat ett\u0151l \u00e9s att\u00f3l\u2026\u201d, \u201eNincs el\u00e9g adatunk\u2026\u201d, \u201eM\u00e9g egy kis adatra van sz\u00fcks\u00e9g\u00fcnk, \u00e9s lehet\u0151leg j\u00f3 min\u0151s\u00e9g\u0171re\u2026\u201d. Ezekre a k\u00e9rd\u00e9sekre alapozva sz\u00e1mos egy\u00fcttm\u0171k\u00f6d\u00e9s alakult ki a k\u00fcl\u00f6nb\u00f6z\u0151 adathalmazokkal rendelkez\u0151 c\u00e9gek k\u00f6z\u00f6tt. Term\u00e9szetesen ez megk\u00f6vetelte a folyamat technikai megszervez\u00e9s\u00e9t - csatlakozni az adatforr\u00e1shoz, let\u00f6lteni az adatokat, ellen\u0151rizni, hogy teljes m\u00e9rt\u00e9kben bet\u00f6lt\u0151dtek, stb. Az ilyen folyamatok sz\u00e1ma n\u00f6vekedni kezdett, \u00e9s m\u00e1ra \u00f3ri\u00e1si ig\u00e9ny t\u00e1madt m\u00e1s t\u00edpus\u00fa szakemberekre - az Adatmin\u0151s\u00e9g m\u00e9rn\u00f6k\u00f6kre -, akik figyelemmel k\u00eds\u00e9rn\u00e9k az adatok \u00e1raml\u00e1s\u00e1t a rendszeren (data pipelines), az adatok min\u0151s\u00e9g\u00e9t a bemenetn\u00e9l \u00e9s a kimenetn\u00e9l, k\u00f6vetkeztet\u00e9seket vonn\u00e1nak le elegend\u0151s\u00e9g\u00fckr\u0151l, integrit\u00e1sukr\u00f3l \u00e9s egy\u00e9b jellemz\u0151ikr\u0151l. <\/p>\n

A Data Quality m\u00e9rn\u00f6k\u00f6k ir\u00e1nti trend az Egyes\u00fclt \u00c1llamokb\u00f3l indult, ahol a vir\u00e1gz\u00f3 kapitalizmus kor\u00e1ban senki sem k\u00e9sz\u00fcl arra, hogy elvesz\u00edtse a harcot az adatok\u00e9rt. Al\u00e1bb bemutatom a legn\u00e9pszer\u0171bb amerikai \u00e1ll\u00e1skeres\u0151 oldalak k\u00e9perny\u0151k\u00e9peit: www.monster.com<\/a><\/noindex> \u00e9s www.dice.com<\/a><\/noindex> \u2014 amelyek 2020. m\u00e1rcius 17-i \u00e1llapot szerint mutatj\u00e1k a Data Quality \u00e9s Data Scientist kulcsszavakkal hirdetett \u00e1ll\u00e1sok sz\u00e1m\u00e1t. <\/p>\n

www.monster.com<\/a><\/noindex><\/p>\n

Data Scientists \u2013 21,416 \u00e1ll\u00e1s
\nData Quality \u2013 41,104 \u00e1ll\u00e1s<\/p>\n

\"Nagy
\n\"Nagy<\/p>\n

\nwww.dice.com<\/a><\/noindex> <\/p>\n

Data Scientists \u2013 404 \u00e1ll\u00e1s
\nData Quality \u2013 2,020 \u00e1ll\u00e1s<\/p>\n

\"Nagy
\n\"Nagy<\/p>\n

\nNyilv\u00e1nval\u00f3, hogy ezek a szakm\u00e1k semmilyen m\u00f3don nem versenyeznek egym\u00e1ssal. A k\u00e9perny\u0151k\u00e9pekkel csak szerettem volna illusztr\u00e1lni a munkaer\u0151piac jelenlegi helyzet\u00e9t a Data Quality m\u00e9rn\u00f6k\u00f6k ir\u00e1nti keresletben, amely jelenleg sokkal nagyobb, mint a Data Scientists eset\u00e9ben. <\/p>\n

2019 j\u00fanius\u00e1ban az EPAM reag\u00e1lva a modern IT piac ig\u00e9nyeire a Data Quality ter\u00fclet\u00e9t k\u00fcl\u00f6n gyakorlatt\u00e1 alak\u00edtotta. A Data Quality m\u00e9rn\u00f6k\u00f6k a mindennapi munk\u00e1juk sor\u00e1n kezelik az adatokat, tesztelik azok viselked\u00e9s\u00e9t \u00faj k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00f6tt \u00e9s rendszerekben, \u00e9s ellen\u0151rzik az adatok relevanci\u00e1j\u00e1t, elegend\u0151s\u00e9g\u00e9t \u00e9s aktualit\u00e1s\u00e1t. Ennek ellen\u00e9re a Data Quality m\u00e9rn\u00f6k\u00f6k val\u00f3j\u00e1ban keveset szentelnek hagyom\u00e1nyos funkcion\u00e1lis tesztel\u00e9sre, DE<\/u> ez er\u0151sen f\u00fcgg a projektt\u0151l (p\u00e9ld\u00e1ul k\u00e9s\u0151bb mutatok egy p\u00e9ld\u00e1t). <\/p>\n

A Data Quality m\u00e9rn\u00f6k feladatk\u00f6re nem korl\u00e1toz\u00f3dik puszt\u00e1n a rutin manu\u00e1lis\/automatiz\u00e1lt ellen\u0151rz\u00e9sekre \u201enull\u00e1k, sz\u00e1mok \u00e9s \u00f6sszegek\u201d kateg\u00f3ri\u00e1j\u00e1ban a DB t\u00e1bl\u00e1kban, hanem m\u00e9ly meg\u00e9rt\u00e9st ig\u00e9nyel a megrendel\u0151 \u00fczleti ig\u00e9nyeir\u0151l, \u00e9s ennek megfelel\u0151en k\u00e9pesnek kell lennie az adott adatok \u00fczleti inform\u00e1ci\u00f3v\u00e1 val\u00f3 \u00e1talak\u00edt\u00e1s\u00e1ra. <\/p>\n

A Data Quality elm\u00e9lete<\/h2>\n

\n\"Nagy<\/p>\n

Ahhoz, hogy a legteljesebb k\u00e9pet alkothassuk egy ilyen m\u00e9rn\u00f6k szerep\u00e9r\u0151l, n\u00e9zz\u00fck meg, mit is jelent a Data Quality elm\u00e9letben. <\/p>\n

Data Quality<\/b> \u2014 a Data Management egyik szakasza (egy teljes vil\u00e1g, amelyet \u00f6n\u00e1ll\u00f3an kell tanulm\u00e1nyoznia) \u00e9s az adatok elemz\u00e9s\u00e9\u00e9rt felel\u0151s a k\u00f6vetkez\u0151 szempontok szerint: <\/p>\n

\"Nagy
\nNem hiszem, hogy minden egyes pontot sz\u00fcks\u00e9ges kib\u0151v\u00edteni (elm\u00e9letileg azokat \"adatdimenzi\u00f3knak\" h\u00edvj\u00e1k), ezek j\u00f3l le vannak \u00edrva a k\u00e9pen. Azonban a tesztel\u00e9si folyamat nem v\u00e1rt meg szigor\u00fa m\u00e1sol\u00e1s\u00e1t ezen jellemz\u0151knek a tesztel\u00e9si esetekben \u00e9s azok ellen\u0151rz\u00e9s\u00e9t. Az Adatmin\u0151s\u00e9g eset\u00e9ben, mint b\u00e1rmilyen m\u00e1s tesztel\u00e9si form\u00e1n\u00e1l, el\u0151sz\u00f6r is a projekt r\u00e9sztvev\u0151ivel, a d\u00f6nt\u00e9shoz\u00f3kkal egyeztetett adatmin\u0151s\u00e9gi k\u00f6vetelm\u00e9nyekb\u0151l kell kiindulni. <\/p>\n

<\/p>\n

A Data Quality m\u00e9rn\u00f6k k\u00fcl\u00f6nb\u00f6z\u0151 funkci\u00f3kat l\u00e1that el a projektt\u0151l f\u00fcgg\u0151en: a fel\u00fcletes adatmin\u0151s\u00e9gi \u00e9rt\u00e9kel\u00e9ssel foglalkoz\u00f3 egyszer\u0171 automatiz\u00e1lt tesztel\u0151t\u0151l kezdve eg\u00e9szen addig, aki m\u00e9ly profiloz\u00e1st v\u00e9gez a fent eml\u00edtett jellemz\u0151k alapj\u00e1n. <\/p><\/blockquote>\n

Az Adatmenedzsment, Adatmin\u0151s\u00e9g \u00e9s kapcsol\u00f3d\u00f3 folyamatok nagyon r\u00e9szletes le\u00edr\u00e1sa tal\u00e1lhat\u00f3 a k\u00f6vetkez\u0151 nev\u0171 k\u00f6nyvben \u201eDAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition\u201d<\/i>. Nagyon aj\u00e1nlom ezt a k\u00f6nyvet bevezet\u00e9sk\u00e9nt a t\u00e9m\u00e1ba (a linket a cikk v\u00e9g\u00e9n tal\u00e1lja).<\/p>\n

Az \u00e9n t\u00f6rt\u00e9netem<\/h2>\n

\nAz IT iparban a Junior tesztel\u0151t\u0151l a Lead Data Quality Engineerig vezettem az utat az EPAM c\u00e9gn\u00e9l. K\u00f6r\u00fclbel\u00fcl k\u00e9t \u00e9vnyi tesztel\u0151i munka ut\u00e1n biztos voltam abban, hogy mindenf\u00e9le tesztel\u00e9st elv\u00e9geztem: regresszi\u00f3s, funkcion\u00e1lis, stressz-, stabilit\u00e1si, biztons\u00e1gi, UI stb. \u2014 \u00e9s kipr\u00f3b\u00e1ltam sz\u00e1mos tesztel\u0151 eszk\u00f6zt, mik\u00f6zben h\u00e1rom programoz\u00e1si nyelven dolgoztam: Java, Scala, Python. <\/p>\n

<\/p>\n

Visszatekintve meg\u00e9rtem, mi\u00e9rt lett az \u00e9n szakmai k\u00e9szs\u00e9geim ilyen soksz\u00edn\u0171ek \u2014 olyan projektekben vettem r\u00e9szt, amelyek adatkezel\u00e9ssel foglalkoztak, nagyokkal \u00e9s kicsikkel. Ez vezetett a gyakorlatilag rengeteg eszk\u00f6zh\u00f6z \u00e9s n\u00f6veked\u00e9si lehet\u0151s\u00e9ghez.<\/p><\/blockquote>\n

Ahhoz, hogy \u00e9rt\u00e9kelni tudjuk az eszk\u00f6z\u00f6k sokf\u00e9les\u00e9g\u00e9t \u00e9s az \u00faj tud\u00e1s \u00e9s k\u00e9szs\u00e9gek megszerz\u00e9s\u00e9nek lehet\u0151s\u00e9geit, el\u00e9g, ha egyszer\u0171en megn\u00e9zz\u00fck az al\u00e1bbi k\u00e9pet, amely a legn\u00e9pszer\u0171bbeket \u00e1br\u00e1zolja a \u201eData & AI\u201d vil\u00e1g\u00e1ban.<\/p>\n

\"Nagy
\nAz ilyen t\u00edpus\u00fa illusztr\u00e1ci\u00f3kat \u00e9vente egy neves kock\u00e1zati t\u0151kebefektet\u0151, Matt Turck k\u00e9sz\u00edt, aki a szoftverfejleszt\u00e9sb\u0151l sz\u00e1rmazik. Itt van link<\/a><\/noindex> a blogja \u00e9s a kock\u00e1zati t\u0151kebefektet\u0151 c\u00e9ge<\/a><\/noindex>, ahol partnerek\u00e9nt dolgozik. <\/p>\n

K\u00fcl\u00f6n\u00f6sen gyorsan fejl\u0151dtem, amikor egyed\u00fcli tesztel\u0151k\u00e9nt dolgoztam a projekten, vagy legal\u00e1bbis a projekt kezdet\u00e9n. Ilyenkor v\u00e1llalnod kell az eg\u00e9sz tesztel\u00e9si folyamatot, nincs lehet\u0151s\u00e9ged h\u00e1tr\u00e1lni, csak el\u0151re. Eleinte ez ijeszt\u0151 volt, de most m\u00e1r egy\u00e9rtelm\u0171ek sz\u00e1momra a kih\u00edv\u00e1s el\u0151nyei: <\/p>\n