Dmitrij Kazakov, vedúci tímu analytiky údajov v skupine Kolesa, zdieľa poznatky z prvého prieskumu dátových profesionálov v Kazachstane.
Na fotografii: Dmitrij Kazakov
Pamätajte na populárnu frázu, že Big Data sa najviac podobajú tínedžerskému sexu – všetci o ňom hovoria, no nikto nevie, či skutočne existuje. To isté by sa dalo povedať o trhu dátových špecialistov (v Kazachstane) - je tam humbuk, ale kto za tým stojí (a či tam vôbec niekto je), nebolo úplne jasné - ani HR, ani manažérom, ani samotní dátoví vedci.
Strávili sme , v rámci ktorej zisťovali viac ako 300 špecialistov o ich platoch, funkciách, zručnostiach, nástrojoch a oveľa viac.
Spojler: Áno, určite existujú, ale všetko nie je také jednoduché.
Pekný prehľad. Po prvé, existuje viac dátových vedcov, ako sme očakávali. Podarilo sa nám vyspovedať 300 ľudí, medzi ktorými boli nielen produktoví, marketingoví a BI analytici, ale aj inžinieri ML a DWH, čo bolo obzvlášť potešujúce. Najväčšiu skupinu tvorili všetci, ktorí si hovoria dátoví vedci – to je 36 % respondentov. Je ťažké povedať, či to pokrýva dopyt trhu alebo nie, pretože samotný trh sa ešte len tvorí.
Rozdelenie pracovných úrovní je neprehľadné – vedúcich tímov a manažérov je takmer toľko ako juniorov. Môže to mať viacero príčin. Napríklad veľký počet malých tímov 2-3 ľudí, v ktorých vedúci môže byť špecialista na strednej alebo vyššej úrovni.
Ďalším dôvodom môže byť chaos, ktorý momentálne vládne na trhu ohľadom štandardov v rozdelení rolí a funkcionalít. Vedúci tímu sú niekedy pridelení tým, ktorí jednoducho pracujú o rok alebo dva dlhšie ako ostatní, bez ohľadu na úroveň zručností a vedomostí. Vidíme to na rozdelení funkcií podľa pozície – 38 % manažérov a vedúcich tímov sa venuje predspracovaniu a ďalších 33 % základnej štatistickej analýze.
Tu sme požiadali respondentov, aby subjektívne zhodnotili úroveň analytiky v ich spoločnostiach. Ak sa pozriete pozorne, môžete vidieť, že 10 % respondentov, ktorí pracujú v analytických oddeleniach s 2 až 3 ľuďmi, verí, že majú „pokročilú úroveň“.
Čo je to „pokročilá úroveň“? Systém BI funguje skvele. Existuje DWH a Big Data. A/B testy sa vykonávajú pravidelne. Vo výrobe sú funkčné systémy ML a DS. Rozhodnutia sa robia len na základe údajov. Oddelenie spracovania údajov a vedy o údajoch je jedným z kľúčových v spoločnosti.
Je takmer nemožné dosiahnuť všetko uvedené s oddelením 2-3 ľudí. Myslím si, že výsledok tohto prieskumu je miernym problémom - chalani sa zatiaľ nemajú s kým porovnávať, aby objektívnejšie určili svoju úroveň.
Ako sa dalo očakávať, dátoví vedci trávia väčšinu svojho času nie superkomplexnou matematikou alebo inžinierstvom, ale predspracovaním, sťahovaním a čistením dát. V každej špecializácii vidíme predspracovanie v top 3. Zriedkavo však vidíme zložité veci, ako je vývoj modelov ML alebo práca s veľkými údajmi v top 3 – iba medzi inžiniermi ML a DWH.
Je tam aj pár smutných postrehov. Odborníci si sami stanovujú 40 % úloh. V Kazachstane zatiaľ len špičkové jednorožcové spoločnosti vyskúšali výhody práce s veľkými dátami a naučili sa, ako na to kompetentne. Vysielajú na trh, že veľké dáta a strojové učenie sú skvelé a druhý stupeň nasleduje za nimi, no nie vždy chápe, ako práca s dátami funguje. Preto vidíme, že špecialisti si stanovujú úlohy a podniky nie vždy vedia, čo chcú.
Prekvapilo ma, že 20 % špecialistov ani nevie, či ich firma má Data Warehouse. Áno, a so systémami na správu databáz nie je všetko také dobré – 41 % používa MySQL a ďalších 34 % používa PostgreSQL. Čo to môže znamenať? Pracujú skôr s malými dátami.
V otázke o úložných systémoch opäť vidíme MySQL a dokonca (!) Excel. To ale môže naznačovať napríklad to, že väčšina spoločností jednoducho ešte nemá požiadavku na prácu s veľkými dátami.
Tu je všetko opäť nejednoznačné. Vo všeobecnosti boli platy o niečo nižšie, ako som očakával.
Osobne je pre mňa ťažké predstaviť si inžiniera ML, ktorý je pripravený pracovať za 200 tisíc tenge - pravdepodobne je stážista. Buď sú kompetencie takýchto špecialistov veľmi slabé, alebo je pre firmy stále ťažké adekvátne ohodnotiť prácu Data Science. Ale možno aj to naznačuje, že trh je stále na samom začiatku svojho dozrievania. A časom sa úroveň platov nastaví na adekvátnejšiu úroveň.
Zdroj: hab.com