Dmitrij Kazakov, vedoucí týmu analýzy dat ve společnosti Kolesa Group, sdílí poznatky z prvního kazašského průzkumu mezi datovými profesionály.
Na fotografii: Dmitrij Kazakov
Vzpomeňte si na oblíbenou frázi, že Big Data se nejvíce podobají sexu náctiletých – všichni o něm mluví, ale nikdo neví, zda skutečně existuje. Totéž by se dalo říci o trhu datových specialistů (v Kazachstánu) - je tam humbuk, ale kdo za tím stojí (a jestli tam vůbec někdo je), nebylo úplně jasné - ani personalistům, ani manažerům, ani samotní datoví vědci.
Strávili jsme , ve kterém se dotazovali více než 300 specialistů na jejich platy, funkce, dovednosti, nástroje a mnoho dalšího.
Rušič vztlaku: Ano, určitě existují, ale všechno není tak jednoduché.
Pěkný náhled. Za prvé, existuje více datových vědců, než jsme očekávali. Podařilo se nám vyzpovídat 300 lidí, mezi nimiž byli nejen produktoví, marketingoví a BI analytici, ale také ML a DWH inženýři, což bylo obzvlášť potěšující. Největší skupinu tvořili všichni, kteří si říkají datoví vědci – to je 36 % respondentů. Těžko říct, jestli to pokryje poptávku trhu nebo ne, protože samotný trh se teprve tvoří.
Rozdělení pracovních úrovní je nepřehledné – týmových vedoucích a manažerů je téměř tolik jako juniorů. Může to mít několik důvodů. Například velký počet malých týmů o 2-3 lidech, ve kterých může být vedoucím specialista střední nebo vyšší úrovně.
Dalším důvodem může být chaos, který aktuálně panuje na trhu ohledně standardů v rozdělení rolí a funkčnosti. Vedoucí týmu jsou někdy přiděleni těm, kteří prostě pracují o rok nebo dva déle než ostatní, bez ohledu na úroveň dovedností a znalostí. Vidíme to na rozdělení funkcí podle pozic – 38 % manažerů a vedoucích týmů se věnuje předzpracování a dalších 33 % základní statistické analýze.
Zde jsme požádali respondenty, aby subjektivně zhodnotili úroveň analytiky ve svých společnostech. Když se podíváte pozorně, můžete vidět, že 10 % respondentů, kteří pracují v analytických odděleních o 2–3 lidech, věří, že mají „pokročilou úroveň“.
Co je to „pokročilá úroveň“? Systém BI funguje skvěle. Existuje DWH a Big Data. A/B testy se provádějí pravidelně. Ve výrobě jsou funkční systémy ML a DS. Rozhodnutí se dělají pouze na základě dat. Oddělení zpracování dat a datové vědy je jedním z klíčových ve společnosti.
Dosáhnout všeho výše uvedeného s oddělením o 2-3 lidech je téměř nemožné. Myslím si, že výsledek tohoto průzkumu je mírným narůstajícím problémem - kluci se zatím nemají s kým porovnávat, aby mohli objektivněji určit svou úroveň.
Jak se očekávalo, vědci zabývající se daty tráví většinu času ne supersložitou matematikou nebo inženýrstvím, ale předzpracováním, stahováním a čištěním dat. V každé specializaci vidíme předzpracování v top 3. Ale jen zřídka vidíme složité věci, jako je vývoj modelů ML nebo práce s velkými daty v top 3 – pouze mezi inženýry ML a DWH.
Je tam i pár smutných postřehů. Odborníci si sami stanovují 40 % úkolů. V Kazachstánu zatím jen špičkové jednorožčí společnosti vyzkoušely výhody práce s velkými daty a naučily se, jak na to kompetentně. Vysílají na trh, že velká data a strojové učení jsou cool a druhá řada následuje, ale ne vždy rozumí tomu, jak práce s daty funguje. Proto vidíme, že specialisté si zadávají úkoly a podniky ne vždy vědí, co chtějí.
Překvapilo mě, že 20 % specialistů ani neví, jestli jejich firma má Datový sklad. Ano, a se systémy pro správu databází není vše tak dobré – 41 % používá MySQL a dalších 34 % používá PostgreSQL. Co to může znamenat? Pracují spíše s malými daty.
V otázce ohledně úložných systémů opět vidíme MySQL a dokonce (!) Excel. To ale může naznačovat například to, že většina firem zatím prostě nemá požadavek na práci s velkými daty.
Zde je vše opět nejednoznačné. Obecně byly platy o něco nižší, než jsem čekal.
Osobně je pro mě těžké si představit inženýra ML, který je připraven pracovat za 200 tisíc tenge - pravděpodobně je to stážista. Buď jsou kompetence takových specialistů velmi slabé, nebo je pro firmy stále obtížné adekvátně ohodnotit práci Data Science. Možná to ale také naznačuje, že trh je stále na samém začátku svého zrání. A časem se úroveň platů nastaví na adekvátnější úrovni.
Zdroj: www.habr.com