Dmitrij Kazakov, voditelj tima za analitiku podataka u Kolesa grupi, dijeli uvide iz prve kazahstanske ankete stručnjaka za podatke.
Na fotografiji: Dmitrij Kazakov
Sjetite se popularne fraze da je Big Data najsličniji tinejdžerskom seksu – svi pričaju o tome, ali nitko ne zna postoji li doista. Isto bi se moglo reći i za tržište stručnjaka za podatke (u Kazahstanu) - hype postoji, ali tko iza toga stoji (i ima li uopće ikoga) nije bilo do kraja jasno - ni HR-u, ni menadžerima, ni sami znanstvenici podataka.
Potrošili smo , u kojem su anketirali više od 300 stručnjaka o njihovim plaćama, funkcijama, vještinama, alatima i još mnogo toga.
spojler: Da, definitivno postoje, ali nije sve tako jednostavno.
Dobar uvid. Prvo, ima više podatkovnih znanstvenika nego što smo očekivali. Uspjeli smo intervjuirati 300 ljudi, među kojima su bili ne samo produkt, marketing i BI analitičari, već i ML i DWH inženjeri, što je posebno razveselilo. Najveću skupinu činili su svi oni koji sebe nazivaju podatkovnim znanstvenicima – njih 36% ispitanika. Teško je reći pokriva li to potražnju tržišta ili ne, jer se samo tržište tek formira.
Distribucija razina poslova je zbunjujuća - voditelja timova i menadžera ima gotovo jednako koliko i juniora. Za to može postojati nekoliko razloga. Na primjer, veliki broj malih timova od 2-3 osobe, u kojima voditelj može biti stručnjak srednje ili više razine.
Drugi razlog može biti kaos koji trenutno vlada na tržištu po pitanju standarda u raspodjeli uloga i funkcionalnosti. Voditelji timova ponekad se dodjeljuju onima koji jednostavno rade godinu ili dvije duže od ostalih, bez obzira na razinu vještina i znanja. To vidimo u raspodjeli funkcija po pozicijama - 38% menadžera i voditelja timova bavi se predobradom, a još 33% osnovnom statističkom analizom.
Ovdje smo od ispitanika tražili da subjektivno procijene razinu analitike u svojim tvrtkama. Ako bolje pogledate, možete vidjeti da 10% ispitanika koji rade u analitičkim odjelima od 2-3 osobe vjeruju da imaju "naprednu razinu".
Što je "napredna razina"? BI sustav radi odlično. Postoji DWH i Big Data. A/B testovi se provode redovito. U proizvodnji su ispravni ML i DS sustavi. Odluke se donose samo na temelju podataka. Odjel obrade podataka i znanosti o podacima jedan je od ključnih u tvrtki.
S odjelom od 2-3 osobe gotovo je nemoguće postići sve navedeno. Mislim da je ovaj rezultat ankete mala muka - dečki se još nemaju s kim usporediti kako bi objektivnije odredili svoju razinu.
Kao što se i očekivalo, podatkovni znanstvenici većinu svog vremena ne provode na supersloženoj matematici ili inženjerstvu, već na pretprocesiranju, preuzimanju i čišćenju podataka. U svakoj specijalizaciji vidimo pretprocesiranje u top 3. Ali rijetko viđamo složene stvari poput razvoja ML modela ili rada s velikim podacima u top 3 - samo među ML i DWH inženjerima.
Ima i par tužnih spoznaja. Stručnjaci sami postavljaju 40% svojih zadataka. U Kazahstanu su dosad samo vrhunske tvrtke jednoroga isprobale prednosti rada s velikim podacima i naučile kako to učiniti kompetentno. Tržištu emitiraju da su Big Data i Machine Learning cool, a drugi ešalon slijedi iza njih, ali ne razumije uvijek kako funkcionira rad s podacima. Stoga vidimo da stručnjaci sami sebi postavljaju zadatke, a poduzeća ne znaju uvijek što žele.
Iznenadilo me da 20% stručnjaka uopće ne zna ima li njihova tvrtka skladište podataka. Da, i sa sustavima za upravljanje bazom podataka nije sve tako dobro - 41% koristi MySQL, a još 34% koristi PostgreSQL. Što bi ovo moglo značiti? Radije rade s malim podacima.
U pitanju o sustavima za pohranu, opet vidimo MySQL, pa čak i (!) Excel. Ali to može značiti, na primjer, da većina tvrtki jednostavno još nema zahtjev za rad s velikim podacima.
Ovdje je opet sve dvosmisleno. Općenito, plaće su bile nešto niže nego što sam očekivao.
Osobno, teško mi je zamisliti ML inženjera koji je spreman raditi za 200 tisuća tenge - vjerojatno je pripravnik. Ili su kompetencije takvih stručnjaka vrlo slabe ili je tvrtkama još uvijek teško adekvatno ocijeniti rad Data Science. No možda i to ukazuje na to da je tržište tek na samom početku sazrijevanja. A s vremenom će se visina plaća uspostaviti na primjerenijoj razini.
Izvor: www.habr.com