Dmitrij Kazakov, vodja skupine za podatkovno analitiko pri Kolesa Group, deli vpoglede iz prve kazahstanske raziskave podatkovnih strokovnjakov.
Na fotografiji: Dmitrij Kazakov
Spomnite se popularne fraze, da so veliki podatki najbolj podobni najstniškemu seksu – vsi govorijo o tem, a nihče ne ve, ali dejansko obstajajo. Enako bi lahko rekli za trg podatkovnih specialistov (v Kazahstanu) - hype je, a kdo stoji za njim (in ali je sploh kdo tam), ni bilo povsem jasno - ne kadrovikom, ne menedžerjem, ne sami podatkovni znanstveniki.
Porabimo , v katerem so anketirali več kot 300 strokovnjakov o njihovih plačah, funkcijah, veščinah, orodjih in še marsičem.
Spojler: Da, zagotovo obstajajo, vendar ni vse tako preprosto.
Lep vpogled. Prvič, podatkovnih znanstvenikov je več, kot smo pričakovali. Uspelo nam je intervjuvati 300 ljudi, med katerimi niso bili samo produktni, marketinški in BI analitiki, ampak tudi inženirji ML in DWH, kar je bilo še posebej razveseljivo. V največji skupini so bili vsi tisti, ki se imenujejo podatkovni znanstveniki – to je 36 % vprašanih. Težko je reči, ali to pokriva povpraševanje trga ali ne, saj se sam trg šele oblikuje.
Porazdelitev delovnih mest je zmedena – vodij ekip in menedžerjev je skoraj toliko kot mlajših. Razlogov za to je lahko več. Na primer, veliko število majhnih skupin 2-3 ljudi, v katerih je vodja lahko strokovnjak na srednji ali višji ravni.
Drugi razlog je lahko kaos, ki trenutno vlada na trgu glede standardov pri razdelitvi vlog in funkcionalnosti. Vodje skupin so včasih dodeljeni tistim, ki preprosto delajo leto ali dve dlje kot drugi, ne glede na raven spretnosti in znanja. To vidimo v porazdelitvi funkcij po pozicijah – 38 % vodij in vodij timov se ukvarja s predobdelavo in še 33 % z osnovno statistično analizo.
Tukaj smo anketirance prosili, naj subjektivno ocenijo raven analitike v svojih podjetjih. Če natančno pogledate, lahko vidite, da 10% anketirancev, ki delajo v analitičnih oddelkih 2-3 ljudi, verjame, da imajo "napredno raven".
Kaj je "napredna raven"? BI sistem deluje odlično. Obstajata DWH in Big Data. A/B testi se izvajajo redno. V proizvodnji sta delujoča sistema ML in DS. Odločitve se sprejemajo samo na podlagi podatkov. Oddelek za obdelavo podatkov in podatkovno znanost je eden ključnih v podjetju.
Z oddelkom 2-3 ljudi je skoraj nemogoče doseči vse našteto. Mislim, da je ta rezultat ankete rahla težava - fantje še nimajo nikogar, s katerim bi se primerjali, da bi bolj objektivno določili svojo raven.
Kot je bilo pričakovano, podatkovni znanstveniki večino svojega časa ne porabijo za super zapleteno matematiko ali inženiring, temveč za predhodno obdelavo, prenos in čiščenje podatkov. V vsaki specializaciji vidimo predprocesiranje v top 3. Toda redko vidimo zapletene stvari, kot je razvoj modelov ML ali delo z velikimi podatki, med prvimi 3 – samo med inženirji ML in DWH.
Obstaja tudi nekaj žalostnih spoznanj. Strokovnjaki si 40 % nalog zastavijo sami. V Kazahstanu so do zdaj le vrhunska podjetja samorogi preizkusila prednosti dela z velikimi podatki in se naučila, kako to storiti kompetentno. Trgu sporočajo, da sta Big Data in strojno učenje kul, drugi ešalon pa sledi za njimi, vendar ne razume vedno, kako deluje delo s podatki. Zato vidimo, da si strokovnjaki sami postavljajo naloge, podjetja pa ne vedo vedno, kaj hočejo.
Presenetilo me je, da 20 % strokovnjakov sploh ne ve, ali ima njihovo podjetje Data Warehouse. Da, in s sistemi za upravljanje baz podatkov ni vse tako dobro - 41% jih uporablja MySQL, še 34% pa PostgreSQL. Kaj bi to lahko pomenilo? Delajo raje z majhnimi podatki.
Pri vprašanju o sistemih za shranjevanje spet vidimo MySQL in celo (!) Excel. Toda to lahko na primer pomeni, da večina podjetij preprosto še nima zahteve za delo z velikimi podatki.
Tukaj je spet vse dvoumno. Na splošno so bile plače nekoliko nižje, kot sem pričakoval.
Osebno si težko predstavljam inženirja ML, ki je pripravljen delati za 200 tisoč tenge - verjetno je pripravnik. Ali so kompetence takih strokovnjakov zelo šibke ali pa podjetja še vedno težko ustrezno ovrednotijo delo Data Science. Morda pa tudi to kaže na to, da je trg še na samem začetku svojega zorenja. In sčasoma se bo raven plač vzpostavila na primernejši ravni.
Vir: www.habr.com