Dmitri KazakovKolesa Groupi andmeanalüüsi meeskonna juht jagab teadmisi esimesest Kasahstani andmespetsialistide uuringust.
Fotol: Dmitri Kazakov
Pidage meeles populaarset fraasi, et Big Data sarnaneb kõige rohkem teismeliste seksiga – kõik räägivad sellest, kuid keegi ei tea, kas see on tegelikult olemas. Sama võiks öelda ka andmespetsialistide turu kohta (Kasahstanis) - küll on haibi, aga kes selle taga on (ja kas seal üldse kedagi on), polnud päris selge - ei personali- ega juhtidele ega ka andmeteadlased ise.
Me kulutasime , milles küsitleti enam kui 300 spetsialistilt nende palkade, funktsioonide, oskuste, tööriistade ja palju muu kohta.
Spoiler: Jah, need on kindlasti olemas, kuid kõik pole nii lihtne.
Kena arusaam. Esiteks on andmeteadlasi rohkem, kui ootasime. Meil õnnestus intervjueerida 300 inimest, kelle hulgas ei olnud mitte ainult toote-, turundus- ja BI-analüütikuid, vaid ka ML-i ja DWH insenere, mis oli eriti meeldiv. Suurimasse rühma kuulusid kõik need, kes nimetavad end andmeteadlasteks – see on 36% vastanutest. Raske öelda, kas see katab turu nõudluse või mitte, sest turg ise on alles kujunemas.
Ametitasemete jaotus on segane – meeskonnajuhte ja juhte on peaaegu sama palju kui juuniorid. Sellel võib olla mitu põhjust. Näiteks suur hulk väikeseid 2-3-liikmelisi meeskondi, milles juhiks võib olla kesk- või kõrgema taseme spetsialist.
Teine põhjus võib olla praegu turul valitsev kaos rollide jaotuse ja funktsionaalsuse standardite osas. Mõnikord määratakse meeskonnajuhid neile, kes lihtsalt töötavad aasta või kaks kauem kui teised, ilma oskuste ja teadmiste tasemest sõltumata. Näeme seda funktsioonide jaotuses ametikohtade lõikes - 38% juhtidest ja meeskonnajuhtidest tegeleb eeltöötlusega ja veel 33% statistilise baasanalüüsiga.
Siin palusime vastajatel subjektiivselt hinnata analüütika taset oma ettevõtetes. Kui vaatate tähelepanelikult, näete, et 10% vastajatest, kes töötavad 2–3 inimesega analüütikaosakonnas, usuvad, et neil on "kõrgtase".
Mis on "arenenud tase"? BI-süsteem töötab suurepäraselt. Seal on DWH ja Big Data. A/B teste tehakse regulaarselt. Tootmisel on töökorras ML ja DS süsteemid. Otsused tehakse ainult andmete põhjal. Andmetöötluse ja andmeteaduse osakond on ettevõtte üks võtmetähtsusega osakond.
Kõike eelnevat on peaaegu võimatu saavutada 2-3-liikmelise osakonnaga. Arvan, et see küsitlustulemus on kerge kasvuvalu - kuttidel pole veel kellegagi võrrelda, et oma taset objektiivsemalt määrata.
Ootuspäraselt kulutavad andmeteadlased suurema osa oma ajast mitte ülikeerulisele matemaatikale või inseneritööle, vaid andmete eeltöötlusele, allalaadimisele ja puhastamisele. Igal erialal näeme eeltöötlust esikolmikus. Kuid me näeme harva selliseid keerulisi asju nagu ML-mudelite arendamine või suurte andmetega töötamine esikolmikus – ainult ML- ja DWH-inseneride seas.
On ka paar kurba arusaama. Eksperdid seavad 40% oma ülesannetest ise. Kasahstanis on seni vaid ükssarviku tippettevõtted proovinud suurandmetega töötamise eeliseid ja õppinud seda asjatundlikult tegema. Nad edastavad turule, et suurandmed ja masinõpe on lahedad ning teine ešelon järgneb sellele, kuid ei mõista alati, kuidas andmetega töötamine käib. Seetõttu näeme, et spetsialistid seavad endale ülesandeid ja ettevõtjad ei tea alati, mida nad tahavad.
Mind üllatas, et 20% spetsialistidest isegi ei tea, kas nende ettevõttel on Andmeladu. Jah, ja andmebaasihaldussüsteemidega pole kõik nii hästi – 41% kasutab MySQL-i ja veel 34% PostgreSQL-i. Mida see võiks tähendada? Nad töötavad pigem väikeste andmetega.
Salvestussüsteemide küsimuses näeme taas MySQL-i ja isegi (!) Excelit. Kuid see võib viidata näiteks sellele, et enamikul ettevõtetel lihtsalt pole veel soovi suurandmetega töötada.
Siin on kõik jällegi kahemõtteline. Üldiselt olid palgad veidi madalamad, kui ootasin.
Mul on isiklikult raske ette kujutada ML-i inseneri, kes on valmis töötama 200 tuhande tenge eest - tõenäoliselt on ta praktikant. Kas on selliste spetsialistide kompetentsid väga nõrgad või on ettevõtetel siiski raske Data Science’i tööd adekvaatselt hinnata. Kuid võib-olla viitab see ka sellele, et turg on alles oma küpsemise alguses. Ja aja jooksul kehtestatakse palkade tase adekvaatsemal tasemel.
Allikas: www.habr.com