Dmitri Kazakov, andmeanalüüsi meeskonna juht Kolesa Group'is, jagab perspektiive esimesest kazahhi spetsialistide küsitlusest andmetöötluse valdkonnas.
Pildil: Dmitri Kazakov
Kas mäletate populaarset fraasi, et Big Data sarnaneb kõige rohkem teismeliste seksiga – kõik räägivad sellest, aga keegi ei tea, kas see tõeliselt eksisteerib. Sama ütlesime ka andmetöötluse spetsialistide turu kohta (Kazahstanis) – hype on olemas, aga kes selle taga seisab (ja kas seal üldse keegi on), ei olnud lõpuni selge – ei värbajatest, ei juhtidest, ega ka andeteadlastest.
Me viisime läbi , mille raames küsitlesime enam kui 300 spetsialisti nende palkade, ülesannete, oskuste, tööriistade ja paljude muude asjade kohta.
Spoileri osa: jah, nad tõesti eksisteerivad, aga kõik ei ole nii üheselt mõistetav.
Meeldiv uudis. Esiteks on andmete spetsialiste rohkem, kui me ootasime. Õnnestus intervjueerida 300 inimest, kelle seas on mitte ainult tootearenduse, turunduse ja BI-analüütikud, vaid ka ML- ja DWH-insenerid, mis on eriti rõõmustav. Suurimas grupis olid kõik need, kes iseennast nimetavad andmete teadlasteks – see moodustab 36% küsitletutest. Kas see katab turu nõudlust või mitte, on raske öelda, sest turg alles kujuneb.
Häirib ametitasemete jaotus – tiimijuhte ja juhte on peaaegu sama palju kui algajaid. Sellel võib olla mitu põhjust. Näiteks suur hulk väikeseid 2-3 inimesega tiime, kus juhiks võib olla kesk- või kogenud tasemega spetsialist.
Teiseks põhjuseks võib olla turul valitsev segadus rollide ja funktsionaalsete standardite osas. Tiimijuhiks määratakse sageli inimesed, kes on lihtsalt töötanud aasta või kaks kauem kui teised, teadmiste ja oskuste tasemest hoolimata. Näeme seda ka funktsioonide jaotuses ametikohtade vahel — 38% juhtidest ja tiimijuhtidest tegeleb andmete ettevalmistamisega ja veel 33% põhistatistilise analüüsiga.
Siin palusime vastajatel subjektiivselt hinnata analüütika taset nende ettevõtetes. Kui lähemalt vaadata, on näha, et 10% vastajatest, kes töötavad 2-3 inimesest koosnevates analüütika osakondades, peavad end "edasijõudnute tasemel."
Mis on "edasijõudnute tase"? BI-süsteem töötab suurepäraselt. On olemas DWH ja Big Data. Korrapäraselt viiakse läbi A/B teste. Tootmises on töötavad ML ja DS süsteemid. Otsused tehakse ainult andmete põhjal. Andmetega tegelev osakond ja Data Science on ettevõttes üks võtmevaldkondi.
Kogu selle loetelu saavutamine 2-3 inimesest koosneva osakonna poolt on praktiliselt võimatu. Arvan, et selline küsitluse tulemus on väiksem kasvuhaigus – poisid ei saa end veel kellegagi võrrelda, et oma taset objektiivsemalt määrata.
Oodatult kulutavad andmetehnikud kõige rohkem aega mitte keerulise matemaatika või inseneritehnika peale, vaid andmete eeltöötlemisele, väljundile ja puhastamisele. Igas spetsialiseerumises näeme eeltöötlemist kolme kõige olulisema tegevuse hulgas. Keerulisi asju, nagu ML mudelite väljatöötamine või Big Data käsitlemine, näeme aga kolme parima hulgas äärmiselt harva – ainult ML- ja DWH-inseneride seas.
On the downside, 40% of specialists set tasks for themselves. In Kazakhstan, only the top unicorn companies have grasped the advantages of working with big data and learned to do it effectively. They broadcast to the market that Big Data and Machine Learning are great, and the second tier is following suit, but they do not always understand how data work. Therefore, we see that specialists set their own tasks, while businesses do not always know what they want.
It was surprising that 20% of specialists are unaware if their company has a Data Warehouse. Yes, and with systems database management things are not so good – 41% use MySQL, and another 34% use PostgreSQL. What does this indicate? They are working mostly with small data.
Regarding storage systems, we again see MySQL and even (!) Excel. But this could suggest, for instance, that most companies simply do not yet have a demand for working with big data.
Here, things are again ambiguous. Overall, salaries turned out to be slightly lower than I expected.
Isiklikult on mul raske ette kujutada ML-inseneri, kes on nõus töötama 200 000 tenge eest – tõenäoliselt on see praktikant. Kas siis on selliste spetsialistide oskused täiesti nõrgad või on ettevõtetel keeruline õigesti hinnata Data Science'i tööd. Kuid see võib samuti viidata sellele, et turg on alles oma loomise alguses. Aja jooksul kujuneb palgatase adekvaatsemaks.
Allikas: habr.com
