Dmitri Kazakov, Kolesa Groupin Data Analytics -tiimin johtaja, jakaa näkemyksiä Kazakstanin ensimmäisestä data-ammattilaisten kyselystä.
Kuvassa: Dmitri Kazakov
Muista suosittu lause, jonka mukaan Big Data on lähinnä teini-ikäisten seksiä - kaikki puhuvat siitä, mutta kukaan ei tiedä, onko sitä todella olemassa. Samaa voisi sanoa dataasiantuntijoiden markkinoista (Kazakstanissa) - hypetystä on, mutta kuka sen takana on (ja onko siellä ketään), ei ollut täysin selvää - ei henkilöstöhallinnolle, johtajille eikä datatieteilijät itse.
Me käytimme , jossa he tiedustelivat yli 300 asiantuntijaa heidän palkoistaan, tehtävistään, taidoistaan, työkaluistaan ja paljon muuta.
Spoileri: Kyllä, niitä on varmasti olemassa, mutta kaikki ei ole niin yksinkertaista.
Hieno oivallus. Ensinnäkin datatieteilijöitä on enemmän kuin odotimme. Onnistuimme haastattelemaan 300 henkilöä, joiden joukossa oli tuote-, markkinointi- ja BI-analyytikoiden lisäksi myös ML- ja DWH-insinöörejä, mikä oli erityisen ilahduttavaa. Suurimpaan ryhmään kuuluivat kaikki itseään datatieteilijöiksi kutsuvat – se on 36 % vastaajista. On vaikea sanoa, kattaako tämä markkinoiden kysynnän vai ei, koska itse markkinat ovat vasta muodostumassa.
Työtasojen jakautuminen on hämmentävää - tiimijohtajia ja esimiehiä on lähes yhtä paljon kuin junioreita. Tähän voi olla useita syitä. Esimerkiksi suuri määrä pieniä 2-3 hengen ryhmiä, joissa johtajana voi olla keski- tai ylemmän tason asiantuntija.
Toinen syy voi olla markkinoilla tällä hetkellä vallitseva kaaos roolijaon ja toiminnallisuuden standardien suhteen. Ryhmäjohtajia määrätään joskus niille, jotka vain työskentelevät vuoden tai kaksi pidempään kuin muut, ilman viittausta taitojen ja tietojen tasoon. Näemme tämän tehtävien jakautumisessa positioittain - 38 % esimiehistä ja tiiminjohtajista on mukana esikäsittelyssä ja toiset 33 % tilastollisessa perusanalyysissä.
Täällä pyysimme vastaajia arvioimaan subjektiivisesti analytiikan tasoa yrityksessään. Jos katsot tarkasti, huomaat, että 10 % vastaajista, jotka työskentelevät 2–3 hengen analytiikkaosastoilla, uskoo, että heillä on "edistynyt taso".
Mikä on "edistynyt taso"? BI-järjestelmä toimii loistavasti. On DWH ja Big Data. A/B-testejä tehdään säännöllisesti. Tuotannossa on toimivia ML- ja DS-järjestelmiä. Päätökset tehdään vain tietojen perusteella. Tietojenkäsittely- ja tietotiedeosasto on yksi yrityksen avainyksiköistä.
Kaikkia edellä mainittuja on lähes mahdotonta saavuttaa 2-3 hengen osastolla. Tämä kyselytulos on mielestäni lievää kasvukipua - tyypeillä ei ole vielä ketään, johon vertailla itseään objektiivisemmin tasonsa määrittämiseksi.
Kuten odotettiin, datatieteilijät eivät vietä suurimman osan ajastaan erittäin monimutkaiseen matematiikkaan tai tekniikkaan, vaan tietojen esikäsittelyyn, lataamiseen ja puhdistamiseen. Jokaisella erikoisalalla näemme esikäsittelyn kolmen parhaan joukossa. Mutta näemme harvoin monimutkaisia asioita, kuten ML-mallien kehittämistä tai työskentelyä Big Datan kanssa kolmen parhaan joukossa – vain ML- ja DWH-insinöörien joukossa.
Mukana on myös pari surullista oivallusta. Asiantuntijat asettavat 40 % tehtävistään itse. Kazakstanissa toistaiseksi vain huippuyksisarvisyritykset ovat kokeilleet big datan parissa työskentelemisen etuja ja oppineet tekemään sen asiantuntevasti. He lähettävät markkinoille, että Big Data ja koneoppiminen ovat siistejä, ja toinen vaihe seuraa perässä, mutta ei aina ymmärrä kuinka datan kanssa työskentely toimii. Siksi näemme, että asiantuntijat asettavat itselleen tehtäviä, eivätkä yritykset aina tiedä mitä haluavat.
Olin yllättynyt, että 20 % asiantuntijoista ei edes tiedä, onko heidän yrityksellään tietovarastoa. Kyllä, ja tietokannan hallintajärjestelmissä kaikki ei ole niin hyvin - 41% käyttää MySQL:ää ja toinen 34% käyttää PostgreSQL:ää. Mitä tämä voisi tarkoittaa? Ne toimivat pikemminkin pienellä datalla.
Tallennusjärjestelmiä koskevassa kysymyksessä näemme jälleen MySQL:n ja jopa (!) Excelin. Mutta tämä voi viitata esimerkiksi siihen, että useimmilla yrityksillä ei yksinkertaisesti ole vielä pyyntöä työskennellä big datan kanssa.
Täällä kaikki on taas epäselvää. Yleisesti ottaen palkat olivat hieman odotettua pienemmät.
Henkilökohtaisesti minun on vaikea kuvitella ML-insinööriä, joka on valmis työskentelemään 200 tuhannella tengellä - hän on luultavasti harjoittelija. Joko tällaisten asiantuntijoiden osaaminen on erittäin heikkoa tai yritysten on edelleen vaikea arvioida Data Sciencen työtä riittävästi. Mutta ehkä tämä osoittaa myös, että markkinat ovat vielä kypsymisensä alussa. Ja ajan mittaan palkkojen taso vakiintuu sopivammalle tasolle.
Lähde: will.com