Dmitry Kazakov, Data Analytics Team Lead hos Kolesa Group, deler indsigt fra den første Kasakhstan-undersøgelse blandt dataprofessionelle.
På billedet: Dmitry Kazakov
Husk den populære sætning om, at Big Data mest ligner teenagesex - alle taler om det, men ingen ved, om det rent faktisk eksisterer. Det samme kunne siges om markedet for dataspecialister (i Kasakhstan) - der er hype, men hvem der står bag (og om der overhovedet er nogen der) var ikke helt klart - hverken for HR eller ledere eller for dataforskerne selv.
Vi brugte , hvor de undersøgte mere end 300 specialister om deres løn, funktioner, kompetencer, værktøjer og meget mere.
Spoiler: Ja, de findes bestemt, men alt er ikke så enkelt.
Fint indblik. For det første er der flere dataforskere, end vi havde forventet. Vi nåede at interviewe 300 personer, blandt dem var ikke kun produkt-, marketing- og BI-analytikere, men også ML- og DWH-ingeniører, hvilket var særligt glædeligt. Den største gruppe omfattede alle dem, der kalder sig dataforskere - det er 36% af de adspurgte. Det er svært at sige, om dette dækker markedets efterspørgsel eller ej, for selve markedet er netop ved at blive dannet.
Fordelingen af jobniveauer er forvirrende – der er næsten lige så mange teamledere og ledere som juniorer. Det kan der være flere årsager til. For eksempel et stort antal små teams på 2-3 personer, hvor lederen kan være specialist på mellem- eller seniorniveau.
En anden årsag kan være det kaos, der i øjeblikket hersker på markedet med hensyn til standarder i rollefordeling og funktionalitet. Team leads tildeles nogle gange til dem, der blot arbejder et år eller to længere end andre, uden reference til niveauet af færdigheder og viden. Det ser vi i fordelingen af funktioner efter stilling - 38 % af ledere og teamledere er beskæftiget med forbehandling og yderligere 33 % i grundlæggende statistisk analyse.
Her bad vi respondenterne om subjektivt at vurdere niveauet af analyse i deres virksomheder. Hvis du ser godt efter, kan du se, at 10 % af de adspurgte, der arbejder i analyseafdelinger på 2-3 personer, mener, at de har et "avanceret niveau."
Hvad er "avanceret niveau"? BI-systemet fungerer godt. Der er DWH og Big Data. A/B-tests udføres regelmæssigt. Der er arbejdende ML og DS systemer i produktion. Beslutninger træffes kun baseret på data. Afdelingen for databehandling og datavidenskab er en af de centrale i virksomheden.
Det er næsten umuligt at opnå alt ovenstående med en afdeling på 2-3 personer. Jeg synes, at dette undersøgelsesresultat er en smule vokseværk - fyrene har endnu ikke nogen at sammenligne sig med for at bestemme deres niveau mere objektivt.
Som forventet bruger dataforskere det meste af deres tid ikke på superkompleks matematik eller teknik, men på forbehandling, download og rensning af data. I hver specialisering ser vi forbehandling i top 3. Men vi ser sjældent komplekse ting som at udvikle ML-modeller eller arbejde med Big Data i top 3 – kun blandt ML- og DWH-ingeniører.
Der er også et par triste indsigter. Eksperter sætter 40 % af deres opgaver selv. I Kasakhstan er det indtil videre kun de bedste enhjørninger, der har prøvet fordelene ved at arbejde med big data og lært, hvordan man gør det kompetent. De udsender til markedet, at Big Data og Machine Learning er seje, og det andet led følger efter, men forstår ikke altid, hvordan arbejdet med data fungerer. Derfor ser vi, at specialister sætter opgaver for sig selv, og virksomhederne ved ikke altid, hvad de vil have.
Jeg var overrasket over, at 20 % af specialisterne ikke engang ved, om deres virksomhed har et datavarehus. Ja, og med databasestyringssystemer er ikke alt så godt - 41% bruger MySQL, og yderligere 34% bruger PostgreSQL. Hvad kunne dette betyde? De arbejder snarere med små data.
I spørgsmålet om lagersystemer ser vi igen MySQL og endda (!) Excel. Men det kan for eksempel tyde på, at de fleste virksomheder simpelthen endnu ikke har en anmodning om at arbejde med big data.
Her er alt igen tvetydigt. Generelt var lønningerne lidt lavere, end jeg havde forventet.
Personligt er det svært for mig at forestille mig en ML-ingeniør, der er klar til at arbejde for 200 tenge - han er sandsynligvis en praktikant. Enten er sådanne specialisters kompetencer meget svage, eller også er det stadig svært for virksomhederne at evaluere arbejdet i Data Science tilstrækkeligt. Men måske tyder det også på, at markedet stadig er i begyndelsen af sin modning. Og med tiden vil lønniveauet blive etableret på et mere passende niveau.
Kilde: www.habr.com