Dmitri Kazakov, teamleider Data Analytics bij Kolesa Group, deelt inzichten uit het eerste onderzoek onder dataprofessionals in Kazachstan.
Op de foto: Dmitry Kazakov
Denk aan de populaire uitspraak dat Big Data het meest op tienerseks lijkt: iedereen praat erover, maar niemand weet of het echt bestaat. Hetzelfde zou kunnen worden gezegd over de markt voor dataspecialisten (in Kazachstan) - er is sprake van een hype, maar wie erachter zit (en of er überhaupt iemand is) was niet helemaal duidelijk - noch voor HR, noch voor managers, noch voor de datawetenschappers zelf.
wij hebben uitgegeven , waarin ze ruim 300 specialisten ondervroegen over hun salarissen, functies, vaardigheden, hulpmiddelen en nog veel meer.
Spoiler: Ja, ze bestaan zeker, maar alles is niet zo eenvoudig.
Mooi inzicht. Ten eerste zijn er meer datawetenschappers dan we hadden verwacht. We hebben 300 mensen kunnen interviewen, onder wie niet alleen product-, marketing- en BI-analisten, maar ook ML- en DWH-ingenieurs, wat bijzonder prettig was. Tot de grootste groep behoorden al diegenen die zichzelf datawetenschappers noemen – dat is 36% van de respondenten. Het is moeilijk te zeggen of dit de vraag van de markt dekt of niet, omdat de markt zelf nog maar net gevormd is.
De verdeling van functieniveaus is verwarrend: er zijn bijna evenveel teamleiders en managers als junioren. Hier kunnen verschillende redenen voor zijn. Bijvoorbeeld een groot aantal kleine teams van 2-3 personen, waarbij de leider een specialist op midden- of senior niveau kan zijn.
Een andere reden kan de chaos zijn die momenteel in de markt heerst over standaarden in de rolverdeling en functionaliteit. Teamleiders worden soms toegewezen aan degenen die gewoon een jaar of twee langer werken dan anderen, zonder rekening te houden met het niveau van vaardigheden en kennis. We zien dit in de verdeling van functies per functie: 38% van de managers en teamleiders houdt zich bezig met voorverwerking en nog eens 33% met statistische basisanalyses.
Hier vroegen we respondenten om het analyseniveau in hun bedrijf subjectief te beoordelen. Als je goed kijkt, zie je dat 10% van de respondenten die op analyseafdelingen van twee tot drie personen werken, van mening is dat ze een ‘geavanceerd niveau’ hebben.
Wat is “geavanceerd niveau”? Het BI-systeem werkt prima. Er is DWH en Big Data. Er worden regelmatig A/B-testen uitgevoerd. Er zijn werkende ML- en DS-systemen in productie. Beslissingen worden alleen genomen op basis van data. De afdeling gegevensverwerking en datawetenschap is een van de belangrijkste binnen het bedrijf.
Met een afdeling van 2-3 personen is het vrijwel onmogelijk om al het bovenstaande te realiseren. Ik denk dat dit onderzoeksresultaat een lichte groeipijn is: de jongens hebben nog niemand om zich mee te vergelijken om hun niveau objectiever te bepalen.
Zoals verwacht besteden datawetenschappers het grootste deel van hun tijd niet aan supercomplexe wiskunde of techniek, maar aan het voorbewerken, downloaden en opschonen van gegevens. Bij iedere specialisatie zien we voorbewerking terug in de top 3. Maar complexe zaken als het ontwikkelen van ML-modellen of het werken met Big Data zien we zelden in de top 3 staan – alleen onder ML- en DWH-engineers.
Er zijn ook een paar trieste inzichten. Experts bepalen 40% van hun taken zelf. In Kazachstan hebben tot nu toe alleen de beste unicorn-bedrijven de voordelen van het werken met big data uitgeprobeerd en geleerd hoe ze dit op een competente manier kunnen doen. Ze zenden de markt uit dat Big Data en Machine Learning cool zijn, en het tweede echelon volgt, maar begrijpt niet altijd hoe het werken met data werkt. Daarom zien we dat specialisten zichzelf taken opleggen en dat bedrijven niet altijd weten wat ze willen.
Ik was verrast dat 20% van de specialisten niet eens weet of hun bedrijf een Data Warehouse heeft. Ja, en met databasebeheersystemen is niet alles zo goed: 41% gebruikt MySQL en nog eens 34% gebruikt PostgreSQL. Wat zou dit kunnen betekenen? Ze werken eerder met kleine data.
In de vraag over opslagsystemen zien we opnieuw MySQL en zelfs (!) Excel. Maar dit kan er bijvoorbeeld op duiden dat de meeste bedrijven simpelweg nog geen verzoek hebben om met big data te gaan werken.
Hier is alles opnieuw dubbelzinnig. Over het algemeen waren de salarissen iets lager dan ik had verwacht.
Persoonlijk kan ik me moeilijk een ML-ingenieur voorstellen die bereid is om voor 200 tenge te werken - hij is waarschijnlijk een stagiair. Ofwel zijn de competenties van zulke specialisten erg zwak, ofwel is het voor bedrijven nog steeds lastig om het werk van Data Science adequaat te beoordelen. Maar misschien geeft dit ook aan dat de markt nog maar aan het begin van zijn volwassenheid staat. En na verloop van tijd zal het salarisniveau op een adequater niveau worden vastgesteld.
Bron: www.habr.com