Dmitri Kazakov, o xefe do equipo de análise de datos do Grupo Kolesa, comparte as ideas da primeira enquisa de Kazajistán a profesionais de datos.
Na foto: Dmitry Kazakov
Lembra a popular frase de que o Big Data é máis parecido ao sexo adolescente: todo o mundo fala diso, pero ninguén sabe se realmente existe. O mesmo podería dicirse sobre o mercado de especialistas en datos (en Casaquistán): hai bombo, pero quen está detrás (e se hai alguén alí) non estaba completamente claro: nin para RRHH, nin para xestores, nin para os propios científicos de datos.
Gastamos , na que enquisaron a máis de 300 especialistas sobre os seus salarios, funcións, habilidades, ferramentas e moito máis.
Spoiler: Si, definitivamente existen, pero non todo é tan sinxelo.
Bonita visión. En primeiro lugar, hai máis científicos de datos dos que esperabamos. Conseguimos entrevistar a 300 persoas, entre as que non só estaban analistas de produtos, mercadotecnia e BI, senón tamén enxeñeiros de ML e DWH, o que foi especialmente grato. O grupo máis numeroso incluíu a todos aqueles que se chaman científicos de datos: é o 36% dos enquisados. É difícil dicir se isto cobre ou non a demanda do mercado, porque o propio mercado está a ser formado.
A distribución dos niveis de traballo é confusa: hai case tantos xefes de equipo e xestores como mozos. Pode haber varias razóns para iso. Por exemplo, un gran número de pequenos equipos de 2-3 persoas, nos que o líder pode ser un especialista de nivel medio ou superior.
Outro motivo pode ser o caos que reina actualmente no mercado en canto aos estándares na distribución de roles e funcionalidades. Ás veces, os xefes de equipo son asignados a aqueles que simplemente traballan un ano ou dous máis que outros, sen facer referencia ao nivel de habilidades e coñecementos. Vémolo na distribución de funcións por postos: o 38% dos directivos e xefes de equipo dedícanse ao procesamento previo e outro 33% á análise estatística básica.
Aquí pedimos aos entrevistados que avalían subxectivamente o nivel de análise nas súas empresas. Se observas con atención, podes ver que o 10% dos enquisados que traballan en departamentos de análise de 2 ou 3 persoas cren que teñen un "nivel avanzado".
Que é "nivel avanzado"? O sistema de BI funciona moi ben. Hai DWH e Big Data. As probas A/B realízanse regularmente. Hai sistemas ML e DS funcionando en produción. As decisións tómanse só en función dos datos. O departamento de procesamento de datos e ciencia de datos é un dos principais da empresa.
É case imposible conseguir todo o anterior cun departamento de 2-3 persoas. Creo que o resultado desta enquisa é unha lixeira dor de crecemento: os mozos aínda non teñen con quen compararse para determinar o seu nivel de forma máis obxectiva.
Como era de esperar, os científicos de datos pasan a maior parte do seu tempo non en matemáticas ou enxeñería súper complexas, senón en preprocesar, descargar e limpar datos. En cada especialización vemos o preprocesamento entre os 3 primeiros. Pero raramente vemos cousas complexas como desenvolver modelos de ML ou traballar con Big Data entre os 3 primeiros, só entre os enxeñeiros de ML e DWH.
Tamén hai un par de ideas tristes. Os expertos establecen eles mesmos o 40% das súas tarefas. En Casaquistán, ata agora só as principais empresas de unicornios probaron os beneficios de traballar con big data e aprenderon a facelo de forma competente. Difunden ao mercado que Big Data e Machine Learning son xeniais, e o segundo escalón segue detrás, pero non sempre entende como funciona o traballo con datos. Por iso, vemos que os especialistas poñen tarefas por si mesmos e as empresas non sempre saben o que queren.
Sorprendeume que o 20% dos especialistas nin sequera saiban se a súa empresa ten un Data Warehouse. Si, e cos sistemas de xestión de bases de datos non todo é tan bo: un 41% usa MySQL e outro 34% usa PostgreSQL. Que podería significar isto? Funcionan máis ben con datos pequenos.
Na pregunta sobre os sistemas de almacenamento, volvemos ver MySQL e incluso (!) Excel. Pero isto pode indicar, por exemplo, que a maioría das empresas simplemente non teñen aínda unha solicitude para traballar con big data.
Aquí todo volve ser ambiguo. En xeral, os salarios foron lixeiramente máis baixos do que esperaba.
Persoalmente, é difícil para min imaxinar un enxeñeiro de ML que estea preparado para traballar para 200 mil tenge, probablemente sexa un pasante. Ou as competencias deste tipo de especialistas son moi débiles, ou aínda é difícil para as empresas avaliar adecuadamente o traballo de Data Science. Pero quizais isto tamén indique que o mercado aínda está no inicio da súa maduración. E co paso do tempo, o nivel dos salarios irase establecendo nun nivel máis adecuado.
Fonte: www.habr.com