Dmitry Kazakov, líder del equipo de análisis de datos de Kolesa Group, comparte ideas de la primera encuesta de profesionales de datos de Kazajstán.
En la foto: Dmitry Kazakov.
Recuerde la frase popular de que Big Data se parece más al sexo adolescente: todo el mundo habla de ello, pero nadie sabe si realmente existe. Lo mismo podría decirse del mercado de especialistas en datos (en Kazajstán): hay exageración, pero no está del todo claro quién está detrás (y si hay alguien allí), ni para RR.HH., ni para los gerentes, ni para los propios científicos de datos.
Gastamos , en el que encuestaron a más de 300 especialistas sobre sus salarios, funciones, habilidades, herramientas y mucho más.
Spoiler: Sí, definitivamente existen, pero no todo es tan sencillo.
Buena idea. En primer lugar, hay más científicos de datos de los que esperábamos. Logramos entrevistar a 300 personas, entre las cuales no solo se encontraban analistas de producto, marketing y BI, sino también ingenieros de ML y DWH, lo cual fue especialmente satisfactorio. El grupo más grande incluía a todos aquellos que se autodenominan científicos de datos: es decir, el 36% de los encuestados. Es difícil decir si esto cubre o no la demanda del mercado, porque el mercado en sí apenas se está formando.
La distribución de los niveles de trabajo es confusa: hay casi tantos jefes de equipo y gerentes como jóvenes. Puede haber varias razones para esto. Por ejemplo, una gran cantidad de equipos pequeños de 2-3 personas, en los que el líder puede ser un especialista de nivel medio o superior.
Otra razón puede ser el caos que reina actualmente en el mercado en cuanto a estándares en la distribución de roles y funcionalidades. A veces se asignan líderes de equipo a aquellos que simplemente trabajan uno o dos años más que otros, sin hacer referencia al nivel de habilidades y conocimientos. Esto lo vemos en la distribución de funciones por puesto: el 38% de los gerentes y líderes de equipo se dedican al preprocesamiento y otro 33% al análisis estadístico básico.
Aquí pedimos a los encuestados que evaluaran subjetivamente el nivel de análisis en sus empresas. Si miras de cerca, puedes ver que el 10% de los encuestados que trabajan en departamentos de análisis de 2 o 3 personas creen que tienen un "nivel avanzado".
¿Qué es el “nivel avanzado”? El sistema de BI funciona muy bien. Hay DWH y Big Data. Las pruebas A/B se realizan periódicamente. Hay sistemas ML y DS en funcionamiento en producción. Las decisiones se toman únicamente en base a datos. El departamento de procesamiento de datos y ciencia de datos es uno de los claves de la empresa.
Es casi imposible lograr todo lo anterior con un departamento de 2-3 personas. Creo que el resultado de esta encuesta es un ligero dolor de cabeza: los chicos todavía no tienen con quién compararse para determinar su nivel de manera más objetiva.
Como era de esperar, los científicos de datos dedican la mayor parte de su tiempo no a matemáticas o ingeniería súper complejas, sino a preprocesar, descargar y limpiar datos. En cada especialización vemos el preprocesamiento entre los 3 primeros. Pero rara vez vemos cosas complejas como desarrollar modelos de ML o trabajar con Big Data entre los 3 primeros, sólo entre los ingenieros de ML y DWH.
También hay un par de ideas tristes. Los expertos se encargan ellos mismos del 40% de sus tareas. En Kazajstán, hasta ahora sólo las principales empresas unicornio han probado los beneficios de trabajar con big data y han aprendido a hacerlo de manera competente. Transmiten al mercado que Big Data y Machine Learning son geniales, y el segundo escalón los sigue, pero no siempre entiende cómo funciona el trabajo con datos. Por lo tanto, vemos que los especialistas se fijan tareas y las empresas no siempre saben lo que quieren.
Me sorprendió que el 20% de los especialistas ni siquiera saben si su empresa cuenta con un Data Warehouse. Sí, y con los sistemas de gestión de bases de datos no todo es tan bueno: el 41% usa MySQL y otro 34% usa PostgreSQL. ¿Qué podría significar esto? Trabajan más bien con datos pequeños.
En la pregunta sobre sistemas de almacenamiento, volvemos a ver MySQL e incluso (!) Excel. Pero esto puede indicar, por ejemplo, que la mayoría de las empresas simplemente aún no tienen una solicitud para trabajar con big data.
Aquí todo vuelve a ser ambiguo. En general, los salarios fueron ligeramente más bajos de lo que esperaba.
Personalmente, me resulta difícil imaginar a un ingeniero de aprendizaje automático que esté dispuesto a trabajar por 200 tenge; probablemente sea un pasante. O las competencias de estos especialistas son muy débiles o todavía resulta difícil para las empresas evaluar adecuadamente el trabajo de la ciencia de datos. Pero quizás esto también indique que el mercado aún se encuentra en el comienzo de su maduración. Y con el tiempo, el nivel de los salarios se irá fijando en un nivel más adecuado.
Fuente: habr.com