Dmitry Kazakov, líder da equipe de análise de dados do Grupo Kolesa, compartilha insights da primeira pesquisa do Cazaquistão com profissionais de dados.
Na foto: Dmitry Kazakov
Lembre-se da frase popular de que Big Data é mais parecido com sexo adolescente – todo mundo fala sobre isso, mas ninguém sabe se realmente existe. O mesmo poderia ser dito sobre o mercado de especialistas em dados (no Cazaquistão) - há exageros, mas quem está por trás disso (e se há alguém lá) não estava completamente claro - nem para o RH, nem para os gerentes, nem para os próprios cientistas de dados.
Nós gastamos , em que entrevistaram mais de 300 especialistas sobre seus salários, funções, habilidades, ferramentas e muito mais.
Spoiler: Sim, eles definitivamente existem, mas nem tudo é tão simples.
Boa visão. Em primeiro lugar, há mais cientistas de dados do que esperávamos. Conseguimos entrevistar 300 pessoas, entre as quais não só analistas de produto, marketing e BI, mas também engenheiros de ML e DWH, o que foi especialmente agradável. O maior grupo incluiu todos aqueles que se autodenominam cientistas de dados – ou seja, 36% dos entrevistados. É difícil dizer se isto cobre ou não a procura do mercado, porque o próprio mercado está apenas a ser formado.
A distribuição dos níveis de cargos é confusa – há quase tantos líderes de equipe e gerentes quanto juniores. Pode haver vários motivos para isso. Por exemplo, um grande número de pequenas equipes de 2 a 3 pessoas, nas quais o líder pode ser um especialista de nível médio ou superior.
Outro motivo pode ser o caos que reina atualmente no mercado em relação aos padrões de distribuição de funções e funcionalidades. Às vezes, os líderes de equipe são designados para aqueles que simplesmente trabalham um ou dois anos a mais que os outros, sem referência ao nível de habilidades e conhecimentos. Vemos isso na distribuição de funções por cargo – 38% dos gestores e líderes de equipe estão envolvidos no pré-processamento e outros 33% na análise estatística básica.
Aqui pedimos aos entrevistados que avaliassem subjetivamente o nível de análise em suas empresas. Se você olhar com atenção, verá que 10% dos entrevistados que trabalham em departamentos de análise de 2 a 3 pessoas acreditam que têm um “nível avançado”.
O que é “nível avançado”? O sistema de BI funciona muito bem. Existe DWH e Big Data. Testes A/B são realizados regularmente. Existem sistemas ML e DS em produção. As decisões são tomadas apenas com base em dados. O departamento de processamento de dados e ciência de dados é um dos principais da empresa.
É quase impossível conseguir tudo isso com um departamento de 2 a 3 pessoas. Acho que o resultado desta pesquisa é um pequeno problema de crescimento - os caras ainda não têm ninguém com quem se comparar para determinar seu nível de forma mais objetiva.
Como esperado, os cientistas de dados passam a maior parte do tempo não em matemática ou engenharia supercomplexas, mas no pré-processamento, download e limpeza de dados. Em cada especialização vemos o pré-processamento entre os 3 primeiros. Mas raramente vemos coisas complexas como desenvolver modelos de ML ou trabalhar com Big Data entre os três primeiros – apenas entre engenheiros de ML e DWH.
Existem também alguns insights tristes. Os próprios especialistas definem 40% de suas tarefas. No Cazaquistão, até agora, apenas as principais empresas unicórnios experimentaram os benefícios de trabalhar com big data e aprenderam como fazê-lo de forma competente. Transmitem ao mercado que Big Data e Machine Learning são legais, e o segundo escalão segue atrás, mas nem sempre entende como funciona o trabalho com dados. Portanto, vemos que os especialistas definem tarefas para si próprios e as empresas nem sempre sabem o que querem.
Fiquei surpreso que 20% dos especialistas nem sabem se sua empresa possui Data Warehouse. Sim, e nem tudo é tão bom com sistemas de gerenciamento de banco de dados - 41% usam MySQL e outros 34% usam PostgreSQL. O que isso poderia significar? Eles trabalham com pequenos dados.
Na questão sobre sistemas de armazenamento, vemos novamente o MySQL e até (!) Excel. Mas isto pode indicar, por exemplo, que a maioria das empresas simplesmente ainda não tem um pedido para trabalhar com big data.
Aqui tudo é novamente ambíguo. Em geral, os salários eram um pouco mais baixos do que eu esperava.
Pessoalmente, é difícil para mim imaginar um engenheiro de ML que esteja pronto para trabalhar por 200 mil tenge - provavelmente é um estagiário. Ou as competências desses especialistas são muito fracas ou ainda é difícil para as empresas avaliarem adequadamente o trabalho da Ciência de Dados. Mas talvez isto também indique que o mercado ainda está no início da sua maturação. E com o tempo, o nível de salários será estabelecido em um nível mais adequado.
Fonte: habr.com