De acordo com , a profissão de engenheiro de dados atualmente é uma das que mais cresce. O engenheiro de dados desempenha um papel crítico nas organizações – ele cria e mantém pipelines e bancos de dados, que são usados para processar, transformar e armazenar dados. Quais habilidades são essenciais para os profissionais desta área? A lista é diferente do que é exigido de cientistas de dados? Você descobrirá tudo isso em meu artigo.
Analisei anúncios de emprego para a posição de engenheiro de dados na forma como eles estavam em janeiro de 2020, para entender quais habilidades tecnológicas são mais populares. Em seguida, comparei os resultados obtidos com as estatísticas de anúncios para a posição de cientista de dados – e algumas diferenças interessantes surgiram.
Vamos direto ao ponto – aqui estão as dez principais tecnologias que são mais mencionadas nos anúncios de emprego:
Menciona tecnologias nos anúncios para a posição de engenheiro de dados em 2020
Vamos entender.
Responsabilidades do engenheiro de dados
Atualmente, o trabalho realizado pelos engenheiros de dados é extremamente importante para as organizações – essas pessoas são responsáveis pelo armazenamento de informações e as organizam de maneira que outros colaboradores possam trabalhar com elas. Os engenheiros de dados constroem pipelines para permitir a obtenção de dados, seja em fluxo ou em lotes, de várias fontes. Em seguida, os pipelines realizam operações de extração, transformação e carregamento (em outras palavras, processos ETL), tornando os dados mais adequados para uso posterior. Finalmente, os dados são entregues a analistas e cientistas de dados para um processamento mais aprofundado. Por fim, os dados chegam aos painéis informativos, relatórios e modelos para aprendizado de máquina.
Pesquisei informações que me permitiram concluir quais tecnologias são as mais demandadas no trabalho de um engenheiro de dados atualmente.
Métodos
Coletei informações de três sites de busca de emprego — , e e observei quais palavras-chave aparecem em associação com "engenheiro de dados" nos textos de vagas destinadas a residentes dos EUA. Para essa tarefa, utilizei duas bibliotecas Python — e . Incluí palavras-chave que estavam na lista anterior para análise de vagas para o cargo de data scientist, assim como aquelas que selecionei manualmente ao ler anúncios de emprego para data engineers. O LinkedIn não foi incluído entre as fontes, pois fui banido de lá após a última tentativa de coletar dados.
Para cada palavra-chave, contei a porcentagem de ocorrências em relação ao número total de textos em cada um dos sites separadamente, e depois calculei a média entre as três fontes.
Resultados
Abaixo estão trinta termos técnicos da área de data engineering com os maiores índices em todos os três sites de vagas.
Aqui estão os mesmos números, mas apresentados em forma de tabela:
Vamos por partes.
Visão geral dos resultados
Tanto SQL quanto Python aparecem em mais de dois terços das vagas analisadas. Essas duas tecnologias são as mais sensatas para se estudar em primeiro lugar. – uma linguagem de programação muito popular, usada para manipulação de dados, criação de sites e escrita de scripts. significa Structured Query Language (linguagem de consulta estruturada); trata-se de um padrão implementado por um grupo de linguagens, utilizado para extrair dados de bancos de dados relacionais. Ela foi criada há muito tempo e se demonstrou extremamente robusta.
O Spark é mencionado em aproximadamente metade dos anúncios de emprego. – é um "motor analítico unificado para processamento de grandes dados com módulos integrados para streaming, SQL, aprendizado de máquina e processamento de grafos". Ele é especialmente popular entre aqueles que trabalham com grandes volumes de dados.
AWS aparece em cerca de 45% dos textos de vagas. Trata-se de uma plataforma de computação em nuvem desenvolvida pela Amazon, detentora da maior fatia de mercado entre todas as plataformas de nuvem.
Em seguida, estão Java e Hadoop – um pouco mais de 40% para cada um deles. – uma linguagem amplamente utilizada e testada em batalha, que ocupou o décimo lugar entre as linguagens que mais assustam os programadores. Em contraste, Python foi o segundo entre as linguagens mais amadas. O controle da linguagem Java é feito pela Oracle, e tudo que você precisa saber sobre ela pode ser entendido neste print da página oficial de janeiro de 2020.
Como se eu tivesse viajado no tempo
usa um modelo de software MapReduce com clusters de servidores para grandes dados. Agora, esse modelo está sendo cada vez mais abandonado.
A seguir, vemos Hive, Scala, Kafka e NoSQL - cada uma dessas tecnologias é mencionada em um quarto das vagas apresentadas. Apache Hive é um programa de armazenamento de dados que "facilita a leitura, escrita e gerenciamento de grandes conjuntos de dados localizados em repositórios distribuídos, utilizando SQL". – uma linguagem de programação amplamente utilizada no trabalho com grandes dados. Em particular, o Spark foi criado com Scala. No já mencionado ranking de linguagens de programação assustadoras, Scala ocupa a décima primeira posição. – uma plataforma distribuída para processamento de mensagens em fluxo. É muito popular como meio de transmissão de dados.
se opõem ao SQL. Eles se distinguem por serem não relacionais, não estruturados e possuírem escalabilidade horizontal. NoSQL ganhou alguma popularidade, no entanto, o frenético entusiasmo por essa abordagem, até profecias de que ela substituiria o SQL como a principal paradigma de armazenamento, parece estar no passado.
Comparação com os termos nas vagas de data scientist
Aqui estão trinta termos tecnológicos mais comuns entre empregadores na área de ciência de dados. Essa lista foi obtida pelo mesmo método que descrevi acima para engenharia de dados.
Menções de tecnologias em vagas para a posição de data scientist em 2020
Em termos gerais, comparado ao conjunto de vagas considerado anteriormente, houve um aumento de 28% (12.013 contra 9.396). Vamos ver quais tecnologias são mencionadas nas vagas para data scientists com menos frequência do que para data engineers.
Mais populares em engenharia de dados
No gráfico abaixo estão as palavras-chave com uma diferença média de valores superior a 10% ou inferior a -10%.
As maiores diferenças na frequência das palavras-chave entre data engineer e data scientist
O maior crescimento é observado na AWS: na engenharia de dados, ela aparece 25% mais frequentemente do que na ciência de dados (aproximadamente 45% e 20% do total de vagas, respectivamente). A diferença é significativa!
Aqui estão os mesmos dados de uma maneira um pouco diferente - no gráfico, os resultados para a mesma palavra-chave nas vagas para as posições de data engineer e data scientist estão lado a lado.
As maiores diferenças na frequência das palavras-chave entre data engineer e data scientist
O próximo grande salto que observei foi no Spark – os engenheiros de dados frequentemente precisam trabalhar com grandes volumes de dados. também cresceu 20%, ou seja, quase quatro vezes em comparação com os resultados para vagas de cientista de dados. A transferência de dados é uma das principais responsabilidades de um engenheiro de dados. Finalmente, o número de menções aumentou em 15% na área de engenharia de dados para Java, NoSQL, Redshift, SQL e Hadoop.
Menos populares em engenharia de dados
Agora vamos ver quais tecnologias são menos populares nas vagas para engenheiros de dados.
A queda mais acentuada em comparação com a área de ciência de dados ocorreu com : lá ele aparecia em cerca de 56% das vagas, aqui – apenas 17%. Impressionante. R é uma linguagem de programação que é popular entre cientistas e estatísticos, além de ocupar o oitavo lugar no ranking das linguagens que causam medo.
também aparece nas vagas para engenheiro de dados de forma significativamente menos frequente – a diferença é de 14%. SAS é uma linguagem proprietária projetada para trabalhar com estatísticas e dados. Um ponto interessante: de acordo com os resultados , ultimamente ela perdeu muita força – mais do que qualquer outra tecnologia.
Demandadas tanto na engenharia de dados quanto na ciência de dados
Vale ressaltar que oito das dez primeiras posições nos dois conjuntos coincidem. SQL, Python, Spark, AWS, Java, Hadoop, Hive e Scala estão entre os dez principais tanto para a indústria de engenharia de dados quanto para a ciência de dados. No gráfico abaixo, você pode ver as quinze tecnologias mais populares entre os empregadores de engenheiros de dados, e ao lado – seus índices em vagas para cientistas de dados.
Recomendações
Se você deseja trabalhar com engenharia de dados, eu recomendaria que você aprendesse as seguintes tecnologias – as listarei em ordem de prioridade aproximada.
Estude SQL. Eu recomendo fortemente o PostgreSQL, pois ele é de código aberto, muito popular na comunidade e está em fase de crescimento. Como usar a linguagem, você pode descobrir no livro My Memorable SQL – sua versão piloto está disponível .
Domine Python, mesmo que não no nível mais avançado. O livro My Memorable Python é voltado para iniciantes. Ele pode ser comprado em , cópia eletrônica ou física, a sua escolha, ou você pode baixá-lo em formato pdf ou epub .
Assim que você se familiarizar com o Python, avance para o pandas – uma biblioteca de Python usada para limpeza e processamento de dados. Se você está visando um emprego em uma empresa que exige habilidades em Python (e a maioria delas exige), pode ter certeza de que o conhecimento em pandas será considerado padrão. Estou atualmente finalizando um guia introdutório para trabalhar com pandas – você pode , para não perder o momento do lançamento.
Domine a AWS. Se você deseja se tornar um engenheiro de dados, não pode se dar ao luxo de estar sem uma plataforma de nuvem, e a AWS é a mais popular entre elas. Os cursos da , quando eu estava estudando , tenho certeza de que eles também têm bons materiais sobre a AWS.
Se você já dominou toda essa lista e quer se destacar ainda mais aos olhos dos empregadores como engenheiro de dados, sugiro adicionar o Apache Spark para lidar com grandes volumes de dados. Embora a minha pesquisa sobre vagas de ciência de dados tenha mostrado uma queda no interesse, ela ainda aparece em quase todas as segundas oportunidades para engenheiros de dados.
Por fim
, espero que esta visão geral das tecnologias mais requisitadas para engenheiros de dados tenha sido útil para você. Se você estiver interessado em saber como estão as vagas para analistas, leia . Boa engenharia!
Fonte: habr.com
