Plano de aprimoramento para a profissão de Engenheiro de Dados

Nos últimos oito anos, trabalhei como gerente de projetos (não escrevo código no trabalho), o que, naturalmente, impactou negativamente meu conhecimento tecnológico. Decidi reduzir meu desvio tecnológico e adquirir a profissão de Data Engineer. A principal habilidade de um Data Engineer é a capacidade de projetar, construir e manter armazéns de dados.

Elaborei um plano de estudos que acredito ser útil não apenas para mim. O plano é voltado para o autoestudo de cursos. A prioridade é dada a cursos gratuitos em português.

Seções:

• Algoritmos e estruturas de dados. Seção chave. Se você estudá-la, o restante também se tornará mais fácil. É importante praticar a escrita de código e o uso das principais estruturas e algoritmos.
• Bancos e armazéns de dados, Business Intelligence. Da mudança de algoritmos, passamos ao armazenamento e processamento de dados.
• Hadoop e Big Data. Quando a base de dados não cabe no disco rígido, ou quando é necessário analisar dados que o Excel já não consegue carregar, surgem os grandes dados. Na minha opinião, é necessário estudar este tópico somente após um aprendizado aprofundado das duas seções anteriores.

Algoritmos e estruturas de dados

Incluí em meu plano o estudo de Python, a revisão dos fundamentos de matemática e algoritmos.

• Programação em Python
• Python: fundamentos e aplicações
• Álgebra linear
• Introdução à matemática discreta
• Algoritmos: teoria e prática. Métodos
• Algoritmos: teoria e prática. Estruturas de dados

Bancos de dados e armazenamentos de dados, Business Intelligence

• Livro: Martin Kleppmann — Aplicações de alta carga. Programação, escalabilidade, suporte. O livro descreve como diferentes modelos de dados funcionam, sua implementação interna, limitações e escolhas dependendo da tarefa.
• Introdução a bancos de dados
• Imersão em SGBD
• Introdução a bancos de dados não relacionais

Os tópicos relacionados à construção de armazéns de dados, ETL, cubos OLAP dependem muito das ferramentas, portanto, neste documento, não incluo links para cursos. É sensato estudar esses sistemas ao trabalhar em um projeto específico em uma empresa específica. Para se familiarizar com ETL, pode-se experimentar Talend ou Airflow.

Na minha opinião, é importante estudar a metodologia moderna de design de armazéns de dados Data Vault. link 1, link 2. E a melhor maneira de aprendê-lo é implementá-lo em um exemplo simples. No GitHub, existem vários exemplos de implementação do Data Vault link. Livro moderno sobre armazéns de dados: Modeling the Agile Data Warehouse with Data Vault de Hans Hultgren.

Para conhecer as ferramentas de Business Intelligence para usuários finais, você pode usar o construtor de relatórios gratuito, dashboards e mini-armazéns de dados Power BI Desktop. Materiais de aprendizado: link 1, link 2.

Hadoop e Big Data

• Comece implementando o MapReduce por conta própria, sem bibliotecas externas. Isso permitirá que você entenda melhor as implementações multithread no futuro. Um excelente exemplo em Python está descrito aqui.
• Hadoop. Sistema para processamento de grandes volumes de dados.
• Introdução à engenharia de grandes dados

Conclusão

Nem tudo que se estuda pode ser aplicado no trabalho. Portanto, é necessário um projeto de graduação, onde você poderá tentar aplicar novos conhecimentos.

O plano não inclui tópicos relacionados à análise de dados e Machine Learning, pois isso está mais relacionado à profissão de Data Scientist. Também não há tópicos sobre nuvens AWS, Azure, pois esses temas dependem muito da escolha da plataforma.

Questões para a comunidade:
Quão adequado é meu plano de desenvolvimento? O que devo remover ou adicionar?
Que projeto você recomenda como trabalho de conclusão de curso?

Fonte: habr.com