De acordo com a Statista, até 2025, o volume do mercado de big data crescerá para 175 zettabytes, em comparação a 41 em 2019 (). Para conseguir um emprego nessa área, é necessário entender como trabalhar com grandes dados armazenados na nuvem. A Cloud4Y preparou uma lista de 12 cursos pagos e gratuitos sobre engenharia de dados que ampliarão seu conhecimento nesse campo e podem ser um bom ponto de partida para certificações em nuvem.
Prefácio
O que é um especialista em processamento de dados (data engineer)? É a pessoa responsável por criar e manter a arquitetura de dados em um projeto de Data Science. Suas responsabilidades podem incluir garantir o fluxo contínuo de dados entre o servidor e o aplicativo, integrar novos softwares para gerenciar dados, melhorar processos fundamentais de dados e criar pipelines de dados.
Há uma infinidade de tecnologias e ferramentas que um data engineer deve dominar para trabalhar com computação em nuvem, armazéns de dados, ETL (extração, transformação, carregamento) etc. Além disso, a quantidade de habilidades necessárias está sempre crescendo, portanto, o data engineer precisa atualizar regularmente seu conhecimento. Nossa lista inclui cursos para iniciantes e profissionais experientes. Escolha o que mais se adequa a você.
1. Data Engineering Nanodegree Certification ()
Você aprenderá a projetar modelos de dados, criar armazéns de dados e lagos de dados, automatizar pipelines de dados e trabalhar com conjuntos de dados. No final do programa, você testará suas novas habilidades concluindo um projeto Capstone.
Duração: 5 meses, 5 horas por semana
Linguagem: inglês
Preço: $1695
O nível: iniciante
2. Become a Data Engineer Certification ()
Ensina desde o básico. Você pode desenvolver-se passo a passo, utilizando palestras e projetos práticos para trabalhar em suas habilidades. Ao final do curso, você estará preparado para trabalhar com ML e big data. É recomendado ter conhecimento em Python pelo menos em um nível básico.
Duração: 8 meses, 10 horas por semana
Linguagem: inglês
Preço😕
O nível: iniciante
3. Become a Data Engineer: Mastering the Concepts ()
Você desenvolverá habilidades de design de dados e DevOps, aprenderá a criar aplicativos para Big Data, construir pipelines de dados e processar aplicativos em tempo real usando Hazelcast e banco de dados.
Duração: depende de você
Linguagem: inglês
Preço: primeiro mês — grátis
O nível: iniciante
4. Data Engineering Courses ()
Aqui você encontrará uma série de programas que introduzem você ao data engineering e ensinam o desenvolvimento de soluções analíticas. Os cursos são divididos em categorias dependendo do nível de dificuldade, para que você possa escolher um de acordo com sua experiência. Durante o aprendizado, você aprenderá a usar Spark, Hadoop, Azure e a gerenciar dados corporativos.
Duração: depende de você
Linguagem: inglês
Preço: depende do curso escolhido
O nível: iniciante, intermediário, avançado
5. Data Engineer ()
Este curso é ideal se você tem experiência em Python e deseja aprofundar seus conhecimentos e construir uma carreira como especialista em processamento de dados. Você aprenderá a construir pipelines de dados usando Python e pandas, carregar grandes conjuntos de dados em um banco de dados Postgres após a limpeza, transformação e validação.
Duração: depende de você
Linguagem: inglês
Preço: depende do tipo de assinatura
O nível: iniciante, intermediário
6. Data Engineering with Google Cloud ()
Este curso ajudará você a adquirir as habilidades necessárias para construir uma carreira na área de big data. Por exemplo, trabalhar com BigQuery e Spark. Você adquirirá conhecimentos úteis para se preparar para a certificação reconhecida da indústria, Google Cloud Professional Data Engineer.
Duração: 4 meses
Linguagem: inglês
Preço: ainda gratuito
O nível: iniciante, intermediário
7. Data Engineering, Big Data on Google Cloud Platform ()
Curso interessante que oferece conhecimentos práticos sobre sistemas de processamento de dados no GCP. Durante as aulas, você aprenderá a projetar sistemas antes de iniciar o processo de desenvolvimento. Além disso, você irá analisar tanto dados estruturados quanto não estruturados, aplicar escalonamento automático e usar métodos de ML para extração de informações.
Duração: 3 meses
Linguagem: inglês
Preço: ainda gratuito
O nível: iniciante, intermediário
8. UC San Diego: Big Data Specialization ()
O curso baseia-se na utilização da infraestrutura Hadoop e Spark e na aplicação desses métodos de processamento de big data no processo de ML. Você se familiarizará com os fundamentos do uso do Hadoop com MapReduce, Spark, Pig e Hive. Aprenderá como construir modelos preditivos e utilizar a análise de grafos para modelar problemas. Vale destacar que não é necessária experiência em programação para este curso.
Duração: 8 meses com 10 horas por semana
Linguagem: inglês
Preço: ainda gratuito
O nível: iniciante
9. Taming Big Data With Apache Spark and Python ()
Você aprenderá como utilizar a estrutura de fluxo e os quadros de dados no Spark3, adquirirá uma visão sobre como usar o serviço Elastic MapReduce da Amazon para trabalhar com seu cluster Hadoop. Aprenda a identificar problemas na análise de grandes dados e entenda como as bibliotecas GraphX funcionam na análise de redes e como você pode utilizar o MLlib.
Duração: depende de você
Linguagem: inglês
Preço: de 800 rublos a $149,99 (dependendo da sorte)
O nível: iniciante, intermediário
10. Programa PG em Engenharia de Big Data ()
Este curso fornecerá uma visão de como funciona o Aadhaar, como o Facebook personaliza o feed de notícias e como, de forma geral, pode-se utilizar Engenharia de Dados. Os principais temas incluirão processamento de dados (incluindo processamento em tempo real), MapReduce e análise de grandes dados.
Duração: 11 meses
Linguagem: inglês
Preço: em torno de $3000
O nível: iniciante
11. Profissão Cientista de Dados ()
Você aprenderá a programar em Python, explorará estruturas para treinamento de redes neurais como Tensorflow e Keras. Dominará bancos de dados como MongoDB, PostgreSQL, SQLite3, e aprenderá a trabalhar com as bibliotecas Pandas, NumPy e Matplotlib.
Duração: 300 horas de aprendizado
Linguagem: russo
Preço: os primeiros seis meses grátis, depois 3900 rublos por mês
O nível: iniciante
12. Engenheiro de Dados 7.0 ()
Aguarda um estudo profundo sobre Kafka, HDFS, ClickHouse, Spark, Airflow, arquiteturas lambda e kappa. Você aprenderá a conectar ferramentas umas às outras, formando pipelines e obtendo soluções base. É necessária um conhecimento mínimo de Python 3 para o estudo.
Duração: 21 aulas, 7 semanas
Linguagem: russo
Preço: de 60 000 a 120 000 rublos
O nível: iniciante
Se você deseja adicionar mais um bom curso à lista, pode deixar seu comentário ou mensagem privada. Nós complementaremos a postagem.
O que mais é útil para ler no blog
→
→
→
→
→
Inscreva-se no nosso -canal para não perder o próximo artigo. Escrevemos não mais do que duas vezes por semana e apenas quando necessário. Também lembramos que no dia 21 de maio às 15:00 (horário de Moscovo) faremos uma sobre o tema 'Segurança da Informação nos Negócios ao Trabalhar Remotamente'. Se você deseja entender como proteger informações sensíveis e corporativas ao trabalhar de casa — registre-se!
Fonte: habr.com
