Selon Statista, d'ici 2025, le marché des big data atteindra 175 zettaoctets contre 41 en 2019 (). Pour travailler dans ce domaine, il est nécessaire de comprendre comment gérer de grandes quantités de données stockées dans le cloud. Cloud4Y a préparé une liste de 12 cours payants et gratuits sur l'ingénierie des données, qui élargiront vos connaissances dans ce domaine et peuvent constituer un bon point de départ pour des certifications cloud.
Préface
Qu'est-ce qu'un spécialiste du traitement des données (data engineer) ? C'est une personne responsable de la création et du maintien de l'architecture des données dans un projet de Data Science. Ses responsabilités peuvent comprendre l'assurance d'un flux de données ininterrompu entre le serveur et l'application, l'intégration de nouveaux logiciels de gestion des données, l'amélioration des processus fondamentaux des données et la création de pipelines de données.
Il existe un nombre considérable de technologies et d'outils qu'un data engineer doit maîtriser pour travailler avec l'informatique cloud, les entrepôts de données, l'ETL (extraction, transformation, chargement), etc. De plus, le nombre de compétences requises ne cesse d'augmenter, il est donc nécessaire pour un data engineer d'enrichir régulièrement ses connaissances. Notre liste propose des cours pour débutants et professionnels expérimentés. Choisissez ce qui vous convient le mieux.
1. Certification Nanodegree en Ingénierie des Données ()
Vous apprendrez à concevoir des modèles de données, à créer des entrepôts de données et des lacs de données, à automatiser des pipelines de données et à travailler avec des ensembles de données. À la fin du programme, vous mettrez vos nouvelles compétences à l'épreuve en complétant un projet Capstone.
Durée: 5 mois, 5 heures par semaine
Langue: anglais
Prix: $1695
Niveau: débutant
2. Devenir Data Engineer Certification ()
On commence à zéro. Vous pouvez progresser par étapes, en utilisant des cours magistraux et des projets pratiques pour travailler sur vos compétences. À la fin de la formation, vous serez prêt à travailler avec l'IA et de grandes quantités de données. Il est recommandé d'avoir une connaissance de base de Python.
Durée: 8 mois, 10 heures par semaine
Langue: anglais
Prix😕
Niveau: débutant
3. Devenir Data Engineer : Maîtriser les Concepts ()
Vous développerez des compétences en conception de données et en DevOps, apprendrez à créer des applications Big Data, à construire des pipelines de données et à traiter des applications en temps réel en utilisant Hazelcast et des bases de données..
Durée: dépend de vous
Langue: anglais
Prix: premier mois gratuit
Niveau: débutant
4. Cours d'Ingénierie des Données ()
Cet ensemble de programmes vous familiarise avec le data engineering et vous enseigne le développement de solutions analytiques. Les cours sont classés par catégories en fonction du niveau de difficulté, vous permettant ainsi de choisir celui qui correspond à votre expérience. Au cours de votre apprentissage, vous apprendrez à utiliser Spark, Hadoop, Azure et à gérer les données d'entreprise.
Durée: dépend de vous
Langue: anglais
Prix: dépend du cours choisi
Niveau: débutant, intermédiaire, avancé
5. Data Engineer ()
Ce cours est recommandé si vous avez de l'expérience avec Python et souhaitez approfondir vos connaissances pour construire une carrière en traitement des données. Vous apprendrez à créer des pipelines de données en utilisant Python et pandas, à charger de grands ensembles de données dans une base de données Postgres après nettoyage, transformation et validation.
Durée: dépend de vous
Langue: anglais
Prix: dépend de la formule d'abonnement
Niveau: débutant, intermédiaire
6. Data Engineering with Google Cloud ()
Ce cours vous aidera à acquérir les compétences nécessaires pour construire une carrière dans le domaine du big data. Par exemple, travailler avec BigQuery, Spark. Vous recevrez des connaissances qui vous seront utiles pour vous préparer à la certification reconnue dans l'industrie Google Cloud Professional Data Engineer.
Durée: 4 mois
Langue: anglais
Prix: actuellement gratuit
Niveau: débutant, intermédiaire
7. Data Engineering, Big Data on Google Cloud Platform ()
Un cours intéressant qui offre des connaissances pratiques sur les systèmes de traitement des données dans GCP. Pendant les cours, vous apprendrez à concevoir des systèmes avant de commencer le processus de développement. En outre, vous analyserez à la fois des données structurées et non structurées, appliquerez un dimensionnement automatique et utiliserez des méthodes de ML pour extraire des informations.
Durée: 3 mois
Langue: anglais
Prix: actuellement gratuit
Niveau: débutant, intermédiaire
8. UC San Diego: Big Data Specialization ()
Ce cours est basé sur l'utilisation de l'infrastructure Hadoop et Spark et l'application de ces méthodes de traitement des big data dans le processus ML. Vous découvrirez les bases de l'utilisation de Hadoop avec MapReduce, Spark, Pig et Hive. Vous apprendrez à construire des modèles prédictifs et à utiliser l'analytique des graphes pour modéliser des problèmes. Il convient de noter qu'aucune expérience en programmation n'est requise pour ce cours.
Durée: 8 mois à raison de 10 heures par semaine
Langue: anglais
Prix: actuellement gratuit
Niveau: débutant
9. Taming Big Data With Apache Spark and Python ()
Vous découvrirez comment utiliser la structure de flux et les cadres de données dans Spark3, et aurez un aperçu de l'utilisation du service Elastic MapReduce d'Amazon pour travailler avec votre cluster Hadoop. Apprenez à identifier les problèmes lors de l'analyse de Big Data et comprenez comment les bibliothèques GraphX fonctionnent avec l'analyse de réseau et comment vous pouvez utiliser MLlib.
Durée: dépend de vous
Langue: anglais
Prix: de 800 roubles à 149,99 $ (selon la chance)
Niveau: débutant, intermédiaire
10. PG Programme en Big Data Engineering ()
Ce cours vous donnera un aperçu du fonctionnement d'Aadhaar, comment Facebook personnalise le fil d'actualité et comment l'ingénierie des données peut être utilisée en général. Les thèmes clés incluront le traitement des données (y compris le traitement en temps réel), MapReduce et l'analyse des Big Data.
Durée: 11 mois
Langue: anglais
Prix: autour de 3000 $
Niveau: débutant
11. Profession Data Scientist ()
Vous apprendrez à programmer en Python, à explorer les frameworks pour l'apprentissage des réseaux de neurones TensorFlow et Keras. Vous maîtriserez les bases de données MongoDB, PostgreSQL, SQLite3, et apprendrez à travailler avec les bibliothèques Pandas, NumPy et Matplotlib.
Durée: 300 heures d'apprentissage
Langue: russe
Prix: les six premiers mois gratuits, puis 3900 roubles par mois
Niveau: débutant
12. Data Engineer 7.0 ()
Vous serez plongé dans l'étude approfondie de Kafka, HDFS, ClickHouse, Spark, Airflow, ainsi que des architectures lambda et kappa. Vous apprendrez à connecter les outils entre eux pour former des pipelines, obtenant une solution de base. Une connaissance minimale de Python 3 est requise pour l'étude.
Durée: 21 cours, 7 semaines
Langue: russe
Prix: de 60 000 à 120 000 roubles
Niveau: débutant
Si vous souhaitez ajouter un bon autre cours à la liste, n'hésitez pas à laisser un commentaire ou à me contacter par message privé. Nous mettrons à jour le post.
Quoi d'autre de полезного можна почитать в блоге
→
→
→
→
→
Abonnez-vous à notre -canal pour ne pas manquer le prochain article. Nous écrivons pas plus de deux fois par semaine et uniquement quand c'est nécessaire. Nous rappelons également que le 21 mai à 15h00 (heure de Moscou), nous organiserons un événement sur le thème « La sécurité de l'information des entreprises lors du télétravail ». Si vous souhaitez comprendre comment protéger des informations sensibles et corporatives lorsque les employés travaillent de chez eux, inscrivez-vous !
Source : habr.com
