Depuis huit ans, je travaille en tant que chef de projet (je n'écris pas de code au travail), ce qui affecte naturellement négativement mon backend technologique. J'ai décidé de combler mon retard technologique et d'obtenir le métier d'ingénieur de données. La compétence principale d'un ingénieur de données est la capacité de concevoir, de construire et de maintenir des entrepôts de données.
J'ai fait un plan d'entraînement, je pense qu'il ne sera pas seulement utile pour moi. Le plan est axé sur les cours d'auto-apprentissage. La priorité est donnée aux cours gratuits de russe.
Sections:
- Algorithmes et structures de données. Rubrique clé. Apprenez-le et tout le reste fonctionnera aussi. Il est important de mettre la main sur le code et d'utiliser les structures et algorithmes de base.
- Bases de données et entrepôts de données, Business Intelligence. Nous passons des algorithmes au stockage et au traitement des données.
- Hadoop et Big Data. Lorsque la base de données n'est pas incluse sur le disque dur, ou lorsque les données doivent être analysées, mais qu'Excel ne peut plus les charger, les données volumineuses commencent. A mon avis, il ne faut procéder à cette section qu'après une étude approfondie des deux précédentes.
Algorithmes et structures de données
Dans mon plan, j'ai inclus l'apprentissage de Python, la répétition des bases des mathématiques et de l'algorithmique.
Bases de données et entrepôts de données, Business Intelligence
- Livre : Martin Kleppman - Applications très chargées. Programmation, mise à l'échelle, support. Le livre décrit le fonctionnement des différents modèles de données, leur mise en œuvre de l'intérieur, les limites et les choix en fonction de la tâche.
Les sujets liés à la construction d'entrepôts de données, d'ETL, de cubes OLAP dépendent fortement des outils, je ne donne donc pas de liens vers des cours dans ce document. Il est conseillé d'étudier de tels systèmes lorsque vous travaillez sur un projet spécifique dans une entreprise spécifique. Pour vous familiariser avec ETL, vous pouvez essayer ou .
À mon avis, il est important d'étudier la méthodologie de conception moderne de Data Vault , . Et la meilleure façon de l'apprendre est de le prendre et de le mettre en œuvre avec un exemple simple. Il existe plusieurs exemples d'implémentation de Data Vault sur GitHub . Le livre de l'entrepôt de données moderne : Modélisation de l'entrepôt de données agile avec Data Vault par Hans Hultgren.
Pour vous familiariser avec les outils de Business Intelligence pour les utilisateurs finaux, vous pouvez utiliser le concepteur gratuit de rapports, tableaux de bord, mini entrepôts de données Power BI Desktop. Matériel éducatif: , .
Hadoop et Big Data
- Vous devez commencer par une implémentation indépendante de MapReduce sans bibliothèques tierces. Cela permettra une meilleure compréhension des implémentations multithreads à l'avenir. Un excellent exemple en Python est décrit .
Conclusion
Tout ce que vous apprenez ne peut pas être appliqué au travail. Par conséquent, vous avez besoin d'un projet de fin d'études dans lequel vous essaierez d'appliquer de nouvelles connaissances.
Il n'y a pas de sujets liés à l'analyse des données et à l'apprentissage automatique dans le plan. cela s'applique davantage au métier de Data Scientist. Il n'y a pas non plus de sujets liés aux clouds AWS, Azure. ces thèmes sont fortement dépendants du choix de la plateforme.
Question à la communauté :
Dans quelle mesure mon plan de mise à niveau est-il adéquat ? Que supprimer ou ajouter ?
Quel projet recommanderiez-vous comme thèse ?
Source: habr.com