Depuis huit ans, je travaille en tant que chef de projet (je n'écris pas de code au travail), ce qui a naturellement un impact négatif sur mes compétences techniques. J'ai décidé de combler mon retard technologique et d'acquérir le métier d'ingénieur Data. La compétence principale d'un ingénieur Data est la capacité à concevoir, construire et maintenir des entrepôts de données.
J'ai élaboré un plan d'apprentissage, qui, je pense, sera utile non seulement pour moi. Le plan est axé sur l'auto-apprentissage des cours. La priorité est donnée aux cours gratuits en langue russe.
Sections :
- Algorithmes et structures de données. Section clé. Si tu l'étudies, tout le reste suivra aussi. Il est important de s'entraîner à écrire du code et à utiliser les principales structures et algorithmes.
- Bases de données et entrepôts de données, Business Intelligence. Nous passons des algorithmes au stockage et au traitement des données.
- Hadoop et Big Data. Lorsque les données ne tiennent pas sur le disque dur, ou quand il faut analyser des données qu'Excel ne peut plus charger, on commence à parler de Big Data. À mon avis, il faut aborder cette section seulement après avoir bien étudié les deux précédentes.
Algorithmes et structures de données
Mon plan inclut l'apprentissage de Python, la révision des bases de mathématiques et de l'algorithmique.
Bases et entrepôts de données, Business Intelligence
- Livre : Martin Kleppmann — Applications à forte charge. Programmation, mise à l'échelle, maintenance. Le livre décrit comment fonctionnent différents modèles de données, leur mise en œuvre de l'intérieur, les limites et les choix en fonction des tâches.
Les sujets liés à la construction d'entrepôts de données, ETL, cubes OLAP dépendent fortement des outils, c'est pourquoi je ne fournis pas de liens vers les cours dans ce document. Il est judicieux d'étudier ces systèmes en travaillant sur un projet spécifique dans une entreprise donnée. Pour se familiariser avec l'ETL, on peut essayer ou .
À mon avis, il est important d'étudier la méthodologie moderne de conception des entrepôts de données Data Vault. , . Et le meilleur moyen de l'apprendre est de le mettre en œuvre avec un exemple simple. Sur GitHub, il y a plusieurs exemples d'implémentation de Data Vault. . Livre moderne sur les entrepôts de données : Modeling the Agile Data Warehouse with Data Vault par Hans Hultgren.
Pour découvrir les outils de Business Intelligence destinés aux utilisateurs finaux, vous pouvez utiliser le constructeur de rapports gratuit, les tableaux de bord et le mini entrepôt de données Power BI Desktop. Matériel pédagogique : , .
Hadoop et Big Data
- Il faut commencer par implémenter MapReduce de manière autonome sans utiliser de bibliothèques tierces. Cela permettra de mieux comprendre à l'avenir les implémentations multithread. Un excellent exemple en Python est décrit .
Conclusion
Tout ce que vous apprenez ne peut pas être appliqué au travail. C'est pourquoi un projet de diplôme est nécessaire, où vous pourrez essayer d'appliquer vos nouvelles connaissances.
Le plan ne contient pas de sujets liés à l'analyse de données et au Machine Learning, car cela relève davantage de la profession de Data Scientist. Il n'y a également pas de sujets liés aux clouds AWS, Azure car ces thèmes dépendent fortement du choix de la plateforme.
Questions à la communauté :
Mon plan d'amélioration est-il raisonnable ? Que devrais-je enlever ou ajouter ?
Quel projet recommandez-vous comme travail de diplôme ?
Source : habr.com
