Plan zur Weiterbildung für den Beruf des Data Engineers

In den letzten acht Jahren habe ich als Projektleiter gearbeitet (ich schreibe keinen Code bei der Arbeit), was sich natürlich negativ auf mein technologisches Know-how auswirkt. Ich habe beschlossen, mein technologisches Defizit zu verringern und den Beruf des Data Engineers zu erlernen. Die Hauptkompetenz eines Data Engineers ist die Fähigkeit, Datenspeicher zu entwerfen, aufzubauen und zu pflegen.

Ich habe einen Ausbildungsplan erstellt, der nicht nur für mich nützlich sein wird. Der Plan ist auf das selbständige Lernen von Kursen ausgerichtet. Der Schwerpunkt liegt auf kostenlosen Kursen in russischer Sprache.

Bereiche:

• Algorithmen und Datenstrukturen. Der Schlüsselbereich. Wenn du ihn beherrschst, wird dir alles andere auch gelingen. Es ist wichtig, Übung im Programmieren und im Umgang mit grundlegenden Strukturen und Algorithmen zu haben.
• Datenbanken und Datenspeicher, Business Intelligence. Von Algorithmen gehen wir zur Speicherung und Verarbeitung von Daten über.
• Hadoop und Big Data. Wenn eine Datenbank nicht auf die Festplatte passt oder wenn Daten analysiert werden müssen, aber Excel sie nicht mehr laden kann, beginnen die großen Daten. Meiner Meinung nach sollte man zu diesem Bereich erst nach einer gründlichen Einarbeitung in die beiden vorherigen übergehen.

Algorithmen und Datenstrukturen

In meinen Plan habe ich das Lernen von Python, das Wiederholen der mathematischen Grundlagen und der Algorithmik aufgenommen.

• Programmierung in Python
• Python: Grundlagen und Anwendung
• Lineare Algebra
• Grundlagen der diskreten Mathematik
• Algorithmen: Theorie und Praxis. Methoden
• Algorithmen: Theorie und Praxis. Datenstrukturen

Datenbanken und Datenspeicher, Business Intelligence

• Buch: Martin Kleppmann – Hochbelastete Anwendungen. Programmierung, Skalierung, Unterstützung. Das Buch beschreibt, wie verschiedene Datenmodelle funktionieren, deren interne Umsetzung, Einschränkungen und die Auswahl je nach Aufgabe.
• Einführung in Datenbanken
• Eintauchen in Datenbankmanagementsysteme
• Einführung in nicht-relationale Datenbanken

Themen, die mit der Erstellung von Datenspeichern, ETL, OLAP-Würfeln zusammenhängen, hängen stark von den Werkzeugen ab, daher gebe ich in diesem Dokument keine Links zu Kursen. Es ist sinnvoll, solche Systeme bei der Arbeit an einem konkreten Projekt in einem bestimmten Unternehmen zu lernen. Um ETL kennenzulernen, kann man es mit Talend oder Airflow.

Meiner Meinung nach ist es wichtig, die moderne Methodik des Datenbankdesigns, Data Vault, zu erlernen. Link 1, Link 2. Und der beste Weg, es zu lernen, ist, es einfach umzusetzen. Auf GitHub gibt es einige Beispiele zur Umsetzung von Data Vault. Link. Modernes Buch über Datenlager: Modeling the Agile Data Warehouse with Data Vault von Hans Hultgren.

Um sich mit den Business-Intelligence-Tools für Endbenutzer vertraut zu machen, kann man den kostenlosen Berichtsgenerator, Dashboards und Mini-Datenlager Power BI Desktop verwenden. Schulungsmaterialien: Link 1, Link 2.

Hadoop und Big Data

• Zuerst sollte man MapReduce selbstständig ohne externe Bibliotheken umsetzen. Das wird in Zukunft helfen, mehr Verständnis für Multithreading-Implementierungen zu haben. Ein ausgezeichnetes Beispiel in Python ist beschrieben. hier.
• Hadoop. Ein System zur Verarbeitung großer Datenmengen.
• Einführung in die Big Data-Engineering

Fazit

Nicht alles, was man gelernt hat, kann man im Job anwenden. Daher ist ein Abschlussprojekt notwendig, in dem du versuchst, neue Kenntnisse anzuwenden.

Es gibt keine Themen zur Datenanalyse und Machine Learning, da dies mehr mit dem Beruf des Data Scientist zu tun hat. Außerdem gibt es keine Themen zu den Clouds AWS, Azure, da diese Themen stark von der Plattformwahl abhängen.

Fragen an die Community:
Wie sinnvoll ist mein Ausbildungsplan? Was sollte ich wegnehmen oder hinzufügen?
Welches Projekt würdest du als Abschlussarbeit empfehlen?

Quelle: habr.com