Stufenplan zur Erlangung des Berufs Dateningenieur

Seit acht Jahren arbeite ich als Projektmanager (ich schreibe bei der Arbeit keinen Code), was sich natürlich negativ auf mein technologisches Backend auswirkt. Ich beschloss, meine technologische Lücke zu schließen und den Beruf des Dateningenieurs zu ergreifen. Die Kernkompetenz eines Data Engineers ist die Fähigkeit, Data Warehouses zu entwerfen, aufzubauen und zu warten.

Ich habe einen Trainingsplan erstellt, ich denke, dass er nicht nur für mich nützlich sein wird. Der Schwerpunkt liegt auf Selbstlernkursen. Kostenlose Russischkurse haben Vorrang.

Abschnitte:

• Algorithmen und Datenstrukturen. Schlüsselabschnitt. Lerne es und alles andere wird auch klappen. Es ist wichtig, den Code in die Hand zu nehmen und die Grundstrukturen und Algorithmen zu nutzen.
• Datenbanken und Data Warehouses, Business Intelligence. Wir bewegen uns von Algorithmen zur Datenspeicherung und -verarbeitung.
• Hadoop und Big Data. Wenn die Datenbank nicht auf der Festplatte enthalten ist oder die Daten analysiert werden müssen, Excel sie jedoch nicht mehr laden kann, beginnt die Entstehung großer Datenmengen. Meiner Meinung nach ist es notwendig, mit diesem Abschnitt erst nach einem gründlichen Studium der beiden vorherigen fortzufahren.

Algorithmen und Datenstrukturen

Zu meinem Plan gehörte, Python zu lernen und die Grundlagen der Mathematik und Algorithmisierung zu wiederholen.

• Programmierung in Python
• Python: Grundlagen und Anwendungen
• Lineare Algebra
• Likbez über diskrete Mathematik
• Algorithmen: Theorie und Praxis. Methoden
• Algorithmen: Theorie und Praxis. Datenstrukturen

Datenbanken und Data Warehouses, Business Intelligence

• Buch: Martin Kleppman – Hochbelastete Anwendungen. Programmierung, Skalierung, Support. Das Buch beschreibt die Funktionsweise verschiedener Datenmodelle, ihre Implementierung von innen, Einschränkungen und Auswahlmöglichkeiten je nach Aufgabe.
• Einführung in Datenbanken
• Tauchen Sie ein in das DBMS
• Einführung in nicht-relationale Datenbanken

Themen im Zusammenhang mit dem Aufbau von Data Warehouses, ETL und OLAP-Cubes hängen stark von Tools ab, daher gebe ich in diesem Dokument keine Links zu Kursen. Es empfiehlt sich, solche Systeme zu studieren, wenn man an einem konkreten Projekt in einem bestimmten Unternehmen arbeitet. Um sich mit ETL vertraut zu machen, können Sie es versuchen Talend oder Airflow.

Meiner Meinung nach ist es wichtig, die moderne Data Vault-Designmethodik zu studieren 1-Verknüpfung, 2-Verknüpfung. Und der beste Weg, es zu lernen, besteht darin, es anhand eines einfachen Beispiels umzusetzen. Auf GitHub gibt es mehrere Data Vault-Implementierungsbeispiele Link. Das moderne Data Warehouse-Buch: Modellierung des agilen Data Warehouse mit Data Vault von Hans Hultgren.

Um sich mit den Business-Intelligence-Tools für Endbenutzer vertraut zu machen, können Sie den kostenlosen Designer von Berichten, Dashboards und Mini-Data-Warehouses Power BI Desktop verwenden. Lehrmaterial: 1-Verknüpfung, 2-Verknüpfung.

Hadoop und Big Data

• Sie müssen mit einer unabhängigen Implementierung von MapReduce ohne Bibliotheken von Drittanbietern beginnen. Dies wird in Zukunft ein besseres Verständnis von Multithread-Implementierungen ermöglichen. Es wird ein hervorragendes Beispiel in Python beschrieben hier.
• Hadoop. System zur Verarbeitung großer Datenmengen.
• Einführung in Big Data Engineering

Abschluss

Nicht alles, was Sie lernen, kann bei der Arbeit angewendet werden. Daher benötigen Sie eine Abschlussarbeit, in der Sie versuchen, neues Wissen anzuwenden.

Der Plan enthält keine Themen im Zusammenhang mit Datenanalyse und maschinellem Lernen. Dies gilt eher für den Beruf des Data Scientist. Es gibt auch keine Themen im Zusammenhang mit AWS-Clouds und Azure. Diese Themen hängen stark von der Wahl der Plattform ab.

Fragen an die Community:
Wie ausreichend ist mein Levelplan? Was soll entfernt oder hinzugefügt werden?
Welches Projekt würden Sie als Abschlussarbeit empfehlen?

Source: habr.com