Plan poziomów do zdobycia zawodu Inżynier danych

Od ośmiu lat pracuję jako kierownik projektu (w pracy nie piszę kodu), co naturalnie negatywnie odbija się na moim zapleczu technologicznym. Postanowiłem wypełnić swoją lukę technologiczną i zdobyć zawód inżyniera danych. Podstawową umiejętnością inżyniera danych jest umiejętność projektowania, budowania i utrzymywania hurtowni danych.

Zrobiłem plan treningowy, myślę, że przyda się nie tylko mnie. Plan koncentruje się na kursach samokształcenia. Pierwszeństwo mają bezpłatne kursy języka rosyjskiego.

Sekcje:

• Algorytmy i struktury danych. Sekcja kluczy. Naucz się tego, a wszystko inne też będzie działać. Ważne jest, aby zdobyć kod i używać podstawowych struktur i algorytmów.
• Bazy danych i hurtownie danych, Business Intelligence. Przechodzimy od algorytmów do przechowywania i przetwarzania danych.
• Hadoop i Big Data. Gdy baza danych nie znajduje się na dysku twardym lub dane muszą zostać przeanalizowane, ale program Excel nie może ich już załadować, zaczyna się przetwarzanie dużych ilości danych. Moim zdaniem konieczne jest przejście do tej sekcji dopiero po głębokim przestudiowaniu dwóch poprzednich.

Algorytmy i struktury danych

W swoim planie uwzględniłem naukę Pythona, powtórzenie podstaw matematyki i algorytmizację.

• Programowanie w Pythonie
• Python: podstawy i aplikacje
• Algebra liniowa
• Libez o matematyce dyskretnej
• Algorytmy: teoria i praktyka. Metody
• Algorytmy: teoria i praktyka. Struktury danych

Bazy danych i hurtownie danych, Business Intelligence

• Książka: Martin Kleppman - Aplikacje o dużym obciążeniu. Programowanie, skalowanie, wsparcie. Książka opisuje jak działają różne modele danych, ich implementację od wewnątrz, ograniczenia i wybory w zależności od zadania.
• Wprowadzenie do baz danych
• Zanurz się w DBMS
• Wprowadzenie do nierelacyjnych baz danych

Tematy związane z budowaniem hurtowni danych, kostek ETL, OLAP są mocno uzależnione od narzędzi, dlatego nie podaję linków do kursów w tym dokumencie. Warto zapoznać się z takimi systemami podczas pracy nad konkretnym projektem w konkretnej firmie. Aby zapoznać się z ETL, możesz spróbować Taland lub Airflow.

Moim zdaniem ważne jest przestudiowanie nowoczesnej metodologii projektowania Data Vault Łącze 1, Łącze 2. A najlepszym sposobem, aby się tego nauczyć, jest wzięcie go i wdrożenie na prostym przykładzie. Istnieje kilka przykładów implementacji Data Vault w serwisie GitHub łącze. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault autorstwa Hansa Hultgrena.

Aby zapoznać się z narzędziami Business Intelligence dla użytkowników końcowych, możesz skorzystać z bezpłatnego projektanta raportów, dashboardów, mini hurtowni danych Power BI Desktop. Materiały edukacyjne: Łącze 1, Łącze 2.

Hadoop i Big Data

• Musisz zacząć od niezależnej implementacji MapReduce bez zewnętrznych bibliotek. Pozwoli to na lepsze zrozumienie implementacji wielowątkowych w przyszłości. Opisano doskonały przykład w Pythonie tutaj.
• Hadoop System do przetwarzania dużych ilości danych.
• Wprowadzenie do inżynierii dużych zbiorów danych

wniosek

Nie wszystko, czego się nauczysz, da się zastosować w pracy. Dlatego potrzebujesz pracy dyplomowej, w której spróbujesz zastosować nową wiedzę.

W planie nie ma tematów związanych z analizą danych i uczeniem maszynowym. dotyczy to bardziej zawodu Data Scientist. Nie ma też tematów związanych z chmurami AWS, Azure. te motywy są w dużym stopniu zależne od wyboru platformy.

Pytania do społeczności:
Jak odpowiedni jest mój plan wyrównywania? Co usunąć lub dodać?
Jaki projekt poleciłbyś jako pracę dyplomową?

Źródło: www.habr.com