Plan doskonalenia w celu uzyskania zawodu inżyniera danych

Od ostatnich ośmiu lat pracuję jako kierownik projektów (nie piszę kodu w pracy), co naturalnie negatywnie wpływa na moje umiejętności technologiczne. Postanowiłem zredukować swoje technologiczne zaległości i zdobyć zawód inżyniera danych. Kluczową umiejętnością inżyniera danych jest zdolność do projektowania, budowania i utrzymywania magazynów danych.

Sporządziłem plan nauki, myślę, że będzie przydatny nie tylko dla mnie. Plan jest ukierunkowany na samodzielne studiowanie kursów. Priorytetem są darmowe kursy w języku rosyjskim.

Działy:

• Algorytmy i struktury danych. Kluczowy dział. Jeśli go opanujesz, wszystko inne też będzie łatwiejsze. Ważne jest, aby nabrać wprawy w pisaniu kodu oraz korzystaniu z podstawowych struktur i algorytmów.
• Bazy i magazyny danych, Business Intelligence. Od algorytmów przechodzimy do przechowywania i przetwarzania danych.
• Hadoop i Big Data. Gdy baza nie mieści się na dysku twardym, lub gdy dane trzeba analizować, ale Excel już nie potrafi ich załadować, zaczynają się big data. Moim zdaniem do tego działu należy przechodzić dopiero po dokładnym przestudiowaniu dwóch poprzednich.

Algorytmy i struktury danych

Włączyłem do swojego planu naukę Pythona, powtórzenie podstaw matematyki i algorytmizacji.

• Programowanie w Pythonie
• Python: podstawy i zastosowanie
• Algebra liniowa
• Wprowadzenie do matematyki dyskretnej
• Algorytmy: teoria i praktyka. Metody
• Algorytmy: teoria i praktyka. Struktury danych

Bazy i magazyny danych, Business Intelligence

• Książka: Martin Kleppmann — Aplikacje o wysokiej dostępności. Programowanie, skalowanie, utrzymanie. Książka opisuje, jak działają różne modele danych, ich wdrożenie wewnętrzne, ograniczenia i wybór w zależności od zadania.
• Wprowadzenie do baz danych
• Zanurzenie w systemach zarządzania bazami danych
• Wprowadzenie do baz danych nierelacyjnych

Tematy związane z budową magazynów danych, ETL, kubami OLAP, są silnie uzależnione od narzędzi, dlatego w tym dokumencie nie zamieszczam linków do kursów. Warto uczyć się takich systemów, pracując nad konkretnym projektem w konkretnej firmie. Aby zapoznać się z ETL, można spróbować Talend lub Airflow.

Moim zdaniem ważne jest, aby uczyć się nowoczesnej metodologii projektowania magazynów danych Data Vault. link 1, link 2. A najlepszym sposobem na naukę jest wzięcie i zrealizowanie na prostym przykładzie. Na GitHubie znajduje się kilka przykładów implementacji Data Vault. link. Nowoczesna książka o magazynach danych: Modeling the Agile Data Warehouse with Data Vault autorstwa Hansa Hultgrena.

Aby zapoznać się z narzędziami Business Intelligence dla użytkowników końcowych, można skorzystać z darmowego konstruk tora raportów, pulpitów nawigacyjnych oraz mini magazynów danych Power BI Desktop. Materiały szkoleniowe: link 1, link 2.

Hadoop i Big Data

• Trzeba zacząć od samodzielnej implementacji MapReduce bez zewnętrznych bibliotek. To pozwoli lepiej zrozumieć wielowątkowe implementacje w przyszłości. Doskonały przykład w Pythonie opisano tutaj.
• Hadoop. System do przetwarzania dużych zbiorów danych.
• Wprowadzenie do inżynierii danych dużych.

Podsumowanie

Nie wszystko, czego się uczysz, można zastosować w pracy. Dlatego potrzebny jest projekt dyplomowy, w którym spróbujesz zastosować nową wiedzę.

Plan nie zawiera tematów związanych z analizą danych i uczeniem maszynowym, ponieważ bardziej odnoszą się one do zawodu Data Scientist. Brakuje też tematów związanych z chmurami AWS, Azure, ponieważ te tematy w dużej mierze zależą od wyboru platformy.

Pytania do społeczności:
Jak adekwatny jest mój plan rozwoju? Co usunąć lub dodać?
Jaki projekt polecacie jako pracę dyplomową?

Źródło: habr.com