Plán na získanie profesie Data Engineer

Posledných osem rokov pracujem ako projektový manažér (nepíšem kód v práci), čo samozrejme negatívne ovplyvňuje moje technologické pozadie. Rozhodol som sa skrátiť svoje technologické zaostávanie a získať profesiu Data Engineer. Hlavnou zručnosťou Data Engineera je schopnosť navrhovať, budovať a udržiavať dátové sklady.

Pripravil som plán vzdelávania, myslím, že bude užitočný nielen pre mňa. Plán je orientovaný na samostatné štúdium kurzov. Priorita je venovaná bezplatným kurzom v ruštine.

Časti:

• Algoritmy a dátové štruktúry. Kľúčová časť. Ak ju zvládneš, ostatné tiež pôjde. Je dôležité získať prax v písaní kódu a používaní základných štruktúr a algoritmov.
• Databázy a dátové sklady, Business Intelligence. Prechádzame z algoritmov na ukladanie a spracovanie dát.
• Hadoop a Big Data. Keď sa dáta nezmestia na pevný disk, alebo keď je potrebné analyzovať dáta, ale Excel ich už nedokáže načítať, začínajú veľké dáta. Podľa môjho názoru by sme sa mali k tejto časti prechádzať až po dôkladnom štúdiu dvoch predchádzajúcich.

Algoritmy a dátové štruktúry

Do svojho plánu som zahrnul štúdium Pythonu, opakovanie základov matematiky a algoritmizácie.

• Programovanie v Python
• Python: základy a aplikácie
• Lineárna algebra
• Základy diskrétnej matematiky
• Algoritmy: teória a prax. Metódy
• Algoritmy: teória a prax. Dátové štruktúry

Databázy a dátové sklady, Business Intelligence

• Kniha: Martin Kleppmann - Vysokozaťažené aplikácie. Programovanie, škálovanie, podpora. Kniha popisuje, ako fungujú rôzne modely dát, ich implementáciu zvnútra, obmedzenia a voľbu v závislosti od úlohy.
• Úvod do databáz
• Hĺbenie do DBMS
• Úvod do nerelacionálnych databáz

Témy súvisiace s budovaním dátových skladov, ETL a OLAP kubov sú veľmi závislé od nástrojov, a preto v tomto dokumente neposkytujem odkazy na kurzy. Je rozumné študovať takéto systémy pri práci na konkrétnom projekte v konkrétnej firme. Pre oboznámenie sa s ETL môžete vyskúšať Talend alebo Airflow.

Podľa môjho názoru je dôležité študovať modernú metodológiu navrhovania dátových skladov Data Vault odkaz 1, odkaz 2. A najlepší spôsob, ako sa ho naučiť, je vziať a realizovať na jednoduchom príklade. Na GitHube je niekoľko príkladov implementácie Data Vault. odkaz. Moderná kniha o dátových skladoch: Modeling the Agile Data Warehouse with Data Vault od Hansa Hultgrena.

Na zoznámenie sa s nástrojmi Business Intelligence pre koncových používateľov môžete použiť bezplatný zostavovač reportov, dashboardov, mini dátových skladov Power BI Desktop. Školiteľské materiály: odkaz 1, odkaz 2.

Hadoop a big data

• Začať treba so samostatnou realizáciou MapReduce bez externých knižníc. To umožní v budúcnosti lepšie chápať viacvláknové implementácie. Skvelý príklad na Pythone je opísaný. tu.
• Hadoop. Systém na spracovanie veľkého množstva dát.
• Úvod do inžinierstva veľkých dát

Záver

Nie všetko, čo sa naučíte, sa dá aplikovať v práci. Preto je potrebný diplomový projekt, v ktorom sa pokúsite aplikovať nové znalosti.

V pláne nie sú témy súvisiace s analýzou dát a strojovým učením, pretože to viac súvisí s profesiou Data Scientist. Taktiež nie sú témy súvisiace s cloudmi AWS a Azure, pretože tieto témy sú silne závislé od výberu platformy.

Otázky k komunite:
Ako adekvátny je môj plán na zlepšovanie? Čo odstrániť alebo pridať?
Aký projekt odporúčate ako diplomovú prácu?

Zdroj: habr.com