Plán rozvoje pro získání profese Data Engineer

Posledních osm let pracuji jako projektový manažer (v práci nepíšu kód), což samozřejmě negativně ovlivnilo moje technologické zázemí. Rozhodl jsem se zkrátit své technologické zpoždění a získat profesi Data Engineer. Hlavní dovedností Data Engineera je schopnost navrhovat, budovat a udržovat datové sklady.

Sestavil jsem plán učení, myslím, že bude užitečný nejen pro mě. Plán je orientován na samostatné studium kurzů. Priorita je věnována bezplatným kurzům v ruštině.

Sekce:

• Algoritmy a datové struktury. Klíčová sekce. Pokud se ji naučíte, zvládnete i vše ostatní. Důležité je si osvojit psaní kódu a používání základních struktur a algoritmů.
• Databáze a datové sklady, Business Intelligence. Z algoritmů přecházíme k ukládání a zpracování dat.
• Hadoop a Big Data. Když databáze nevejde na disk, nebo když je potřeba analyzovat data, ale Excel je už nemůže načíst, začínají big data. Podle mého názoru je třeba přecházet k této sekci až po důkladném prostudování dvou předchozích.

Algoritmy a datové struktury

Do svého plánu jsem zahrnul studium Pythonu, zopakování základů matematiky a algoritmizace.

• Programování v Pythonu
• Python: základy a aplikace
• Lineární algebra
• Úvod do diskrétní matematiky
• Algoritmy: teorie a praxe. Metody
• Algoritmy: teorie a praxe. Datové struktury

Databáze a datové sklady, Business Intelligence

• Kniha: Martin Kleppmann — Vysoce zatížené aplikace. Programování, škálování, údržba. Kniha popisuje, jak fungují různé modely dat, jejich implementaci zevnitř, omezení a výběr podle úkolu.
• Úvod do databází
• Ponoření do SGBD
• Úvod do nerelačních databází

Témata související s budováním datových skladů, ETL, OLAP kostek silně závisí na nástrojích, proto v tomto dokumentu nedávám odkazy na kurzy. Je rozumné studovat takové systémy při práci na konkrétním projektu ve konkrétní firmě. Pro seznámení s ETL můžete vyzkoušet Talend nebo Airflow.

Podle mého názoru je důležité studovat moderní metodologii návrhu datových skladů Data Vault. odkaz 1, odkaz 2. A nejlepší způsob, jak se ji naučit, je vzít a realizovat na jednoduchém příkladu. Na GitHubu je několik příkladů implementace Data Vault. odkaz. Moderní kniha o datových skladech: Modeling the Agile Data Warehouse with Data Vault od Hanse Hultgrena.

Pro seznámení s nástroji Business Intelligence pro koncové uživatele lze použít bezplatný nástroj pro vytváření reportů, dashboardů, mini datových skladů Power BI Desktop. Školící materiály: odkaz 1, odkaz 2.

Hadoop a Velká data

• Začít je třeba se samostatnou realizací MapReduce bez externích knihoven. To umožní v budoucnu lépe rozumět vícevláknovým implementacím. Skvělý příklad v Pythonu je popsán tady.
• Hadoop. Systém pro zpracování velkých objemů dat.
• Úvod do inženýrství velkých dat

Závěr

Ne vše, co se naučíš, se daří aplikovat v práci. Proto je potřebný diplomový projekt, ve kterém se pokusíš uplatnit nové znalosti.

V plánu nejsou témata spojená s analýzou dat a strojovým učením, protože to více souvisí s profesí Data Scientist. Také nejsou zahrnuta témata spojená s cloudem AWS, Azure, protože tato témata silně závisí na výběru platformy.

Otázky pro komunitu:
Jak adekvátní je můj plán zlepšení? Co by mělo být odstraněno nebo přidáno?
Jaký projekt doporučujete jako diplomovou práci?

Zdroj: habr.com