Udjævningsplan for opnåelse af erhvervet Dataingeniør

De sidste otte år har jeg arbejdet som projektleder (jeg skriver ikke kode på arbejdet), hvilket naturligvis påvirker min teknologiske backend negativt. Jeg besluttede at lukke mit teknologiske hul og få erhvervet som dataingeniør. En dataingeniørs kernefærdighed er evnen til at designe, bygge og vedligeholde datavarehuse.

Jeg lavede en træningsplan, jeg tror, ​​den vil være nyttig ikke kun for mig. Planen er fokuseret på selvstudiekurser. Der gives prioritet til gratis kurser i russisk.

Sektioner:

• Algoritmer og datastrukturer. Nøgleafsnit. Lær det, og alt andet vil også løse sig. Det er vigtigt at få fingrene i koden og bruge de grundlæggende strukturer og algoritmer.
• Databaser og datavarehuse, Business Intelligence. Vi bevæger os fra algoritmer til datalagring og -behandling.
• Hadoop og Big Data. Når databasen ikke er inkluderet på harddisken, eller når dataene skal analyseres, men Excel ikke længere kan indlæse dem, begynder store data. Efter min mening er det først nødvendigt at gå videre til dette afsnit efter en dyb undersøgelse af de to foregående.

Algoritmer og datastrukturer

I min plan inkluderede jeg at lære Python, gentage det grundlæggende i matematik og algoritmisering.

• Programmering i Python
• Python: Grundlæggende og applikationer
• Lineær algebra
• Likbez om diskret matematik
• Algoritmer: teori og praksis. Metoder
• Algoritmer: teori og praksis. Datastrukturer

Databaser og datavarehuse, Business Intelligence

• Bog: Martin Kleppman - Højt belastede applikationer. Programmering, skalering, support. Bogen beskriver, hvordan forskellige datamodeller fungerer, deres implementering indefra, begrænsninger og valg afhængig af opgaven.
• Introduktion til databaser
• Dyk ned i DBMS
• Introduktion til ikke-relationelle databaser

Emner relateret til opbygning af datavarehuse, ETL, OLAP kuber er meget afhængige af værktøjer, så jeg giver ikke links til kurser i dette dokument. Det er tilrådeligt at studere sådanne systemer, når du arbejder på et specifikt projekt i en bestemt virksomhed. For kendskab til ETL, kan du prøve Talent eller Luftmængde.

Efter min mening er det vigtigt at studere den moderne Data Vault-designmetode link 1, link 2. Og den bedste måde at lære det på er at tage det og implementere det med et simpelt eksempel. Der er flere eksempler på implementering af Data Vault på GitHub link. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse med Data Vault af Hans Hultgren.

For at blive bekendt med Business Intelligence-værktøjerne til slutbrugere kan du bruge den gratis designer af rapporter, dashboards, minidatavarehuse Power BI Desktop. Undervisningsmateriale: link 1, link 2.

Hadoop og Big Data

• Du skal starte med en uafhængig implementering af MapReduce uden tredjepartsbiblioteker. Dette vil give mulighed for en bedre forståelse af multithreaded implementeringer i fremtiden. Et glimrende eksempel i Python er beskrevet her.
• Hadoop. System til behandling af store mængder data.
• Introduktion til Big Data Engineering

Konklusion

Ikke alt, hvad du lærer, kan bruges på arbejdet. Derfor har du brug for et afgangsprojekt, hvor du vil forsøge at anvende ny viden.

Der er ingen emner relateret til dataanalyse og Machine Learning i planen. dette gælder mere for Data Scientist-faget. Der er heller ingen emner relateret til AWS-skyer, Azure. disse temaer er meget afhængige af valget af platform.

Spørgsmål til fællesskabet:
Hvor tilstrækkelig er min nivelleringsplan? Hvad skal du fjerne eller tilføje?
Hvilket projekt vil du anbefale som speciale?

Kilde: www.habr.com