Utjämningsplan för att erhålla yrket Dataingenjör

De senaste åtta åren har jag arbetat som projektledare (jag skriver ingen kod på jobbet), vilket naturligtvis påverkar min tekniska backend negativt. Jag bestämde mig för att sluta min tekniska lucka och skaffa yrket dataingenjör. Kärnfärdigheten hos en dataingenjör är förmågan att designa, bygga och underhålla datalager.

Jag gjorde en träningsplan, jag tror att den kommer att vara användbar inte bara för mig. Planen är inriktad på självstudiekurser. Prioritet ges till gratiskurser i ryska.

sektioner:

• Algoritmer och datastrukturer. Nyckelsektion. Lär dig det och allt annat löser sig också. Det är viktigt att få tag på koden och använda de grundläggande strukturerna och algoritmerna.
• Databaser och datalager, Business Intelligence. Vi går från algoritmer till datalagring och bearbetning.
• Hadoop och Big Data. När databasen inte finns med på hårddisken, eller när data behöver analyseras, men Excel inte längre kan ladda dem, börjar stora data. Enligt min mening är det nödvändigt att gå vidare till detta avsnitt först efter en djupgående studie av de två föregående.

Algoritmer och datastrukturer

I min plan inkluderade jag att lära mig Python, upprepa grunderna i matematik och algoritmisering.

• Programmering i Python
• Python: Grunder och applikationer
• Linjär algebra
• Likbez om diskret matematik
• Algoritmer: teori och praktik. Metoder
• Algoritmer: teori och praktik. Data struktur

Databaser och datalager, Business Intelligence

• Bok: Martin Kleppman - Högt laddade applikationer. Programmering, skalning, support. Boken beskriver hur olika datamodeller fungerar, deras implementering inifrån, begränsningar och val beroende på uppgift.
• Introduktion till databaser
• Dyk in i DBMS
• Introduktion till icke-relationella databaser

Ämnen relaterade till att bygga datalager, ETL, OLAP-kuber är starkt beroende av verktyg, så jag ger inte länkar till kurser i detta dokument. Det är tillrådligt att studera sådana system när man arbetar med ett specifikt projekt i ett specifikt företag. För bekantskap med ETL kan du prova Talang eller Luftflöde.

Enligt min åsikt är det viktigt att studera den moderna Data Vault-designmetoden länk 1, länk 2. Och det bästa sättet att lära sig det är att ta det och implementera det med ett enkelt exempel. Det finns flera exempel på implementering av Data Vault på GitHub länk. The Modern Data Warehouse Book: Modelling the Agile Data Warehouse med Data Vault av Hans Hultgren.

För att bekanta dig med Business Intelligence-verktygen för slutanvändare kan du använda den kostnadsfria designern av rapporter, instrumentpaneler, minidatalager Power BI Desktop. Utbildningsmaterial: länk 1, länk 2.

Hadoop och Big Data

• Du måste börja med en oberoende implementering av MapReduce utan tredjepartsbibliotek. Detta kommer att möjliggöra en bättre förståelse av flertrådade implementeringar i framtiden. Ett utmärkt exempel i Python beskrivs här.
• Hadoop. System för bearbetning av stora datamängder.
• Introduktion till Big Data Engineering

Slutsats

Allt du lär dig kan inte tillämpas på jobbet. Därför behöver du ett examensarbete där du ska försöka tillämpa ny kunskap.

Det finns inga ämnen relaterade till dataanalys och maskininlärning i planen. detta gäller mer för Data Scientist-yrket. Det finns heller inga ämnen relaterade till AWS-moln, Azure. dessa teman är mycket beroende av valet av plattform.

Frågor till samhället:
Hur adekvat är min utjämningsplan? Vad ska man ta bort eller lägga till?
Vilket projekt skulle du rekommendera som examensarbete?

Källa: will.com