Uppgraderingsplan för att bli Data engineer

Under de senaste åtta åren har jag arbetat som projektledare (jag skriver ingen kod på jobbet), vilket naturligtvis påverkar min tekniska bakgrund negativt. Jag har beslutat mig för att minska mitt teknologiska eftersläpande och få en yrkesroll som Data engineer. Den huvudsakliga färdigheten för en Data engineer är förmågan att designa, bygga och underhålla datalager.

Jag har skapat en studieplan som jag tror kommer att vara användbar inte bara för mig. Planen är inriktad på självstudier. Prioritet ges till gratis kurser på ryska.

Avsnitt:

• Algoritmer och datastrukturer. Nyckelavsnitt. Om du behärskar detta kommer allt annat också att fungera. Det är viktigt att öva på att skriva kod och använda grundläggande strukturer och algoritmer.
• Databaser och datalager, Business Intelligence. Vi övergår från algoritmer till lagring och bearbetning av data.
• Hadoop och Big Data. När databasen inte får plats på hårddisken, eller när data behöver analyseras men Excel redan har svårt att ladda dem, börjar big data. Enligt min åsikt bör man gå vidare till detta avsnitt först efter en grundlig genomgång av de två föregående.

Algoritmer och datastrukturer

I min plan inkluderade jag att studera Python, repetera grunderna i matematik och algoritmer.

• Programmering i Python
• Python: grunder och tillämpningar
• Linjära algebra
• Introduktion till diskret matematik
• Algoritmer: teori och praktik. Metoder
• Algoritmer: teori och praktik. Datastrukturer

Databaser och datalager, Business Intelligence

• Bok: Martin Kleppmann – Högt belastade applikationer. Programmering, skalning, underhåll. Boken beskriver hur olika datamodeller fungerar, deras interna implementering, begränsningar och val beroende på uppgiften.
• Introduktion till databaser
• Dyk ner i databashanteringssystem
• Introduktion till icke-relationella databaser

Ämnen relaterade till byggandet av datalager, ETL, OLAP-kuber är starkt beroende av verktygen, så jag ger inga länkar till kurser i detta dokument. Det är lämpligt att studera sådana system när man arbetar med ett specifikt projekt i ett specifikt företag. För att bekanta sig med ETL kan man prova Talend eller Airflow.

Enligt min åsikt är det viktigt att studera den moderna metodologin för datalagerdesign, Data Vault. länk 1, länk 2. Och det bästa sättet att lära sig det är att ta och implementera det på ett enkelt exempel. På GitHub finns det flera exempel på implementeringen av Data Vault. länk. En modern bok om datalager: Modeling the Agile Data Warehouse with Data Vault av Hans Hultgren.

För att bekanta sig med verktyg inom Business Intelligence för slutanvändare kan man använda den kostnadsfria rapport- och dashboardkonstruktören Power BI Desktop. Utbildningsmaterial: länk 1, länk 2.

Hadoop och Big Data

• Man bör börja med att självständigt implementera MapReduce utan externa bibliotek. Detta kommer att hjälpa en att bättre förstå trådning i framtiden. Ett utmärkt exempel i Python beskrivs ). Ett typiskt exempel på användning:.
• Hadoop. Ett system för bearbetning av stora datamängder.
• Introduktion till big data-ingenjörskonst

Slutsats

Inte allt som studeras går att tillämpa på arbetet. Därför är ett examensprojekt nödvändigt, där man får testa de nya kunskaperna.

I planen finns inga ämnen relaterade till dataanalys och Machine Learning, eftersom det mer hör till yrket Data Scientist. Det finns inte heller ämnen relaterade till moln som AWS, Azure då dessa ämnen starkt beror på plattformsvalet.

Frågor till communityn:
Hur rimlig är min utvecklingsplan? Vad bör tas bort eller läggas till?
Vilket projekt rekommenderar ni för ett examensarbete?

Källa: habr.com