Utjevningsplan for å oppnå yrket Dataingeniør

De siste åtte årene har jeg jobbet som prosjektleder (jeg skriver ikke kode på jobben), noe som naturlig nok påvirker min teknologiske backend negativt. Jeg bestemte meg for å lukke det teknologiske gapet mitt og få yrket som dataingeniør. Kjerneferdigheten til en dataingeniør er evnen til å designe, bygge og vedlikeholde datavarehus.

Jeg har laget en treningsplan, jeg tror den vil være nyttig ikke bare for meg. Planen er fokusert på selvstudiekurs. Gratiskurs i russisk prioriteres.

seksjoner:

• Algoritmer og datastrukturer. Nøkkeldel. Lær det og alt annet vil fungere også. Det er viktig å få tak i koden og bruke de grunnleggende strukturene og algoritmene.
• Databaser og datavarehus, Business Intelligence. Vi går fra algoritmer til datalagring og behandling.
• Hadoop og Big Data. Når databasen ikke er inkludert på harddisken, eller når dataene må analyseres, men Excel ikke lenger kan laste dem, begynner store data. Etter min mening er det nødvendig å gå videre til denne delen først etter en dyp studie av de to foregående.

Algoritmer og datastrukturer

I planen min inkluderte jeg å lære Python, gjenta det grunnleggende om matematikk og algoritmisering.

• Programmering i Python
• Python: Grunnleggende og applikasjoner
• Lineær algebra
• Likbez om diskret matematikk
• Algoritmer: teori og praksis. Metoder
• Algoritmer: teori og praksis. Datastrukturer

Databaser og datavarehus, Business Intelligence

• Bok: Martin Kleppman - Høyt belastede applikasjoner. Programmering, skalering, støtte. Boken beskriver hvordan ulike datamodeller fungerer, deres implementering fra innsiden, begrensninger og valg avhengig av oppgaven.
• Introduksjon til databaser
• Dykk inn i DBMS
• Introduksjon til ikke-relasjonelle databaser

Emner knyttet til bygging av datavarehus, ETL, OLAP-kuber er svært avhengig av verktøy, så jeg gir ikke lenker til kurs i dette dokumentet. Det er tilrådelig å studere slike systemer når du arbeider med et spesifikt prosjekt i en bestemt bedrift. For kjennskap til ETL kan du prøve Talent eller Luftstrøm.

Etter min mening er det viktig å studere den moderne Data Vault-designmetodikken lenke 1, lenke 2. Og den beste måten å lære det på er å ta det og implementere det med et enkelt eksempel. Det er flere eksempler på implementering av Data Vault på GitHub link. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse med Data Vault av Hans Hultgren.

For å bli kjent med Business Intelligence-verktøyene for sluttbrukere kan du bruke den gratis designeren av rapporter, dashbord, minidatavarehus Power BI Desktop. Utdanningsmateriell: lenke 1, lenke 2.

Hadoop og Big Data

• Du må starte med en uavhengig implementering av MapReduce uten tredjepartsbiblioteker. Dette vil gi en bedre forståelse av flertrådede implementeringer i fremtiden. Et utmerket eksempel i Python er beskrevet her.
• Hadoop. System for behandling av store datamengder.
• Introduksjon til Big Data Engineering

Konklusjon

Ikke alt du lærer kan brukes på jobben. Derfor trenger du et avgangsprosjekt der du skal prøve å ta i bruk ny kunnskap.

Det er ingen temaer knyttet til dataanalyse og maskinlæring i planen. dette gjelder mer for profesjonen Data Scientist. Det er heller ingen emner relatert til AWS-skyer, Azure. disse temaene er svært avhengig av valg av plattform.

Spørsmål til samfunnet:
Hvor tilstrekkelig er utjevningsplanen min? Hva skal du fjerne eller legge til?
Hvilket prosjekt vil du anbefale som oppgave?

Kilde: www.habr.com