Nivelleringsplan vir die verkryging van die beroep Data-ingenieur

Vir die laaste agt jaar werk ek as 'n projekbestuurder (ek skryf nie kode by die werk nie), wat natuurlik my tegnologiese agterkant negatief beïnvloed. Ek het besluit om my tegnologiese gaping te sluit en die beroep van Data-ingenieur te kry. Die kernvaardigheid van 'n data-ingenieur is die vermoë om datapakhuise te ontwerp, te bou en in stand te hou.

Ek het 'n opleidingsplan gemaak, ek dink dit sal nie net vir my nuttig wees nie. Die plan is gefokus op selfstudiekursusse. Prioriteit word gegee aan gratis kursusse in Russies.

Afdelings:

• Algoritmes en datastrukture. Sleutel afdeling. Leer dit en alles anders sal ook werk. Dit is belangrik om die kode in die hande te kry en die basiese strukture en algoritmes te gebruik.
• Databasisse en datapakhuise, Business Intelligence. Ons beweeg van algoritmes na databerging en verwerking.
• Hadoop en Big Data. Wanneer die databasis nie op die hardeskyf ingesluit is nie, of wanneer die data ontleed moet word, maar Excel dit nie meer kan laai nie, begin groot data. Na my mening is dit nodig om eers na 'n diepgaande studie van die twee voriges na hierdie afdeling voort te gaan.

Algoritmes en datastrukture

In my plan het ek die leer van Python ingesluit, die basiese beginsels van wiskunde en algoritmisering herhaal.

• Programmering in Python
• Python: basiese beginsels en toepassings
• Lineêre algebra
• Likbez oor diskrete wiskunde
• Algoritmes: teorie en praktyk. Metodes
• Algoritmes: teorie en praktyk. Datastrukture

Databasisse en datapakhuise, Business Intelligence

• Boek: Martin Kleppman - Hoogs gelaaide toepassings. Programmering, skaal, ondersteuning. Die boek beskryf hoe verskillende datamodelle werk, die implementering daarvan van binne, beperkings en keuses na gelang van die taak.
• Inleiding tot databasisse
• Duik in die DBMS
• Inleiding tot nie-relasionele databasisse

Onderwerpe wat verband hou met die bou van datapakhuise, ETL, OLAP-kubusse is hoogs afhanklik van gereedskap, so ek gee nie skakels na kursusse in hierdie dokument nie. Dit is raadsaam om sulke stelsels te bestudeer wanneer jy aan 'n spesifieke projek in 'n spesifieke maatskappy werk. Vir kennismaking met ETL, kan jy probeer Talent of Lugvloei.

Na my mening is dit belangrik om die moderne Data Vault-ontwerpmetodologie te bestudeer skakel 1, skakel 2. En die beste manier om dit te leer, is om dit te neem en dit met 'n eenvoudige voorbeeld te implementeer. Daar is verskeie Data Vault-implementeringsvoorbeelde op GitHub skakel. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse met Data Vault deur Hans Hultgren.

Om vertroud te raak met die Business Intelligence-nutsgoed vir eindgebruikers, kan jy die gratis ontwerper van verslae, dashboards, mini-datapakhuise Power BI Desktop gebruik. Opvoedkundige materiaal: skakel 1, skakel 2.

Hadoop en Big Data

• Jy moet begin met 'n onafhanklike implementering van MapReduce sonder derdeparty-biblioteke. Dit sal 'n beter begrip van multithreaded-implementerings in die toekoms moontlik maak. 'n Uitstekende voorbeeld in Python word beskryf hier.
• Hadoop. Stelsel vir die verwerking van groot hoeveelhede data.
• Inleiding tot Big Data Engineering

Gevolgtrekking

Nie alles wat jy leer kan by die werk toegepas word nie. Daarom het jy 'n afstudeerprojek nodig waarin jy nuwe kennis sal probeer toepas.

Daar is geen onderwerpe wat verband hou met data-analise en masjienleer in die plan nie. dit geld meer vir die Data Scientist-professie. Daar is ook geen onderwerpe wat verband hou met AWS-wolke, Azure nie. hierdie temas is hoogs afhanklik van die keuse van platform.

Vrae aan die gemeenskap:
Hoe voldoende is my nivelleringsplan? Wat om te verwyder of by te voeg?
Watter projek sal jy as 'n tesis aanbeveel?

Bron: will.com