Nivelleerplan voor het behalen van het beroep Data engineer

De laatste acht jaar werk ik als projectmanager (ik schrijf geen code op het werk), wat natuurlijk een negatieve invloed heeft op mijn technologische backend. Ik besloot mijn technologische kloof te dichten en het beroep van Data engineer te krijgen. De kernvaardigheid van een Data Engineer is het vermogen om datawarehouses te ontwerpen, bouwen en onderhouden.

Ik heb een trainingsplan gemaakt, ik denk dat het niet alleen voor mij nuttig zal zijn. Het plan is gericht op zelfstudiecursussen. Prioriteit wordt gegeven aan gratis cursussen Russisch.

Secties:

• Algoritmen en datastructuren. Sleutel sectie. Leer het en al het andere zal ook werken. Het is belangrijk om de code in handen te krijgen en de basisstructuren en algoritmen te gebruiken.
• Databases en datawarehouses, Business Intelligence. We gaan van algoritmen naar gegevensopslag en -verwerking.
• Hadoop en big data. Wanneer de database niet op de harde schijf staat, of wanneer de gegevens moeten worden geanalyseerd, maar Excel ze niet meer kan laden, begint het grote aantal gegevens. Naar mijn mening is het nodig om pas naar dit gedeelte te gaan na een grondige studie van de twee voorgaande.

Algoritmen en datastructuren

In mijn plan omvatte ik het leren van Python, het herhalen van de basisprincipes van wiskunde en algoritmen.

• Programmeren in Python
• Python: basisprincipes en toepassingen
• Lineaire algebra
• Likbez over discrete wiskunde
• Algoritmen: theorie en praktijk. methoden
• Algoritmen: theorie en praktijk. Data structuren

Databases en datawarehouses, Business Intelligence

• Boek: Martin Kleppman - Hoogbelaste applicaties. Programmeren, schalen, ondersteuning. Het boek beschrijft hoe verschillende datamodellen werken, hun implementatie van binnenuit, beperkingen en keuzes afhankelijk van de taak.
• Inleiding tot databanken
• Duik in het DBMS
• Inleiding tot niet-relationele databases

Onderwerpen met betrekking tot het bouwen van datawarehouses, ETL, OLAP-kubussen zijn sterk afhankelijk van tools, dus ik geef geen links naar cursussen in dit document. Het is raadzaam om dergelijke systemen te bestuderen wanneer u aan een specifiek project in een specifiek bedrijf werkt. Om kennis te maken met ETL, kunt u het proberen Talend of Luchtstroom.

Naar mijn mening is het belangrijk om de moderne Data Vault-ontwerpmethodiek te bestuderen 1-link, 2-link. En de beste manier om het te leren, is door het te nemen en het te implementeren met een eenvoudig voorbeeld. Er zijn verschillende implementatievoorbeelden van Data Vault op GitHub link. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault door Hans Hultgren.

Om kennis te maken met de Business Intelligence tools voor eindgebruikers kunt u gebruik maken van de gratis ontwerper van rapportages, dashboards, mini datawarehouses Power BI Desktop. Educatief materiaal: 1-link, 2-link.

Hadoop en big data

• U moet beginnen met een onafhankelijke implementatie van MapReduce zonder bibliotheken van derden. Dit zal in de toekomst een beter begrip van multithreaded implementaties mogelijk maken. Een uitstekend voorbeeld in Python wordt beschreven hier.
• Hadoop. Systeem voor het verwerken van grote hoeveelheden gegevens.
• Inleiding tot Big Data-engineering

Conclusie

Niet alles wat je leert, kun je in je werk toepassen. Daarom heb je een afstudeerproject nodig waarin je nieuwe kennis probeert toe te passen.

Er zijn geen onderwerpen gerelateerd aan data-analyse en Machine Learning in het plan. dit geldt meer voor het beroep Data Scientist. Er zijn ook geen onderwerpen gerelateerd aan AWS-clouds, Azure. deze thema's zijn sterk afhankelijk van de platformkeuze.

Vragen aan de gemeente:
Hoe adequaat is mijn egalisatieplan? Wat verwijderen of toevoegen?
Welk project zou je aanbevelen als scriptie?

Bron: www.habr.com