Acht jaar lang heb ik als projectmanager gewerkt (ik schrijf geen code op het werk), wat natuurlijk een negatieve invloed heeft op mijn technische achtergrond. Ik heb besloten mijn technologische achterstand te verkleinen en een carrière als Data engineer te beginnen. De belangrijkste vaardigheid van een Data engineer is het vermogen om dataopslag te ontwikkelen, op te bouwen en te onderhouden.
Ik heb een leerplan opgesteld dat niet alleen voor mij nuttig zal zijn. Het plan is gericht op zelfstandig studeren van cursussen. De voorkeur gaat uit naar gratis cursussen in het Russisch.
Secties:
- Algoritmen en datastructuren. Een sleutelsectie. Als je dit bestudeert, lukt de rest ook. Het is belangrijk om ervaring op te doen met coderen en het gebruik van basisstructuren en algoritmen.
- Databases en dataopslag, Business Intelligence. Van algoritmen gaan we verder naar dataopslag en verwerking.
- Hadoop en Big Data. Wanneer de database niet op de harde schijf past, of wanneer gegevens geanalyseerd moeten worden maar Excel het niet meer kan laden, beginnen de grote gegevens. Naar mijn mening moet je pas naar deze sectie overstappen na een grondige studie van de twee voorgaande secties.
Algoritmen en datastructuren
In mijn plan heb ik het leren van Python opgenomen, en het herhalen van de basisprincipes van wiskunde en algoritmiek.
Databases en dataopslag, Business Intelligence
- Boek: Martin Kleppmann — Hoogbelaste applicaties. Programmeren, schalen, onderhoud. Het boek beschrijft hoe verschillende datamodellen werken, hun interne implementatie, beperkingen en keuzes afhankelijk van de taak.
Onderwerpen gerelateerd aan het bouwen van dataopslagsystemen, ETL, OLAP-kubussen hangen sterk af van de tools, daarom geef ik in dit document geen links naar cursussen. Het is zinvol om dergelijke systemen te bestuderen tijdens het werken aan een specifiek project in een specifiek bedrijf. Voor een kennismaking met ETL kun je proberen of .
Naar mijn mening is het belangrijk om moderne methodologieën voor het ontwerpen van dataopslagsystemen, zoals Data Vault, te bestuderen. , . En de beste manier om het te leren is door het te implementeren met een eenvoudig voorbeeld. Op GitHub zijn er verschillende voorbeelden van de implementatie van Data Vault. Een modern boek over datagestuurde opslag: Modeling the Agile Data Warehouse with Data Vault door Hans Hultgren.
Voor een introductie in Business Intelligence-tools voor eindgebruikers kan de gratis rapportgenerator, dashboards en mini-datagegevens Power BI Desktop worden gebruikt. Leermaterialen: , .
Hadoop en Big Data
- Je moet beginnen met het zelfstandig implementeren van MapReduce zonder externe bibliotheken. Dit zal helpen om in de toekomst beter inzicht te krijgen in multithreaded implementaties. Een uitstekend voorbeeld in Python wordt beschreven .
Conclusie
Niet alles wat je leert, kan je op je werk toepassen. Daarom is een afstudeerproject nodig, waarin je zult proberen je nieuwe kennis toe te passen.
In het plan zijn er geen onderwerpen gerelateerd aan data-analyse en machine learning, aangezien dit meer te maken heeft met het beroep van Data Scientist. Ook zijn er geen onderwerpen met betrekking tot clouds zoals AWS, Azure, omdat deze onderwerpen sterk afhangen van de keuze van het platform.
Vragen aan de gemeenschap:
Hoe realistisch is mijn ontwikkelingsplan? Wat moet ik verwijderen of toevoegen?
Welk project raad je aan als afstudeerproject?
Bron: habr.com
