De lêste acht jier haw ik wurke as projektmanager (ik skriuw gjin koade op it wurk), wat fansels negatyf beynfloedet op myn technologyske backend. Ik besleat myn technologyske gat te sluten en it berop fan Data-yngenieur te krijen. De kearnfeardigens fan in Data Engineer is de mooglikheid om datapakhuzen te ûntwerpen, te bouwen en te ûnderhâlden.
Ik makke in trainingsplan, ik tink dat it net allinich foar my nuttich wêze sil. It plan is rjochte op selsstúdzje kursussen. Prioriteit wurdt jûn oan fergese kursussen yn it Russysk.
Seksjes:
- Algoritmen en gegevensstruktueren. Key seksje. Learje it en al it oare sil ek wurkje. It is wichtich om jo hannen op 'e koade te krijen en de basisstruktueren en algoritmen te brûken.
- Databases en data warehouses, Business Intelligence. Wy geane fan algoritmen nei gegevens opslach en ferwurking.
- Hadoop en Big Data. As de databank net opnommen is op 'e hurde skiif, of as de gegevens analysearre wurde moatte, mar Excel kin se net mear lade, begjinne grutte gegevens. Yn myn miening is it needsaaklik om nei dizze paragraaf pas nei in djippe stúdzje fan 'e twa foargeande te gean.
Algoritmen en gegevensstruktueren
Yn myn plan haw ik it learen fan Python opnommen, de basis fan wiskunde en algoritmisaasje werhelle.
Databases en data warehouses, Business Intelligence
- Boek: Martin Kleppman - Heech laden applikaasjes. Programming, skaalfergrutting, stipe. It boek beskriuwt hoe't ferskillende gegevensmodellen wurkje, har ymplemintaasje fan binnen, beheiningen en karren ôfhinklik fan de taak.
Underwerpen yn ferbân mei it bouwen fan datapakhuzen, ETL, OLAP-kubes binne tige ôfhinklik fan ark, dus ik jou gjin keppelings nei kursussen yn dit dokumint. It is oan te rieden om sokke systemen te studearjen as jo wurkje oan in spesifyk projekt yn in spesifyk bedriuw. Foar kunde mei ETL, kinne jo besykje of .
Yn myn miening is it wichtich om de moderne Data Vault-ûntwerpmetodology te studearjen , . En de bêste manier om it te learen is it te nimmen en it te ymplementearjen mei in ienfâldich foarbyld. D'r binne ferskate foarbylden foar ymplemintaasje fan Data Vault op GitHub . The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault troch Hans Hultgren.
Om yn 'e kunde te kommen mei de Business Intelligence-ark foar ein brûkers, kinne jo de fergese ûntwerper brûke fan rapporten, dashboards, mini-datapakhuzen Power BI Desktop. Underwiismateriaal: , .
Hadoop en Big Data
- Jo moatte begjinne mei in ûnôfhinklike ymplemintaasje fan MapReduce sûnder biblioteken fan tredden. Dit sil in better begryp meitsje fan multithreaded ymplemintaasjes yn 'e takomst. In treflik foarbyld yn Python wurdt beskreaun .
konklúzje
Net alles wat jo leare kin op it wurk tapast wurde. Dêrom hawwe jo in ôfstudearprojekt nedich wêryn jo sille besykje nije kennis oan te passen.
D'r binne gjin ûnderwerpen yn ferbân mei gegevensanalyse en Machine Learning yn it plan. dit jildt mear foar it berop fan Data Scientist. D'r binne ek gjin ûnderwerpen relatearre oan AWS-wolken, Azure. dizze tema's binne tige ôfhinklik fan 'e kar fan platfoarm.
Fragen oan de mienskip:
Hoe adekwaat is myn nivelleringsplan? Wat te ferwiderjen of tafoegje?
Hokker projekt soene jo as proefskrift oanbefelje?
Boarne: www.habr.com