Ebeniga plano por akiri la profesion Datuma inĝeniero

Dum la lastaj ok jaroj mi laboras kiel projektestro (mi ne skribas kodon en la laboro), kio nature negative influas mian teknologian backend. Mi decidis fermi mian teknologian breĉon kaj akiri la profesion de Datuma inĝeniero. La kerna kapablo de Datuma Inĝeniero estas la kapablo desegni, konstrui kaj konservi datumajn stokejojn.

Mi faris trejnplanon, mi pensas, ke ĝi estos utila ne nur por mi. La plano koncentriĝas pri memlernado-kursoj. Prioritato estas senpagaj kursoj en la rusa.

Sekcioj:

• Algoritmoj kaj datumstrukturoj. Ŝlosila sekcio. Lernu ĝin kaj ĉio alia funkcios ankaŭ. Gravas akiri viajn manojn sur la kodon kaj uzi la bazajn strukturojn kaj algoritmojn.
• Datumbazoj kaj datumstokejoj, Komerca Inteligenteco. Ni moviĝas de algoritmoj al datumstokado kaj prilaborado.
• Hadoop kaj Big Data. Kiam la datumbazo ne estas inkluzivita sur la malmola disko, aŭ kiam la datumoj devas esti analizitaj, sed Excel ne plu povas ŝarĝi ilin, komenciĝas grandaj datumoj. Laŭ mi, necesas iri al ĉi tiu sekcio nur post profunda studo de la du antaŭaj.

Algoritmoj kaj datumstrukturoj

En mia plano, mi inkludis lernadon de Python, ripetante la bazojn de matematiko kaj algoritmo.

• Programado en Python
• Python: Bazoj kaj Aplikoj
• Lineara algebro
• Likbez pri diskreta matematiko
• Algoritmoj: teorio kaj praktiko. Metodoj
• Algoritmoj: teorio kaj praktiko. Datumaj Strukturoj

Datumbazoj kaj datumstokejoj, Komerca Inteligenteco

• Libro: Martin Kleppman - Tre ŝarĝitaj aplikaĵoj. Programado, skalo, subteno. La libro priskribas kiel malsamaj datummodeloj funkcias, ilia efektivigo de interne, limigoj kaj elektoj depende de la tasko.
• Enkonduko al datumbazoj
• Plonĝu en la DBMS
• Enkonduko al ne-rilataj datumbazoj

Temoj rilataj al konstruado de datumstokejoj, ETL, OLAP-kuboj tre dependas de iloj, do mi ne donas ligilojn al kursoj en ĉi tiu dokumento. Estas konsilinde studi tiajn sistemojn kiam oni laboras pri specifa projekto en specifa kompanio. Por konatiĝi kun ETL, vi povas provi Talenti aŭ Aerfluo.

Miaopinie, gravas studi la modernan metodologion de dezajno de Data Vault ligilo 1, ligilo 2. Kaj la plej bona maniero lerni ĝin estas preni ĝin kaj efektivigi ĝin per simpla ekzemplo. Estas pluraj ekzemploj pri efektivigo de Data Vault sur GitHub ligilo. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault de Hans Hultgren.

Por konatiĝi kun la Business Intelligence-iloj por finaj uzantoj, vi povas uzi la senpagan dezajniston de raportoj, paneloj, mini-datumejoj Power BI Desktop. Edukaj materialoj: ligilo 1, ligilo 2.

Hadoop kaj Big Data

• Vi devas komenci per sendependa efektivigo de MapReduce sen triaj bibliotekoj. Ĉi tio permesos pli bonan komprenon de multfadenaj efektivigoj estontece. Bonega ekzemplo en Python estas priskribita tie.
• Hadoop. Sistemo por prilaborado de grandaj kvantoj da datumoj.
• Enkonduko al Big Data Engineering

konkludo

Ne ĉio, kion vi lernas, povas esti aplikata ĉe la laboro. Tial vi bezonas diplomiĝan projekton, en kiu vi provos apliki novajn sciojn.

Ne estas temoj rilataj al datuma analizo kaj Maŝina Lernado en la plano. ĉi tio validas pli por la profesio de Data Scientist. Ankaŭ ne ekzistas temoj rilataj al AWS-nuboj, Azure. ĉi tiuj temoj estas tre dependaj de la elekto de platformo.

Demandoj al la komunumo:
Kiom taŭgas mia niveliga plano? Kion forigi aŭ aldoni?
Kiun projekton vi rekomendus kiel tezon?

fonto: www.habr.com