Nivelacijski načrt za pridobitev poklica Data inženir

Zadnjih osem let delam kot projektni vodja (v službi ne pišem kode), kar seveda negativno vpliva na moj tehnološki backend. Odločil sem se zapolniti tehnološko vrzel in pridobiti poklic Data inženirja. Glavna veščina podatkovnega inženirja je sposobnost načrtovanja, gradnje in vzdrževanja podatkovnih skladišč.

Naredil sem načrt treninga, mislim, da bo koristen ne samo zame. Načrt je osredotočen na tečaje samostojnega učenja. Prednost imajo brezplačni tečaji ruščine.

Razdelki:

• Algoritmi in podatkovne strukture. Ključni del. Naučite se in vse ostalo se bo izšlo. Pomembno je, da dobite kodo in uporabite osnovne strukture in algoritme.
• Podatkovne baze in podatkovna skladišča, Poslovna inteligenca. Od algoritmov prehajamo k shranjevanju in obdelavi podatkov.
• Hadoop in veliki podatki. Ko baza podatkov ni vključena na trdi disk ali ko je podatke treba analizirati, vendar jih Excel ne more več naložiti, se začnejo veliki podatki. Po mojem mnenju je treba na ta razdelek nadaljevati šele po poglobljeni študiji prejšnjih dveh.

Algoritmi in podatkovne strukture

V načrt sem vključil učenje Pythona, ponavljanje osnov matematike in algoritmiziranja.

• Programiranje v Pythonu
• Python: osnove in aplikacije
• Linearna algebra
• Likbez o diskretni matematiki
• Algoritmi: teorija in praksa. Metode
• Algoritmi: teorija in praksa. Podatkovne strukture

Podatkovne baze in podatkovna skladišča, Poslovna inteligenca

• Knjiga: Martin Kleppman - Visoko obremenjene aplikacije. Programiranje, skaliranje, podpora. Knjiga opisuje delovanje različnih podatkovnih modelov, njihovo implementacijo od znotraj, omejitve in izbire glede na nalogo.
• Uvod v baze podatkov
• Potopite se v DBMS
• Uvod v nerelacijske baze podatkov

Teme, povezane z gradnjo podatkovnih skladišč, ETL, OLAP kock, so zelo odvisne od orodij, zato v tem dokumentu ne dajem povezav do tečajev. Takšne sisteme je priporočljivo preučiti pri delu na določenem projektu v določenem podjetju. Za seznanitev z ETL lahko poskusite Talend ali Pretok zraka.

Po mojem mnenju je pomembno preučiti sodobno metodologijo oblikovanja Data Vault 1 povezava, 2 povezava. In najboljši način, da se tega naučite, je, da ga vzamete in implementirate s preprostim primerom. Na GitHubu je več primerov implementacije Data Vault povezava. Knjiga Modern Data Warehouse: Modeliranje agilnega podatkovnega skladišča s podatkovnim trezorjem Hansa Hultgrena.

Za spoznavanje orodij Business Intelligence za končne uporabnike lahko uporabite brezplačen oblikovalec poročil, nadzornih plošč, mini podatkovnih skladišč Power BI Desktop. Izobraževalni materiali: 1 povezava, 2 povezava.

Hadoop in veliki podatki

• Začeti morate z neodvisno implementacijo MapReduce brez knjižnic tretjih oseb. To bo omogočilo boljše razumevanje večnitnih izvedb v prihodnosti. Opisan je odličen primer v Pythonu tukaj.
• Hadoop. Sistem za obdelavo velikih količin podatkov.
• Uvod v inženiring velikih podatkov

Zaključek

Vsega, kar se naučite, ni mogoče uporabiti pri delu. Zato potrebujete diplomsko nalogo, v kateri boste poskušali uporabiti novo znanje.

V načrtu ni tem, povezanih z analizo podatkov in strojnim učenjem. to bolj velja za poklic Data Scientist. Prav tako ni nobenih tem, povezanih z oblaki AWS, Azure. te teme so močno odvisne od izbire platforme.

Vprašanja skupnosti:
Kako ustrezen je moj nivelacijski načrt? Kaj odstraniti ali dodati?
Kateri projekt bi priporočili kot diplomsko delo?

Vir: www.habr.com