Načrt za pridobitev poklica podatkovnega inženirja

Zadnjih osem let delam kot vodja projektov (ne programiram na delovnem mestu), kar negativno vpliva na moje tehnološko znanje. Odločil sem se, da bom skrajšal svoje tehnološko zaostajanje in pridobil poklic podatkovnega inženirja. Glavna spretnost podatkovnega inženirja je sposobnost razvijati, graditi in vzdrževati podatkovne skladi.

Sestavil sem načrt učenja, mislim, da bo koristen ne le zame. Načrt je usmerjen v samostojno učenje tečajev. Prioriteta so brezplačni tečaji v ruščini.

Poglavja:

• Algoritmi in podatkovne strukture. Ključni razdelek. Če ga obvladaš, ti bo uspelo tudi vse ostalo. Pomembno je, da pridobiš izkušnje v pisanju kode in uporabi osnovnih struktur in algoritmov.
• Podatkovne baze in skladi podatkov, poslovna inteligenca. Od algoritmov prehajamo na shranjevanje in obdelavo podatkov.
• Hadoop in veliki podatki. Ko podatkovna baza ne more vstopiti na trdi disk, ali ko je treba podatke analizirati, a Excel jih več ne more obdelati, začnejo veliki podatki. Po mojem mnenju je treba preiti k temu razdelku šele po temeljitem študiju dveh prejšnjih.

Algoritmi in podatkovne strukture

V svoj načrt sem vključil učenje Pythona, ponovitev osnov matematike in algoritmike.

• Programiranje v Pythonu
• Python: osnove in uporaba
• Linearna algebra
• Osnove diskretne matematike
• Algoritmi: teorija in praksa. Metode
• Algoritmi: teorija in praksa. Podatkovne strukture

Podatkovne baze in skladi podatkov, poslovna inteligenca

• Knjiga: Martin Kleppmann — Visokonapolnjene aplikacije. Programiranje, skaliranje, vzdrževanje. Knjiga opisuje, kako delujejo različni podatkovni modeli, njihova notranja realizacija, omejitve in izbira glede na nalogo.
• Uvod v podatkovne baze
• Poglobitev v DBMS
• Uvod v nerelacijske podatkovne baze

Teme, povezane z gradnjo skladišč podatkov, ETL, OLAP-kockami, zelo odvisno od orodij, zato v tem dokumentu ne zagotavljam povezav na tečaje. Smiselno je študirati take sisteme, ko delaš na določenem projektu v določeni družbi. Za spoznavanje ETL lahko poskusiš Talend ili Airflow.

Po mojem mnenju je pomembno študirati sodobno metodologijo oblikovanja skladišč podatkov Data Vault povezava 1, povezava 2. In najboljši način za učenje je, da ga uresničiš na preprostem primeru. Na GitHubu je nekaj primerov uresničitve Data Vault. povezava. Moderna knjiga o skladištima podataka: Modeling the Agile Data Warehouse with Data Vault autora Hansa Hultgrena.

Za upoznavanje s alatima Business Intelligence za krajnje korisnike možete koristiti besplatni alat za izradu izvještaja, nadzornih ploča i mini skladišta podataka Power BI Desktop. Obrazovni materijali: povezava 1, povezava 2.

Hadoop i Big Data

• Treba započeti s vlastitom implementacijom MapReduce bez vanjskih biblioteka. To će vam omogućiti bolje razumijevanje višestrukih implementacija u budućnosti. Odličan primjer na Pythonu opisan je tukaj.
• Hadoop. Sustav za obradu velikih količina podataka.
• Uvod u inženjering velikih podataka

Zaključek

Ne može se sve što naučite primijeniti na poslu. Stoga je potreban diplomski projekt u kojem ćete isprobati primjenu novih znanja.

Plan ne uključuje teme povezane s analizom podataka i strojnim učenjem, jer to više pripada profesiji Data Scientist. Također nema tema vezanih uz oblake AWS, Azure jer ove teme snažno ovise o izbore platforme.

Pitanja zajednici:
Koliko je moj plan unapređenja adekvatan? Što ukloniti ili dodati?
Kakav projekt preporučujete kao diplomski rad?

Izvor: habr.com