Zadnjih osam godina radim kao projekt menadžer (ne pišem kod na poslu), što prirodno negativno utiče na moj tehnološki backend. Odlučio sam da popravim svoj tehnološki jaz i dobijem zanimanje Data inženjera. Osnovna vještina inženjera podataka je sposobnost dizajniranja, izgradnje i održavanja skladišta podataka.
Napravio sam plan treninga, mislim da će biti od koristi ne samo meni. Plan je fokusiran na kurseve za samostalno učenje. Prioritet imaju besplatni kursevi ruskog jezika.
Odjeljci:
- Algoritmi i strukture podataka. Ključni odjeljak. Naučite i sve ostalo će također uspjeti. Važno je da se dočepate koda i koristite osnovne strukture i algoritme.
- Baze podataka i skladišta podataka, Business Intelligence. Prelazimo sa algoritama na skladištenje i obradu podataka.
- Hadoop i veliki podaci. Kada baza podataka nije uključena na čvrsti disk, ili kada je potrebno analizirati podatke, ali Excel ih više ne može učitati, počinju veliki podaci. Po mom mišljenju, potrebno je pristupiti ovom dijelu tek nakon dubljeg proučavanja dva prethodna.
Algoritmi i strukture podataka
U svoj plan sam uključio učenje Pythona, ponavljanje osnova matematike i algoritamizacije.
Baze podataka i skladišta podataka, Business Intelligence
- Knjiga: Martin Kleppman - Visoko opterećene aplikacije. Programiranje, skaliranje, podrška. Knjiga opisuje kako različiti modeli podataka rade, njihovu implementaciju iznutra, ograničenja i izbore ovisno o zadatku.
Teme vezane za izgradnju skladišta podataka, ETL, OLAP kocke su jako zavisne od alata, tako da ne dajem linkove na kurseve u ovom dokumentu. Preporučljivo je proučavati takve sisteme kada radite na konkretnom projektu u određenoj kompaniji. Za upoznavanje sa ETL-om, možete pokušati ili .
Po mom mišljenju, važno je proučavati modernu metodologiju projektovanja trezora podataka , . A najbolji način da to naučite je da ga uzmete i implementirate na jednostavnom primjeru. Postoji nekoliko primjera implementacije Data Vault-a na GitHubu . Knjiga o modernom skladištu podataka: Modeliranje agilnog skladišta podataka sa trezorom podataka Hansa Hultgrena.
Da biste se upoznali sa alatima Business Intelligence za krajnje korisnike, možete koristiti besplatni dizajner izvještaja, nadzornih ploča, mini skladišta podataka Power BI Desktop. Edukativni materijali: , .
Hadoop i veliki podaci
- Morate početi sa nezavisnom implementacijom MapReduce bez biblioteka trećih strana. Ovo će omogućiti bolje razumijevanje višenitnih implementacija u budućnosti. Opisan je odličan primjer u Pythonu .
zaključak
Ne može se sve što naučite primijeniti na poslu. Stoga vam je potreban diplomski projekat u kojem ćete pokušati primijeniti nova znanja.
U planu nema tema koje se odnose na analizu podataka i mašinsko učenje. ovo se više odnosi na profesiju Data Scientist. Takođe nema tema koje se odnose na AWS oblake, Azure. ove teme u velikoj meri zavise od izbora platforme.
Pitanja za zajednicu:
Koliko je moj plan nivelisanja adekvatan? Šta ukloniti ili dodati?
Koji projekat biste preporučili kao diplomski rad?
izvor: www.habr.com