Nivelacijski plan za stjecanje zvanja Data engineer

Posljednjih osam godina radim kao voditelj projekta (na poslu ne pišem kod), što naravno negativno utječe na moj tehnološki backend. Odlučio sam premostiti svoj tehnološki jaz i dobiti zanimanje Data engineer. Temeljna vještina Data Engineera je sposobnost projektiranja, izgradnje i održavanja skladišta podataka.

Napravio sam plan treninga, mislim da će biti od koristi ne samo meni. Plan je usmjeren na tečajeve samostalnog učenja. Prednost imaju besplatni tečajevi ruskog jezika.

Odjeljci:

• Algoritmi i strukture podataka. Ključni dio. Naučite to i sve ostalo će također uspjeti. Važno je doći do koda i koristiti osnovne strukture i algoritme.
• Baze podataka i skladišta podataka, Poslovna inteligencija. Prelazimo s algoritama na pohranu i obradu podataka.
• Hadoop i Big Data. Kada baza podataka nije uključena na tvrdi disk ili kada podatke treba analizirati, ali ih Excel više ne može učitati, počinju veliki podaci. Po mom mišljenju, potrebno je prijeći na ovaj odjeljak tek nakon dubljeg proučavanja prethodna dva.

Algoritmi i strukture podataka

U svoj plan uključio sam učenje Pythona, ponavljanje osnova matematike i algoritmizacije.

• Programiranje u Pythonu
• Python: Osnove i aplikacije
• Linearna algebra
• Likbez o diskretnoj matematici
• Algoritmi: teorija i praksa. Metode
• Algoritmi: teorija i praksa. Strukture podataka

Baze podataka i skladišta podataka, Poslovna inteligencija

• Knjiga: Martin Kleppman - Visoko opterećene aplikacije. Programiranje, skaliranje, podrška. Knjiga opisuje kako različiti podatkovni modeli funkcioniraju, njihovu implementaciju iznutra, ograničenja i izbore ovisno o zadatku.
• Uvod u baze podataka
• Zaronite u DBMS
• Uvod u nerelacijske baze podataka

Teme vezane uz izgradnju skladišta podataka, ETL, OLAP kocke jako ovise o alatima, stoga u ovom dokumentu ne dajem poveznice na tečajeve. Preporučljivo je proučiti takve sustave prilikom rada na konkretnom projektu u određenoj tvrtki. Za upoznavanje s ETL-om možete pokušati Talend ili Protok zraka.

Po mom mišljenju, važno je proučiti modernu metodologiju dizajna Data Vaulta poveznica 1, poveznica 2. A najbolji način da to naučite je da to uzmete i implementirate na jednostavnom primjeru. Postoji nekoliko primjera implementacije Data Vaulta na GitHubu link. Knjiga o modernom skladištu podataka: Modeliranje agilnog skladišta podataka s trezorom podataka Hansa Hultgrena.

Za upoznavanje s Business Intelligence alatima za krajnje korisnike možete koristiti besplatni dizajner izvješća, nadzornih ploča, mini skladišta podataka Power BI Desktop. Obrazovni materijali: poveznica 1, poveznica 2.

Hadoop i veliki podaci

• Morate započeti s neovisnom implementacijom MapReducea bez biblioteka trećih strana. To će omogućiti bolje razumijevanje višenitnih implementacija u budućnosti. Opisan je izvrstan primjer u Pythonu ovdje.
• Hadoop. Sustav za obradu velikih količina podataka.
• Uvod u inženjerstvo velikih podataka

Zaključak

Ne može se sve što naučite primijeniti na poslu. Stoga vam je potreban diplomski rad u kojem ćete pokušati primijeniti nova znanja.

U planu nema tema vezanih uz analizu podataka i strojno učenje. ovo se više odnosi na profesiju Data Scientist. Također nema tema vezanih uz AWS oblake, Azure. ove teme uvelike ovise o izboru platforme.

Pitanja za zajednicu:
Koliko je moj plan niveliranja prikladan? Što ukloniti ili dodati?
Koji biste projekt preporučili kao diplomski rad?

Izvor: www.habr.com