Plan za usavršavanje za sticanje profesije Data engineer

Posljednjih osam godina radim kao menadžer projekata (ne kodiram na poslu), što prirodno negativno utiče na moje tehnološko znanje. Odlučio sam smanjiti svoje tehnološko zaostajanje i postati Data engineer. Glavna veština Data engineera je sposobnost razvijanja, izgradnje i održavanja skladišta podataka.

Sastavio sam plan učenja, mislim da će biti koristan ne samo za mene. Plan je usmjeren na samostalno učenje kurseva. Prioritet se daje besplatnim kursevima na ruskom jeziku.

Dive:

  • Algoritmi i strukture podataka. Ključni deo. Ako ga savladaš — sve ostalo će doći samo od sebe. Važno je vežbati u pisanju koda i korišćenju osnovnih struktura i algoritama.
  • Baze i skladišta podataka, Business Intelligence. Od algoritama prelazimo na skladištenje i obradu podataka.
  • Hadoop i Big Data. Kada baza ne stane na hard disk ili kada treba analizirati podatke, a Excel ne može da ih učita, počinju veliki podaci. Po mom mišljenju, na ovaj deo treba preći tek nakon dubokog proučavanja prethodna dva.

Algoritmi i strukture podataka

U svoj plan sam uključio učenje Pythona, ponavljanje osnova matematike i algoritmizacije.

Baze i skladišta podataka, Business Intelligence

Teme vezane za izgradnju skladišta podataka, ETL i OLAP kubova u velikoj meri zavise od alata, pa u ovom dokumentu ne navodim linkove ka kursevima. Razumljivo je učiti takve sisteme dok radite na konkretnom projektu u određenoj kompaniji. Za upoznavanje sa ETL-om možete pokušati Talend ili Airflow.

Po mom mišljenju, važno je proučiti savremenu metodologiju projektovanja skladišta podataka Data Vault link 1, link 2. I najbolji način da ga naučite je da ga uzmete i realizujete na jednostavnom primeru. Na GitHubu postoji nekoliko primera realizacije Data Vault. link. Savremena knjiga o skladištima podataka: Modeling the Agile Data Warehouse with Data Vault autora Hansa Hultgrena.

Za upoznavanje s alatima Business Intelligence za krajnje korisnike može se koristiti besplatni alat za izradu izvještaja, nadzornih ploča, mini skladišta podataka Power BI Desktop. Učenje materijali: link 1, link 2.

Hadoop i Veliki podaci

Zaključak

Nije sve što učimo moguće primijeniti na poslu. Stoga je potreban diplomski projekt, u kojem ćeš pokušati primijeniti nova znanja.

U planu nema tema vezanih za analizu podataka i strojno učenje, jer se to više odnosi na profesiju Data Scientist. Također, nema tema vezanih za oblake AWS, Azure jer se te teme jako ovise o izboru platforme.

Pitanja zajednici:
Koliko je adekvatan moj plan usavršavanja? Što ukloniti ili dodati?
Koji projekt preporučujete kao diplomski rad?

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster