Plan de îmbunătățire pentru a obține profesia de Data Engineer

În ultimii opt ani, am lucrat ca manager de proiecte (nu scriu cod la locul de muncă), ceea ce, în mod natural, afectează negativ cunoștințele mele tehnice. Am decis să reduc acest decalaj tehnologic și să dobândesc profesia de Data Engineer. Principala abilitate a unui Data Engineer este capacitatea de a dezvolta, construi și menține depozite de date.

Am elaborat un plan de învățare, consider că va fi util nu doar pentru mine. Planul este orientat spre studiul autonom al cursurilor. Prioritatea este acordată cursurilor gratuite în limba română.

Secțiuni:

• Algoritmi și structuri de date. Secțiune cheie. Dacă o studiezi, tot restul va fi mai ușor. Este important să exersezi programarea și utilizarea structurilor și algoritmilor de bază.
• Baze de date și depozite de date, Business Intelligence. De la algoritmi trecem la depozitarea și procesarea datelor.
• Hadoop și Big Data. Când baza de date nu mai încap pe hard disk sau când trebuie să analizezi datele, dar Excel nu le mai poate încărca, încep marii date. Din punctul meu de vedere, trebuie să treci la această secțiune doar după o aprofundare a celor două anterioare.

Algoritmi și structuri de date

În planul meu am inclus studiul Python, revizuirea bazelor de matematică și algoritmizare.

• Programare în Python
• Python: bazele și aplicațiile
• Algebră liniară
• Introducere în matematica discretă
• Algoritmi: teorie și practică. Metode
• Algoritmi: teorie și practică. Structuri de date

Baze de date și depozite de date, Business Intelligence

• Cartea: Martin Kleppmann — Aplicații de înaltă încărcare. Programare, scalare, întreținere. Cartea descrie cum funcționează diferitele modele de date, implementarea lor internă, restricțiile și alegerea în funcție de sarcină.
• Introducere în bazele de date
• Introducere în SGBD
• Introducere în bazele de date nerelationale

Temele legate de construirea depozitelor de date, ETL, cuburi OLAP depind foarte mult de instrumente, prin urmare, în acest document nu includ linkuri către cursuri. Este recomandat să studiezi astfel de sisteme lucrând la un proiect concret într-o companie specifică. Pentru a te familiariza cu ETL, poți încerca Talend sau Airflow.

Din punctul meu de vedere, este important să studiezi metodologia modernă de proiectare a depozitelor de date Data Vault. link 1, link 2. Iar cel mai bun mod de a-l studia este să-l implementezi pe un exemplu simplu. Pe GitHub există câteva exemple de implementare a Data Vault. linkul. O carte modernă despre depozitele de date: Modeling the Agile Data Warehouse with Data Vault de Hans Hultgren.

Pentru a te familiariza cu instrumentele de Business Intelligence pentru utilizatori finali, poți folosi constructorul gratuit de rapoarte, tablouri de bord și mini-depozite de date Power BI Desktop. Materiale educaționale: link 1, link 2.

Hadoop și Big Data

• Începerea trebuie făcută prin implementarea autonomă a MapReduce fără biblioteci externe. Acest lucru va permite, în viitor, să înțelegi mai bine implementările multi-thread. Un exemplu excelent în Python este descris aici.
• Hadoop. Un sistem pentru procesarea unor volume mari de date.
• Introducere în ingineria big data

Concluzie

Nu tot ce înveți poate fi aplicat în muncă. Prin urmare, este necesar un proiect de diplomă, în care să încerci să aplici noile cunoștințe.

În plan nu sunt teme legate de analiza datelor și Machine Learning, deoarece acestea țin mai mult de profesia de Data Scientist. De asemenea, nu sunt teme legate de cloud-uri AWS, Azure, deoarece aceste subiecte depind puternic de alegerea platformei.

Întrebări pentru comunitate:
Cât de adecvat este planul meu de dezvoltare? Ce ar trebui să scot sau să adaug?
Ce proiect recomandați ca lucrare de diplomă?

Sursa: habr.com