Gjatë tetë viteve të fundit kam punuar si menaxher projektesh (nuk shkruaj kod në punë), gjë që natyrshëm ndikon negativisht në bazën time teknologjike. Vendosa të reduktoj prapambetjes time teknologjike dhe të fitova profesionin Data Engineer. Aftësia kryesore e Data Engineer-it është mundësia për të zhvilluar, ndërtuar dhe mbështetur depozitat e të dhënave.
Kam përgatitur një plan studimi, mendoj se do të jetë i dobishëm jo vetëm për mua. Plani është orientuar në studimin e pavarur të kurseve. Prioriteti jepet kurseve falas në gjuhën ruse.
Kategoritë:
- Algoritmet dhe strukturat e tĂ« dhĂ«nave. Kategoria kryesore. NĂ«se e studion kĂ«tĂ«, gjithçka tjetĂ«r do tĂ« funksionojĂ« gjithashtu. ĂshtĂ« e rĂ«ndĂ«sishme tĂ« praktikosh kodimin dhe pĂ«rdorimin e strukturave dhe algoritmeve kryesore.
- Baza dhe depozitat e të dhënave, Business Intelligence. Nga algoritmet kalojmë te ruajtja dhe përpunimi i të dhënave.
- Hadoop dhe Big Data. Kur baza nuk fiton vend në hard disk, ose kur të dhënat duhet të analizohen, por Excel nuk mund t'i ngarkojë më, fillojnë të dhënat e mëdha. Në opinionin tim, duhet të kalosh në këtë kategori vetëm pas një studimi të thelluar të dy kategorive të mëparshme.
Algoritmet dhe strukturat e të dhënave
Në planin tim kam përfshirë studimin e Python, përsëritjen e bazave të matematikës dhe algoritmikës.
Baza dhe depozitat e të dhënave, Business Intelligence
- Libri: Martin Kleppmann â Aplikacione me shkarkime tĂ« larta. Programimi, shkallĂ«zimi, mbĂ«shtetja. Libri pĂ«rshkruan si funksionojnĂ« modelet e ndryshme tĂ« tĂ« dhĂ«nave, implementimin e tyre nga brenda, kufizimet dhe zgjedhjen nĂ« varĂ«si tĂ« detyrĂ«s.
Temat qĂ« lidhen me ndĂ«rtimin e depozitave tĂ« tĂ« dhĂ«nave, ETL, kube OLAP varen shumĂ« nga mjetet, prandaj nĂ« kĂ«tĂ« dokument nuk ofroj lidhje pĂ«r kurse. ĂshtĂ« e arsyeshme tĂ« studosh kĂ«to sisteme kur punon nĂ« njĂ« projekt tĂ« caktuar nĂ« njĂ« kompani tĂ« veçantĂ«. PĂ«r njohjen me ETL, mund tĂ« provosh ose .
Në opinionin tim, është e rëndësishme të studosh metodologjinë moderne të dizajnit të depozitave të të dhënave Data Vault , . Një nga mënyrat më të mira për të mësuar këtë është ta marrësh dhe ta realizosh në një shembull të thjeshtë. Në GitHub ka disa shembuj të realizimit të Data Vault. . Një libër modern mbi depozitat e të dhënave: Modeling the Agile Data Warehouse with Data Vault nga Hans Hultgren.
Për të njohur mjetet e Business Intelligence për përdoruesit fundorë, mund të përdorësh ndërtuesin falas të raporteve, panelet e kontrollit dhe mini depozitat e të dhënave Power BI Desktop. Materialet mësimore: , .
Hadoop dhe Big Data
- Duhet të fillosh me realizimin e MapReduce nga e para pa biblioteka të jashtme. Kjo do të lejojë të kuptosh më mirë implementimet me shumë rrjedha në të ardhmen. Një shembull i shkëlqyer në Python është përshkruar .
PĂ«rfundim
Jo gjithçka që mëson e aplikon në punë. Prandaj, një projekt diplomor është i nevojshëm, ku ti do të provosh të aplikosh njohuritë e reja.
Plani nuk përfshin tema të lidhura me analizën e të dhënave dhe Machine Learning, pasi kjo ka lidhje më tepër me profesionin e Data Scientist. Po ashtu, nuk ka tema të lidhura me shërbimet cloud AWS, Azure pasi këto tema varen shumë nga zgjedhja e platformës.
Pyetje për komunitetin:
Sa tĂ« arsyeshĂ«m Ă«shtĂ« plani im i zhvillimit? ĂfarĂ« tĂ« heq ose tĂ« shtoj?
Cilin projekt do të rekomandonit si punë diplomore?
Burimi: habr.com
