Pjan ta 'livellar għall-kisba tal-professjoni Inġinier tad-Data

Għal dawn l-aħħar tmien snin ilni naħdem bħala maniġer tal-proġett (ma niktebx kodiċi fuq ix-xogħol), li naturalment taffettwa negattivament il-backend teknoloġiku tiegħi. Iddeċidejt li nagħlaq il-vojt teknoloġiku tiegħi u nikseb il-professjoni ta' inġinier tad-Data. Il-ħila ewlenija ta 'Inġinier tad-Data hija l-abbiltà li jiddisinja, jibni, u jżomm imħażen tad-dejta.

Għamilt pjan ta 'taħriġ, naħseb li se jkun utli mhux biss għalija. Il-pjan huwa ffokat fuq korsijiet ta’ studju personali. Tingħata prijorità lill-korsijiet b'xejn bir-Russu.

Taqsimiet:

• Algoritmi u strutturi tad-data. Sezzjoni ewlenija. Tgħallemha u kull ħaġa oħra taħdem ukoll. Huwa importanti li tikseb idejk fuq il-kodiċi u tuża l-istrutturi bażiċi u l-algoritmi.
• Databases u data warehouses, Business Intelligence. Qegħdin nimxu minn algoritmi għall-ħażna u l-ipproċessar tad-dejta.
• Hadoop u Big Data. Meta d-database ma tkunx inkluża fuq il-hard drive, jew meta d-data teħtieġ li tiġi analizzata, iżda Excel ma jkunx jista 'jibda jgħabbihom, tibda data kbira. Fl-opinjoni tiegħi, huwa meħtieġ li tipproċedi għal din it-taqsima biss wara studju profond tat-tnejn ta 'qabel.

Algoritmi u strutturi tad-data

Fil-pjan tiegħi, inkludejt it-tagħlim tal-Python, billi rrepeti l-baŜi tal-matematika u l-algoritmizzazzjoni.

• Ipprogrammar f'Python
• Python: Bażi u Applikazzjonijiet
• Alġebra lineari
• Likbez fuq il-matematika diskreta
• Algoritmi: teorija u prattika. Metodi
• Algoritmi: teorija u prattika. Strutturi tad-Data

Databases u data warehouses, Business Intelligence

• Ktieb: Martin Kleppman - Applikazzjonijiet mgħobbija ħafna. Programmazzjoni, skalar, appoġġ. Il-ktieb jiddeskrivi kif jaħdmu mudelli differenti tad-dejta, l-implimentazzjoni tagħhom minn ġewwa, limitazzjonijiet u għażliet skont il-kompitu.
• Introduzzjoni għal databases
• Għaddas fid-DBMS
• Introduzzjoni għal databases mhux relazzjonali

Suġġetti relatati mal-bini ta 'mħażen tad-dejta, ETL, kubi OLAP huma dipendenti ħafna fuq għodod, għalhekk ma nagħtix links għal korsijiet f'dan id-dokument. Huwa rakkomandabbli li tistudja tali sistemi meta taħdem fuq proġett speċifiku f'kumpanija speċifika. Għal familjarità ma 'ETL, tista' tipprova Talend jew Fluss tal-arja.

Fl-opinjoni tiegħi, huwa importanti li tistudja l-metodoloġija moderna tad-disinn tad-Data Vault link 1, link 2. U l-aħjar mod biex titgħallem huwa li teħodha u timplimentah b'eżempju sempliċi. Hemm diversi eżempji ta’ implimentazzjoni ta’ Data Vault fuq GitHub rabta. Il-Ktieb tal-Maħżen tad-Dejta Moderna: Immudellar tal-Maħżen tad-Data b'aġilità b'Data Vault minn Hans Hultgren.

Biex tiffamiljarizza ruħek mal-għodod tal-Business Intelligence għall-utenti finali, tista 'tuża d-disinjatur b'xejn ta' rapporti, dashboards, imħażen tad-dejta żgħar Power BI Desktop. Materjali edukattivi: link 1, link 2.

Hadoop u Big Data

• Trid tibda b'implimentazzjoni indipendenti ta' MapReduce mingħajr libreriji ta' partijiet terzi. Dan se jippermetti fehim aħjar tal-implimentazzjonijiet multithreaded fil-futur. Eżempju eċċellenti fil-Python huwa deskritt hawn.
• Hadoop. Sistema għall-ipproċessar ta 'ammonti kbar ta' data.
• Introduzzjoni għall-Inġinerija tal-Big Data

Konklużjoni

Mhux dak kollu li titgħallem jista’ jiġi applikat fuq ix-xogħol. Għalhekk, għandek bżonn proġett ta 'gradwazzjoni li fih se tipprova tapplika għarfien ġdid.

M'hemm l-ebda suġġett relatat mal-analiżi tad-dejta u t-Tagħlim tal-Machine fil-pjan. dan japplika aktar għall-professjoni ta' Xjentist tad-Data. Hemm ukoll l-ebda suġġetti relatati ma 'sħab AWS, Azure. dawn it-temi huma dipendenti ħafna fuq l-għażla tal-pjattaforma.

Mistoqsijiet lill-komunità:
Kemm hu adegwat il-pjan ta' livellar tiegħi? X'għandek tneħħi jew iżżid?
Liema proġett tirrakkomanda bħala teżi?

Sors: www.habr.com