Izglītības plāns datu inženiera profesijas iegūšanai

Pēdējos astoņus gadus es strādāju par projektu vadītāju (nestrādāju ar kodu), kas, protams, negatīvi ietekmē manu tehnoloģisko fona līmeni. Esmu nolēmis samazināt savu tehnoloģisko atpalicību un iegūt profesiju Data engineer. Galvenā prasme Data engineer ir spēja izstrādāt, veidot un uzturēt datu glabātuves.

Esmu izstrādājis apmācību plānu, domāju, ka tas būs noderīgs ne tikai man. Plāns ir vērsts uz patstāvīgu kursu apguvi. Prioritāte tiek dota bezmaksas kursiem krievu valodā.

Sadaļas:

• Algoritmi un datu struktūras. Svarīgākais posms. Ja apgūsi to, viss pārējais arī izdosies. Svarīgi ir izjust roku kodēšanā un izmantot pamata struktūras un algoritmus.
• Datu bāzes un glabātuves, Business Intelligence. No algoritmiem pārejam uz datu glabāšanu un apstrādi.
• Hadoop un Big Data. Kad datu bāze neietilpst cietajā diskā vai kad datus ir nepieciešams analizēt, bet Excel vairs nespēj tos ielādēt, sākas lielie dati. Manuprāt, pie šīs sadaļas jāpāriet tikai pēc padziļinātas iepriekšējo divu mācīšanās.

Algoritmi un datu struktūras

Savā plānā es iekļāvu Python apguvi, matemātikas un algoritmikas pamatu atkārtošanu.

• Programmēšana Python valodā
• Python: pamati un pielietojums
• Lineārā algebra
• Diskrētās matemātikas pamati
• Algoritmi: teorija un prakse. Metodes
• Algoritmi: teorija un prakse. Datu struktūras

Datu bāzes un glabāšanas risinājumi, biznesa inteliģence

• Grāmata: Martins Klepmans — Augstas slodzes lietojumprogrammas. Programmēšana, mērogošana, atbalsts. Grāmata apraksta, kā darbojas dažādi datu modeļi, to iekšēja īstenošana, ierobežojumi un izvēle atkarībā no uzdevuma.
• Ievads datu bāzēs
• Iedziļināšanās DBMS
• Ievads nesaistītajās datu bāzēs

Tēmas, kas saistītas ar datu glabātuves būvēšanu, ETL un OLAP kubiem, ļoti atkarīgas no instrumentiem, tāpēc šajā dokumentā nesniedzu saites uz kursiem. Jēgpilni ir apgūt šādas sistēmas, strādājot pie konkrēta projekta konkrētā uzņēmumā. Lai iepazītos ar ETL, var pamēģināt Talend vai Airflow.

Manuprāt, ir svarīgi apgūt mūsdienu datu glabātuves projektēšanas metodoloģiju Data Vault saite 1, saite 2. Un labākais veids, kā to apgūt, ir paņemt un īstenot uz vienkārša piemēra. GitHub ir pieejami vairāki Data Vault īstenošanas piemēri. ir saite. Mūsdienīga grāmata par datu glabātavām: Modeling the Agile Data Warehouse with Data Vault by Hans Hultgren.

Lai iepazītos ar Business Intelligence rīkiem beigu lietotājiem, var izmantot bezmaksas Power BI Desktop ziņu un informācijas panelu veidotāju. Apmācības materiāli: saite 1, saite 2.

Hadoop un Big Data

• Sākt jāsāk ar MapReduce neatkarīgu īstenošanu bez trešo pušu bibliotēkām. Tas nākotnē ļaus labāk saprast daudzkodolu īstenojumus. Lielisks piemērs Python ir aprakstīts šeit.
• Hadoop. Sistēma lielu datu apstrādei.
• Ievads lielo datu inženierijā

Secinājums

Ne viss, ko mācies, ir iespējams pielietot darbā. Tāpēc nepieciešams diplomdarbs, kurā tu centīsies pielietot jaunās zināšanas.

Plānā nav tēmu, kas saistītas ar datu analīzi un Machine Learning, jo tas vairāk attiecas uz Data Scientist profesiju. Arī nav tēmu, kas saistītas ar mākoņiem AWS, Azure, jo šīs tēmas ļoti atkarīgas no platformas izvēles.

Jautājumi kopienai:
Cik saprātīgs ir mans uzlabošanas plāns? Ko noņemt vai pievienot?
Kādu projektu ieteiktu kā diplomdarbu?

Avots: habr.com