Andmeinseneri ametikõrgendamise plaan

Viimased kaheksa aastat olen töötanud projektijuhina (koodi ei kirjuta), mis on loomulikult negatiivselt mõjutanud minu tehnoloogilist tausta. Otsustasin vähendada oma tehnoloogia mahajäämust ja õppida andmeinseneriks. Andmeinseneri peamine oskus on andmehoidlate kavandamine, ehitamine ja haldamine.

Koostasin õppeplaani, arvan, et see on kasulik mitte ainult mulle. Plaan on suunatud iseseisvale kursuste õppimisele. Eelistatakse tasuta kursusi venekeeles.

Osad:

• Algoritmid ja andmestruktuurid. Põhjaosa. Kui pöörate sellele tähelepanu, siis kõik muu õnnestub ka. Oluline on harjutada koodi kirjutamist ja kasutada põhistruktuure ja algoritme.
• Andmebaasid ja andmehoidlad, ärilishandlus. Liigume algoritmidelt andmete hoidmise ja töötlemise juurde.
• Hadoop ja suurandmed. Kui andmebaas ei mahutu kõvakettale või kui andmeid tuleb analüüsida, kuid Excel ei suuda neid enam laadida, algavad suurandmed. Minu arvates tasub sellele osale üle minna alles pärast kahe eelneva põhjalikku uurimist.

Algsed algoritmid ja andmestruktuurid.

Oma plaani lisasin Python'i õppimise, matemaatika ja algoritmide põhialuste kordamise.

• Python'i programmeerimine
• Python: alused ja rakendamine
• Lineaarne algebra
• Kergem sissejuhatus diskrääte matemaatikasse
• Algoritmid: teooria ja praktika. Meetodid
• Algoritmid: teooria ja praktika. Andmestruktuurid

Andmebaasid ja andmete salvestamine, Business Intelligence

• Raamat: Martin Kleppmann — Suurte koormustega rakendused. Programmeerimine, skaleerimine, toetamine. Raamat kirjeldab, kuidas erinevad andmemudelid töötavad, nende rakendamine seestpoolt, piirangud ja valik olenevalt ülesandest.
• Sissejuhatus andmebaasidesse
• Sügavus andmebaasidesse
• Sissejuhatus mitte-relationaalsetesse andmebaasidesse

Andmehoidlate, ETL'i, OLAP-kuubikute rajamisega seotud teemad sõltuvad tugevalt tööriistadest, nii et selles dokumendis ei paku ma kursuste linke. Selliste süsteemide uurimine on otstarbekas konkreetse projekti kallal töötades konkreetse ettevõtte juures. ETL-iga tutvumiseks võib proovida Talend või Airflow.

Minu arvates on oluline uurida kaasaegset andmehoidla projekteerimise metoodikat Data Vault. link 1, link 2. Ja parim viis selle õppimiseks on võtta ja rakendada lihtsal näitena. GitHub'is on mitmeid Data Vault'i rakendamise näiteid. link. Kaasaegne raamat andmehoidlate kohta: Modeling the Agile Data Warehouse with Data Vault autor Hans Hultgren.

Lõppkasutajatele mõeldud Business Intelligence tööriistadega tutvumiseks saab kasutada tasuta Power BI Desktopi aruannete, juhtpaneelide ja miniandmehoidlate koostajat. Õppematerjalid: link 1, link 2.

Hadoop ja suurandmed

• Alustada tuleks iseendi rakendamisest MapReduce'iga ilma kolmandate osapoolte raamatukogudeta. See võimaldab tulevikus paremini mõista mitme lõime rakendusi. Hea näide Pythonis on kirjeldatud siit.
• Hadoop. Suurandmete töötlemise süsteem.
• Suurandmete inseneritehnika sissejuhatus

Kokkuvõte

Kõike, mida õppida, ei pruugi töökohas rakendada. Seetõttu on vajalik lõputööprojekt, kus saad proovida uusi teadmisi rakendada.

Kavas ei ole teemasid, mis on seotud andmete analüüsi ja masinõppega, kuna need kuuluvad rohkem Data Scientisti ametisse. Samuti ei ole teemasid, mis on seotud pilvedega AWS, Azure, kuna need teemad sõltuvad tugevalt platvormi valikust.

Küsimused kogukonnale:
Kui adekvaatne on minu plaan oskuste arendamiseks? Mida tuleks eemaldada või lisada?
Millist projekti soovitaksite lõputööks?

Allikas: habr.com