Viimane kaheksa aastat olen töötanud projektijuhina (ei kirjuta tööl koodi), mis mõjutab loomulikult negatiivselt mu tehnoloogilist tausta. Otsustasin vähendada oma tehnoloogiataset ja saada andmete inseneriks. Andmete inseneri peamine oskus on suutlikkus arendada, ehitada ja hooldada andmete ladustamise süsteeme.
Koostasin õppeplaani, mis arvan, et on kasulik mitte ainult mulle. Plaan on suunatud iseseisvale kursuste õppimisele. Eelistatakse tasuta kursusi vene keeles.
Moodulid:
- Algotitmide ja andmestruktuurid. Peamine moodul. Kui õpid selle selgeks, saab kõik muu samuti korda. Oluline on hankida kogemusi koodi kirjutamisel ja põhiandmestruktuuride ja algoritmide kasutamisel.
- Andmebaasid ja laod, Business Intelligence. Algotitmidest liigume andmete ladustamise ja töötlemise juurde.
- Hadoop ja suurandmed. Kui andmebaasid ei mahu kettale või kui andmeid tuleb analüüsida, kuid Excel enam ei suuda neid laadida, algab suurandmete maailm. Minu arvates tuleb selle osa juurde liikuda alles pärast kahte eelneva sügavamat uurimist.
Algoritmid ja andmestruktuurid
Oma plaani lisasin Pythoni õppimise, matemaatika ja algoritmide põhialuste kordamise.
Andmebaasid ja salvestussüsteemid, Business Intelligence
- Raamat: Martin Kleppmann — Suure koormuse rakendused. Programmeerimine, skaleerimine, tugi. Raamat käsitleb, kuidas erinevad andmemudelid töötavad, nende teostamist seestpoolt, piiranguid ja valikut sõltuvalt ülesandest.
Andmehoidlate, ETL, OLAP-kuubikute ehitamisega seotud teemad sõltuvad tugevalt vahenditest, seetõttu ei paku selle dokumendi raames kursustele viiteid. Selliste süsteemide õppimine on mõistlik, kui töötate konkreetse projekti kallal konkreetses ettevõttes. ETL-iga tutvumiseks võib proovida või .
Arvan, et on oluline õppida kaasaegset andmehoidlate projekteerimise metodoloogiat Data Vault. , . Ja parim viis selle õppimiseks on võtta ja rakendada see lihtsas näites. GitHubis on mitmeid Data Vault'i teostamise näiteid. . Kaasaegne raamat andmehoidlatest: Modeling the Agile Data Warehouse with Data Vault autoriks Hans Hultgren.
Kasutamiseks Business Intelligence tööriistadega lõppkasutajatele sobib tasuta aruande, armatuurlaudade ja väikeste andmehoidlatega Power BI Desktop. Õppematerjalid: , .
Hadoop ja Suured Andmed
- Tuleb alustada iseseisva MapReduce rakendamisega ilma kolmandate osade raamatukogudeta. See aitab hiljem paremini mõista mitme voolu rakendusi. Suurepärane näide Pythonis on kirjeldatud .
Kokkuvõte
Kaugel on see, et kõik, mida õpid, osutub tööle rakendatavaks. Seega on vajalik lõputööprojekt, kus saad proovida uusi teadmisi rakendada.
Kavandis ei ole teemasid, mis on seotud andmeanalüüsi ja masinõppega, kuna see kuulub pigem andmete teaduri ametisse. Samuti ei ole teemade seos AWS, Azure pilvedega, kuna need teemad sõltuvad palju platvormi valikust.
Küsimused kogukonnale:
Kui adekvaatne on minu arenduskava? Mida eemaldada või lisada?
Millist projekti soovitate lõputööks?
Allikas: habr.com
