Az elmúlt nyolc évben projektvezetőként dolgozom (nem írok kódot munkám során), ami természetesen negatívan hat a technológiai háttérre. Elhatároztam, hogy csökkentem az elmaradásomat a technológiában, és elnyerem a Data engineer szakmát. A Data engineer fő készsége az adatok tárolásának, fejlesztésének és karbantartásának képessége.
Összeállítottam egy tanulási tervet, amely szerintem nemcsak nekem lesz hasznos. A terv az önállóan elvégezhető tanfolyamokra van orientálva. A prioritás a orosz nyelvű ingyenes tanfolyamokra vonatkozik.
Fejezetek:
- Algoritmusok és adatszerkezetek. Kulcsfontosságú fejezet. Ha ezt elsajátítod, a többi is menni fog. Fontos, hogy gyakorold a kódírást és az alapvető struktúrák és algoritmusok használatát.
- Adatok és tárolók, Business Intelligence. Az algoritmusoktól az adatok tárolására és feldolgozására térünk át.
- Hadoop és Big Data. Amikor az adatbázis nem fér el a merevlemezen, vagy amikor az adatokat elemezni kell, de az Excel már nem tudja betölteni őket, akkor kezdődnek a nagy adatok. Véleményem szerint ehhez a fejezethez csak a két előző alapos tanulmányozása után érdemes átmenni.
Algoritmusok és adatszerkezetek
A tervembe belevettem a Python tanulmányozását, a matematikai alapok és az algoritmizálás ismertetését.
Adatbázisok és tárolók, Üzleti intelligencia
- Könyv: Martin Kleppmann - Magas terhelésű alkalmazások. Programozás, skálázás, karbantartás. A könyv bemutatja, hogyan működnek a különböző adatmodellek, azok belső megvalósítása, korlátai és a feladatoknak megfelelő választás.
Az adatok tárolásával kapcsolatos témák, ETL, OLAP kockák nagymértékben függenek az eszközöktől, ezért ebben a dokumentumban nem adok hivatkozásokat a tanfolyamokra. Célszerű az ilyen rendszereket konkrét projekten dolgozva tanulmányozni egy adott cégnél. Az ETL megismerésére megpróbálhatjuk vagy .
Véleményem szerint fontos a modern adattárolási módszertan, a Data Vault tanulmányozása. , . És a legjobb módja ennek a tanulmányozására az, ha egyszerű példán keresztül megvalósítjuk. A GitHub-on több Data Vault megvalósítással kapcsolatos példa található. . Modern könyv az adattárolásról: Modeling the Agile Data Warehouse with Data Vault by Hans Hultgren.
A Business Intelligence eszközökkel való megismerkedéshez használhatjuk a Power BI Desktop ingyenes jelentés- és irányítópult-készítőjét, valamint a mini adattárolónkat. Tananyagok: , .
Hadoop és Nagy Adatok
- Kezdjük a MapReduce önálló megvalósításával külső könyvtárak nélkül. Ez a jövőben segít jobban megérteni a párhuzamos megvalósításokat. Egy nagyszerű példa Pythonban le van írva .
Zárás
Nem minden, amit tanulsz, alkalmazható a munkában. Ezért szükséges egy diplomamunka, ahol kipróbálhatod az új tudásodat.
A tervben nincsenek adatanalízissel és gépi tanulással kapcsolatos témák, mivel ezek inkább a Data Scientist szakmára vonatkoznak. Nincsenek felhőkkel kapcsolatos témák sem, mint az AWS vagy Azure, mivel ezek a platformválasztástól függően változnak.
Kérdések a közösséghez:
Mennyire ésszerű a fejlesztési tervem? Mit érdemes eltávolítani vagy hozzáadni?
Milyen projektet ajánlanál diplomamunkának?
Forrás: habr.com
