Szintezési terv adatmérnök szakma megszerzéséhez

Az elmúlt nyolc évben projektmenedzserként dolgozom (nem írok kódot a munkahelyemen), ami természetesen negatívan érinti a technológiai hátteremet. Úgy döntöttem, hogy bezárom a technológiai lemaradásomat, és megszerzem az adatmérnöki szakmát. Az adatmérnök alapvető készsége az adattárházak tervezésének, felépítésének és karbantartásának képessége.

Készítettem egy edzéstervet, szerintem nem csak nekem lesz hasznos. A terv az önálló tanulásra irányul. Elsőbbséget élveznek az ingyenes orosz nyelvtanfolyamok.

Szakaszok:

• Algoritmusok és adatstruktúrák. Kulcs rész. Tanuld meg, és minden más is menni fog. Fontos, hogy kézhez kapja a kódot, és használja az alapvető struktúrákat és algoritmusokat.
• Adatbázisok és adattárházak, Business Intelligence. Az algoritmusoktól az adattárolás és -feldolgozás felé haladunk.
• Hadoop és Big Data. Amikor az adatbázis nem szerepel a merevlemezen, vagy ha az adatokat elemezni kell, de az Excel már nem tudja betölteni azokat, nagy adatmennyiség kezdődik. Véleményem szerint ehhez a részhez csak az előző két rész mélyreható tanulmányozása után kell továbbmenni.

Algoritmusok és adatstruktúrák

Tervemben szerepelt a Python tanulása, a matematika és az algoritmizálás alapjainak megismétlése.

• Programozás Pythonban
• Python: alapok és alkalmazások
• Lineáris algebra
• Likbez a diszkrét matematikáról
• Algoritmusok: elmélet és gyakorlat. Mód
• Algoritmusok: elmélet és gyakorlat. Adatstruktúrák

Adatbázisok és adattárházak, Business Intelligence

• Könyv: Martin Kleppman - Erősen terhelt alkalmazások. Programozás, skálázás, támogatás. A könyv bemutatja a különböző adatmodellek működését, belülről való megvalósításukat, a feladattól függő korlátokat és választási lehetőségeket.
• Bevezetés az adatbázisokba
• Merüljön el a DBMS-ben
• Bevezetés a nem relációs adatbázisokba

Az adattárházak, ETL, OLAP kockák építésével kapcsolatos témák nagymértékben eszközfüggőek, ezért ebben a dokumentumban nem adok hivatkozásokat kurzusokhoz. Célszerű az ilyen rendszereket tanulmányozni, amikor egy adott projekten dolgozik egy adott vállalatnál. Az ETL-lel való ismerkedéshez megpróbálhatod Talend vagy Légáram.

Véleményem szerint fontos a modern Data Vault tervezési módszertan tanulmányozása link 1, link 2. És a legjobb módja annak, hogy megtanuljuk, ha átvesszük és egy egyszerű példán keresztül megvalósítjuk. Számos Data Vault megvalósítási példa található a GitHubon link. A Modern Data Warehouse könyv: Az agilis adattárház modellezése Data Vault segítségével, Hans Hultgren.

A végfelhasználóknak szánt Business Intelligence eszközök megismeréséhez használhatja a jelentések, irányítópultok, mini adattárházak ingyenes tervezőjét, a Power BI Desktopot. Oktatási anyagok: link 1, link 2.

Hadoop és Big Data

• A MapReduce független megvalósításával kell kezdenie, harmadik féltől származó könyvtárak nélkül. Ez lehetővé teszi a többszálú megvalósítások jobb megértését a jövőben. Leírunk egy kiváló példát a Pythonban itt.
• Hadoop. Rendszer nagy mennyiségű adat feldolgozására.
• Bevezetés a Big Data Engineeringbe

Következtetés

Nem mindent, amit tanulsz, lehet alkalmazni a munkában. Ezért szüksége van egy érettségi projektre, amelyben megpróbálja alkalmazni az új ismereteket.

A tervben nincs adatelemzéssel és gépi tanulással kapcsolatos téma. ez inkább a Data Scientist szakmára vonatkozik. Nincsenek továbbá az AWS-felhőkhöz, az Azure-hoz kapcsolódó témák sem. ezek a témák nagymértékben függnek a platform kiválasztásától.

Kérdések a közösséghez:
Mennyire megfelelő a szintezési tervem? Mit kell eltávolítani vagy hozzáadni?
Milyen projektet ajánlana szakdolgozatnak?

Forrás: will.com