Jöfnunaráætlun til að fá starfsgreinina Gagnaverkfræðingur

Síðustu átta ár hef ég starfað sem verkefnastjóri (ég skrifa ekki kóða í vinnunni), sem hefur náttúrulega neikvæð áhrif á tæknilega bakenda minn. Ég ákvað að minnka tæknilega bilið mitt og fá starfið Data Engineer. Kjarnakunnátta gagnaverkfræðings er hæfileikinn til að hanna, byggja og viðhalda gagnageymslum.

Ég gerði þjálfunaráætlun, ég held að hún muni ekki aðeins nýtast mér. Áætlunin beinist að sjálfsnámi. Forgangur er veittur ókeypis námskeiðum í rússnesku.

Hlutar:

• Reiknirit og gagnauppbygging. Lykilhluti. Lærðu það og allt annað mun virka líka. Mikilvægt er að hafa kóðann í hendurnar og nota grunnbyggingar og reiknirit.
• Gagnagrunnar og gagnavöruhús, viðskiptagreind. Við erum að fara frá reikniritum yfir í gagnageymslu og vinnslu.
• Hadoop og Big Data. Þegar gagnagrunnurinn er ekki með á harða disknum, eða þegar þarf að greina gögnin, en Excel getur ekki lengur hlaðið þau inn, byrja stór gögn. Að mínu mati er nauðsynlegt að halda áfram að þessum hluta aðeins eftir djúpa rannsókn á tveimur fyrri.

Reiknirit og gagnauppbygging

Í áætluninni minni innihélt ég að læra Python, endurtaka grunnatriði stærðfræði og reiknirit.

• Forritun í Python
• Python: Grunnatriði og forrit
• Línuleg algebru
• Likbez um staka stærðfræði
• Reiknirit: kenning og framkvæmd. Aðferðir
• Reiknirit: kenning og framkvæmd. Gagnauppbyggingar

Gagnagrunnar og gagnavöruhús, viðskiptagreind

• Bók: Martin Kleppman - Mikið hlaðin forrit. Forritun, mælikvarði, stuðningur. Í bókinni er því lýst hvernig mismunandi gagnalíkön virka, útfærslu þeirra innan frá, takmörkunum og vali eftir verkefnum.
• Kynning á gagnagrunnum
• Kafaðu inn í DBMS
• Kynning á gagnagrunnum sem ekki eru tengdir

Efni sem tengjast byggingu gagnavöruhúsa, ETL, OLAP teninga eru mjög háð verkfærum, svo ég gef ekki tengla á námskeið í þessu skjali. Ráðlegt er að kynna sér slík kerfi þegar unnið er að ákveðnu verkefni í tilteknu fyrirtæki. Til að kynnast ETL geturðu prófað Talent eða Loftstreymi.

Að mínu mati er mikilvægt að rannsaka nútíma hönnunaraðferðafræði Data Vault hlekkur 1, hlekkur 2. Og besta leiðin til að læra það er að taka það og framkvæma það með einföldu dæmi. Það eru nokkur Data Vault útfærsludæmi á GitHub tengill. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault eftir Hans Hultgren.

Til að kynnast Business Intelligence verkfærunum fyrir endanotendur geturðu notað ókeypis hönnuði skýrslna, mælaborða, lítilla gagnavöruhúsa Power BI Desktop. Fræðsluefni: hlekkur 1, hlekkur 2.

Hadoop og Big Data

• Þú þarft að byrja með sjálfstæða útfærslu á MapReduce án þriðja aðila bókasöfn. Þetta mun leyfa betri skilning á fjölþráðum útfærslum í framtíðinni. Lýst er frábæru dæmi í Python hér.
• Hadoop. Kerfi til að vinna úr miklu magni gagna.
• Kynning á Big Data Engineering

Ályktun

Ekki er hægt að beita öllu sem þú lærir í vinnunni. Þess vegna þarftu útskriftarverkefni þar sem þú reynir að beita nýrri þekkingu.

Það eru engin efni sem tengjast gagnagreiningu og vélanámi í áætluninni. þetta á frekar við um Data Scientist starfsgreinina. Það eru heldur engin efni sem tengjast AWS skýjum, Azure. þessi þemu eru mjög háð vali á vettvangi.

Spurningar til samfélagsins:
Hversu fullnægjandi er jöfnunaráætlunin mín? Hvað á að fjarlægja eða bæta við?
Hvaða verkefni myndir þú mæla með sem ritgerð?

Heimild: www.habr.com