Mpango wa kusawazisha wa kupata taaluma ya mhandisi wa data

Kwa miaka minane iliyopita nimekuwa nikifanya kazi kama meneja wa mradi (siandiki nambari kazini), ambayo kwa asili huathiri vibaya hali yangu ya nyuma ya kiteknolojia. Niliamua kuziba pengo langu la kiteknolojia na kupata taaluma ya uhandisi wa Data. Ustadi wa msingi wa Mhandisi wa Data ni uwezo wa kubuni, kujenga na kudumisha maghala ya data.

Nilifanya mpango wa mafunzo, nadhani itakuwa muhimu sio kwangu tu. Mpango huo umejikita kwenye kozi za kujisomea. Kipaumbele kinapewa kozi za bure kwa Kirusi.

Sehemu:

• Algorithms na miundo ya data. Sehemu muhimu. Jifunze na kila kitu kingine kitafanya kazi pia. Ni muhimu kupata mikono yako juu ya kanuni na kutumia miundo ya msingi na algorithms.
• Hifadhidata na maghala ya data, Ushauri wa Biashara. Tunahama kutoka algoriti hadi kuhifadhi na kuchakata data.
• Hadoop na Data Kubwa. Wakati database haijajumuishwa kwenye gari ngumu, au wakati data inahitaji kuchambuliwa, lakini Excel haiwezi tena kuzipakia, data kubwa huanza. Kwa maoni yangu, ni muhimu kuendelea na sehemu hii tu baada ya utafiti wa kina wa hizo mbili zilizopita.

Algorithms na miundo ya data

Katika mpango wangu, nilijumuisha kujifunza Python, kurudia misingi ya hisabati na algorithmization.

• Kupanga programu katika Python
• Python: Misingi na Maombi
• Algebra ya mstari
• Likbez kwenye hisabati ya kipekee
• Algorithms: nadharia na mazoezi. Mbinu
• Algorithms: nadharia na mazoezi. Miundo ya Data

Hifadhidata na maghala ya data, Ushauri wa Biashara

• Kitabu: Martin Kleppman - Programu zilizopakiwa sana. Kupanga, kuongeza, msaada. Kitabu kinaelezea jinsi mifano tofauti ya data inavyofanya kazi, utekelezaji wao kutoka ndani, vikwazo na chaguo kulingana na kazi.
• Utangulizi wa hifadhidata
• Ingia kwenye DBMS
• Utangulizi wa hifadhidata zisizo za uhusiano

Mada zinazohusiana na ujenzi wa maghala ya data, ETL, cubes za OLAP zinategemea sana zana, kwa hivyo sitoi viungo vya kozi katika hati hii. Inashauriwa kujifunza mifumo hiyo wakati wa kufanya kazi kwenye mradi maalum katika kampuni maalum. Kwa kufahamiana na ETL, unaweza kujaribu Kalenda au Airflow.

Kwa maoni yangu, ni muhimu kusoma mbinu ya kisasa ya muundo wa Vault Data kiungo 1, kiungo 2. Na njia bora ya kujifunza ni kuichukua na kuitekeleza kwa mfano rahisi. Kuna mifano kadhaa ya utekelezaji wa Vault ya Data kwenye GitHub kiungo. Kitabu cha Ghala la Kisasa la Data: Kuiga Ghala la Data Agile na Vault ya Data na Hans Hultgren.

Ili kufahamiana na zana za Ushauri wa Biashara kwa watumiaji wa mwisho, unaweza kutumia mbuni wa bila malipo wa ripoti, dashibodi, ghala ndogo za data Power BI Desktop. Nyenzo za elimu: kiungo 1, kiungo 2.

Hadoop na Data Kubwa

• Unahitaji kuanza na utekelezaji huru wa MapReduce bila maktaba za wahusika wengine. Hii itaruhusu ufahamu bora wa utekelezaji wa nyuzi nyingi katika siku zijazo. Mfano bora katika Python umeelezewa hapa.
• Hadoop. Mfumo wa usindikaji wa kiasi kikubwa cha data.
• Utangulizi wa Big Data Engineering

Hitimisho

Sio kila kitu unachojifunza kinaweza kutumika kazini. Kwa hivyo, unahitaji mradi wa kuhitimu ambao utajaribu kutumia maarifa mapya.

Hakuna mada zinazohusiana na uchanganuzi wa data na Mafunzo ya Mashine kwenye mpango. hii inatumika zaidi kwa taaluma ya Data Scientist. Pia hakuna mada zinazohusiana na AWS clouds, Azure. mada hizi zinategemea sana uchaguzi wa jukwaa.

Maswali kwa jamii:
Je, mpango wangu wa kusawazisha unatosha kiasi gani? Nini cha kuondoa au kuongeza?
Je, ungependekeza mradi gani kama nadharia?

Chanzo: mapenzi.com