Мәліметтер инженері мамандығын алудың деңгейлік жоспары

Мен соңғы сегіз жыл бойы жоба менеджері ретінде жұмыс істеп келемін (мен жұмыста код жазбаймын), бұл әрине менің технологиялық серверіме теріс әсер етеді. Технологиялық олқылығымды азайтып, «Data Engineer» мамандығын алуды шештім. Деректер инженерінің негізгі дағдысы - деректер қоймаларын жобалау, құру және оларға қызмет көрсету мүмкіндігі.

Мен жаттығу жоспарын жасадым, бұл тек маған ғана емес пайдалы болады деп ойлаймын. Жоспар курстарды өз бетінше оқуға бағытталған. Орыс тіліндегі тегін курстарға басымдық беріледі.

Бөлімдер:

• Алгоритмдер және деректер құрылымдары. Негізгі бөлім. Егер сіз оны зерттесеңіз, қалғанының бәрі жақсы болады. Кодты жазуда және негізгі құрылымдар мен алгоритмдерді қолдануда білікті болу маңызды.
• Мәліметтер базасы және деректер қоймалары, Business Intelligence. Біз алгоритмдерден деректерді сақтау мен өңдеуге көшеміз.
• Hadoop және үлкен деректер. Дерекқор қатты дискіге сыймағанда немесе деректерді талдау қажет болғанда, бірақ Excel оны енді жүктей алмаса, үлкен деректер басталады. Менің ойымша, бұл бөлімге алдыңғы екеуін терең зерттегеннен кейін ғана өту керек.

Алгоритмдер және деректер құрылымдары

Мен өз жоспарыма Python тілін үйренуді, математика және алгоритмдеу негіздерін қарастыруды қостым.

• Python бағдарламалау
• Python: негіздері мен қолданылуы
• Сызықтық алгебра
• Дискретті математика бойынша білім беру бағдарламасы
• Алгоритмдер: теория және практика. Әдістері
• Алгоритмдер: теория және практика. Мәліметтер құрылымдары

Мәліметтер базасы және деректер қоймалары, Business Intelligence

• Кітап: Мартин Клеппман - Жоғары жүктемелі қолданбалар. Бағдарламалау, масштабтау, қолдау. Кітап әртүрлі деректер модельдерінің қалай жұмыс істейтінін, олардың ішінен іске асырылуын, тапсырмаға байланысты шектеулер мен таңдауларды сипаттайды.
• Мәліметтер базасына кіріспе
• ДҚБЖ-ға кіріңіз
• Реляциялық емес деректер қорларына кіріспе

Деректер қоймаларын, ETL, OLAP текшелерін құруға қатысты тақырыптар құралдарға өте тәуелді, сондықтан бұл құжатта курстарға сілтемелер бермеймін. Белгілі бір компанияда нақты жобамен жұмыс істегенде мұндай жүйелерді зерттеген жөн. ETL-мен танысу үшін сіз көріңіз Талант немесе Ауа шығыны.

Менің ойымша, Data Vault заманауи деректер қоймасын жобалау әдістемесін зерттеу маңызды сілтеме 1, сілтеме 2. Ал оны үйренудің ең жақсы жолы - оны алып, қарапайым мысалмен жүзеге асыру. GitHub жүйесінде Data Vault енгізулерінің бірнеше мысалдары бар байланыс. Деректер қоймалары туралы заманауи кітап: Ганс Хултгреннің деректер қоймасымен Agile деректер қоймасын модельдеу.

Түпкі пайдаланушыларға арналған Business Intelligence құралдарымен танысу үшін сіз Power BI Desktop есептерінің, бақылау тақталарының және шағын деректер қоймаларының тегін дизайнерін пайдалана аласыз. Оқу материалдары: сілтеме 1, сілтеме 2.

Hadoop және үлкен деректер

• MapReduce бағдарламасын үшінші тарап кітапханаларысыз өздігінен енгізуден бастау керек. Бұл болашақта көп ағынды енгізулерді жақсы түсінуге мүмкіндік береді. Python тіліндегі тамаша мысал сипатталған осында.
• Hadoop. Үлкен көлемдегі мәліметтерді өңдеуге арналған жүйе.
• Үлкен деректер инженериясына кіріспе

қорытынды

Сіз оқыған барлық нәрсені жұмыста қолдануға болмайды. Сондықтан сізге жаңа білімді қолдануға тырысатын бітіру жобасы қажет.

Жоспарда деректерді талдауға және машинаны оқытуға қатысты тақырыптар қамтылмайды, өйткені бұл Data Scientist мамандығына көбірек қатысты. Сондай-ақ AWS және Azure бұлттарына қатысты тақырыптар жоқ. бұл тақырыптар платформаны таңдауға өте тәуелді.

Қоғамдастыққа арналған сұрақтар:
Менің сору жоспарым қаншалықты сәйкес келеді? Нені алып тастау немесе қосу керек?
Дипломдық жұмыс ретінде қандай жобаны ұсынар едіңіз?

Ақпарат көзі: www.habr.com