План прапампоўкі для атрымання прафесіі Data engineer

Апошнія восем гадоў я працую кіраўніком праектаў (не пішу код на працы), што натуральна негатыўна ўплывае на мой тэхналагічны бэкэнд. Я вырашыў скараціць сваё тэхналагічнае адставанне і атрымаць прафесію Data engineer. Асноўны навык Data engineer - здольнасць распрацоўваць, будаваць і падтрымліваць сховішчы дадзеных.

Склаў план навучання, думаю ён будзе карысны не толькі для мяне. План арыентаваны на самастойнае вывучэнне курсаў. Прыярытэт аддаецца бясплатным курсам на рускай мове.

раздзелы:

• Алгарытмы і структуры дадзеных. Ключавы раздзел. Вывучыш яго - усё астатняе таксама атрымаецца. Важна набіць руку ў напісанні кода і выкарыстанні асноўных структур і алгарытмаў.
• Базы і сховішчы дадзеных, Business Intelligence. Ад алгарытмаў пераходзім у захоўванні і апрацоўцы дадзеных.
• Hadoop і Big Data. Калі база не ўваходзіць на вінчэстар, ці калі дадзеныя трэба аналізаваць, але Excel ужо не можа іх загрузіць пачынаюцца вялікія дадзеныя. На мой погляд, пераходзіць да гэтай часткі трэба толькі пасля глыбокага вывучэння двух папярэдніх.

Алгарытмы і структуры дадзеных

У свой план я ўключыў вывучэнне Python, паўтарэнне асноў матэматыкі і алгарытмізацыі.

• Праграмаванне на Python
• Python: асновы і прымяненне
• Лінейная алгебра
• Лікбез па дыскрэтнай матэматыцы
• Алгарытмы: тэорыя і практыка. Метады
• Алгарытмы: тэорыя і практыка. Структуры даных

Базы і сховішчы дадзеных, Business Intelligence

• Марцін Клеппман — высоканагружаныя прыкладанні. Праграмаванне, маштабаванне, падтрымка. Кніга апісвае як працуюць розныя мадэлі дадзеных, іх рэалізацыю знутры, абмежаванні і выбар у залежнасці ад задачы.
• Увядзенне ў базы даных
• Апусканне ў СКБД
• Увядзенне ў нерэляцыйныя базы даных

Тэмы злучаныя з пабудовай сховішчаў дадзеных, ETL, OLAP-кубоў моцна залежаць ад прылад, таму ў гэтым дакуменце не даю спасылак на курсы. Мэтазгодна вывучаць такія сістэмы пры працы над пэўным праектам у канкрэтнай кампаніі. Для знаёмства з ETL можна паспрабаваць Казка або Паветраны паток.

На мой погляд, важна вывучаць сучасную метадалогію праектавання сховішчаў даных Data Vault спасылка 1, спасылка 2. І лепшы спосаб вывучыць яго - узяць і рэалізаваць на простым прыкладзе. На GitHub ёсць некалькі прыкладаў рэалізацыі Data Vault спасылка. Сучасная кніга па сховішчах даных: Modeling the Agile Data Warehouse with Data Vault by Hans Hultgren.

Для знаёмства з інструментамі Business Intelligence для канчатковых карыстальнікаў можна выкарыстоўваць бясплатны канструктар справаздач, дашбордаў, міні сховішчаў дадзеных Power BI Desktop. Навучальныя матэрыялы: спасылка 1, спасылка 2.

Hadoop and Big Data

• Пачаць трэба з самастойнай рэалізацыі MapReduce без іншых бібліятэк. Гэта дазволіць у будучыні лепш разумець шматструменныя рэалізацыі. Выдатны прыклад на Python апісаны тут.
• Hadoop. Сістэма для апрацоўкі вялікіх аб'ёмаў даных.
• Увядзенне ў інжынерыю вялікіх даных

Заключэнне

Не ўсё з таго, што вывучаеш атрымліваецца ўжываць на працы. Таму неабходны дыпломны праект, у якім ты паспрабуеш прымяніць новыя веды.

У плане няма тэм злучаных з аналізам дадзеных і Machine Learning, т.к. гэта больш адносіцца да прафесіі Data Scientist. Таксама няма тэм звязаных з аблокамі AWS, Azure т.к. гэтыя тэмы моцна залежаць ад выбару платформы.

Пытанні да супольнасці:
Наколькі адэкватны мой план прапампоўкі? Што прыбраць ці дадаць?
Які праект параіце ў якасці дыпломнай працы?

Крыніца: habr.com