План прокачування для здобуття професії Data engineer

Останні вісім років я працюю керівником проектів (не пишу код на роботі), що, природно, негативно впливає на мій технологічний бекенд. Я вирішив скоротити своє технологічне відставання та здобути професію Data engineer. Основна навичка Data engineer - здатність розробляти, будувати та підтримувати сховища даних.

Склав план навчання, думаю, він буде корисний не тільки для мене. План спрямовано самостійне вивчення курсів. Пріоритет надається безкоштовним курсам російською мовою.

розділи:

• Алгоритми та структури даних. Ключовий розділ. Вивчиш його - все інше теж вийде. Важливо набити руку в написанні коду та використанні основних структур та алгоритмів.
• Бази та сховища даних, Business Intelligence. Від алгоритмів переходимо у зберіганні та обробці даних.
• Hadoop та Big Data. Коли база не входить на вінчестер або коли дані потрібно аналізувати, але Excel вже не може їх завантажити починаються великі дані. На мою думку, переходити до цього розділу потрібно лише після глибокого вивчення двох попередніх.

Алгоритми та структури даних

У свій план я включив вивчення Python, повторення основ математики та алгоритмізації.

• Програмування на Python
• Python: основи та застосування
• Лінійна алгебра
• Лікнеп з дискретної математики
• Алгоритми: теорія та практика. Методи
• Алгоритми: теорія та практика. Структури даних

Бази та сховища даних, Business Intelligence

• Мартін Клеппман - Високонавантажені додатки. Програмування, масштабування, підтримка. Книга описує, як працюють різні моделі даних, їх реалізацію зсередини, обмеження та вибір залежно від завдання.
• Введення в бази даних
• Занурення в СУБД
• Введення в нереляційні бази даних

Теми, пов'язані з побудовою сховищ даних, ETL, OLAP-кубів, сильно залежать від інструментів, тому в цьому документі не даю посилань на курси. Доцільно вивчати такі системи під час роботи над конкретним проектом у конкретній компанії. Для знайомства з ETL можна спробувати Таленд або Повітряний потік.

На мою думку, важливо вивчати сучасну методологію проектування сховищ даних Data Vault посилання 1, посилання 2. І найкращий спосіб вивчити його взяти і реалізувати на простому прикладі. На GitHub є кілька прикладів реалізації Data Vault посилання. Сучасна книга зі сховищ даних: Modeling the Agile Data Warehouse with Data Vault by Hans Hultgren.

Для знайомства з інструментами Business Intelligence для користувачів можна використовувати безкоштовний конструктор звітів, дашбордів, міні сховищ даних Power BI Desktop. Навчальні матеріали: посилання 1, посилання 2.

Hadoop and Big Data

• Почати потрібно з самостійної реалізації MapReduce без сторонніх бібліотек. Це дозволить у майбутньому краще розуміти багатопотокові реалізації. Відмінний приклад на Python описаний тут.
• Hadoop. Система обробки великих обсягів даних.
• Введення в інженерію великих даних

Висновок

Не все з того, що вивчаєш, виходить застосовувати на роботі. Тому потрібен дипломний проект, у якому ти спробуєш застосувати нові знання.

У плані немає пов'язаних з аналізом даних і Machine Learning, т.к. це більше стосується професії Data Scientist. Також немає тем, пов'язаних з хмарами AWS, Azure т.к. ці теми дуже залежить від вибору платформи.

Запитання до спільноти:
Наскільки адекватний мій план прокачування? Що прибрати чи додати?
Який проект порадите як дипломну роботу?

Джерело: habr.com