План за повишаване на квалификацията за придобиване на професия Data engineer

През последните осем години работя като ръководител на проекти (не пиша код на работа), което естествено оказва негативно влияние на технологичния ми бекгранд. Реших да съкратя технологичното си изоставане и да придобия професията Data engineer. Основният умение на Data engineer е способността да разработва, изгражда и поддържа хранилища за данни.

Съставих учебен план, мисля, че ще бъде полезен не само за мен. Планът е ориентиран към самостоятелно изучаване на курсове. Приоритетът е за безплатни курсове на български език.

Раздели:

• Алгоритми и структури от данни. Ключов раздел. Ако го изучите — всичко останало също ще се получи. Важно е да натрупате опит в писането на код и използването на основните структури и алгоритми.
• Бази и хранилища на данни, Business Intelligence. От алгоритмите преминаваме към съхранение и обработка на данни.
• Hadoop и Big Data. Когато базата не се побира на диска, или когато данните трябва да бъдат анализирани, но Excel вече не може да ги зареди, започват големите данни. Според мен, към този раздел трябва да се премине само след дълбоко изучаване на двата предишни.

Алгоритми и структури от данни

В плана си включих изучаване на Python, повторение на основите на математиката и алгоритмизацията.

• Програмиране на Python
• Python: основи и приложение
• Линейна алгебра
• Ликбез по дискретна математика
• Алгоритми: теория и практика. Методи
• Алгоритми: теория и практика. Структури от данни

Бази и хранилища на данни, Business Intelligence

• Книга: Мартин Клеппман — Високонагружени приложения. Програмиране, мащабиране, поддръжка. Книгата описва как работят различни модели на данни, тяхната реализация от вътре, ограниченията и изборът в зависимост от задачата.
• Въведение в базите данни
• Потапяне в СУБД
• Въведение в нереляционни бази данни

Темите, свързани с построяването на хранилища за данни, ETL, OLAP-кубове, значително зависят от инструментите, затова в този документ не давам линкове към курсове. Целесъобразно е да се изучават такива системи, когато работите по конкретен проект в конкретна компания. За запознаване с ETL може да опитате Talend или Airflow.

На моето мнение, важно е да се изучава съвременната методология на проектиране на хранилища за данни Data Vault. линк 1, линк 2. И най-добрият начин за изучаване е да го вземете и реализирате на прост пример. В GitHub има няколко примера за реализация на Data Vault линк. Съвременна книга за хранилища за данни: Modeling the Agile Data Warehouse with Data Vault от Ханс Хултгрен.

За запознаване с инструментите за бизнес интелигентност за крайни потребители можете да използвате безплатния конструктор на отчети, табла за управление, мини хранилища на данни Power BI Desktop. Обучителни материали: линк 1, линк 2.

Hadoop и големи данни

• Започнете с самостоятелна реализация на MapReduce без външни библиотеки. Това ще ви помогне в бъдеще да разберете по-добре многопоточните реализации. Отличен пример на Python е описан тук.
• Hadoop. Система за обработка на големи обеми данни.
• Въведение в инженерството на големи данни

Заключение

Не всичко, което учите, може да бъде приложено на работа. Поради това е необходим дипломен проект, в който ще опитате да приложите новите си знания.

В плана няма теми, свързани с анализ на данни и машинно обучение, тъй като те по-скоро се отнасят до професията на Data Scientist. Също така няма теми, свързани с облачни платформи AWS, Azure, тъй като тези теми зависят до голяма степен от избора на платформа.

Въпроси към общността:
Насколько адекватен е моят план за развитие? Какво да премахна или добавя?
Какъв проект бихте препоръчали за дипломна работа?

Източник: habr.com