План за развитие на професия Data engineer

В последните осем години работя като ръководител на проекти (не пиша код на работа), което естествено оказва негативно влияние върху моето технологично познание. Реших да съкратя своя технологичен дефицит и да получа професия Data engineer. Основният умение на Data engineer е способността да разработва, изгражда и поддържа хранилища на данни.

Създадох план за обучение, който мисля, че ще е полезен не само за мен. Планът е насочен към самообучение чрез курсове. Приоритет се дава на безплатните курсове на български език.

Раздели:

• Алгоритми и структури от данни. Ключов раздел. Ако го изучиш, всичко останало ще се получи. Важно е да се усъвършенстваш в писането на код и използването на основни структури и алгоритми.
• Бази и хранилища от данни, Business Intelligence. От алгоритмите преминаваме към съхранение и обработка на данни.
• Hadoop и Big Data. Когато базата не се помещава на винчестера или когато данните трябва да се анализират, но Excel вече не може да ги зареди, започват големите данни. Според мен, е важно да преминеш към този раздел само след задълбочено изучаване на предходните две.

Алгоритми и структури от данни

В моя план включих изучаване на Python, повторение на основите на математиката и алгоритмизацията.

• Програмиране на Python
• Python: основи и приложение
• Линейна алгебра
• Ликбез по дискретна математика
• Алгоритми: теория и практика. Методи
• Алгоритми: теория и практика. Структури от данни

Бази и хранилища от данни, Business Intelligence

• Книга: Мартин Клеппман — Високонапрегнати приложения. Програмиране, мащабиране, поддръжка. Книгата описва как работят различни модели данни, тяхната реализация отвътре, ограниченията и избора в зависимост от задачата.
• Въведение в бази данни
• Задълбочаване в СУБД
• Въведение в нерелационни бази данни

Темите свързани с изграждането на хранилища от данни, ETL, OLAP кубове зависят от инструментите, затова в този документ не давам линкове за курсове. Целесъобразно е да се изучават такива системи при работа по конкретен проект в конкретна компания. За запознаване с ETL можеш да опиташ Talend или Airflow.

Според мен е важно да се изучава съвременната методология за проектиране на хранилища от данни Data Vault линк 1, линк 2. Най-добрият начин да го изучите е да вземете и приложите на прост пример. В GitHub има няколко примера за реализация на Data Vault. линк. Съвременна книга за хранилища на данни: Modeling the Agile Data Warehouse with Data Vault от Ханс Хултгрен.

За запознаване с инструментите за Business Intelligence за крайни потребители можете да използвате безплатния конструктор на отчети, дашбордове и мини хранилища на данни Power BI Desktop. Обучителни материали: линк 1, линк 2.

Hadoop и Big Data

• Трябва да започнете с независима реализация на MapReduce без външни библиотеки. Това ще помогне в бъдеще да разбирате по-добре многопоточните реализации. Отличен пример на Python е описан тук.
• Hadoop. Система за обработка на големи обеми данни.
• Въведение в инженерството на големи данни

Заключение

Не всичко, което изучавате, можете да приложите на работа. Затова е необходим дипломен проект, в който ще опитате да приложите новите си познания.

В плана няма теми, свързани с анализа на данни и Machine Learning, тъй като те повече се отнасят до професията Data Scientist. Също така няма теми за облаците AWS, Azure, тъй като тези теми зависят в значителна степен от избора на платформа.

Въпроси към общността:
Колко адекватен е моят план за развитие? Какво да премахна или добавя?
Кой проект бихте препоръчали за дипломна работа?

Източник: habr.com