Нивелационен план за придобиване на професия Data engineer

През последните осем години работя като мениджър проекти (не пиша код на работа), което естествено се отразява негативно на технологичния ми бекенд. Реших да запълня технологичната си празнина и да придобия професията Data engineer. Основното умение на инженера по данни е способността да проектира, изгражда и поддържа складове за данни.

Направих тренировъчен план, смятам, че ще е от полза не само за мен. Планът е фокусиран върху курсове за самообучение. Приоритет са безплатните курсове по руски език.

раздели:

• Алгоритми и структури от данни. Ключов раздел. Научете го и всичко останало също ще се получи. Важно е да се докопате до кода и да използвате основните структури и алгоритми.
• Бази данни и хранилища за данни, Business Intelligence. Преминаваме от алгоритми към съхранение и обработка на данни.
• Hadoop и големи данни. Когато базата данни не е включена на твърдия диск или когато данните трябва да бъдат анализирани, но Excel вече не може да ги зареди, започват големи данни. Според мен е необходимо да се премине към този раздел само след задълбочено проучване на предишните два.

Алгоритми и структури от данни

В моя план включих изучаване на Python, повтаряне на основите на математиката и алгоритмизирането.

• Програмиране на Python
• Python: Основи и приложения
• Линейна алгебра
• Ликбез по дискретна математика
• Алгоритми: теория и практика. Методи
• Алгоритми: теория и практика. Структури на данни

Бази данни и хранилища за данни, Business Intelligence

• Книга: Мартин Клепман - Силно натоварени приложения. Програмиране, мащабиране, поддръжка. Книгата описва как работят различните модели на данни, тяхното внедряване отвътре, ограничения и възможности за избор в зависимост от задачата.
• Въведение в базите данни
• Гмурнете се в СУБД
• Въведение в нерелационните бази данни

Темите, свързани с изграждането на хранилища за данни, ETL, OLAP кубове, са силно зависими от инструменти, така че не давам връзки към курсове в този документ. Препоръчително е да изучавате такива системи, когато работите по конкретен проект в конкретна компания. За да се запознаете с ETL, можете да опитате Таленд или Airflow.

Според мен е важно да се проучи съвременната методология за проектиране на Data Vault Връзка 1, Връзка 2. И най-добрият начин да го научите е да го вземете и приложите с прост пример. Има няколко примера за внедряване на Data Vault в GitHub връзка. Книгата The Modern Data Warehouse: Моделиране на Agile Data Warehouse с Data Vault от Ханс Хултгрен.

За да се запознаете с инструментите на Business Intelligence за крайни потребители, можете да използвате безплатния дизайнер на отчети, табла за управление, мини складове за данни Power BI Desktop. Образователни материали: Връзка 1, Връзка 2.

Hadoop и големи данни

• Трябва да започнете с независимо внедряване на MapReduce без библиотеки на трети страни. Това ще позволи по-добро разбиране на многонишковите реализации в бъдеще. Описан е отличен пример в Python тук.
• Hadoop. Система за обработка на големи количества данни.
• Въведение в инженерството на големи данни

Заключение

Не всичко, което научавате, може да се приложи в работата. Затова се нуждаете от дипломен проект, в който ще се опитате да приложите нови знания.

В плана няма теми, свързани с анализ на данни и машинно обучение. това се отнася повече за професията Data Scientist. Също така няма теми, свързани с AWS облаци, Azure. тези теми силно зависят от избора на платформа.

Въпроси към общността:
Колко адекватен е моят нивелационен план? Какво да премахна или да добавя?
Какъв проект бихте препоръчали като дипломна работа?

Източник: www.habr.com