План за израмнување за стекнување на професијата инженер за податоци

Последните осум години работам како проект менаџер (на работа не пишувам код), што природно негативно влијае на мојот технолошки заднина. Решив да ја затворам мојата технолошка празнина и да ја добијам професијата инженер за податоци. Основната вештина на инженерот за податоци е способноста да дизајнира, гради и одржува складишта на податоци.

Направив план за обука, мислам дека ќе биде корисен не само за мене. Планот е фокусиран на курсеви за самостојно учење. Предност имаат бесплатните курсеви по руски јазик.

Секции:

• Алгоритми и структури на податоци. Клучен дел. Научете го и сè друго исто така ќе успее. Важно е да го добиете кодот и да ги користите основните структури и алгоритми.
• Бази на податоци и складишта на податоци, деловна интелигенција. Се движиме од алгоритми кон складирање и обработка на податоци.
• Hadoop и Big Data. Кога базата на податоци не е вклучена на тврдиот диск или кога податоците треба да се анализираат, но Excel веќе не може да ги вчита, започнуваат големи податоци. Според мое мислење, потребно е да се продолжи кон овој дел само по длабоко проучување на двата претходни.

Алгоритми и структури на податоци

Во мојот план вклучив учење на Python, повторување на основите на математиката и алгоритмизација.

• Програмирање во Python
• Python: Основи и апликации
• Линеарна алгебра
• Ликбез за дискретна математика
• Алгоритми: теорија и практика. Методи
• Алгоритми: теорија и практика. Структури на податоци

Бази на податоци и складишта на податоци, деловна интелигенција

• Книга: Мартин Клепман - Многу оптоварени апликации. Програмирање, скалирање, поддршка. Книгата опишува како функционираат различни модели на податоци, нивна имплементација одвнатре, ограничувања и избори во зависност од задачата.
• Вовед во бази на податоци
• Нурнете во DBMS
• Вовед во нерелациони бази на податоци

Темите поврзани со градење складишта за податоци, коцките ETL, OLAP се многу зависни од алатките, затоа не давам врски до курсевите во овој документ. Препорачливо е да се проучат таквите системи кога се работи на одреден проект во одредена компанија. За запознавање со ETL, можете да се обидете Талент или Струење.

Според мое мислење, важно е да се проучи модерната методологија за дизајн на Data Vault врска 1, врска 2. И најдобриот начин да го научите е да го земете и да го спроведете со едноставен пример. Постојат неколку примери за имплементација на Data Vault на GitHub линк. Книга за модерни складишта на податоци: Моделирање на агилно складиште на податоци со свод на податоци од Ханс Хултгрен.

За да се запознаете со алатките Business Intelligence за крајните корисници, можете да го користите бесплатниот дизајнер на извештаи, контролни табли, мини складишта за податоци Power BI Desktop. Едукативни материјали: врска 1, врска 2.

Hadoop и Big Data

• Треба да започнете со независна имплементација на MapReduce без библиотеки од трети страни. Ова ќе овозможи подобро разбирање на имплементациите со повеќе нишки во иднина. Опишан е одличен пример во Пајтон тука.
• Хадуп. Систем за обработка на големи количини на податоци.
• Вовед во инженерство на големи податоци

Заклучок

Сè што ќе научите не може да се примени на работа. Затоа, потребен ви е проект за дипломирање во кој ќе се обидете да примените ново знаење.

Во планот нема теми поврзани со анализа на податоци и машинско учење. ова повеќе се однесува на професијата Data Scientist. Исто така, нема теми поврзани со облаците AWS, Azure. овие теми се многу зависни од изборот на платформа.

Прашања до заедницата:
Колку е адекватен мојот план за израмнување? Што да се отстрани или додаде?
Кој проект би го препорачале како теза?

Извор: www.habr.com