Нивелациони план за стицање занимања Инжењер података

Последњих осам година радим као пројект менаџер (не пишем код на послу), што природно негативно утиче на мој технолошки бацкенд. Одлучио сам да затворим свој технолошки јаз и добијем занимање Дата инжењера. Основна вештина инжењера података је способност пројектовања, изградње и одржавања складишта података.

Направио сам план тренинга, мислим да ће бити од користи не само мени. План је фокусиран на курсеве за самостално учење. Приоритет имају бесплатни курсеви руског језика.

Секције:

• Алгоритми и структуре података. Кључни одељак. Научите и све остало ће такође функционисати. Важно је да се дочепате кода и користите основне структуре и алгоритме.
• Базе података и складишта података, Пословна интелигенција. Прелазимо са алгоритама на складиштење и обраду података.
• Хадооп и велики подаци. Када база података није укључена на чврсти диск, или када податке треба анализирати, али Екцел више не може да их учитава, почињу велики подаци. По мом мишљењу, потребно је прећи на овај одељак тек након дубљег проучавања претходна два.

Алгоритми и структуре података

У свој план сам укључио учење Пајтона, понављање основа математике и алгоритамизације.

• Програмирање у Питхон-у
• Питхон: Основе и апликације
• Линеарна алгебра
• Ликбез о дискретној математици
• Алгоритми: теорија и пракса. Методе
• Алгоритми: теорија и пракса. Структуре података

Базе података и складишта података, Пословна интелигенција

• Књига: Мартин Клеппман - Високо оптерећене апликације. Програмирање, скалирање, подршка. Књига описује како функционишу различити модели података, њихову имплементацију изнутра, ограничења и изборе у зависности од задатка.
• Увод у базе података
• Зароните у ДБМС
• Увод у нерелационе базе података

Теме везане за изградњу складишта података, ЕТЛ, ОЛАП коцке су у великој мери зависне од алата, тако да не дајем линкове ка курсевима у овом документу. Препоручљиво је проучавати такве системе када радите на одређеном пројекту у одређеној компанији. За упознавање са ЕТЛ-ом, можете покушати Таленд или Проток ваздуха.

По мом мишљењу, важно је проучавати савремену методологију пројектовања трезора података веза 1, веза 2. А најбољи начин да то научите је да га узмете и примените на једноставном примеру. Постоји неколико примера имплементације Трезора података на ГитХуб-у веза. Књига о модерном складишту података: Моделирање агилног складишта података са трезором података Ханса Хултгрена.

Да бисте се упознали са алатима Бусинесс Интеллигенце за крајње кориснике, можете користити бесплатни дизајнер извештаја, контролних табли, мини складишта података Повер БИ Десктоп. Едукативни материјали: веза 1, веза 2.

Хадооп и велики подаци

• Морате почети са независном имплементацијом МапРедуце-а без библиотека трећих страна. Ово ће омогућити боље разумевање вишенитних имплементација у будућности. Описан је одличан пример у Питхон-у овде.
• Хадооп. Систем за обраду великих количина података.
• Увод у Биг Дата Енгинееринг

Закључак

Не може се све што научите применити на послу. Због тога вам је потребан матурски пројекат у коме ћете покушати да примените нова знања.

У плану нема тема које се односе на анализу података и машинско учење. ово се више односи на професију Дата Сциентист. Такође нема тема које се односе на АВС облаке, Азуре. ове теме у великој мери зависе од избора платформе.

Питања за заједницу:
Колико је мој план нивелисања адекватан? Шта уклонити или додати?
Који пројекат бисте препоручили као дипломски рад?

Извор: ввв.хабр.цом