Niveliavimo planas profesijai Duomenų inžinierius įgyti

Paskutinius aštuonerius metus dirbau projektų vadove (darbe kodo nerašau), o tai natūraliai neigiamai veikia mano technologinį užnugarį. Nusprendžiau užpildyti savo technologinį spragą ir įgyti duomenų inžinieriaus profesiją. Pagrindinis duomenų inžinieriaus įgūdis yra gebėjimas projektuoti, kurti ir prižiūrėti duomenų saugyklas.

Susidariau treniruočių planą, manau, pravers ne tik man. Planas orientuotas į savarankiško mokymosi kursus. Pirmenybė teikiama nemokamiems rusų kalbos kursams.

Skyriai:

• Algoritmai ir duomenų struktūros. Raktų skyrius. Išmokite ir visa kita taip pat veiks. Svarbu suprasti kodą ir naudoti pagrindines struktūras bei algoritmus.
• Duomenų bazės ir duomenų saugyklos, Business Intelligence. Nuo algoritmų pereiname prie duomenų saugojimo ir apdorojimo.
• „Hadoop“ ir „Big Data“. Kai duomenų bazė nėra įtraukta į standųjį diską arba kai reikia analizuoti duomenis, bet Excel nebegali jų įkelti, prasideda dideli duomenys. Mano nuomone, pereiti prie šio skyriaus reikia tik nuodugniai išnagrinėjus du ankstesnius.

Algoritmai ir duomenų struktūros

Į savo planą įtraukiau Python mokymąsi, matematikos ir algoritmizacijos pagrindų kartojimą.

• Programavimas Python
• Python: pagrindai ir programos
• Tiesinė algebra
• Likbezas apie diskrečiąją matematiką
• Algoritmai: teorija ir praktika. Metodai
• Algoritmai: teorija ir praktika. Duomenų struktūros

Duomenų bazės ir duomenų saugyklos, Business Intelligence

• Knyga: Martinas Kleppmanas – labai apkrautos programos. Programavimas, mastelio keitimas, palaikymas. Knygoje aprašoma, kaip veikia skirtingi duomenų modeliai, jų įgyvendinimas iš vidaus, apribojimai ir pasirinkimai priklausomai nuo užduoties.
• Įvadas į duomenų bazes
• Pasinerkite į DBVS
• Įvadas į nesusijusias duomenų bazes

Temos, susijusios su duomenų saugyklų, ETL, OLAP kubelių kūrimu, labai priklauso nuo įrankių, todėl šiame dokumente nuorodų į kursus nepateikiu. Tokias sistemas patartina išstudijuoti dirbant prie konkretaus projekto konkrečioje įmonėje. Norėdami susipažinti su ETL, galite pabandyti Talendas arba Oro srautas.

Mano nuomone, svarbu studijuoti šiuolaikinę Data Vault projektavimo metodiką nuoroda 1, nuoroda 2. O geriausias būdas to išmokti – imti ir įgyvendinti paprastu pavyzdžiu. Yra keli „Data Vault“ diegimo pavyzdžiai „GitHub“. nuoroda. Šiuolaikinės duomenų saugyklos knyga: „Agile Data Warehouse“ modeliavimas naudojant „Data Vault“, Hansas Hultgrenas.

Norėdami susipažinti su verslo žvalgybos įrankiais galutiniams vartotojams, galite naudoti nemokamą ataskaitų, prietaisų skydelių, mini duomenų saugyklų dizainerį Power BI Desktop. Mokomoji medžiaga: nuoroda 1, nuoroda 2.

„Hadoop“ ir „Big Data“.

• Turite pradėti nuo nepriklausomo „MapReduce“ diegimo be trečiųjų šalių bibliotekų. Tai leis geriau suprasti kelių gijų diegimus ateityje. Aprašytas puikus Python pavyzdys čia.
• Hadoop. Sistema, skirta apdoroti didelius duomenų kiekius.
• Įvadas į didžiųjų duomenų inžineriją

išvada

Ne viską, ko išmoksi, galima pritaikyti darbe. Todėl jums reikalingas baigiamasis projektas, kuriame bandysite pritaikyti naujas žinias.

Plane nėra su duomenų analize ir mašininiu mokymusi susijusių temų. tai labiau taikoma duomenų mokslininko profesijai. Taip pat nėra temų, susijusių su AWS debesimis, Azure. šios temos labai priklauso nuo platformos pasirinkimo.

Klausimai bendruomenei:
Kiek tinkamas mano niveliavimo planas? Ką pašalinti ar pridėti?
Kokį projektą rekomenduotumėte kaip baigiamąjį darbą?

Šaltinis: www.habr.com