Andmete inseneri kutse hankimise plaan

Viimane kaheksa aastat olen töötanud projektijuhina (ei kirjuta tööl koodi), mis mõjutab loomulikult negatiivselt mu tehnoloogilist tausta. Otsustasin vähendada oma tehnoloogiataset ja saada andmete inseneriks. Andmete inseneri peamine oskus on suutlikkus arendada, ehitada ja hooldada andmete ladustamise süsteeme.

Koostasin õppeplaani, mis arvan, et on kasulik mitte ainult mulle. Plaan on suunatud iseseisvale kursuste õppimisele. Eelistatakse tasuta kursusi vene keeles.

Moodulid:

• Algotitmide ja andmestruktuurid. Peamine moodul. Kui õpid selle selgeks, saab kõik muu samuti korda. Oluline on hankida kogemusi koodi kirjutamisel ja põhiandmestruktuuride ja algoritmide kasutamisel.
• Andmebaasid ja laod, Business Intelligence. Algotitmidest liigume andmete ladustamise ja töötlemise juurde.
• Hadoop ja suurandmed. Kui andmebaasid ei mahu kettale või kui andmeid tuleb analüüsida, kuid Excel enam ei suuda neid laadida, algab suurandmete maailm. Minu arvates tuleb selle osa juurde liikuda alles pärast kahte eelneva sügavamat uurimist.

Algoritmid ja andmestruktuurid

В свой план я включил изучение Python, повторение основ математики и алгоритмизации.

• Программирование на Python
• Python: основы и применение
• Lineaarne algebra
• Ликбез по дискретной математике
• Алгоритмы: теория и практика. Методы
• Алгоритмы: теория и практика. Структуры данных

Andmebaasid ja salvestussüsteemid, Business Intelligence

• Книга: Мартин Клеппман — Высоконагруженные приложения. Программирование, масштабирование, поддержка. Книга описывает как работают разные модели данных, их реализацию изнутри, ограничения и выбор в зависимости от задачи.
• Sissejuhatus andmebaasidesse
• Погружение в СУБД
• Введение в нереляционные базы данных

Темы связанные с построением хранилищ данных, ETL, OLAP-кубов сильно зависят от инструментов, поэтому в этом документе не даю ссылок на курсы. Целесообразно изучать такие системы при работе над конкретным проектом в конкретной компании. Для знакомство с ETL можно попробовать Talend või Airflow.

На мой взгляд, важно изучать современную методологию проектирования хранилищ данных Data Vault link 1, link 2. И лучший способ изучить его — взять и реализовать на простом примере. На GitHub есть несколько примеров реализации Data Vault link. Kaasaegne raamat andmehoidlatest: Modeling the Agile Data Warehouse with Data Vault autoriks Hans Hultgren.

Kasutamiseks Business Intelligence tööriistadega lõppkasutajatele sobib tasuta aruande, armatuurlaudade ja väikeste andmehoidlatega Power BI Desktop. Õppematerjalid: link 1, link 2.

Hadoop ja Suured Andmed

• Tuleb alustada iseseisva MapReduce rakendamisega ilma kolmandate osade raamatukogudeta. See aitab hiljem paremini mõista mitme voolu rakendusi. Suurepärane näide Pythonis on kirjeldatud siin.
• Hadoop. Süsteem suurte andmemahtude töötlemiseks.
• Sissejuhatus suurandmete inseneri

Kokkuvõte

Kaugel on see, et kõik, mida õpid, osutub tööle rakendatavaks. Seega on vajalik lõputööprojekt, kus saad proovida uusi teadmisi rakendada.

Kavandis ei ole teemasid, mis on seotud andmeanalüüsi ja masinõppega, kuna see kuulub pigem andmete teaduri ametisse. Samuti ei ole teemade seos AWS, Azure pilvedega, kuna need teemad sõltuvad palju platvormi valikust.

Küsimused kogukonnale:
Kui adekvaatne on minu arenduskava? Mida eemaldada või lisada?
Millist projekti soovitate lõputööks?

Allikas: habr.com