Piano di livellamento per l'ottenimento della professione Ingegnere dei dati

Negli ultimi otto anni ho lavorato come project manager (non scrivo codice al lavoro), il che naturalmente influisce negativamente sul mio backend tecnologico. Ho deciso di colmare il mio gap tecnologico e ottenere la professione di Data engineer. L'abilità principale di un Data Engineer è la capacità di progettare, costruire e mantenere data warehouse.

Ho fatto un piano di allenamento, penso che sarà utile non solo per me. Il piano è incentrato sui corsi di autoapprendimento. La priorità è data ai corsi gratuiti di russo.

sezioni:

• Algoritmi e strutture dati. Sezione chiave. Imparalo e anche tutto il resto funzionerà. È importante mettere le mani sul codice e utilizzare le strutture e gli algoritmi di base.
• Basi di dati e data warehouse, Business Intelligence. Stiamo passando dagli algoritmi all'archiviazione e all'elaborazione dei dati.
• Hadoop e Big Data. Quando il database non è incluso nel disco rigido o quando i dati devono essere analizzati, ma Excel non può più caricarli, iniziano i dati di grandi dimensioni. A mio avviso, è necessario procedere a questa sezione solo dopo uno studio approfondito delle due precedenti.

Algoritmi e strutture dati

Nel mio piano, ho incluso l'apprendimento di Python, ripetendo le basi della matematica e dell'algoritmo.

• Programmazione in Python
• Python: nozioni di base e applicazioni
• Algebra lineare
• Likbez sulla matematica discreta
• Algoritmi: teoria e pratica. Metodi
• Algoritmi: teoria e pratica. Strutture dati

Basi di dati e data warehouse, Business Intelligence

• Libro: Martin Kleppman - Applicazioni altamente caricate. Programmazione, ridimensionamento, supporto. Il libro descrive come funzionano i diversi modelli di dati, la loro implementazione dall'interno, i limiti e le scelte a seconda dell'attività.
• Introduzione alle basi di dati
• Tuffati nel DBMS
• Introduzione ai database non relazionali

Gli argomenti relativi alla costruzione di data warehouse, ETL, cubi OLAP dipendono fortemente dagli strumenti, quindi non fornisco collegamenti ai corsi in questo documento. È consigliabile studiare tali sistemi quando si lavora su un progetto specifico in un'azienda specifica. Per conoscere ETL, puoi provare Talend o Flusso d'aria.

A mio parere, è importante studiare la moderna metodologia di progettazione di Data Vault Collegamento 1, Collegamento 2. E il modo migliore per impararlo è prenderlo e implementarlo con un semplice esempio. Esistono diversi esempi di implementazione di Data Vault su GitHub collegamento. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault di Hans Hultgren.

Per familiarizzare con gli strumenti di Business Intelligence per gli utenti finali, puoi utilizzare il designer gratuito di report, dashboard, mini data warehouse Power BI Desktop. Materiali didattici: Collegamento 1, Collegamento 2.

Hadoop e Big Data

• Devi iniziare con un'implementazione indipendente di MapReduce senza librerie di terze parti. Ciò consentirà una migliore comprensione delle implementazioni multithread in futuro. Viene descritto un eccellente esempio in Python qui.
• Hadoop. Sistema per l'elaborazione di grandi quantità di dati.
• Introduzione all'ingegneria dei Big Data

conclusione

Non tutto ciò che impari può essere applicato al lavoro. Pertanto, hai bisogno di un progetto di laurea in cui proverai ad applicare nuove conoscenze.

Non ci sono argomenti relativi all'analisi dei dati e al Machine Learning nel piano. questo vale di più per la professione di Data Scientist. Non ci sono inoltre argomenti relativi ai cloud AWS, Azure. questi temi dipendono fortemente dalla scelta della piattaforma.

Domande alla comunità:
Quanto è adeguato il mio piano di livellamento? Cosa togliere o aggiungere?
Quale progetto consiglieresti come tesi?

Fonte: habr.com