Negli ultimi otto anni ho lavorato come responsabile di progetto (non scrivo codice sul lavoro), il che naturalmente influisce negativamente sul mio backend tecnologico. Ho deciso di ridurre il mio ritardo tecnologico e acquisire la professione di Data engineer. L'abilità principale di un Data engineer è la capacità di progettare, costruire e mantenere i data warehouse.
Ho creato un piano di studio, penso che sarà utile non solo per me. Il piano è orientato allo studio autonomo dei corsi. La priorità è data ai corsi gratuiti in lingua russa.
Sezioni:
- Algoritmi e strutture dati. Sezione chiave. Se la studi, tutto il resto verrà più facilmente. È importante acquisire esperienza nella scrittura di codice e nell'uso delle principali strutture e algoritmi.
- Basi e archiviazione dei dati, Business Intelligence. Dagli algoritmi passiamo all'archiviazione e all'elaborazione dei dati.
- Hadoop e Big Data. Quando un database non entra nel disco rigido, o quando i dati devono essere analizzati ma Excel non può più caricarli, inizia il grande data. A mio avviso, si deve passare a questa sezione solo dopo aver studiato a fondo le due precedenti.
Algoritmi e strutture dati
Nel mio piano ho incluso lo studio del Python, il ripasso delle basi della matematica e dell'algoritmo.
Basi e archiviazione dei dati, Business Intelligence
- Libro: Martin Kleppmann - Applicazioni ad alto carico. Programmazione, scalabilità, supporto. Il libro descrive come funzionano diversi modelli di dati, la loro implementazione interna, le limitazioni e le scelte in base al compito.
Le tematiche relative alla costruzione di data warehouse, ETL, cubi OLAP dipendono fortemente dagli strumenti, quindi in questo documento non fornisco collegamenti ai corsi. È opportuno studiare tali sistemi mentre si lavora su un progetto specifico in un'azienda specifica. Per familiarizzare con l'ETL si può provare o .
A mio avviso, è importante studiare la moderna metodologia di progettazione dei data warehouse Data Vault , . E il modo migliore per apprenderla è prenderla e realizzarla su un semplice esempio. Su GitHub ci sono alcuni esempi di implementazione di Data Vault . Libro moderno sui data warehouse: Modeling the Agile Data Warehouse with Data Vault di Hans Hultgren.
Per familiarizzarti con gli strumenti di Business Intelligence per utenti finali, puoi utilizzare il costruttore di report gratuito, dashboard e mini warehouse di dati Power BI Desktop. Materiale didattico: , .
Hadoop e Big Data
- Devi iniziare implementando da solo MapReduce senza librerie di terze parti. Questo ti permetterà di comprendere meglio in futuro le implementazioni multithread. Un ottimo esempio in Python è descritto .
Conclusione
Non tutto ciò che studi può essere applicato sul lavoro. Pertanto, è necessario un progetto di laurea in cui proverai ad applicare le nuove conoscenze.
Non ci sono temi relativi all'analisi dei dati e al Machine Learning, poiché questi appartengono maggiormente alla professione di Data Scientist. Inoltre, non ci sono temi relativi ai cloud AWS, Azure poiché questi argomenti dipendono fortemente dalla scelta della piattaforma.
Domande per la comunità:
Quanto è adeguato il mio piano di formazione? Cosa dovrei rimuovere o aggiungere?
Quale progetto consiglieresti come lavoro di laurea?
Fonte: habr.com
