Plan de nivelación para la obtención de la profesión Ingeniero de datos

Durante los últimos ocho años he estado trabajando como gerente de proyectos (no escribo código en el trabajo), lo que naturalmente afecta negativamente mi backend tecnológico. Decidí cerrar mi brecha tecnológica y obtener la profesión de Ingeniero de datos. La habilidad principal de un ingeniero de datos es la capacidad de diseñar, construir y mantener almacenes de datos.

Hice un plan de entrenamiento, creo que será útil no solo para mí. El plan se centra en cursos de autoaprendizaje. Se da prioridad a los cursos gratuitos de ruso.

Secciones:

• Algoritmos y estructuras de datos. Sección clave. Apréndelo y todo lo demás también funcionará. Es importante tener en sus manos el código y usar las estructuras y algoritmos básicos.
• Bases de datos y data warehouses, Business Intelligence. Estamos pasando de los algoritmos al almacenamiento y procesamiento de datos.
• Hadoop y Big Data. Cuando la base de datos no está incluida en el disco duro, o cuando es necesario analizar los datos, pero Excel ya no puede cargarlos, comienzan los datos grandes. En mi opinión, es necesario pasar a esta sección solo después de un estudio profundo de las dos anteriores.

Algoritmos y estructuras de datos

En mi plan, incluí aprender Python, repitiendo los conceptos básicos de matemáticas y algoritmización.

• Programación Python
• Python: conceptos básicos y aplicaciones
• Álgebra lineal
• Likbez sobre matemáticas discretas
• Algoritmos: teoría y práctica. Métodos
• Algoritmos: teoría y práctica. Estructuras de datos

Bases de datos y data warehouses, Business Intelligence

• Libro: Martin Kleppman - Aplicaciones muy cargadas. Programación, escalado, soporte. El libro describe cómo funcionan los diferentes modelos de datos, su implementación desde el interior, las limitaciones y las opciones según la tarea.
• Introducción a las bases de datos
• Sumérgete en el DBMS
• Introducción a las bases de datos no relacionales

Los temas relacionados con la creación de almacenes de datos, ETL, cubos OLAP dependen en gran medida de las herramientas, por lo que no doy enlaces a cursos en este documento. Es recomendable estudiar dichos sistemas cuando se trabaja en un proyecto específico en una empresa específica. Para familiarizarse con ETL, puede intentar Talend o Flujo de aire.

En mi opinión, es importante estudiar la metodología moderna de diseño de Data Vault Enlace 1, Enlace 2. Y la mejor manera de aprenderlo es tomarlo e implementarlo con un ejemplo simple. Hay varios ejemplos de implementación de Data Vault en GitHub enlace. El libro del almacén de datos moderno: modelado del almacén de datos ágil con Data Vault de Hans Hultgren.

Para familiarizarse con las herramientas de Business Intelligence para usuarios finales, puede utilizar el diseñador gratuito de informes, paneles, mini almacenes de datos Power BI Desktop. Materiales educativos: Enlace 1, Enlace 2.

Hadoop y Big Data

• Debe comenzar con una implementación independiente de MapReduce sin bibliotecas de terceros. Esto permitirá una mejor comprensión de las implementaciones de subprocesos múltiples en el futuro. Se describe un excelente ejemplo en Python aquí.
• Hadoop. Sistema para el procesamiento de grandes cantidades de datos.
• Introducción a la Ingeniería de Big Data

Conclusión

No todo lo que aprendes se puede aplicar en el trabajo. Por lo tanto, necesitas un proyecto de graduación en el que intentarás aplicar nuevos conocimientos.

No hay temas relacionados con el análisis de datos y el aprendizaje automático en el plan. esto se aplica más a la profesión de científico de datos. Tampoco hay temas relacionados con las nubes de AWS, Azure. estos temas dependen en gran medida de la elección de la plataforma.

Preguntas a la comunidad:
¿Qué tan adecuado es mi plan de nivelación? ¿Qué quitar o agregar?
¿Qué proyecto recomendarías como tesis?

Fuente: habr.com