职业数据工程师练级方案

在过去的八年里，我一直担任项目经理（我不在工作中编写代码），这自然会对我的技术后端产生负面影响。 我决定缩小我的技术差距并获得数据工程师的职业。 数据工程师的核心技能是设计、构建和维护数据仓库的能力。

我制定了一个训练计划，我认为它不仅对我有用。 该计划的重点是自学课程。 优先考虑俄语免费课程。

部分：

• 算法和数据结构。 关键部分。 学习它，其他一切都会解决。 掌握代码并使用基本结构和算法很重要。
• 数据库和数据仓库，商业智能。 我们正在从算法转向数据存储和处理。
• Hadoop 和大数据。 当数据库不在硬盘上，或者需要分析数据，但Excel无法再加载它们时，大数据就开始了。 在我看来，只有在深入研究了前两节之后，才有必要进行这一节。

算法和数据结构

在我的计划中，我包括学习 Python，重复数学和算法的基础知识。

• 用 Python 编程
• Python：基础与应用
• 线性代数
• Likbez 关于离散数学
• 算法：理论与实践。 方法
• 算法：理论与实践。 数据结构

数据库和数据仓库，商业智能

• 书籍：Martin Kleppman - 高负载应用程序。 编程、扩展、支持。 本书描述了不同数据模型的工作原理、它们的内部实现、限制和根据任务的选择。
• 数据库简介
• 深入 DBMS
• 非关系数据库简介

与构建数据仓库、ETL、OLAP 多维数据集相关的主题对工具的依赖性很强，因此我不会在本文档中给出课程链接。 建议在特定公司从事特定项目时研究此类系统。 对于ETL的熟悉，你可以尝试 拓蓝 или 气流.

在我看来，研究现代 Data Vault 设计方法很重要 1链接, 2链接. 学习它的最好方法是使用它并通过一个简单的例子来实现它。 GitHub 上有几个 Data Vault 实现示例 链接. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault 作者：Hans Hultgren。

要熟悉面向最终用户的商业智能工具，您可以使用免费的报表设计器、仪表板、小型数据仓库 Power BI Desktop。 教材： 1链接, 2链接.

Hadoop 和大数据

• 您需要从没有第三方库的 MapReduce 独立实现开始。 这将允许在未来更好地理解多线程实现。 描述了一个很好的 Python 示例 这里.
• 哈多普。 处理大量数据的系统。
• 大数据工程导论

结论

并非您所学的一切都可以在工作中应用。 因此，您需要一个毕业设计，您将在其中尝试应用新知识。

计划中没有与数据分析和机器学习相关的主题。 这更适用于数据科学家职业。 也没有与 AWS 云、Azure 相关的主题。 这些主题高度依赖于平台的选择。

向社区提问：
我的升级计划是否足够？ 删除或添加什么？
你会推荐什么项目作为论文？

来源： habr.com