職業數據工程師練級方案

在過去的八年裡，我一直擔任項目經理（我不在工作中編寫代碼），這自然會對我的技術後端產生負面影響。 我決定縮小我的技術差距並獲得數據工程師的職業。 數據工程師的核心技能是設計、構建和維護數據倉庫的能力。

我制定了一個訓練計劃，我認為它不僅對我有用。 該計劃的重點是自學課程。 優先考慮俄語免費課程。

部分：

• 算法和數據結構。 關鍵部分。 學習它，其他一切都會起作用。 掌握代碼並使用基本結構和算法很重要。
• 數據庫和數據倉庫，商業智能。 我們正在從算法轉向數據存儲和處理。
• Hadoop 和大數據。 當數據庫不在硬盤上，或者需要分析數據，但Excel無法再加載它們時，大數據就開始了。 在我看來，只有在深入研究了前兩節之後，才有必要進行這一節。

算法和數據結構

在我的計劃中，我包括學習 Python，重複數學和算法的基礎知識。

• 用 Python 編程
• Python：基礎知識和應用
• 線性代數
• Likbez 關於離散數學
• 算法：理論與實踐。 方法
• 算法：理論與實踐。 數據結構

數據庫和數據倉庫，商業智能

• 書籍：Martin Kleppman - 高負載應用程序。 編程、擴展、支持。 本書描述了不同數據模型的工作原理、它們的內部實現、限制和根據任務的選擇。
• 數據庫簡介
• 深入 DBMS
• 非關係數據庫簡介

與構建數據倉庫、ETL、OLAP 多維數據集相關的主題對工具的依賴性很強，因此我不會在本文檔中給出課程鏈接。 建議在特定公司從事特定項目時研究此類系統。 對於ETL的熟悉，你可以試試 塔倫德 或 氣流.

在我看來，研究現代 Data Vault 設計方法很重要 鏈接1, 鏈接2. 學習它的最好方法是使用它並通過一個簡單的例子來實現它。 GitHub 上有幾個 Data Vault 實現示例 鏈接. The Modern Data Warehouse Book: Modeling the Agile Data Warehouse with Data Vault 作者：Hans Hultgren。

要熟悉面向最終用戶的商業智能工具，您可以使用免費的報表設計器、儀表板、小型數據倉庫 Power BI Desktop。 教材： 鏈接1, 鏈接2.

Hadoop 和大數據

• 您需要從沒有第三方庫的 MapReduce 獨立實現開始。 這將允許在未來更好地理解多線程實現。 描述了一個很好的 Python 示例 這裡.
• 哈多普。 處理大量數據的系統。
• 大數據工程導論

結論

並非您所學的一切都可以在工作中應用。 因此，您需要一個畢業設計，您將在其中嘗試應用新知識。

計劃中沒有與數據分析和機器學習相關的主題。 這更適用於數據科學家職業。 也沒有與 AWS 雲、Azure 相關的主題。 這些主題高度依賴於平台的選擇。

向社區提問：
我的升級計劃是否足夠？ 刪除或添加什麼？
你會推薦什麼項目作為論文？

來源： www.habr.com