据 Statista 称，到 2025 年，大数据市场规模将增长至 175 ZB，而 41 年为 2019 ZB（）。 要在该领域找到工作，您需要了解如何使用存储在云中的大数据。 Cloud4Y 编制了 12 个付费和免费数据工程课程的列表，这些课程将扩展您在该领域的知识，并且可以成为您获得云认证之路的良好起点。
前言
什么是数据工程师？ 这是负责在数据科学项目中创建和维护数据架构的人员。 职责可能包括确保服务器和应用程序之间的数据流顺畅、集成新的数据管理软件、改进底层数据流程以及创建数据管道。
数据工程师必须掌握大量的技术和工具才能使用云计算、数据仓库、ETL（提取、转换、加载）等。而且，所需技能的数量一直在增长，所以数据工程师需要定期补充自己的知识知识。 我们的列表包括针对初学者和经验丰富的专业人士的课程。 选择适合您的。
1. 数据工程纳米学位认证（)
您将学习如何设计数据模型、创建数据仓库和数据湖、自动化数据管道以及使用数据集数组。 在课程结束时，您将通过完成 Capstone 项目来测试您的新技能。
为期：5个月，每周5小时
选择语言： 英语
价格区间：$ 1695
Уровень： 最初的
2. 成为数据工程师认证（)
他们从基础开始教学。 您可以通过讲座和实践项目逐步提高您的技能。 培训结束时，您将准备好使用机器学习和大数据。 建议至少了解 Python 的最低水平。
为期：8个月，每周10小时
选择语言： 英语
价格区间😕
Уровень： 最初的
3. 成为一名数据工程师：掌握概念（)
您将培养数据工程和 DevOps 技能，学习如何创建大数据应用程序、创建数据管道、使用 Hazelcast 和数据库实时处理应用程序.
为期： 取决于你
选择语言： 英语
价格区间：第一个月 - 免费
Уровень： 最初的
4. 数据工程课程（)
这里有一系列课程，向您介绍数据工程并教您如何开发分析解决方案。 课程根据难度级别分为不同类别，因此您可以根据您的经验水平进行选择。 在培训期间，您将学习使用 Spark、Hadoop、Azure 并管理企业数据。
为期： 取决于你
选择语言： 英语
价格区间: 取决于所选课程
Уровень：初级、中级、高级
5.数据工程师（)
如果您有 Python 经验并希望加深您的知识并建立数据科学家的职业生涯，那么本课程值得学习。 您将学习如何使用 Python 和 pandas 构建数据管道，在清理、转换和验证后将大型数据集加载到 Postgres 数据库中。
为期： 取决于你
选择语言： 英语
价格区间：取决于订阅形式
Уровень：初级、中级
6. 使用 Google Cloud 进行数据工程 ()
本课程将帮助您获得在大数据领域开展职业所需的技能。 例如，使用 BigQuery、Spark。 您将获得准备获得行业认可的 Google Cloud 专业数据工程师认证所需的知识。
为期: 4 个月
选择语言： 英语
价格区间: 暂时免费
Уровень：初级、中级
7. 数据工程，谷歌云平台上的大数据（)
这是一门有趣的课程，提供 GCP 中数据处理系统的实用知识。 在课程中，您将学习如何在开始开发过程之前设计系统。 此外，您还将分析结构化和非结构化数据、应用自动缩放以及应用 ML 技术来提取信息。
为期: 3 个月
选择语言： 英语
价格区间: 暂时免费
Уровень：初级、中级
8. 加州大学圣地亚哥分校：大数据专业化（)
该课程基于使用 Hadoop 和 Spark 框架并将这些大数据技术应用到机器学习过程中。 您将学习将 Hadoop 与 MapReduce、Spark、Pig 和 Hive 结合使用的基础知识。 了解如何构建预测模型并使用图形分析来建模问题。 请注意，本课程不需要任何编程经验。
为期：8个月每周10小时
选择语言： 英语
价格区间: 暂时免费
Уровень： 最初的
9. 使用 Apache Spark 和 Python 驯服大数据 ()
您将学习如何使用 Spark3 中的流结构和数据框架，并了解如何使用 Amazon 的 Elastic MapReduce 服务与 Hadoop 集群配合使用。 学习识别大数据分析中的问题，了解 GraphX 库如何与网络分析配合使用以及如何使用 MLlib。
为期： 取决于你
选择语言： 英语
价格区间：从 800 卢布到 149,99 美元（取决于你的运气）
Уровень：初级、中级
10. 大数据工程PG课程（)
本课程将让您了解 Aadhaar 的工作原理、Facebook 如何个性化新闻源以及如何使用数据工程。 关键主题是数据处理（包括实时处理）、MapReduce、大数据分析。
为期: 11 个月
选择语言： 英语
价格区间：3000美元左右
Уровень： 最初的
11. 职业数据科学家（)
您将学习用 Python 编程，研究训练神经网络 Tensorflow 和 Keras 的框架。 掌握 MongoDB、PostgreSQL、SQLite3 数据库，学习使用 Pandas、NumPy 和 Matpotlib 库。
为期：300小时的培训
选择语言: 俄语
价格区间：前六个月免费，然后每月 3900 卢布
Уровень： 最初的
12.数据工程师7.0（)
您将深入学习 Kafka、HDFS、ClickHouse、Spark、Airflow、lambda 架构和 kappa 架构。 您将学习如何将工具相互连接、形成管道、获得基线解决方案。 要学习，需要至少具备 Python 3 知识。
为期： 21 节课，7 周
选择语言: 俄语
价格区间： 60 至 000 卢布
Уровень： 最初的
如果您想在列表中添加其他好课程，您可以在评论或私信中取消订阅。 我们将更新该帖子。
你还能在博客上读到什么？
→
→
→
→
→
订阅我们的 -频道以免错过下一篇文章。 我们每周写信不超过两次，而且仅限于公务。 我们还提醒您，21月15日00:XNUMX（莫斯科时间）我们将举行 主题为“远程工作时的商业信息安全”。 如果您想了解员工在家工作时如何保护敏感信息和公司信息，请注册！
来源： habr.com