По данным Statista, к 2025 году объём рынка big data вырастет до 175 зетабайт против 41 в 2019 (). Чтобы получить работу в этой сфере, нужно понимать, как работать с большими данными, хранящимися в облаке. Cloud4Y подготовил список из 12 платных и бесплатных курсов по инжинирингу данных, которые расширят ваши знания в этой сфере и могут стать хорошей отправной точкой на пути к облачным сертификациям.
Предисловие
Что такое специалист по обработке данных (data engineer)? Это человек, который отвечает за создание и поддержку архитектуры данных в Data Science-проекте. В его обязанности может входить обеспечение бесперебойного потока данных между сервером и приложением, интеграция нового ПО для управления данными, совершенствование основополагающих процессов данных и создание конвейеров данных.
Есть огромное количество технологий и инструментов, которыми должен владеть data engineer, чтобы работать с облачными вычислениями, хранилищами данных, ETL (extraction, transformation, loading) и пр. Причём количество требуемых навыков всё время растёт, поэтому дата-инженеру необходимо регулярно пополнять свой багаж знаний. В нашем списке есть курсы для новичков и опытных специалистов. Выбирайте, что подходит именно вам.
1. Data Engineering Nanodegree Certification ()
Вы научитесь проектировать модели данных, создавать хранилища данных и озера данных, автоматизировать конвейеры данных и работать с массивами датасетов. В конце программы вы проверите свои новые навыки, завершив проект Capstone.
Продолжительность: 5 месяцев, 5 часов в неделю
Язык: английский
Цена: $1695
Уровень: начальный
2. Become a Data Engineer Certification ()
Учат с азов. Вы можете поэтапно развиваться, используя лекции и практические проекты для работы над своими навыками. К концу обучения вы будете готовы работать с ML и большими данными. Рекомендуется знать Python хотя бы на минимальном уровне.
Продолжительность: 8 месяцев, 10 часов в неделю
Язык: английский
Цена😕
Уровень: начальный
3. Become a Data Engineer: Mastering the Concepts ()
Вы разовьёте навыки проектирования данных и навыки DevOps, научитесь создавать приложения для Big Data, создавать конвейеры данных, обрабатывать приложения в реальном времени с использованием Hazelcast и базы данных.
Продолжительность: зависит от вас
Язык: английский
Цена: первый месяц — бесплатно
Уровень: начальный
4. Data Engineering Courses ()
Здесь собрана серия программ, которые знакомят вас с data engineering и учат разработке аналитических решений. Курсы делятся на категории в зависимости от уровня сложности, так что вы можете выбрать один в соответствии с вашим уровнем опыта. В процессе обучения вы научитесь использовать Spark, Hadoop, Azure и управлять корпоративными данными.
Продолжительность: зависит от вас
Язык: английский
Цена: зависит от выбранного курса
Уровень: начальный, средний, продвинутый
5. Data Engineer ()
Этот курс стоит выбрать, если у вас есть опыт работы с Python и вы хотите углубить свои знания и построить карьеру специалиста по обработке данных. Вы научитесь строить конвейеры данных, используя Python и pandas, загружать большие наборы данных в БД Postgres после очистки, преобразования и проверки.
Продолжительность: зависит от вас
Язык: английский
Цена: зависит от формы подписки
Уровень: начальный, средний
6. Data Engineering with Google Cloud ()
Этот курс поможет вам приобрести навыки, необходимые для построения карьеры в области работы с большими данными. Например, работа с BigQuery, Spark. Вы получите знания, которые пригодятся для подготовки к признанной в отрасли сертификации Google Cloud Professional Data Engineer.
Продолжительность: 4 месяца
Язык: английский
Цена: пока бесплатно
Уровень: начальный, средний
7. Data Engineering, Big Data on Google Cloud Platform ()
Интересный курс, дающий практические знания о системах обработки данных в GCP. Во время занятий вы узнаете, как спроектировать системы, прежде чем приступить к процессу разработки. Помимо этого, вы также будете анализировать как структурированные, так и неструктурированные данные, применять автоматическое масштабирование и применять методы ML для извлечения информации.
Продолжительность: 3 месяца
Язык: английский
Цена: пока бесплатно
Уровень: начальный, средний
8. UC San Diego: Big Data Specialization ()
Курс основан на использовании инфраструктуры Hadoop и Spark и применении этих методов обработки больших данных в процессе ML. Вы познакомитесь с основами использования Hadoop с MapReduce, Spark, Pig и Hive. Узнаете, как можно строить прогнозные модели и использовать аналитику графов для моделирования проблем. Отметим, что для этого курса не требуется опыт программирования.
Продолжительность: 8 месяцев по 10 часов в неделю
Язык: английский
Цена: пока бесплатно
Уровень: начальный
9. Taming Big Data With Apache Spark and Python ()
Вы узнаете, как использовать потоковую структуру и фреймы данных в Spark3, получите представление о том, как использовать сервис Elastic MapReduce от Amazon для работы с вашим кластером в Hadoop. Научитесь определять проблемы при анализе больших данных и поймёте, как библиотеки GraphX работают с сетевым анализом и как вы можете использовать MLlib.
Продолжительность: зависит от вас
Язык: английский
Цена: от 800 рублей до $149,99 (как повезёт)
Уровень: начальный, средний
10. PG Program in Big Data Engineering ()
Этот курс даст вам представление о том, как работает Aadhaar, как Facebook персонализирует ленту новостей и как вообще можно использовать Data Engineering. Ключевыми темами станут обработка данных (в том числе обработка в реальном времени), MapReduce, аналитика больших данных.
Продолжительность: 11 месяцев
Язык: английский
Цена: в районе $3000
Уровень: начальный
11. Профессия Data Scientist ()
Вы научитесь программировать на Python, изучите фреймворки для обучения нейронных сетей Tensorflow и Keras. Освоите базы данных MongoDB, PostgreSQL, SQLite3, научитесь работать с библиотеками Pandas, NumPy и Matpotlib.
Продолжительность: 300 часов обучения
Язык: русский
Цена: первые полгода бесплатно, затем 3900 рублей в месяц
Уровень: начальный
12. Data Engineer 7.0 ()
Вас ожидает глубокое изучение Kafka, HDFS, ClickHouse, Spark, Airflow, lambda-архитектуры и kappa-архитектуры. Вы научитесь подключать инструменты друг к другу, формируя пайплайны, получая baseline-решение. Для учёбы требуется минимальное знание Python 3.
Продолжительность: 21 занятие, 7 недель
Язык: русский
Цена: от 60 000 до 120 000 рублей
Уровень: начальный
Если у вас есть желание добавить в список ещё один хороший курс, можете отписаться в комментариях или в ЛС. Мы дополним пост.
Что ещё полезного можно почитать в блоге
→
→
→
→
→
Подписывайтесь на наш -канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу. Также напоминаем, что 21 мая в 15:00 (мск) мы проведём на тему «Информационная безопасность бизнеса при работе на удалёнке». Если вы хотите понимать, как защитить чувствительную и корпоративную информацию при работе сотрудников из дома — регистрируйтесь!
Источник: habr.com