Според данни от Statista, до 2025 г. обемът на пазара на големи данни ще нарасне до 175 зетабайта в сравнение с 41 през 2019 г. (). За да получите работа в тази сфера, трябва да разбирате как да работите с големи данни, съхранявани в облака. Cloud4Y е подготвил списък от 12 платени и безплатни курса по инженерство на данни, които ще разширят вашите знания в тази сфера и могат да станат добра отправна точка за облачни сертификации.
Предговор
Какво е специалист по обработка на данни (data engineer)? Това е човек, който отговаря за създаването и поддръжката на архитектурата на данните в Data Science проекта. Неговите задължения могат да включват осигуряване на безпроблемен поток на данни между сървъра и приложението, интеграция на нов софтуер за управление на данни, усъвършенстване на основополагаещите процеси на данни и създаване на канали за данни.
Съществува огромно количество технологии и инструменти, които data engineer трябва да владее, за да работи с облачни изчисления, хранилища на данни, ETL (extraction, transformation, loading) и т.н. Освен това, количеството изисквани умения постоянно нараства, затова data engineer трябва редовно да обогатява своите знания. В нашия списък има курсове за начинаещи и опитни специалисти. Изберете това, което най-добре отговаря на вас.
1. Data Engineering Nanodegree Certification ()
Ще научите как да проектирате модели на данни, да създавате хранилища на данни и данни в езера, да автоматизирате канали за данни и да работите с набори от данни. В края на програмата ще проверите новите си умения, завършвайки проект Capstone.
Продължителност: 5 месеца, 5 часа на седмица
Език: английски
Цена: $1695
Нивото: начален
2. Become a Data Engineer Certification ()
Учете се от основите. Можете да напредвате стъпка по стъпка, използвайки лекции и практически проекти, за да работите върху своите умения. В края на обучението ще бъдете готови да работите с ML и големи данни. Препоръчително е да знаете Python поне на основно ниво.
Продължителност: 8 месеца, 10 часа на седмица
Език: английски
Цена😕
Нивото: начален
3. Become a Data Engineer: Mastering the Concepts ()
Ще развиете умения за проектиране на данни и DevOps умения, ще научите как да създавате приложения за големи данни, да създавате канали за данни, да обработвате приложения в реално време с помощта на Hazelcast и база данни.
Продължителност: зависи от вас
Език: английски
Цена: първият месец — безплатно
Нивото: начален
4. Data Engineering Courses ()
Тук е събрана поредица от програми, които ви запознават с data engineering и обучават разработването на аналитични решения. Курсовете са разделени на категории в зависимост от нивото на трудност, така че можете да изберете един в съответствие с вашия опит. По време на обучението ще се научите да използвате Spark, Hadoop, Azure и да управлявате корпоративни данни.
Продължителност: зависи от вас
Език: английски
Цена: зависи от избрания курс
Нивото: начален, среден, напреднал
5. Дата Инженер ()
Този курс е подходящ, ако имате опит с Python и искате да задълбочите знанията си и да изградите кариера като специалист по обработка на данни. Ще се научите да изграждате данни конвейери, използвайки Python и pandas, да зареждате големи набори данни в БД Postgres след почистване, трансформация и проверка.
Продължителност: зависи от вас
Език: английски
Цена: зависи от формата на абонамента
Нивото: начален, среден
6. Data Engineering с Google Cloud ()
Този курс ще ви помогне да придобиете умения, необходими за изграждане на кариера в областта на големите данни. Например, работа с BigQuery, Spark. Ще получите познания, които ще ви помогнат при подготовката за признатата в индустрията сертификация Google Cloud Professional Data Engineer.
Продължителност: 4 месеца
Език: английски
Цена: в момента безплатно
Нивото: начален, среден
7. Data Engineering, Big Data на Google Cloud Platform ()
Интересен курс, който предоставя практически знания за системите за обработка на данни в GCP. По време на занятията ще научите как да проектирате системи преди да започнете процеса на разработка. Освен това ще анализирате както структурирани, така и неструктурирани данни, ще прилагате автоматично мащабиране и ще прилагате методи за машинно обучение за извличане на информация.
Продължителност: 3 месеца
Език: английски
Цена: в момента безплатно
Нивото: начален, среден
8. UC San Diego: Специализация по Големи Данни ()
Курсът е основан на използването на инфраструктурата Hadoop и Spark и прилагането на тези методи за обработка на големи данни в процеса на машинно обучение. Ще се запознаете с основите на използването на Hadoop с MapReduce, Spark, Pig и Hive. Ще научите как да изграждате прогнозни модели и как да използвате аналитика на графове за моделиране на проблеми. Забележете, че за този курс не се изисква опит в програмирането.
Продължителност: 8 месеца по 10 часа на седмица
Език: английски
Цена: в момента безплатно
Нивото: начален
9. Укротяване на Големи Данни с Apache Spark и Python ()
Ще научите как да използвате потокова структура и рамки за данни в Spark3, ще получите представа как да използвате услугата Elastic MapReduce на Amazon за работа с вашия клъстер в Hadoop. Научете как да определяте проблеми при анализ на големи данни и ще разберете как библиотеките GraphX работят с мрежов анализ и как можете да използвате MLlib.
Продължителност: зависи от вас
Език: английски
Цена: от 800 рубли до $149,99 (както вървят нещата)
Нивото: начален, среден
10. PG програма по Инженерство на Големи Данни ()
Този курс ще ви предостави представа как работи Aadhaar, как Facebook персонализира лентата с новини и как могат да се използват данни за инженерство. Ключовите теми ще включват обработка на данни (включително обработка в реално време), MapReduce и аналитика на големи данни.
Продължителност: 11 месеца
Език: английски
Цена: около $3000
Нивото: начален
11. Професия Data Scientist ()
Ще научите как да програмирате на Python, ще изучите рамките за обучение на невроповреди Tensorflow и Keras. Ще овладеете бази данни MongoDB, PostgreSQL, SQLite3 и ще научите как да работите с библиотеките Pandas, NumPy и Matplotlib.
Продължителност: 300 часа обучение
Език: български
Цена: първите шест месеца безплатно, след това 3900 рубли на месец
Нивото: начален
12. Data Engineer 7.0 ()
Очаква ви дълбочинно изучаване на Kafka, HDFS, ClickHouse, Spark, Airflow, ламбда-архитектури и капа-архитектури. Ще научите как да свързвате инструменти помежду си, формирайте пайплайни, получавайки основно решение. Необходимо е минимално знание по Python 3 за учение.
Продължителност: 21 занятия, 7 седмици
Език: български
Цена: от 60 000 до 120 000 рубли
Нивото: начален
Ако имате желание да добавите още един добър курс в списъка, можете да се свържете с нас в коментарите или на ЛС. Ще допълним публикацията.
Какво още полезно може да се прочете в блога
→
→
→
→
→
Абонирайте се за нашия -канал, за да не пропуснете следващата статия. Пишем не по-често от два пъти седмично и само по същество. Също така напомняме, че на 21 май в 15:00 (мск) ще проведем на тема «Информационна безопасност на бизнеса при работа от разстояние». Ако искате да разберете как да защитите чувствителна и корпоративна информация при работа на служителите от дома — регистрирайте се!
Източник: habr.com
