12 онлайн курса по Data Engineering

Според данни на Statista, до 2025 г. обемът на пазара на големи данни ще нарасне до 175 зетабайта в сравнение с 41 през 2019 (графика). За да получите работа в тази сфера, е необходимо да разбирате как да работите с големи данни, съхранявани в облака. Cloud4Y подготви списък от 12 платени и безплатни курса по инженеринг на данни, които ще разширят знанията ви в тази област и могат да станат добра отправна точка на пътя към облачните сертификации.

Предговор

Какво е специалист по обработка на данни (data engineer)? Това е човек, който отговаря за създаването и поддръжката на архитектурата на данните в проектите за Data Science. В неговите задължения може да влизат осигуряване на непрекъснат поток от данни между сървъра и приложението, интеграция на нов софтуер за управление на данните, усъвършенстване на основополагаещите процеси на данните и създаване на конвейери за данни.

Има огромно количество технологии и инструменти, с които трябва да владее data engineer, за да работи с облачни изчисления, хранилища за данни, ETL (extraction, transformation, loading) и др. В допълнение, броят на необходимите умения непрекъснато нараства, затова дата-инженерът трябва редовно да обновява своя багаж от знания. В нашия списък има курсове за начинаещи и опитни специалисти. Изберете това, което подхожда точно на вас.

1.   Сертификация по Data Engineering Nanodegree (Udacity)

Ще се научите да проектирате модели на данни, да създавате хранилища за данни и езера от данни, да автоматизирате конвейери за данни и да работите с набори от данни. В края на програмата ще проверите новите си умения, завършвайки проект Capstone.

Продължителност: 5 месеца, 5 часа на седмица
Език: английски
Цена: $1695
Ниво: начален

2.   Сертификация по Become a Data Engineer (Coursera)

Учат от основите. Можете да се развивате стъпка по стъпка, използвайки лекции и практически проекти за работа над своите умения. В края на обучението ще бъдете готови да работите с ML и големи данни. Препоръчително е да знаете Python поне на минимално ниво.

Продължителност: 8 месеца, 10 часа на седмица
Език: английски
Цена😕
Ниво: начален

3.   Become a Data Engineer: Mastering the Concepts (LinkedIn Learning)

Ще развиете умения за проектиране на данни и DevOps умения, ще се научите да създавате приложения за Big Data, да изграждате конвейери за данни и да обработвате приложения в реално време с използването на Hazelcast и бази данни. Hadoop.

Продължителност: зависи от вас
Език: английски
Цена: първият месец — безплатно
Ниво: начален

4.       Курсове по Data Engineering (edX)

Тук е събрана серия от програми, които ви запознават с data engineering и ви учат разработването на аналитични решения. Курсовете са разделени на категории в зависимост от нивото на сложност, така че можете да изберете един според вашия опит. В процеса на обучение ще научите как да използвате Spark, Hadoop, Azure и как да управлявате корпоративни данни.

Продължителност: зависи от вас
Език: английски
Цена: зависи от избрания курс
Ниво: начално, средно, напреднало

5.       Data Engineer (DataQuest)

Този курс е подходящ, ако имате опит с Python и искате да задълбочите знанията си и да изградите кариера в обработката на данни. Ще научите как да изграждате данни, използвайки Python и pandas, да зареждате големи набори от данни в базата данни Postgres след почистване, трансформация и проверка.

Продължителност: зависи от вас
Език: английски
Цена: зависи от формата на абонамента
Ниво: начално, средно

6.   Data Engineering с Google Cloud (Coursera)

Този курс ще ви помогне да придобиете уменията, необходими за изграждане на кариера в работата с големи данни. Например, работа с BigQuery, Spark. Ще получите знания, които ще ви бъдат полезни за подготовка за признатата в индустрията сертификация Google Cloud Professional Data Engineer.

Продължителност: 4 месеца
Език: английски
Цена: в момента безплатно
Ниво: начално, средно

7.   Data Engineering, Big Data на Google Cloud Platform (Coursera)

Интересен курс, предоставящ практическа информация за системите за обработка на данни в GCP. По време на занятията ще научите как да проектирате системи, преди да започнете процеса на разработка. Освен това ще анализирате както структурирани, така и неструктурирани данни, ще прилагате автоматично мащабиране и методи за машинно самообучение за извличане на информация.

Продължителност: 3 месеца
Език: английски
Цена: в момента безплатно
Ниво: начално, средно

8.   UC San Diego: Специализация в областта на големите данни (Coursera)

Курсът е основан на използването на инфраструктурата Hadoop и Spark и на прилагането на тези методи за обработка на големи данни в процеса на машинно самообучение. Ще се запознаете с основите на използването на Hadoop с MapReduce, Spark, Pig и Hive. Ще научите как да изграждате прогностични модели и да използвате анализа на графи за моделиране на проблеми. Забележете, че този курс не изисква опит в програмирането.

Продължителност: 8 месеца по 10 часа на седмица
Език: английски
Цена: в момента безплатно
Ниво: начален

9.   Управление на големи данни с Apache Spark и Python (Udemy)

Ще научите как да използвате потоковата структура и фреймовете за данни в Spark3, ще получите представа за това как да използвате услугата Elastic MapReduce от Amazon за работа с вашия кластер в Hadoop. Ще овладеете идентифицирането на проблеми при анализа на големи данни и ще разберете как библиотеките GraphX работят с мрежов анализ и как можете да използвате MLlib.

Продължителност: зависи от вас
Език: английски
Цена: от 800 рубли до $149,99 (както подходи)
Ниво: начално, средно

10. PG програма по инженерство на големи данни (upGrad)

Този курс ще ви предостави представа за това как работи Aadhaar, как Facebook персонализира новинарския поток и как можете да използвате Data Engineering. Основни теми ще включват обработка на данни (включително обработка в реално време), MapReduce, аналитика на големи данни.

Продължителност: 11 месеца
Език: английски
Цена: около $3000
Ниво: начален

11. Професия Data Scientist (Skillbox)

Ще научите как да програмирате на Python, ще изучите фреймворците за обучение на невронни мрежи Tensorflow и Keras. Ще овладеете бази данни MongoDB, PostgreSQL, SQLite3 и ще научите как да работите с библиотеките Pandas, NumPy и Matplotlib.

Продължителност: 300 часа обучение
Език: руски
Цена: първите шест месеца безплатно, след това 3900 рубли на месец
Ниво: начален

12. Data Engineer 7.0 (New Professions Lab)

Очаква ви дълбочинно изучаване на Kafka, HDFS, ClickHouse, Spark, Airflow, lambda-архитектури и kappa-архитектури. Ще научите как да свързвате инструментите помежду им, формирайки пайплайни и получавайки baseline-решение. За обучението се изисква минимално познание по Python 3.

Продължителност: 21 занятия, 7 седмици
Език: руски
Цена: от 60 000 до 120 000 рубли
Ниво: начален

Ако имате желание да добавите още един добър курс в списъка, можете да коментирате или да пишете в ЛС. Ние ще допълним поста.

Какво още полезно може да прочетете в блога Cloud4Y

→ Каква е геометрията на Вселената?
→ Великденски яйца на топографските карти на Швейцария
→ Оптимизирана и много кратка история на развитието на 'облаците'
→ Как се "счупи" банка
→ Компютърни марки от 90-те, ч.3, заключителна

Абонирайте се за нашия Telegram-канал, за да не пропуснете следващата статия. Пишем не по-често от два пъти седмично и само по същество. Също така припомняме, че на 21 май в 15:00 (мск) ще проведем уебинар на тема „Информационна безопасност на бизнеса при работа от разстояние“. Ако искате да разберете как да защитите чувствителната и корпоративната информация при работа на служители от вкъщи — регистрирайте се!

Източник: habr.com