Podle údajů Statista se do roku 2025 objem trhu s big data zvýší na 175 zettabajtů ve srovnání s 41 v roce 2019 (). Abyste získali práci v tomto oboru, musíte rozumět tomu, jak pracovat s velkými daty uloženými v cloudu. Cloud4Y připravil seznam 12 placených a bezplatných kurzů o inženýrství dat, které rozšíří vaše znalosti v této oblasti a mohou být dobrým výchozím bodem k cloudovým certifikacím.
Úvod
Co je to specialistka na zpracování dat (data engineer)? Je to osoba, která je odpovědná za vytváření a udržování architektury dat v projektu Data Science. Jeho úkoly mohou zahrnovat zajištění nepřetržitého toku dat mezi serverem a aplikací, integraci nového softwaru pro řízení dat, zdokonalování základních procesů dat a vytváření datových pipeline.
Existuje obrovské množství technologií a nástrojů, kterými by měl data engineer ovládat, aby pracoval s cloudovým výpočetním výkonem, datovými sklady, ETL (extraction, transformation, loading) a dalšími. Navíc počet požadovaných dovedností neustále roste, a proto je pro data engineera nezbytné pravidelně obohacovat své znalosti. V našem seznamu jsou kurzy pro začátečníky i pokročilé specialisty. Vyberte si, co vám nejlépe vyhovuje.
1. Certifikace Nanodegree v oblasti Data Engineering ()
Naučíte se navrhovat datové modely, vytvářet datové sklady a datová jezera, automatizovat datové pipeline a pracovat s množstvím datových sad. Na konci programu si ověříte své nové dovednosti, když dokončíte projekt Capstone.
Délka: 5 měsíců, 5 hodin týdně
Jazyk: angličtina
Cena: $1695
Úroveň: začátečník
2. Certifikace Become a Data Engineer ()
Začíná od základů. Můžete se postupně rozvíjet pomocí přednášek a praktických projektů k rozvoji svých dovedností. Na konci kurzu budete připraveni pracovat s ML a velkými daty. Doporučuje se mít alespoň základní znalosti Pythonu.
Délka: 8 měsíců, 10 hodin týdně
Jazyk: angličtina
Cena😕
Úroveň: začátečník
3. Become a Data Engineer: Mastering the Concepts ()
Rozvinete dovednosti navrhování dat a dovednosti DevOps, naučíte se vytvářet aplikace pro Big Data, vytvářet datové pipeline, zpracovávat aplikace v reálném čase s využitím Hazelcast a databáze..
Délka: záleží na vás
Jazyk: angličtina
Cena: první měsíc — zdarma
Úroveň: začátečník
4. Kurzy Data Engineering ()
Toto je soubor programů, které vás seznamují s datovým inženýrstvím a učí vás vyvíjet analytická řešení. Kurzy jsou rozděleny do kategorií podle úrovně obtížnosti, takže si můžete vybrat jeden podle své úrovně zkušeností. Během učení se naučíte používat Spark, Hadoop, Azure a spravovat podniková data.
Délka: záleží na vás
Jazyk: angličtina
Cena: závisí na zvoleném kurzu
Úroveň: začátečník, středně pokročilý, pokročilý
5. Datový inženýr ()
Tento kurz je vhodný, pokud máte zkušenosti s Pythonem a chcete prohloubit své znalosti a vybudovat kariéru jako specialista na zpracování dat. Naučíte se vytvářet datové toky pomocí Pythonu a knihovny pandas, načítat velké datové sady do databáze Postgres po jejich čištění, transformaci a kontrole.
Délka: záleží na vás
Jazyk: angličtina
Cena: závisí na typu předplatného
Úroveň: začátečník, středně pokročilý
6. Datové inženýrství s Google Cloud ()
Tento kurz vám pomůže nabýt dovednosti potřebné k budování kariéry v oblasti práce s velkými daty. Například práce s BigQuery, Spark. Získáte znalosti, které se hodí pro přípravu na uznávanou certifikaci Google Cloud Professional Data Engineer.
Délka: 4 měsíce
Jazyk: angličtina
Cena: zatím zdarma
Úroveň: začátečník, středně pokročilý
7. Datové inženýrství, velká data na Google Cloud Platform ()
Zajímavý kurz, který poskytuje praktické znalosti o systémech zpracování dat v GCP. Během lekcí se naučíte navrhovat systémy, než přistoupíte k procesu vývoje. Kromě toho budete také analyzovat strukturovaná i nestrukturovaná data, využívat automatické škálování a aplikovat metody strojového učení pro extrakci informací.
Délka: 3 měsíce
Jazyk: angličtina
Cena: zatím zdarma
Úroveň: začátečník, středně pokročilý
8. UC San Diego: Specializace na velká data ()
Kurz je zaměřen na využívání infrastruktury Hadoop a Spark a aplikaci těchto metod zpracování velkých dat v procesu strojového učení. Seznámíte se se základy používání Hadoopu s MapReduce, Spark, Pig a Hive. Naučíte se, jak vytvářet prediktivní modely a používat analýzu grafů k modelování problémů. Je třeba zmínit, že pro tento kurz není potřebná žádná znalost programování.
Délka: 8 měsíců, 10 hodin týdně
Jazyk: angličtina
Cena: zatím zdarma
Úroveň: začátečník
9. Ovládání velkých dat pomocí Apache Spark a Pythonu ()
Zjistíte, jak používat streamovou strukturu a datové rámce ve Spark3, získáte představu o tom, jak využít službu Elastic MapReduce od Amazonu pro práci se svým clusterem v Hadoopu. Naučíte se rozpoznávat problémy při analýze velkých dat a pochopíte, jak knihovny GraphX fungují s analýzou sítí a jak můžete využít MLlib.
Délka: záleží na vás
Jazyk: angličtina
Cena: od 800 korun do 149,99 USD (podle štěstí)
Úroveň: začátečník, středně pokročilý
10. PG Program v inženýrství velkých dat ()
Tento kurz vám poskytne představu o tom, jak funguje Aadhaar, jak Facebook personalizuje svůj zpravodajský kanál a jak lze obecně využít inženýrství dat. Klíčovými tématy budou zpracování dat (včetně zpracování v reálném čase), MapReduce a analytika velkých dat.
Délka: 11 měsíců
Jazyk: angličtina
Cena: kolem 3000 dolarů
Úroveň: začátečník
11. Profese Datový vědec ()
Naučíte se programovat v Pythonu, prozkoumáte frameworky pro trénink neuronových sítí Tensorflow a Keras. Ovládnete databáze MongoDB, PostgreSQL, SQLite3, naučíte se pracovat s knihovnami Pandas, NumPy a Matplotlib.
Délka: 300 hodin výuky
Jazyk: ruština
Cena: prvních šest měsíců zdarma, poté 3900 korun měsíčně
Úroveň: začátečník
12. Data Engineer 7.0 ()
Čeká vás hluboké studium Kafka, HDFS, ClickHouse, Spark, Airflow, lambda architektur a kappa architektur. Naučíte se propojovat nástroje mezi sebou a vytvářet pipelin, získávající základní řešení. Pro studium je potřeba minimální znalost Pythonu 3.
Délka: 21 lekce, 7 týdnů
Jazyk: ruština
Cena: od 60 000 do 120 000 korun
Úroveň: začátečník
Pokud máte zájem přidat do seznamu další dobrý kurz, můžete napsat do komentářů nebo do soukromé zprávy. Příspěvek doplníme.
Co dalšího si můžete přečíst v blogu
→
→
→
→
→
Sledujte náš -kanál, abyste nezmeškali další článek. Píšeme maximálně dvakrát týdně a pouze k věci. Také připomínáme, že 21. května v 15:00 (MSK) uspořádáme tématu „Informační bezpečnost podnikání při práci na dálku“. Pokud chcete pochopit, jak chránit citlivé a firemní informace při práci zaměstnanců z domova — registrujte se!
Zdroj: habr.com
