Podle Statista vzroste do roku 2025 velikost trhu s velkými daty na 175 zettabytů oproti 41 v roce 2019 (). Chcete-li získat práci v tomto oboru, musíte pochopit, jak pracovat s velkými daty uloženými v cloudu. Cloud4Y sestavil seznam 12 placených a bezplatných kurzů datového inženýrství, které rozšíří vaše znalosti v oboru a mohou být dobrým výchozím bodem na vaší cestě ke cloudovým certifikacím.
předmluva
Co je datový inženýr? Je to osoba, která je odpovědná za vytváření a údržbu datové architektury v projektu Data Science. Zodpovědnost může zahrnovat zajištění hladkého toku dat mezi serverem a aplikací, integraci nového softwaru pro správu dat, zlepšování základních datových procesů a vytváření datových kanálů.
Existuje obrovské množství technologií a nástrojů, které musí datový inženýr ovládat, aby mohl pracovat s cloud computingem, datovými sklady, ETL (extrakce, transformace, načítání) atd. Navíc počet požadovaných dovedností neustále roste, takže datový inženýr potřebuje pravidelně doplňovat své znalosti. Náš seznam obsahuje kurzy pro začátečníky i zkušené profesionály. Vyberte si, co vám vyhovuje.
1. Nanostupňová certifikace datového inženýrství ()
Naučíte se navrhovat datové modely, vytvářet datové sklady a datová jezera, automatizovat datové kanály a pracovat s poli datových sad. Na konci programu otestujete své nové dovednosti dokončením projektu Capstone.
Trvání: 5 měsíců, 5 hodin týdně
jazyk: Angličtina
Cena: $ 1695
Úroveň: počáteční
2. Staňte se certifikací datového inženýra ()
Učí od základů. Můžete postupovat krok za krokem, pomocí přednášek a praktických projektů pracovat na svých dovednostech. Na konci školení budete připraveni pracovat s ML a velkými daty. Doporučuje se znát Python alespoň na minimální úrovni.
Trvání: 8 měsíců, 10 hodin týdně
jazyk: Angličtina
Cena????
Úroveň: počáteční
3. Staňte se datovým inženýrem: Zvládnutí konceptů ()
Rozvinete dovednosti datového inženýrství a DevOps, naučíte se vytvářet Big Data aplikace, vytvářet datové kanály, zpracovávat aplikace v reálném čase pomocí Hazelcast a databáze..
Trvání: Záleží na tobě
jazyk: Angličtina
Cena: první měsíc - zdarma
Úroveň: počáteční
4. Kurzy datového inženýrství ()
Zde je řada programů, které vás seznámí s datovým inženýrstvím a naučí vás vyvíjet analytická řešení. Kurzy jsou rozděleny do kategorií podle úrovně obtížnosti, takže si můžete vybrat jednu podle úrovně svých zkušeností. Během školení se naučíte používat Spark, Hadoop, Azure a spravovat firemní data.
Trvání: Záleží na tobě
jazyk: Angličtina
Cena: závisí na zvoleném kurzu
Úroveň: začátečník, středně pokročilý, pokročilý
5. Datový inženýr ()
Tento kurz se vyplatí absolvovat, pokud máte zkušenosti s Pythonem a chcete si prohloubit své znalosti a vybudovat si kariéru datového vědce. Naučíte se, jak budovat datové kanály pomocí Pythonu a pand, načítat velké datové sady do databáze Postgres po vyčištění, transformaci a ověření.
Trvání: Záleží na tobě
jazyk: Angličtina
Cena: závisí na formuláři předplatného
Úroveň: začátečník, středně pokročilý
6. Datové inženýrství s Google Cloud ()
Tento kurz vám pomůže získat dovednosti, které potřebujete k vybudování kariéry v oblasti velkých dat. Například práce s BigQuery, Spark. Získáte znalosti, které potřebujete k přípravě na průmyslově uznávanou certifikaci Google Cloud Professional Data Engineer.
Trvání: 4 měsíce
jazyk: Angličtina
Cena: prozatím zdarma
Úroveň: začátečník, středně pokročilý
7. Datové inženýrství, Big Data na Google Cloud Platform ()
Zajímavý kurz, který poskytuje praktické znalosti systémů zpracování dat v GCP. Během kurzu se naučíte navrhovat systémy před zahájením procesu vývoje. Kromě toho budete také analyzovat strukturovaná i nestrukturovaná data, používat automatické škálování a používat techniky ML k extrakci informací.
Trvání: 3 měsíce
jazyk: Angličtina
Cena: prozatím zdarma
Úroveň: začátečník, středně pokročilý
8. UC San Diego: Specializace na velká data ()
Kurz je založen na použití frameworku Hadoop a Spark a aplikaci těchto technik velkých dat v procesu ML. Naučíte se základy používání Hadoop s MapReduce, Spark, Pig a Hive. Naučte se vytvářet prediktivní modely a používat grafovou analýzu k modelování problémů. Upozorňujeme, že tento kurz nevyžaduje žádné zkušenosti s programováním.
Trvání: 8 měsíců 10 hodin týdně
jazyk: Angličtina
Cena: prozatím zdarma
Úroveň: počáteční
9. Zkrocení velkých dat pomocí Apache Spark a Python ()
Dozvíte se, jak používat strukturu streamu a datové rámce ve Spark3, a pochopíte, jak používat službu Amazon Elastic MapReduce pro práci s vaším clusterem Hadoop. Naučte se identifikovat problémy při analýze velkých dat a porozumějte tomu, jak knihovny GraphX® spolupracují se síťovou analýzou a jak můžete používat MLlib.
Trvání: Záleží na tobě
jazyk: Angličtina
Cena: od 800 rublů do 149,99 $ (v závislosti na vašem štěstí)
Úroveň: začátečník, středně pokročilý
10. Program PG v inženýrství velkých dat ()
Tento kurz vám umožní pochopit, jak Aadhaar funguje, jak Facebook personalizuje zpravodajský kanál a jak lze datové inženýrství obecně používat. Klíčovými tématy bude zpracování dat (včetně zpracování v reálném čase), MapReduce, analýza velkých dat.
Trvání: 11 měsíce
jazyk: Angličtina
Cena: kolem 3000 dolarů
Úroveň: počáteční
11. Profese datového vědce ()
Naučíte se programovat v Pythonu, nastudujete si frameworky pro trénování neuronových sítí Tensorflow a Keras. Osvojte si databáze MongoDB, PostgreSQL, SQLite3, naučte se pracovat s knihovnami Pandas, NumPy a Matpotlib.
Trvání: 300 hodin školení
jazyk: Ruština
Cena: prvních šest měsíců zdarma, poté 3900 rublů měsíčně
Úroveň: počáteční
12. Data Engineer 7.0 ()
Získáte hloubkovou studii Kafka, HDFS, ClickHouse, Spark, Airflow, lambda architektury a kappa architektury. Naučíte se, jak vzájemně propojovat nástroje, vytvářet potrubí, jak získat základní řešení. Ke studiu je nutná minimální znalost Pythonu 3.
Trvání: 21 lekcí, 7 týdnů
jazyk: Ruština
Cena: od 60 000 do 120 000 rublů
Úroveň: počáteční
Pokud chcete přidat další dobrý kurz do seznamu, můžete se odhlásit v komentářích nebo v PM. Příspěvek budeme aktualizovat.
Co dalšího si můžete přečíst na blogu?
→
→
→
→
→
Přihlaste se k odběru -kanál, abyste nezmeškali další článek. Píšeme maximálně dvakrát týdně a pouze služebně. Také připomínáme, že 21. května v 15:00 (moskevského času) budeme pořádat na téma „Bezpečnost podnikových informací při práci na dálku“. Pokud chcete pochopit, jak chránit citlivé a firemní informace, když zaměstnanci pracují z domova, zaregistrujte se!
Zdroj: www.habr.com