Podľa údajov spoločnosti Statista sa do roku 2025 objem trhu s big data zvýši na 175 zettabajtov oproti 41 v roku 2019 (). Aby ste získali prácu v tejto oblasti, musíte rozumieť práci s veľkými dátami, ktoré sú uložené v cloude. Cloud4Y pripravilo zoznam 12 platených a bezplatných kurzov zameraných na inžinierstvo dát, ktoré rozšíria vaše vedomosti v tejto oblasti a môžu byť dobrým východiskovým bodom na ceste k certifikáciám v cloude.
Úvod
Čo je to špecialista na spracovanie dát (data engineer)? Je to osoba, ktorá zodpovedá za vytváranie a údržbu architektúry dát v projekte Data Science. Jeho úlohy môžu zahŕňať zabezpečenie bezproblémového prenosu dát medzi serverom a aplikáciou, integráciu nového softvéru na správu dát, zlepšovanie základných procesov dát a vytváranie dátových potrubí.
Existuje obrovské množstvo technológií a nástrojov, ktoré by mal ovládať data engineer, aby mohol pracovať s cloudovým počítaním, dátovými skladmi, ETL (extraction, transformation, loading) atď. Počet potrebných zručností neustále rastie, preto sa od data engineera vyžaduje pravidelné dopĺňanie svojich vedomostí. V našom zozname sú kurzy pre začiatočníkov aj skúsených odborníkov. Vyberte si, čo vám najviac vyhovuje.
1. Certifikácia Nanodegree v oblasti inžinierstva dát ()
Naučíte sa navrhovať modely dát, vytvárať dátové sklady a dátové jazerá, automatizovať dátové potrubia a pracovať s rozsiahlymi datasetmi. Na konci programu si overíte svoje nové zručnosti dokončením projektu Capstone.
Dĺžka trvania: 5 mesiacov, 5 hodín týždenne
Jazyk: angličtina
Cena: $1695
Úroveň: základná
2. Staňte sa certifikovaným data engineerom ()
Učia od základov. Môžete sa postupne rozvíjať pomocou prednášok a praktických projektov na zdokonaľovaní svojich zručností. Na konci štúdia budete pripravení pracovať s ML a veľkými dátami. Odporúča sa mať aspoň základné znalosti Pythona.
Dĺžka trvania: 8 mesiacov, 10 hodín týždenne
Jazyk: angličtina
Cena😕
Úroveň: základná
3. Staňte sa data engineerom: Ovládnutie konceptov ()
Rozviniete zručnosti navrhovania dát a zručnosti DevOps, naučíte sa vytvárať aplikácie pre Big Data, vytvárať dátové potrubia, spracovávať aplikácie v reálnom čase pomocou Hazelcast a databáz..
Dĺžka trvania: závisí od vás
Jazyk: angličtina
Cena: prvý mesiac – zadarmo
Úroveň: základná
4. Kurzy inžinierstva dát ()
Toto je séria programov, ktoré vás zoznamujú s data engineering a učia vás vyvíjať analýzové riešenia. Kurzy sú rozdelené do kategórií podľa úrovne obtiažnosti, takže si môžete vybrať jeden podľa vašich skúseností. Počas štúdia sa naučíte používať Spark, Hadoop, Azure a spravovať podnikové údaje.
Dĺžka trvania: závisí od vás
Jazyk: angličtina
Cena: závisí od vybraného kurzu
Úroveň: základný, stredný, pokročilý
5. Data Engineer ()
Tento kurz je vhodný, ak máte skúsenosti s Pythonom a chcete si prehlbovať svoje znalosti a vybudovať si kariéru ako odborník na spracovanie údajov. Naučíte sa budovať dátové pipeline pomocou Pythonu a pandas, načítať veľké súbory údajov do databázy Postgres po ich čistení, transformácii a overovaní.
Dĺžka trvania: závisí od vás
Jazyk: angličtina
Cena: závisí od formy predplatného
Úroveň: základný, stredný
6. Data Engineering with Google Cloud ()
Tento kurz vám pomôže získať zručnosti potrebné na budovanie kariéry v oblasti správy veľkých údajov. Napríklad práca s BigQuery, Spark. Získate vedomosti, ktoré sa vám zídu pri príprave na uznávanú certifikáciu v oblasti Google Cloud Professional Data Engineer.
Dĺžka trvania: 4 mesiace
Jazyk: angličtina
Cena: zatiaľ zadarmo
Úroveň: základný, stredný
7. Data Engineering, Big Data on Google Cloud Platform ()
Zaujímavý kurz, ktorý poskytuje praktické vedomosti o systémoch spracovania údajov v GCP. Počas hodín sa naučíte, ako navrhnúť systémy, než začnete vyvíjať. Okrem toho budete analyzovať ako štruktúrované, tak aj neštruktúrované údaje, aplikovať automatické škálovanie a využívať metódy ML na extrakciu informácií.
Dĺžka trvania: 3 mesiace
Jazyk: angličtina
Cena: zatiaľ zadarmo
Úroveň: základný, stredný
8. UC San Diego: Big Data Specialization ()
Kurz je založený na využívaní infraštruktúry Hadoop a Spark a aplikácii týchto metód spracovania veľkých údajov v procese ML. Spoznáte základy použitia Hadoop s MapReduce, Spark, Pig a Hive. Naučíte sa, ako budovať predikčné modely a využívať analýzu grafov na modelovanie problémov. Treba poznamenať, že na tento kurz nie je potrebná znalosť programovania.
Dĺžka trvania: 8 mesiacov po 10 hodín týždenne
Jazyk: angličtina
Cena: zatiaľ zadarmo
Úroveň: základná
9. Taming Big Data With Apache Spark and Python ()
Zistíte, ako používať prúdovú štruktúru a rámce údajov v Spark3, získate prehľad o tom, ako používať službu Elastic MapReduce od Amazonu na prácu so svojím klastrom v Hadoop. Naučíte sa identifikovať problémy pri analýze veľkých údajov a porozumiete, ako knižnice GraphX pracujú s sieťovou analýzou a ako môžete použiť MLlib.
Dĺžka trvania: závisí od vás
Jazyk: angličtina
Cena: od 800 rubľov do 149,99 dolárov (ako sa to podarí)
Úroveň: základný, stredný
10. PG Program v Big Data Engineering ()
Tento kurz vám poskytne prehľad o tom, ako funguje Aadhaar, ako Facebook personalizuje svoj news feed a ako možno celkovo využiť Data Engineering. Kľúčovými témami budú spracovanie dát (vrátane spracovania v reálnom čase), MapReduce, analýza veľkých dát.
Dĺžka trvania: 11 mesiacov
Jazyk: angličtina
Cena: v okolí 3000 dolárov
Úroveň: základná
11. Profesia Data Scientist ()
Naučíte sa programovať v Pythone, skúmate rámce pre učenie neurónových sietí Tensorflow a Keras. Ovládnete databázy MongoDB, PostgreSQL, SQLite3, naučíte sa pracovať s knižnicami Pandas, NumPy a Matplotlib.
Dĺžka trvania: 300 hodín vzdelávania
Jazyk: ruština
Cena: prvé pol roka zadarmo, potom 3900 rubľov mesačne
Úroveň: základná
12. Data Engineer 7.0 ()
Čaká vás hlboké štúdium Kafka, HDFS, ClickHouse, Spark, Airflow, lambda-architektúrov a kappa-architektúrov. Naučíte sa prepájať nástroje navzájom, vytvárajúc pipeline, a dosiahnete baseline riešenie. Na štúdium je vyžadované minimálne znalosť Pythona 3.
Dĺžka trvania: 21 lekcia, 7 týždňov
Jazyk: ruština
Cena: od 60 000 do 120 000 rubľov
Úroveň: základná
Ak máte chuť pridať do zoznamu ďalší dobrý kurz, môžete napísať do komentárov alebo do súkromných správ. Doplníme príspevok.
Čo ďalšie užitočné si môžete prečítať na blogu
→
→
→
→
→
Prihláste sa na náš -kanál, aby ste nezmeškali ďalší článok. Píšeme nie častejšie ako dvakrát za týždeň a len k veci. Taktiež pripomíname, že 21. mája o 15:00 (MSK) usporiadame tému "Informačná bezpečnosť podnikania pri práci na diaľku". Ak chcete rozumieť, ako chrániť citlivé a firemné informácie pri práci zamestnancov z domu — registrujte sa!
Zdroj: habr.com
