Conform Statista, până în 2025, volumul pieței big data va crește la 175 zettabytes, comparativ cu 41 în 2019 (). Pentru a obține un loc de muncă în acest domeniu, trebuie să înțelegi cum să lucrezi cu date mari stocate în cloud. Cloud4Y a pregătit o listă de 12 cursuri plătite și gratuite de inginerie a datelor care îți vor extinde cunoștințele în acest domeniu și pot deveni un bun punct de plecare pe drumul către certificările cloud.
Prefață
Ce este un specialist în procesarea datelor (data engineer)? Este persoana responsabilă pentru crearea și întreținerea arhitecturii datelor într-un proiect de Data Science. Printre responsabilitățile sale se poate număra asigurarea unui flux continuu de date între server și aplicație, integrarea de noi software-uri pentru gestionarea datelor, îmbunătățirea proceselor fundamentale de date și crearea de conducte de date.
Există o mulțime de tehnologii și instrumente pe care un data engineer trebuie să le cunoască pentru a lucra cu computația în cloud, stocarea datelor, ETL (extraction, transformation, loading) și altele. Numărul abilităților necesare crește constant, așa că un data engineer trebuie să își completeze în mod regulat bagajul de cunoștințe. În lista noastră sunt cursuri pentru începători și specialiști experimentați. Alege ceea ce ți se potrivește.
1. Certificare Data Engineering Nanodegree ()
Veți învăța să proiectați modele de date, să creați depozite de date și lacuri de date, să automatizați conductele de date și să lucrați cu seturi mari de date. La sfârșitul programului, veți verifica noile abilități, finalizând un proiect Capstone.
Durata: 5 luni, 5 ore pe săptămână
Language: engleză
Preț: $1695
Nivel: începător
2. Certificare Become a Data Engineer ()
Începe de la zero. Te poți dezvolta pas cu pas, folosind cursuri teoretice și proiecte practice pentru a-ți îmbunătăți abilitățile. La finalul pregătirii, vei fi pregătit să lucrezi cu ML și big data. Se recomandă cunoașterea Python-ului la un nivel minim.
Durata: 8 luni, 10 ore pe săptămână
Language: engleză
Preț😕
Nivel: începător
3. Become a Data Engineer: Mastering the Concepts ()
Îți vei dezvolta abilitățile de proiectare a datelor și abilitățile DevOps, vei învăța să creezi aplicații pentru Big Data, să construiești conducte de date, să procesezi aplicații în timp real folosind Hazelcast și baze de date..
Durata: depinde de tine
Language: engleză
Preț: prima lună — gratuit
Nivel: începător
4. Cursuri de inginerie a datelor ()
Aici este adunată o serie de programe care vă familiarizează cu data engineering și vă învață cum să dezvoltați soluții analitice. Cursurile sunt împărțite în categorii în funcție de nivelul de dificultate, astfel încât să puteți alege unul conform nivelului dumneavoastră de experiență. Pe parcursul învățării veți învăța cum să folosiți Spark, Hadoop, Azure și să gestionați datele corporative.
Durata: depinde de tine
Language: engleză
Preț: depinde de cursul ales
Nivel: începător, mediu, avansat
5. Data Engineer ()
Acest curs este potrivit dacă aveți experiență cu Python și doriți să vă aprofundați cunoștințele și să construiți o carieră ca specialist în procesarea datelor. Veți învăța cum să construiți conducte de date folosind Python și pandas, să încărcați seturi mari de date în baza de date Postgres după curățare, transformare și validare.
Durata: depinde de tine
Language: engleză
Preț: depinde de forma de abonament
Nivel: începător, mediu
6. Data Engineering with Google Cloud ()
Acest curs vă va ajuta să dobândiți abilitățile necesare pentru a construi o carieră în domeniul big data. De exemplu, lucrând cu BigQuery, Spark. Veți obține cunoștințe utile pentru a vă pregăti pentru certificarea recunoscută în industrie Google Cloud Professional Data Engineer.
Durata: 4 luni
Language: engleză
Preț: momentan gratuit
Nivel: începător, mediu
7. Data Engineering, Big Data on Google Cloud Platform ()
Un curs interesant, care oferă cunoștințe practice despre sistemele de procesare a datelor în GCP. În timpul cursului veți învăța cum să proiectați sisteme înainte de a începe procesul de dezvoltare. În plus, veți analiza atât date structurate, cât și nestructurate, aplica scalarea automată și metodele ML pentru a extrage informații.
Durata: 3 luni
Language: engleză
Preț: momentan gratuit
Nivel: începător, mediu
8. UC San Diego: Big Data Specialization ()
Cursul se bazează pe utilizarea infrastructurii Hadoop și Spark și aplicarea acestor metode de procesare a big data în procesul de ML. Veți învăța conceptele de bază ale utilizării Hadoop cu MapReduce, Spark, Pig și Hive. Veți descoperi cum să construiți modele predictive și să folosiți analiza graficelor pentru modelarea problemelor. Este important de menționat că nu este necesară experiență de programare pentru acest curs.
Durata: 8 luni, 10 ore pe săptămână
Language: engleză
Preț: momentan gratuit
Nivel: începător
9. Taming Big Data With Apache Spark and Python ()
Veți învăța cum să utilizați structura pe flux și cadrele de date în Spark3, veți obține o imagine de ansamblu asupra modului de a folosi serviciul Elastic MapReduce de la Amazon pentru a lucra cu clusterul dumneavoastră în Hadoop. Veți învăța să identificați problemele în analiza datelor mari și veți înțelege cum funcționează bibliotecile GraphX cu analiza rețelelor și cum puteți utiliza MLlib.
Durata: depinde de tine
Language: engleză
Preț: de la 800 de ruble până la 149,99 $ (în funcție de noroc)
Nivel: începător, mediu
10. Program PG în Inginerie Big Data ()
Acest curs vă va oferi o imagine de ansamblu asupra modului în care funcționează Aadhaar, cum Facebook personalizează fluxul de știri și cum poate fi utilizată Ingineria Datelor. Subiectele cheie vor include prelucrarea datelor (inclusiv prelucrarea în timp real), MapReduce și analiza datelor mari.
Durata: 11 luni
Language: engleză
Preț: în jur de 3000 $
Nivel: începător
11. Profesie Data Scientist ()
Veți învăța să programați în Python, veți studia cadrele pentru învățarea rețelelor neuronale Tensorflow și Keras. Veți stăpâni bazele de date MongoDB, PostgreSQL, SQLite3 și veți învăța să lucrați cu bibliotecile Pandas, NumPy și MatplotLib.
Durata: 300 de ore de învățare
Language: română
Preț: primele șase luni gratuit, apoi 3900 de ruble pe lună
Nivel: începător
12. Data Engineer 7.0 ()
Vă așteaptă o aprofundare a studiului Kafka, HDFS, ClickHouse, Spark, Airflow, arhitectură lambda și arhitectură kappa. Veți învăța să conectați instrumentele între ele, formând fluxuri de date și obținând o soluție de tip baseline. Pentu studiu este necesar un minim de cunoștințe de Python 3.
Durata: 21 de sesiuni, 7 săptămâni
Language: română
Preț: de la 60.000 până la 120.000 de ruble
Nivel: începător
Dacă doriți să adăugați un alt curs bun pe listă, ne puteți scrie în comentarii sau în mesaj privat. Vom completa postul.
Ce altceva util se poate citi în blog
→
→
→
→
→
Abonați-vă la canalul nostru -canal, pentru a nu rata următorul articol. Scriem nu mai mult de două ori pe săptămână și doar când este necesar. De asemenea, vă reamintim că pe 21 mai la ora 15:00 (ora Moscovei) vom organiza un seminar pe tema „Securitatea informațiilor în afaceri în contextul muncii de la distanță”. Dacă doriți să înțelegeți cum să protejați informațiile sensibile și corporative când angajații lucrează de acasă — vă rugăm să vă înregistrați!
Sursa: habr.com
