Prema Statisti, do 2025. veličina tržišta velikih podataka narast će na 175 zetabajta u usporedbi s 41 u 2019. (). Da biste dobili posao u ovom području, morate razumjeti kako raditi s velikim podacima pohranjenim u oblaku. Cloud4Y je sastavio popis od 12 plaćenih i besplatnih tečajeva za podatkovni inženjering koji će proširiti vaše znanje u tom području i mogu biti dobra polazna točka na vašem putu do cloud certifikacija.
predgovor
Što je podatkovni inženjer? To je osoba koja je odgovorna za stvaranje i održavanje podatkovne arhitekture u projektu Data Science. Odgovornosti mogu uključivati osiguravanje glatkog protoka podataka između poslužitelja i aplikacije, integraciju novog softvera za upravljanje podacima, poboljšanje temeljnih procesa podataka i stvaranje podatkovnih cjevovoda.
Postoji ogroman broj tehnologija i alata koje podatkovni inženjer mora savladati kako bi radio s računalstvom u oblaku, skladištima podataka, ETL-om (ekstrakcija, transformacija, učitavanje) itd. Štoviše, broj potrebnih vještina stalno raste, tako da inženjer podataka treba redovito nadopunjavati svoje znanje. Naš popis uključuje tečajeve za početnike i iskusne profesionalce. Odaberite što vam odgovara.
1. Data Engineering Nanodegree Certification ()
Naučit ćete kako dizajnirati podatkovne modele, stvoriti skladišta podataka i podatkovna jezera, automatizirati podatkovne kanale i raditi s nizovima skupova podataka. Na kraju programa testirat ćete svoje nove vještine ispunjavanjem Capstone projekta.
Trajanje: 5 mjeseci, 5 sati tjedno
Jezik: Engleski
Cijena: $ 1695
Nivo: početni
2. Postanite certificirani inženjer podataka ()
Oni podučavaju od osnova. Možete napredovati korak po korak, koristeći predavanja i praktične projekte za rad na svojim vještinama. Do kraja obuke bit ćete spremni za rad s ML-om i velikim podacima. Preporuča se poznavanje Pythona barem na minimalnoj razini.
Trajanje: 8 mjeseci, 10 sati tjedno
Jezik: Engleski
Cijena😕
Nivo: početni
3. Postanite inženjer podataka: ovladavanje konceptima ()
Razvit ćete vještine podatkovnog inženjerstva i DevOps, naučiti kako izraditi Big Data aplikacije, izraditi podatkovne kanale, obraditi aplikacije u stvarnom vremenu koristeći Hazelcast i bazu podataka.
Trajanje: Ovisi o tebi
Jezik: Engleski
Cijena: prvi mjesec - besplatno
Nivo: početni
4. Tečajevi inženjerstva podataka ()
Ovdje je niz programa koji vas uvode u podatkovni inženjering i uče vas kako razviti analitička rješenja. Tečajevi su podijeljeni u kategorije na temelju razine težine, tako da možete odabrati jedan prema razini svog iskustva. Tijekom obuke naučit ćete koristiti Spark, Hadoop, Azure i upravljati korporativnim podacima.
Trajanje: Ovisi o tebi
Jezik: Engleski
Cijena: ovisi o odabranom tečaju
Nivo: početni, srednji, napredni
5. Inženjer podataka ()
Ovaj tečaj vrijedi pohađati ako imate iskustva s Pythonom i želite produbiti svoje znanje i izgraditi karijeru podatkovnog znanstvenika. Naučit ćete kako izgraditi cjevovode podataka koristeći Python i pandas, učitavajući velike skupove podataka u Postgres bazu podataka nakon čišćenja, transformacije i provjere valjanosti.
Trajanje: Ovisi o tebi
Jezik: Engleski
Cijena: ovisi o obliku pretplate
Nivo: početnik, srednji
6. Podatkovni inženjering s Google Cloudom ()
Ovaj tečaj će vam pomoći da steknete vještine potrebne za izgradnju karijere u velikim podacima. Na primjer, rad s BigQueryjem, Sparkom. Steći ćete znanje koje vam je potrebno za pripremu za industrijsko priznatu certifikaciju Google Cloud Professional Data Engineer.
Trajanje: 4 mjeseca
Jezik: Engleski
Cijena: besplatno za sada
Nivo: početnik, srednji
7. Podatkovni inženjering, Big Data na Google Cloud Platform ()
Zanimljiv tečaj koji pruža praktična znanja o sustavima za obradu podataka u GCP-u. Tijekom predavanja naučit ćete kako dizajnirati sustave prije početka procesa razvoja. Osim toga, također ćete analizirati strukturirane i nestrukturirane podatke, primijeniti automatsko skaliranje i primijeniti ML tehnike za izvlačenje informacija.
Trajanje: 3 mjeseca
Jezik: Engleski
Cijena: besplatno za sada
Nivo: početnik, srednji
8. UC San Diego: Specijalizacija za velike podatke ()
Tečaj se temelji na korištenju okvira Hadoop i Spark i primjeni ovih tehnika velikih podataka u ML procesu. Naučit ćete osnove korištenja Hadoopa s MapReduce, Spark, Pig i Hive. Naučite kako izraditi prediktivne modele i koristiti analitiku grafikona za modeliranje problema. Imajte na umu da ovaj tečaj ne zahtijeva nikakvo iskustvo u programiranju.
Trajanje: 8 mjeseci 10 sati tjedno
Jezik: Engleski
Cijena: besplatno za sada
Nivo: početni
9. Ukroćenje velikih podataka s Apache Sparkom i Pythonom ()
Naučit ćete kako koristiti strukturu toka i podatkovne okvire u Spark3, te steći razumijevanje kako koristiti Amazonovu uslugu Elastic MapReduce za rad s vašim Hadoop klasterom. Naučite identificirati probleme u analizi velikih podataka i razumjeti kako GraphX biblioteke rade s mrežnom analizom i kako možete koristiti MLlib.
Trajanje: Ovisi o tebi
Jezik: Engleski
Cijena: od 800 rubalja do 149,99 dolara (ovisno o vašoj sreći)
Nivo: početnik, srednji
10. PG program u inženjerstvu velikih podataka ()
Ovaj tečaj će vam dati ideju o tome kako Aadhaar radi, kako Facebook personalizira feed vijesti i kako se Data Engineering općenito može koristiti. Ključne teme bit će obrada podataka (uključujući obradu u stvarnom vremenu), MapReduce, analitika velikih podataka.
Trajanje: Sedam mjeseci
Jezik: Engleski
Cijena: oko 3000 dolara
Nivo: početni
11. Profesija Data Scientist ()
Naučit ćete programirati u Pythonu, proučavati okvire za treniranje neuronskih mreža Tensorflow i Keras. Savladajte baze podataka MongoDB, PostgreSQL, SQLite3, naučite raditi s bibliotekama Pandas, NumPy i Matpotlib.
Trajanje: 300 sati obuke
Jezik: ruski
Cijena: prvih šest mjeseci besplatno, zatim 3900 rubalja mjesečno
Nivo: početni
12. Data Engineer 7.0 ()
Dobit ćete detaljnu studiju o Kafki, HDFS-u, ClickHouseu, Sparku, Airflowu, lambda arhitekturi i kappa arhitekturi. Naučit ćete kako međusobno povezati alate, formirati cjevovode, dobiti osnovno rješenje. Za studiranje je potrebno minimalno poznavanje Pythona 3.
Trajanje: 21 lekcija, 7 tjedana
Jezik: ruski
Cijena: od 60 do 000 rubalja
Nivo: početni
Ako želite dodati još jedan dobar tečaj na popis, možete se odjaviti u komentarima ili u PM-u. Ažurirat ćemo objavu.
Što još možete pročitati na blogu?
→
→
→
→
→
Pretplatite se na naš -kanal kako ne biste propustili sljedeći članak. Pišemo ne više od dva puta tjedno i samo poslovno. Također vas podsjećamo da ćemo 21. svibnja u 15:00 (po moskovskom vremenu) održati na temu “Sigurnost poslovnih informacija pri radu na daljinu.” Ako želite razumjeti kako zaštititi osjetljive i korporativne podatke kada zaposlenici rade od kuće, registrirajte se!
Izvor: www.habr.com