Według danych Statista, do 2025 roku wartość rynku big data wzrośnie do 175 zettabajtów w porównaniu do 41 w 2019 roku (). Aby zdobyć pracę w tej dziedzinie, trzeba rozumieć, jak pracować z dużymi danymi przechowywanymi w chmurze. Cloud4Y przygotował listę 12 płatnych i bezpłatnych kursów z inżynierii danych, które rozszerzą Twoją wiedzę w tej dziedzinie i mogą być dobrym punktem wyjścia do uzyskania certyfikatów chmurowych.
Wstęp
Czym jest specjalista ds. przetwarzania danych (data engineer)? To osoba odpowiedzialna za tworzenie i wsparcie architektury danych w projektach Data Science. W jego obowiązkach może znajdować się zapewnienie ciągłego przepływu danych między serwerem a aplikacją, integracja nowego oprogramowania do zarządzania danymi, ulepszanie podstawowych procesów danych oraz tworzenie konwajerów danych.
Istnieje ogromna liczba technologii i narzędzi, którymi musi posługiwać się data engineer, aby pracować z obliczeniami w chmurze, magazynami danych, ETL (eksploracja, transformacja, załadunek) itp. Wymagana liczba umiejętności ciągle rośnie, dlatego data engineer musi regularnie uzupełniać swoją wiedzę. W naszej liście znajdują się kursy dla początkujących i doświadczonych specjalistów. Wybierz to, co pasuje właśnie Tobie.
1. Certyfikat Data Engineering Nanodegree ()
Nauczysz się projektować modele danych, tworzyć magazyny danych i jeziora danych, automatyzować konwajery danych oraz pracować z zestawami danych. Na koniec programu przetestujesz swoje nowe umiejętności, kończąc projekt Capstone.
Czas trwania: 5 miesięcy, 5 godzin tygodniowo
Język: angielski
Cena: $1695
Poziom: podstawowy
2. Certyfikat Become a Data Engineer ()
Uczą od podstaw. Możesz rozwijać się krok po kroku, korzystając z wykładów i praktycznych projektów do pracy nad swoimi umiejętnościami. Pod koniec nauki będziesz gotowy do pracy z ML i dużymi danymi. Zaleca się znajomość Pythona przynajmniej na minimalnym poziomie.
Czas trwania: 8 miesięcy, 10 godzin tygodniowo
Język: angielski
Cena😕
Poziom: podstawowy
3. Become a Data Engineer: Mastering the Concepts ()
Rozwiniesz umiejętności projektowania danych oraz umiejętności DevOps, nauczysz się tworzyć aplikacje z użyciem Big Data, tworzyć konwajery danych, przetwarzać aplikacje w czasie rzeczywistym z użyciem Hazelcast i baz danych.
Czas trwania: zależy od Ciebie
Język: angielski
Cena: pierwszy miesiąc — bezpłatnie
Poziom: podstawowy
4. Kursy z Data Engineering ()
Tutaj znajduje się seria kursów, które zapoznają Cię z inżynierią danych i uczą opracowywania rozwiązań analitycznych. Kursy są podzielone na kategorie w zależności od poziomu trudności, dzięki czemu możesz wybrać jeden zgodnie ze swoim poziomem doświadczenia. W trakcie nauki nauczysz się korzystać ze Sparka, Hadoop, Azure oraz zarządzać danymi korporacyjnymi.
Czas trwania: zależy od Ciebie
Język: angielski
Cena: zależy od wybranego kursu
Poziom: podstawowy, średni, zaawansowany
5. Data Engineer ()
Ten kurs jest dla Ciebie, jeśli masz doświadczenie w pracy z Pythonem i chcesz pogłębić swoją wiedzę oraz zbudować karierę specjalisty ds. przetwarzania danych. Nauczysz się tworzyć potoki danych, używając Pythona i pandas, ładować duże zbiory danych do bazy danych Postgres po oczyszczeniu, przetworzeniu i walidacji.
Czas trwania: zależy od Ciebie
Język: angielski
Cena: zależy od formy subskrypcji
Poziom: podstawowy, średni
6. Inżynieria Danych z Google Cloud ()
Ten kurs pomoże Ci zdobyć umiejętności niezbędne do zbudowania kariery w pracy z danymi wielkich rozmiarów. Na przykład, praca z BigQuery, Spark. Zdobędziesz wiedzę, która pomoże Ci przygotować się do uznawanej w branży certyfikacji Google Cloud Professional Data Engineer.
Czas trwania: 4 miesiące
Język: angielski
Cena: obecnie darmowo
Poziom: podstawowy, średni
7. Inżynieria Danych, Big Data na Google Cloud Platform ()
Interesujący kurs, który dostarcza praktycznej wiedzy na temat systemów przetwarzania danych w GCP. Podczas zajęć dowiesz się, jak zaprojektować systemy, zanim przystąpisz do procesu tworzenia. Dodatkowo będziesz analizować zarówno dane strukturalne, jak i niestrukturalne, stosować automatyczne skalowanie oraz używać metod ML do wydobywania informacji.
Czas trwania: 3 miesiące
Język: angielski
Cena: obecnie darmowo
Poziom: podstawowy, średni
8. UC San Diego: Specjalizacja w Big Data ()
Kurs oparty na korzystaniu z infrastruktury Hadoop i Sparka oraz stosowaniu tych metod przetwarzania danych w ML. Poznasz podstawy użycia Hadoop z MapReduce, Spark, Pig i Hive. Dowiesz się, jak można tworzyć modele predykcyjne i stosować analitykę grafową do modelowania problemów. Warto zauważyć, że ten kurs nie wymaga doświadczenia w programowaniu.
Czas trwania: 8 miesięcy po 10 godzin w tygodniu
Język: angielski
Cena: obecnie darmowo
Poziom: podstawowy
9. Okiełznanie Big Data z Apache Spark i Pythonem ()
Dowiesz się, jak korzystać z architektury strumieniowej i ram danych w Spark3, uzyskasz wgląd w to, jak wykorzystać usługę Elastic MapReduce od Amazon do pracy z Twoim klastrem w Hadoop. Nauczysz się identyfikować problemy podczas analizy dużych zbiorów danych oraz zrozumiesz, jak biblioteki GraphX działają z analizą sieciową i jak możesz wykorzystać MLlib.
Czas trwania: zależy od Ciebie
Język: angielski
Cena: od 800 rubli do 149,99 USD (jak się uda)
Poziom: podstawowy, średni
10. PG Program w Big Data Engineering ()
Ten kurs da Ci wgląd w to, jak działa Aadhaar, jak Facebook personalizuje strumień wiadomości oraz jak można wykorzystać inżynierię danych. Kluczowe tematy obejmą przetwarzanie danych (w tym przetwarzanie w czasie rzeczywistym), MapReduce oraz analizę dużych zbiorów danych.
Czas trwania: 11 miesięcy
Język: angielski
Cena: w okolicy 3000 USD
Poziom: podstawowy
11. Zawód Data Scientist ()
Nauczysz się programować w Pythonie, poznasz frameworki do uczenia sieci neuronowych Tensorflow i Keras. Opanujesz bazy danych MongoDB, PostgreSQL, SQLite3, nauczysz się pracować z bibliotekami Pandas, NumPy i Matplotlib.
Czas trwania: 300 godzin nauki
Język: rosyjski
Cena: pierwsze pół roku za darmo, potem 3900 rubli miesięcznie
Poziom: podstawowy
12. Data Engineer 7.0 ()
Czeka Cię dogłębne zapoznanie się z Kafka, HDFS, ClickHouse, Spark, Airflow, architekturą lambda oraz architekturą kappa. Nauczysz się łączyć narzędzia ze sobą, tworząc pipeline’y, uzyskując rozwiązania bazowe. Do nauki wymagana jest minimalna znajomość Pythona 3.
Czas trwania: 21 zajęć, 7 tygodni
Język: rosyjski
Cena: od 60 000 do 120 000 rubli
Poziom: podstawowy
Jeśli masz ochotę dodać jeszcze jeden dobry kurs do listy, możesz napisać w komentarzach lub do mnie prywatnie. Uzupełnimy post.
Co jeszcze ciekawego można przeczytać na blogu
→
→
→
→
→
Subskrybuj nasz -kanał, aby nie przegapić kolejnego artykułu. Piszemy nie częściej niż dwa razy w tygodniu i tylko na temat. Przypominamy również, że 21 maja o 15:00 (MSK) przeprowadzimy na temat „Bezpieczeństwo informacji w biznesie podczas pracy zdalnej”. Jeśli chcesz zrozumieć, jak chronić wrażliwe i korporacyjne informacje podczas pracy pracowników z domu — zarejestruj się!
Źródło: habr.com
