12 nettbaserte kurs i Data Engineering

Ifølge Statista vil markedet for big data vokse til 175 zettabytes innen 2025, opp fra 41 i 2019 (grafen). For å få jobb innen dette feltet, må man forstå hvordan man jobber med store data lagret i skyen. Cloud4Y har laget en liste med 12 betalte og gratis kurs i datainingeniørfag som vil utvide kunnskapene dine på dette området og kan bli et godt utgangspunkt for skysertifiseringer.

Forord

Hva er en databehandler (data engineer)? Det er en person som er ansvarlig for å opprette og vedlikeholde dataarkitekturen i et Data Science-prosjekt. Hans eller hennes oppgaver kan inkludere å sikre en jevn dataflyt mellom serveren og applikasjonen, integrering av ny programvare for databehandling, forbedring av grunnleggende dataprosesser og opprettelse av data pipelines.

Det finnes et enormt antall teknologier og verktøy som en databehandler må beherske for å jobbe med skyløsninger, datalagre, ETL (extraction, transformation, loading) osv. Antallet nødvendige ferdigheter vokser stadig, så en databehandler må regelmessig oppdatere sin kunnskap. I vår liste finnes kurs for nybegynnere så vel som for erfarne fagfolk. Velg det som passer best for deg.

1. Data Engineering Nanodegree Certification (Udacity)

Du vil lære å designe datamodeller, opprette datalagre og datadammer, automatisere data pipelines og jobbe med datasett. På slutten av programmet vil du teste de nye ferdighetene dine ved å fullføre et Capstone-prosjekt.

Varighet: 5 måneder, 5 timer per uke
Språk: engelsk
Pris: $1695
Nivå: nybegynner

2. Bli en Data Engineer Certification (Coursera)

Undervisningen starter fra bunnen av. Du kan gradvis utvikle deg ved å bruke forelesninger og praktiske prosjekter for å forbedre ferdighetene dine. Ved slutten av kurset vil du være klar til å jobbe med ML og big data. Det anbefales å ha basisferdigheter i Python.

Varighet: 8 måneder, 10 timer per uke
Språk: engelsk
Pris😕
Nivå: nybegynner

3. Bli en Data Engineer: Mastering the Concepts (LinkedIn Learning)

Du vil utvikle ferdigheter innen datadesign og DevOps, lære å bygge applikasjoner for Big Data, opprette data pipelines, og behandle applikasjoner i sanntid ved hjelp av Hazelcast og databaser. Hadoop.

Varighet: avhenger av deg
Språk: engelsk
Pris: første måned – gratis
Nivå: nybegynner

4. Data Engineering Courses (edX)

Her er en serie programmer som introduserer deg for data engineering og lærer deg å utvikle analytiske løsninger. Kursene er delt inn i kategorier etter vanskelighetsgrad, slik at du kan velge ett som passer ditt erfaringsnivå. I løpet av læringen vil du lære å bruke Spark, Hadoop, Azure og administrere selskapsdata.

Varighet: avhenger av deg
Språk: engelsk
Pris: avhenger av valgt kurs
Nivå: nybegynner, mellomnivå, avansert

5.   Data Engineer (DataQuest)

Dette kurset er ideelt for deg som har erfaring med Python og ønsker å gå dypere inn i faget og bygge en karriere som databehandler. Du vil lære å bygge datapipelines ved hjelp av Python og pandas, laste store datamengder inn i Postgres-databaser etter rensing, transformasjon og validering.

Varighet: avhenger av deg
Språk: engelsk
Pris: avhenger av abonnementsform
Nivå: nybegynner, mellomnivå

6.   Data Engineering with Google Cloud (Coursera)

Dette kurset vil hjelpe deg å tilegne deg de ferdighetene som trengs for å bygge en karriere innen stor data. For eksempel, arbeid med BigQuery og Spark. Du vil få kunnskap som vil komme til nytte for å forberede deg på den bransjeanerkjente sertifiseringen Google Cloud Professional Data Engineer.

Varighet: 4 måneder
Språk: engelsk
Pris: for nå gratis
Nivå: nybegynner, mellomnivå

7.   Data Engineering, Big Data on Google Cloud Platform (Coursera)

Et interessant kurs som gir praktisk kunnskap om datasystemer i GCP. Under undervisningen vil du lære å designe systemer før du begynner utviklingsprosessen. I tillegg vil du også analysere både strukturerte og ustrukturerte data, anvende automatisk skalerbarhet og bruke ML-metoder for å hente ut informasjon.

Varighet: 3 måneder
Språk: engelsk
Pris: for nå gratis
Nivå: nybegynner, mellomnivå

8.   UC San Diego: Big Data Specialization (Coursera)

Kurset er basert på bruk av Hadoop- og Spark-infrastruktur og anvendelse av disse metodene for behandling av stor data i ML-prosessen. Du vil bli kjent med grunnleggende bruk av Hadoop med MapReduce, Spark, Pig og Hive. Du vil lære hvordan man kan bygge prediktive modeller og bruke graf-analyse for modellering av problemer. Det bemerkes at det ikke kreves programmeringserfaring for dette kurset.

Varighet: 8 måneder med 10 timer per uke
Språk: engelsk
Pris: for nå gratis
Nivå: nybegynner

9.   Taming Big Data With Apache Spark and Python (Udemy)

Du vil lære at bruge strømningsstrukturer og datarammer i Spark3, få indsigt i, hvordan du bruger Amazons Elastic MapReduce-tjeneste til at arbejde med dit Hadoop-kluster. Lær at identificere problemer ved analyse af store data og forstå, hvordan GraphX-biblioteker fungerer med netværksanalyse, og hvordan du kan bruge MLlib.

Varighet: avhenger av deg
Språk: engelsk
Pris: fra 800 rubler til $149,99 (afhængigt af tilfældet)
Nivå: nybegynner, mellomnivå

10. PG Program i Big Data Engineering (upGrad)

Dette kursus vil give dig indsigt i, hvordan Aadhaar fungerer, hvordan Facebook personaliserer nyhedsfeedet, og hvordan data engineering kan anvendes. Centrale emner vil være databehandling (herunder behandling i realtid), MapReduce, og analyse af store data.

Varighet: 11 måneder
Språk: engelsk
Pris: omkring $3000
Nivå: nybegynner

11. Data Scientist-professionen (Skillbox)

Du vil lære at programmere i Python, lære rammerne til træning af neurale netværk som Tensorflow og Keras. Du vil mestre databaserne MongoDB, PostgreSQL, SQLite3 og lære at arbejde med bibliotekerne Pandas, NumPy og Matplotlib.

Varighet: 300 timers undervisning
Språk: russisk
Pris: de første seks måneder gratis, derefter 3900 rubler om måneden
Nivå: nybegynner

12. Data Engineer 7.0 (New Professions Lab)

Du vil opleve en dybdegående undersøgelse af Kafka, HDFS, ClickHouse, Spark, Airflow, lambda-arkitekturer og kappa-arkitekturer. Du vil lære at forbinde værktøjerne med hinanden og danne pipelines for at opnå en baseline-løsning. Der kræves minimum kendskab til Python 3 for at studere.

Varighet: 21 lektioner, 7 uger
Språk: russisk
Pris: fra 60.000 til 120.000 rubler
Nivå: nybegynner

Hvis du har lyst til at tilføje endnu et godt kursus til listen, kan du skrive i kommentarerne eller i LDM. Vi supplerer indlægget.

Hva mer nyttig kan du lese i bloggen Cloud4Y

→ Hvad er geometrien af universet?
→ Påskeegg på topografiske kart i Sveits
→ En forenklet og veldig kort historie om utviklingen av 'skyer'
→ Hvordan bankerne 'brød sammen'
→ Computerbrands fra 90'erne, del 3, afsluttende del

Abonner på vår Telegram-kanal, så du ikke går glip af den næste artikel. Vi skriver ikke oftere end to gange om ugen og kun når der er noget vigtigt. Vi minder også om, at den 21. maj kl. 15:00 (MSK) vil vi afholde et webinar et seminar om 'Informationssikkerhed i erhvervslivet ved fjernarbejde'. Hvis du vil forstå, hvordan du beskytter følsomme og virksomhedsoplysninger, når medarbejdere arbejder hjemmefra - tilmeld dig!

Kilde: habr.com