🥇Kes on andmeinsenerid ja kuidas nendeks saada?

Tere jälle! Artikli pealkiri räägib enda eest. Kursuse alguse eel „Andmeinsener“ pakume välja selgitada, kes need andmeinsenerid tegelikult on. Artiklis on palju kasulikke lingid. Head lugemist.

Lihtne juhend, kuidas haarata andmeinseneri laine ja mitte lasta end sellega allasuunata.

Tundub, et tänapäeval soovib igaüks saada andmeanalüütikuks (Data Scientist). Aga kuidas on andmeinsenerimisega? Sisuliselt on see teatud tüüpi andmeanalüütiku ja andmeinseneri hübriid; andmeinsener vastutab tavaliselt töövoogude, töötlemiskonveierite ja ETL-protsesside haldamise eest.Kuna nende funktsioonide tähtsus on praegu tegemist järjekordse populaarse professionaalse žargooniga, mis on aktiivselt kasvanud.

Kõrge palk ja tohutu nõudlus on vaid väike osa sellest, mis muudab selle töö erakordselt atraktiivseks! Kui soovite liituda kangelaste ridadega, pole kunagi hilja õppima hakata. Selles postituses olen kogunud kogu vajaliku teabe, et aidata teil teha esimesed sammud.

Nii et alustame!

Mis on andmete inseneritehnika?

Ausalt öeldes ei ole selle kohta paremat selgitust kui see:

„Teadlane võib avada uue tähe, kuid ei saa seda luua. Ta peab paluma inseneril seda tema eest teha.”
–Gordon Lindsay Glegg

Seega on andmete inseneri roll piisavalt oluline.

Nagu nimest järeldub, on andmete inseneritehnika seotud andmetega, nimelt nende edastamise, salvestamise ja töötlemisega. Vastavalt on inseneride peamine ülesanne tagada andmete usaldusväärne infrastruktuur. Kui vaatame tehisintellekti vajaduste hierarhiat, hõlmab andmete inseneritehnika esimesi 2–3 etappi: kogumine, liikumine ja salvestamine, andmete ettevalmistamine.

Mida teeb andmete insener?

Koos suurandmete tulekuga on vastutusalad järsult muutunud. Kui varem kirjutasid need eksperdid suuri SQL-päringuid ja edastasid andmeid selliste tööriistade abil nagu Informatica ETL, Pentaho ETL, Talend, siis nüüd on nõudmised andmete inseneritehnikute osas tõusnud.

Enamik ettevõtteid, kellel on avatud andmete inseneri ametikohad, esitavad järgmised nõudmised:

Suurepärane SQL ja Python'i tundmine.
Kogemus pilveplatvormidega, eelkõige Amazon Web Servicesiga.
Eelistatav on Java/Scala tundmine.
Hea arusaam SQL ja NoSQL andmebaasidest (andmemudelite loomine, andmete salvestamine).

Pange tähele, et see on ainult kõige vajalik. Sellest nimekirjast võib järeldada, et andmete insenerid on tarkvaraarenduse ja backend'i spetsialistid.
Näiteks kui ettevõte hakkab genereerima suurt hulka andmeid erinevatest allikatest, on teie ülesanne andmete insenerina korraldada teabe kogumine, töötlemine ja salvestamine.

Kasutatavate tööriistade nimekiri võib varieeruda, sõltuvalt andmete mahust, nende saabumise kiirusest ja mitmekesisusest. Enamik ettevõtteid ei puutu kokku suurte andmetega, seetõttu võib keskse ladustamise, nn andmehoidla, jaoks kasutada SQL andmebaasi (PostgreSQL, MySQL jne) koos väikese skriptikogumiga, mis suunab andmed ladustamisele.

IT-hiiglased nagu Google, Amazon, Facebook või Dropbox esitavad kõrgemaid nõudeid: oskus Pythonit, Java't või Scala't.

Kogemus suurte andmetega: Hadoop, Spark, Kafka.
Tuntud algoritmid ja andmestruktuurid.
Arusaamine jaotatud süsteemide põhitõdedest.
Kogemus andmete visualiseerimise tööriistadega, nagu Tableau või ElasticSearch, on suur eelis.

See tähendab, et on selge suundumus suurte andmete, eriti nende töötlemise, suunas suurte koormuste korral. Nendel ettevõtetel on kõrgemad nõuded süsteemi töökindlusele.

Andmeinsenerid vs andmeadlased

Hästi, see oli lihtne ja naljakas võrdlus (mitte midagi isiklikku), kuid tegelikult on see palju keerulisem.

Esiteks peate teadma, et andmeadlase ja andmeinseneri rollide ning oskuste määratlemisel on piisavalt segadust. See tähendab, et te võite kergesti segadusse minna, millised oskused on andmeinseneri edukaks saavutamiseks vajalikud. Loomulikult on teatud oskused, mis kattuvad mõlema rolliga. Kuid on ka terve rida diametraalselt vastupidiseid oskusi.

Andmete teadus on tõsine asi, kuid me liigume funktsionaalse andmete teaduse maailma, kus praktikud suudavad teha oma analüüsi. Andmevoogude ja integreeritud andmestruktuuride kaasamiseks on teil vaja andmeinsenere, mitte teadlasi.

Kas andmeinsener on nõutavam kui andmeadlase?

— Jah, sest enne kui saate valmistada porgandikooki, peate kõigepealt koguma, puhastama ja porgandi varuma!

Andmeinsener tunneb programmeerimist paremini kui ükski andmeadlase, kuid kui asi puudutab statistikat, on kõik vastupidi.

Aga siin on andmeinseneri eelis:

Ilma seda, prototüübi mudeli väärtus, mis koosneb kõige sagedamini halva kvaliteediga koodilõigust Pythonis, mis on saadud andeteadlase käest ja kuidagi tulemusi saavutab, kipub olema null.

Ilma andmeinsenerita ei muutu see kood kunagi projektiks ja ükski äriprobleem ei saa tõhusalt lahendatud. Andmeinsener püüab sellest kõik toote kujundada.

Peamised teadmised, mida andmeinsener peab teadma

Nii et kui see töö äratab sinus valgust ja oled täielikult entusiastlik — sa suudad seda õppida, võid omandada kõik vajalikud oskused ja saada tõeliseks rockstaariks andmete arendamise valdkonnas. Ja jah, saad seda teha ka ilma programmeerimisoskuste või muude tehniliste teadmisteta. See on keeruline, kuid võimalik!

Mis on esimesed sammud?

Pead olema üldine ülevaade, mis tähendab mida.

Esiteks, andmeinseneria kuulub arvutiteaduse valdkonda. Täpsemalt — sa pead mõistma tõhusat algoritmide ja andmestruktuuride kasutust. Teiseks, kuna andmeinsenerid töötavad andmetega, on vajalik mõista andmebaaside töö põhimõtteid ja nende aluseks olevate struktuuride funktsiooni.

Näiteks tavapärased B-puu SQL andmebaasid põhinevad B-puu andmestruktuuril ning moodsates jaotatud hoidlates LSM-puul ja muudel hash-tabelite modifikatsioonidel.

* Need sammud põhinevad suurepärasel artiklil Adil Hashtamova. Nii et kui sa tead vene keelt, toeta seda autorit ja loe tema postitust.

1. Algoritmid ja andmestruktuurid

Õige andmestruktuuri kasutamine võib oluliselt parandada algoritmi jõudlust. Ideaalses olukorras peaksime kõik õppima andmestruktuure ja algoritme meie koolides, aga see on harva kunagi käsitletud. Igatahes, tutvumine ei ole kunagi liiga hilja.
Nii et siin on minu lemmik tasuta kursused andmestruktuuride ja algoritmide õppimiseks:

Lisaks ära unusta Thomas H. Cormen'i klassikalist teost — Algoritmide sissejuhatus. See on ideaalne käsiraamat, kui vajad oma mälu värskendamist.

Oma oskuste parandamiseks kasuta Leetcode.

Sa saad samuti sukelduda andmebaaside maailma Carnegie Melloni Ülikooli suurepäraste Youtube'i videote kaudu:

2. SQL-i õppimine

Meie elu on andmed. Ja et neid andmeid andmebaasist välja tuua, peate nendega 'rääkima' ühes keeles.

SQL (Structured Query Language — struktureeritud päringute keel) on suhtlemiskeel andmete valdkonnas. Ükskõik, mida keegi ütleb, on SQL eksisteerinud, eksisteerib ja eksisteerib veel kaua.

Kui olete pikka aega arenduses olnud, olete tõenäoliselt märganud, et kuuldused SQL-i eelseisvast surmast ilmuvad perioodiliselt. Keel loodi 70. aastate alguses ja on endiselt ülimalt populaarne analüütikute, arendajate ja lihtsalt entusiastide seas.
Ilma SQL-i teadmata andmeinseneri töös ei saa hakkama, kuna kindlasti peate looma päringuid andmete väljavõtmiseks. Kõik kaasaegsed suurandmete hoidlad toetavad SQL-i:

Amazon Redshift
HP Vertica
Oracle
SQL Server

… ja paljud teised.

Suurte andmekihte analüüsima, mis on salvestatud jaotatud süsteemides, nagu HDFS, on välja töötatud SQL-mehhanismid: Apache Hive, Impala jne. Nähes, ta ei kavatse kuhugi minna.

Kuidas õppida SQL-i? Lihtsalt praktiseerige seda.

Selleks soovitaksin tutvuda suurepärase tasuta õpikuga, mille on koostanud Mode Analytics.

Nende kursuste eristavaks jooneks on interaktiivne keskkond, kus saate otse brauseris SQL-päringuid kirjutada ja käivitada. Ressurss Modern SQL ei ole üleliigne. Ja võite neid teadmisi rakendada Leetcode'i ülesannetes andmebaaside kategoorias.

3. Programmeerimine Pythonis ja Java/Scala

Miks tasub õppida programmeerimiskeelt Python, olen juba kirjutanud artiklis Python vs R. Parima tööriista valimine AI, ML ja andmete teaduse jaoks. Mis puutub Java ja Scala, siis enamik suuri andmete salvestamise ja töötlemise tööriistu on kirjutatud nendes keeltes. Näiteks:

Apache Kafka (Scala)
Hadoop, HDFS (Java)
Apache Spark (Scala)
Apache Cassandra (Java)
HBase (Java)
Apache Hive (Java)

Ettevõtte tööriistade mõistmiseks peate teadma, millistes keeltes need on kirjutatud. Scala funktsionaalne lähenemine võimaldab tõhusalt lahendada suurte andmete töötlemise ülesandeid. Kahjuks ei saa Python uhkustada kiirus ja paralleelne töötlemine. Üldiselt mõjutab mitme keele ja programmeerimismudeli tundmine positiivselt probleemide lahendamise lähenemisviise.

Scala keele õppimiseks võite lugeda Scala programmeerimine keele autori poolt. Samuti on Twitter välja andnud hea sissejuhatava juhendi — Scala Kool.

Mis puutub Pythonisse, siis ma usun, et Sujuv Python on parim keskastme raamat.

4. Suurte andmete tööriistad

Siin on nimekiri kõige populaarsematest tööriistadest suurte andmete maailmas:

Apache Spark
Apache Kafka
Apache Hadoop (HDFS, HBase, Hive)
Apache Cassandra

Rohkem teavet suurte andmete plokkide ehitamise kohta leiate sellest hämmastavast interaktiivsest keskkonnast. Kõige populaarsemad tööriistad on Spark ja Kafka. Neid tasub kindlasti õppida, soovitatav on mõista, kuidas need seestpoolt töötavad. Jay Kreps (Kafka kaasautor) avaldas 2013. aastal monumentaalse töö The Log: mida iga tarkvaraarendaja peaks teadma reaalajas andmete ühendamise abstraktsioonist, muide, selle Talmudi põhiteemadest kasutati Apache Kafka loomisel.

Hadoopi sissejuhatusena võib võtta Hadoopi täielik juhend (tasuta).
Minu arvates on kõige täielikum juhend Apache Sparkile — Spark: täielik juhend.

5. Pilvplatvormid

Algselt ühe pilvplatvormi tundmine on andmeinseneri ametikoha taotlejatelt nõutavate põhikriteeriumide seas. Tööandjad eelistavad Amazon Web Services'i, teisel kohal on Google'i pilvplatvorm ja kolmandat kohta hoiab Microsoft Azure.

Te peate hästi orienteeruma Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.

6. Jagatud süsteemid

Suurte andmete töötamine eeldab sõltumatute arvutiklusterite olemasolu, mille vahel toimub suhtlus võrgu kaudu. Mida suurem on kluster, seda suurem on tõenäosus, et selle liikmete sõlmed ebaõnnestuvad. Suurepärase andmeeksperdiks saamiseks peate süvenema jagatud süsteemide probleemidesse ja olemasolevatesse lahendustesse. See valdkond on vana ja keeruline.

Andrew Tanenbaum on tuntud valdkonna pioneer. Neile, kes ei karda teooriat, soovitan tema raamatut «Jaotatud süsteemid», algajatele võib see tunduda keeruline, kuid see aitab tõeliselt oma oskusi teravustada.

Pean «Andmepõhiste rakenduste projekteerimine» autoriks Martin Kleppmann parimaks sissejuhatavaks raamatuks. Muide, Martinil on suurepärane blogi. Tema töö aitab struktureerida teadmisi kaasaegse infrastruktuuri loomise kohta, et talletada ja töödelda suuri andmeid.
Neile, kes armastavad videoid vaadata, on YouTube'is kursus Jaotatud arvutisüsteemid.

7. Andmevõrgud

Andmevõrgud on see, ilma milleta ei saa elada andmeinsenerina.

Suur osa ajast loob andmeinsener nn andmevoo, st loob andmete edastamise protsessi ühest kohast teise. Need võivad olla kasutajaskenaariumid, mis saadavad API välisteenusele või teevad SQL-päringu, täiustavad andmeid ja paigutavad need kesksetesse andmehoidlatestesse (andmehoidlad) või struktureerimata andmete hoidlatesse (andmejärved).

Kokkuvõtteks: andmeinseneri põhikontrollnimekiri

Kokkuvõttes on vajalik hea arusaam järgmistest:

Teabe süsteemidest;
Tarkvaraarendus (Agile, DevOps, disainitehnikad, SOA);
Jaotatud süsteemidest ja paralleelsest programmeerimisest;
Andmebaaside põhialustest — planeerimine, projekteerimine, käitamine ja tõrkeotsing;
Eksperimentide projekteerimine — A/B-testimine kontseptsioonide tõestamiseks, süsteemide usaldusväärsuse ja jõudluse määramiseks, samuti usaldusväärsete viiside väljatöötamiseks hea lahenduse operatiivseks pakkumiseks.

Need on vaid mõned nõuded andmeinseneriks saamiseks, seetõttu uurige ja tutvuge andmesüsteemide, teabesüsteemide, pideva tarnimise/paigaldamise/integratsiooni, programmeerimiskeelte ja muude infotehnoloogia valdkondadega (kuna mitte kõikidelt õppeainetelt).

Ja lõpuks, viimane, kuid väga tähtis asi, mida soovin öelda.

Andmete inseneriks saamise tee ei ole sugugi lihtne, nagu võib arvata. See ei tee armu, frustratsioon on pidev kaaslane ning peate olema selleks valmis. Silmas pidage, et teatud hetked selles teekonnas võivad teid kõik lõpetama sundida. Kuid see on tõeline töö ja õppimisprotsess.

Lihtsalt ärge ilusate sõnadega alusta. Kogu teekonna mõte on õppida nii palju kui võimalik ja olla uutele väljakutsetele avatud.
Siin on suurepärane pilt, millega ma kokku puutusin ja mis illustreerib seda momenti hästi:

Ja jah, ärge unustage vältida läbipõlemist ja puhata. See on samuti väga oluline. Edu!

Kuidas teile artikkel meeldis, sõbrad? Ootame teid tasuta veebinarile, which is taking place today at 20:00. During the webinar, we will discuss how to build an efficient and scalable data processing system for a small company or startup with minimal costs. As a part of the practice, we will get to know Google Cloud data processing tools. See you there!which is taking place today at 20:00. During the webinar, we will discuss how to build an efficient and scalable data processing system for a small company or startup with minimal costs. As a part of the practice, we will get to know Google Cloud data processing tools. See you there!

Allikas: habr.com

Kes on andmeinsenerid ja kuidas neist saavad?