Kes on andmeinsenerid ja kuidas neist saavad?

Tere taas! Artikli pealkiri räägib enda eest. Enne kursuse algust „Andmeinsener“ pakkume välja selgitada, kes on andmeinsenerid. Artiklis on palju kasulikke linke. Head lugemist.

Lihtne juhend selle kohta, kuidas haarata Data Engineering'ist ning mitte lasta end sellega liialt kaasa viia.

Tundub, et tänapäeval tahab igaüks saada andmeanalüütikuks (Data Scientist). Aga kuidas on lood andmeinseneri (Data Engineering) ametiga? Sisuliselt on see mingisugune hübriid andmeanalüütiku ja andmeanalüütiku vahel; andmeinsener vastutab tavaliselt tööprotsesside, töötlemiskonveierite ja ETL-protsesside haldamise eest. Nende funktsioonide tähtsuse tõttu on see praegu veel üks populaarne ametigrupp, mis aktiivselt kasvab.

Kohene tasu ja suur nõudlus on vaid osa sellest, mis teeb töö äärmiselt atraktiivseks! Kui soovite liituda kangelaste ridadega, pole kunagi hilja õppima hakata. Selles postituses olen kogunud kogu vajaliku teabe, et aidata teil teha esimesed sammud.

Nii et alustame!

Mis on Data Engineering?

Ahnelt öeldes pole paremat selgitust kui see:

„Teadlane võib avastada uue tähte, kuid ei suuda seda luua. Tal on vaja insenerilt seda paluda.”

–Gordon Lindsay Glegg

Seega on andmeinseneri roll piisavalt oluline.

Nimest järeldub, et andmeinseneria seondub andmetele, nimelt nende edastamisele, säilitamisele ja töötlemisele. Seega on inseneride peamine ülesanne tagada usaldusväärne infrastruktuur andmete jaoks. Kui vaatame AI vajaduste hierarhiat, siis andmeinseneeria hõlmab esimesi 2–3 etappi: andmete kogumine, edastamine ja säilitamine, andmete ettevalmistamine.

Millega tegeleb andmeinsener?

Suure andmemahu saabumisega on vastutusalad dramaatiliselt muutunud. Kui varem kirjutasid need spetsialistid suuri SQL-päringuid ja edastasid andmeid selliste tööriistadega nagu Informatica ETL, Pentaho ETL, Talend, siis nüüd on nõuded andmeinseneridele tõusnud.

Enamikul ettevõtetel, kus on avatud andmeinseneri ametikoht, on järgmised nõudmised:

• Suurepärane SQL- ja Python'i teadmine.
• Kogemus pilveteenustega, eelkõige Amazon Web Services'iga.
• Soovitav on Java/Scala teadmine.
• Hea arusaam SQL ja NoSQL andmebaasidest (andmemudelite koostamine, andmete salvestamine).

Pange tähele, et see on vaid kõige olulisem. Selle loendi põhjal võib järeldada, et andmeinsenerid on tarkvaraarenduse ja tagasisüsteemi spetsialistid.
Näiteks, kui ettevõte hakkab genereerima suurt hulka andmeid erinevatest allikatest, on teie ülesanne andmeinsenerina korraldada teabe kogumine, töötlemine ja salvestamine.

Käesolevas olukorras kasutatavad tööriistad võivad erineda, kõik sõltub nende andmete mahust, sissetuleku kiirusest ja mitmekesisusest. Enamik ettevõtteid ei puutu kokku suure hulga andmetega, seetõttu võib keskse salvestusruumina, mida nimetatakse andmehoidmiseks, kasutada SQL andmebaasi (PostgreSQL, MySQL jne) koos väikese hulga skriptidega, mis suunavad andmed salvestusse.

IT-hiiglased, nagu Google, Amazon, Facebook või Dropbox, esitavad kõrgemaid nõudmisi: teadmised Pythonist, Java'st või Scala'st.

• Kogemus suurte andmete töötlemisel: Hadoop, Spark, Kafka.
• Teadmised algoritmidest ja andmestruktuuridest.
• Tundmine jaotusüsteemide põhialustest.
• Kogemus andmete visualiseerimise tööriistade, nagu Tableau või ElasticSearch, osas on suur pluss.

Käib selge suundumus suurte andmete poole, eriti nende töötlemisel suurte koormuste korral. Nendel ettevõtetel on süsteemi rikke suhtes kõrgemad nõudmised.

Andmeinsenerid vs. andmeadlased

Olgu, see oli lihtne ja naljakas võrdlus (pole isiklik), kuid tegelikult on kõik palju keerulisem.

Esiteks peate teadma, et andmeadlase ja andmeinseneri rollide ja oskuste piiritlemises on piisavalt segadust. Te võite kergesti olla rikutud, millised oskused on vajalikud edukale andmeinsenerile. Loomulikult on teatud oskused, mis kattuvad mõlema rolliga. Kuid samas on ka terve hulk diametraalselt vastupidiseid oskusi.

Andmeadlus on tõsine asi, kuid liikume maailma suunas funktsionaalse andmeadluse poole, kus praktikandid suudavad teha oma analüüsi. Andmepõhiste torude ja integreeritud andmestruktuuride kasutamiseks on vaja andmeinsenersid, mitte teadlasi.

Kas andmete insener on rohkem nõutud kui andmete teadlane?

— Jah, sest enne kui saad porgandikoogi küpsetada, pead kõigepealt porgandid koguma, puhastama ja varuma!

Andmete insener mõistab programmeerimist paremini kui ükski andmete teadlane, kuid statistika osas on kõik täpselt vastupidine.

Aga siin on andmete inseneri eelis:

ilma temata/oneta prototüübi mudeli väärtus, mis enamasti koosneb kohutava kvaliteediga koodifragmendist Python failis, mille on andmete teadlane kuidagi loonud ja mis vähemalt mingit tulemust annab, kaldub nulli.

Ilma andmete insenerita ei saa see kood kunagi projektiks ning ei ühtegi äriprobleemi ei suudeta tõhusalt lahendada. Andmete insener püüab sellest kõik toote muuta.

Põhiteadmised, mida andmete insener peab teadma

Kuna, kui see töö äratab teises valguse ja te olete täis entusiasm — te suudate õppida seda, te suudate omandada kõik vajalikud oskused ja saada tõeliseks rock-staariks andmeinsenerite alal. Ja jah, te saate seda teha isegi ilma programmeerimisoskusteta või muude tehniliste teadmisteta. See on keeruline, kuid võimalik!

Millised on esimesed sammud?

Te peaksite omama üldist ettekujutust, mis on mis.

Esiteks, andmeinseneriteadus kuulub infotehnoloogia valdkonda. Täpsemalt öeldes — te peaksite mõistma tõhusaid algoritme ja andmestruktuure. Teiseks, kuna andmeinsenerid töötavad andmetega, on vajalik mõista andmebaaside tööpõhimõtteid ja nende aluseks olevaid struktuure.

Näiteks tavalised B-puu SQL andmebaasid põhinevad B-puu andmestruktuuril, samuti tänapäevastes jaotatud ladustamisplatsides LSM-puul ja muudel hash-tabelite modifikatsioonidel.

* Need sammud põhinevad suurepärasel artiklil Adil Hashtamovilt. Nii et kui te räägite vene keelt, toetage seda autorit ja lugege tema postitust.

1. Algoritmid ja andmestruktuurid

Õige andmestruktuuri kasutamine võib oluliselt parandada algoritmi jõudlust. Idee järgi peaksime kõik õppima andmestruktuure ja algoritme meie koolides, kuid see harva kunagi kajastub. Igatahes pole kunagi liiga hilja tutvuda.
Nii et siin on minu lemmik tasuta kursused, et õppida andmestruktuure ja algoritme:

• Lihtsatest keerulisteni: Andmestruktuurid (Udemy)
• Algoritmid, Osa I (Coursera)
• Algoritmid, Osa II (Coursera)

Ja ärge unustage klassikalist teost algoritmidest Thomas Cormenilt — Algoritmide sissejuhatus. See on ideaalne käsiraamat, kui peate oma mälu värskendama.

• Oma oskuste parandamiseks kasutage Leetcode.

Samuti võite süveneda andmebaaside maailma Carnegie Melloni Ülikooli suurepäraste videote kaudu Youtube'is:

• Sissejuhatus andmebaasisüsteemidesse.
• Edasijõudnud andmebaasisüsteemid.

2. SQL-i õppimine

Kogu meie elu on andmed. Ja et neid andmeid andmebaasist välja tuua, tuleb teil nendega ühel keelel "rääkida".

SQL (Structured Query Language — struktureeritud päringute keel) on andmete valdkonnas suhtlemise keel. Ükskõik, mida keegi ütleb, on SQL elanud, elab ja elab veel väga pikka aega.

Kui olete pikka aega arendustegevuses olnud, olete tõenäoliselt märganud, et kuulujutud SQL-i kiirest surmast ilmuvad perioodiliselt. Keel loodi 70. aastate alguses ning on siiani väga populaarne analüütikute, arendajate ja lihtsalt entusiastide seas.
Ilma SQL-i teadmata andmete inseneri valdkonnas ei ole midagi teha, kuna peate paratamatult looma päringuid andmete ekstraheerimiseks. Kõik kaasaegsed suurandmete ladustamised toetavad SQL-i:

• Amazon Redshift
• HP Vertica
• Oracle
• SQL Server

… ja palju teisi.

Suurte andmekoguste analüüsimiseks jaotatud süsteemides, nagu HDFS, on välja mõeldud SQL-mehhanismid: Apache Hive, Impala jms. Nähte, see ei kavatse kuhugi minna.

Kuidas SQL-i õppida? Lihtsalt tee seda praktikas.

Selle jaoks soovitaksin tutvuda suurepärase tasuta õpikuga, mille autor on Mode Analytics.

1. Keskmine SQL-i tase
2. Andmete ühendamine SQL-is

Nende kursuste eripära on interaktiivne keskkond, kus saate SQL-päringuid otse brauseris kirjutada ja käitada. Ressurss Modern SQL on kindlasti kasulik. Ja saate neid teadmisi rakendada Leetcodi ülesannetes andmebaaside osas.

3. Programmeerimine Pythonis ja Java/Scala

Miks tasub õppida programmeerimiskeelt Python, olen juba kirjutanud artiklis Python vs R. Parima tööriista valik AI, ML ja andmeteaduse jaoks. Mis puutub Java ja Scala, siis enamus suurte andmemahtude salvestamise ja töötlemise tööriistu on kirjutatud just nende keeltega. Näiteks:

• Apache Kafka (Scala)
• Hadoop, HDFS (Java)
• Apache Spark (Scala)
• Apache Cassandra (Java)
• HBase (Java)
• Apache Hive (Java)

Nende tööriistade toimimise mõistmiseks peate teadma keeli, milles need on kirjutatud. Scala funktsionaalne lähenemine võimaldab tõhusalt lahendada andmete paralleeltöötluse ülesandeid. Paraku ei saa Python kiirusest ja paralleelsest töötlemisest rääkida. Üldiselt mõjutab mitme keele ja programmeerimisparadigma tundmine positiivselt probleemide lahendamise lähenemisviisi laiust.

Scala keele süvitsi minekuks võite lugeda Scala programmeerimine keele autorilt. Samuti avaldas Twitter hea sissejuhatava juhendi — Scala Kool.

Mis puutub Pythonisse, ma arvan, Fluent Python on parim keskastme raamat.

4. Suurte andmete tööriistad

Siin on nimekiri kõige populaarsematest tööriistadest suures andme maailmas:

• Apache Spark
• Apache Kafka
• Apache Hadoop (HDFS, HBase, Hive)
• Apache Cassandra

Rohkem teavet suurte andmeplokkide ehitamise kohta leiate sellest hämmastavast interaktiivsest keskkonnast. Kõige populaarsemad tööriistad on Spark ja Kafka. Neid tasub kindlasti õppida, eelistatavalt mõista, kuidas need seestpoolt töötavad. Jay Kreps (Kafka kaasautor) avaldas 2013. aastal monumentaalse teose The Log: mida iga tarkvaraarendaja peab teadma andmete reaalajas ühendamise abstraktsioonist, muide, selle talmudi põhijooni kasutati Apache Kafka loomisel.

• Hadoopi sissejuhatuseks võib olla Hadoopi täielik juhend (tasuta).
• Minu jaoks on kõige täielikum juhend Apache Sparkile — Spark: täielik juhend.

5. Pilveteenused

Ükskõik millise pilveplatvormi tundmine on andmeinseneri ametikoha taotlejatele esitatud põhivõimetuste loendis. Tööandjad eelistavad Amazon Web Services'i, teisel kohal on Google'i pilveplatvorm ja kolmandat kohta jagab Microsoft Azure.

Te peaks hästi orienteeruma Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.

6. Jagatud süsteemid

Suure andmemahu töötlemine eeldab sõltumatute arvutiklasterite olemasolu, mille vaheline suhtlus toimub võrgus. Mida suurem on klaster, seda tõenäolisem on tema liikmete rikke. Et saada andmeekspert, peate süvenema jagatud süsteemide probleemidesse ja olemasolevatesse lahendustesse. See valdkond on vana ja keeruline.

Andrew Tanenbaum on selle valdkonna pioneer. Neile, kes ei karda teooriat, soovitan tema raamatut „Jagatud süsteemid“, alustajatele võib see tunduda keeruline, kuid see aitab teil tõeliselt oma oskusi lihvida.

Olen arvamusel et „Andmekasutusega rakenduste projekteerimine“ autoriks on Martin Kleppmann kõige parem sissejuhatav raamat. Ükskõik, kas Martinil on suurepärane blogi. Tema töö aitab struktureerida teadmisi kaasaegse andmete salvestamise ja töötlemise infrastruktuuri ehitamise kohta.
Neile, kes armastavad videoid vaadata, on YouTube'is kursus Jaotatud arvutisüsteemid.

7. Andmevood

Andmevood on see, ilma milleta ei saa te andmeinsenerina elada.

Suure osa ajast loob andmeinsener nn andmevooge, see tähendab andmete edastamise protsessi loomist ühest kohast teise. Need võivad olla kasutuslood, mis suunavad välisteenuse API-le või teevad SQL-päringu, täiendavad andmeid ja paigutavad need kesksetesse salvestuskohtadesse (andmehoidlad) või struktureerimata andmete ladustamisse (andmejärved).

Kokkuvõtteks: andmeinseneri peamine kontrollnimekiri

Kokkuvõtteks on vajalik hea arusaam järgmistest:

• Teabe süsteemid;
• Tarkvaraarendus (Agile, DevOps, disainitehnika, SOA);
• Jaotatud süsteemid ja paralleelne programmeerimine;
• Andmebaaside alused — planeerimine, projekteerimine, haldamine ja vigade parandus;
• Katsedegedeerimine — A/B-testid kontseptsioonide tõestamiseks, süsteemide usaldusväärsuse ja jõudluse määramiseks ning usaldusväärsete lahenduste kiireks käitamiseks.

Need on vaid mõned nõuded, et saada andmeinseneriks, seega tutvuge andmesüsteemide, infosüsteemide, pideva tarnimise/deployimise/integratsiooni, programmeerimiskeelte ja teiste IT-teemadega (mitte kõikides ainetes).

Ja lõpuks, viimane, kuid ülimalt oluline asi, mille ma soovin öelda.

Teekond andmeinseneriks saamisel ei ole nii lihtne, nagu see esialgu tunduda võib. See ei anna andestust, frustreerib ja peate olema valmis selleks. Mõned hetked sellel teekonnal võivad teid kõikidest loobuma sundida. Aga see on tõeline töö ja õppimisprotsess.

Ärge lihtsalt kaunistage seda algusest peale. Kogu teekonna mõte on õppida võimalikult palju ja olla valmis uute väljakutsetega silmitsi seisma.
Siin on suurepärane pilt, millega ma kokku puutusin, mis illustreerib seda punkti hästi:

Ja, ärge unustage vältida läbipõlemist ning puhkama. See on samuti väga oluline. Edu!

Kuidas teile artikkel meeldis, sõbrad? Olete oodatud tasuta veebinarile, mis toimub juba täna kell 20.00. Veebiseminari raames arutame, kuidas luua tõhus ja skaleeritav andmete töötlemise süsteem väikesele ettevõttele või idufirmale minimaalsete kuludega. Praktika osana tutvume Google Cloudi andmete töötlemise tööriistadega. Nägemiseni!

Allikas: habr.com