🥇Data Engineer ja Data Scientist: mis vahet seal on?

Andmeinseneri ja andmespetsialisti ametid segatakse sageli. Igal ettevõttel on oma viis andmetega töötamiseks, erinevad analüüsieesmärgid ja arusaam, kes millise tööosa peab tegema, seetõttu on nõudmised igaühel erinevad.

Selgitame välja nende spetsialistide vahe, milliseid ärisihtmärke nad lahendavad, milliseid oskusi nad omavad ja kui palju nad teenivad. Materjal on ulatuslik, seega oleme jaganud selle kaheks väljaandeks.

Esimeses artiklis räägib Elena Gerasimova, «Andmete teadus ja analüüs» Netoloogia osakonna juht, milles seisneb vahe andmespetsialisti ja andmeinseneri vahel ning milliseid tööriistu nad kasutavad.

Kuidas erinevad inseneride ja teadlaste rollid

Andmeinsener on spetsialist, kes arendab, testib ja toetab andmetega seotud infrastruktuuri: andmebaasid, andmesalvestuskeskkonnad ja massiivse töötlemise süsteemid. Teiselt poolt on ta see, kes puhastab ja “viimistleb” andmeid, et analüütikud ja andmespetsialistid saaksid neid kasutada, see tähendab, et ta loob andmetöötluse voolusid.

Andmescientist loob ja õpetab ennustavaid (ja mitte ainult) mudeleid masinõppe ja närvivõrkude algoritmide abil, aidates ettevõtetel leida varjatud mustreid, prognoosida sündmuste arengut ja optimeerida võtmeäri protsesse.

Peamine erinevus andmescientisti ja andmeinseneri vahel on see, et nende eesmärgid on tavaliselt erinevad. Mõlemad töötavad selle nimel, et andmed oleksid kergesti kättesaadavad ja kvaliteetsed. Kuid andmescientist otsib vastuseid oma küsimustele ja testib hüpoteese andmestiku ökosüsteemis (nt Hadoopi baasil), samas kui andmeinsener loob andmevoo, et teenindada masinõppe algoritmi, mille on kirjutanud andmescientist, Spark klastris sama ökosüsteemi sees.

Andmeinsener toob ettevõttele väärtust, töötades meeskonnas. Tema ülesanne on olla tähtis lüli erinevate osaliste vahel: arendajatest kuni äriaruannete tarbijateni — ning suurendada analüütikute efektiivsust — alates turundus- ja tooteanalüütikutest kuni BI-ni.

Andme teadlane osaleb aktiivselt ettevõtte strateegias, teadmiste väljatöötamises, otsuste tegemises, automaatika algoritmide rakendamises ning andmetest väärtuse genereerimises.

Andmetega töötamine järgib GIGO (garbage in — garbage out) põhimõtet: kui analüütikud ja andme teadlased tegelevad ettevalmistamata ja potentsiaalselt vigaste andmetega, siis isegi kõige keerukamate analüüsialgoritmide korral on tulemused valed.

Andmeinsenerid lahendavad selle probleemi, ehitades andmete töötlemise, puhastamise ja transformeerimise voogusid, võimaldades andme teadlasel töötada kvaliteetsete andmetega.

Turul on palju tööriistu andmetega töötamiseks, mis katavad iga etapi: andmete tekkimisest kuni andmete esitlemiseni juhatuse seadistusele. Oluline on, et nende kasutamise otsus teeks insener, — mitte sellepärast, et see on moes, vaid sellepärast, et see tõeliselt aitab teistel osalistel protsessis.

Tingimisi: kui ettevõttel on vaja BI ja ETL-i — andmete laadimist ja aruannete värskendusi, on see tüüpiline pärand aluseks, millega andmeinsener peab tegelema (hea, kui tiimis on ka arhitekt).

Andmeinseneri kohustused

Andmete haldamiseks vajaliku infrastruktuuri arendamine, ehitamine ja hooldamine.
Vigade töötlemine ja usaldusväärsete andmetöötluskanalite loomine.
Struktureerimata andmete viimine erinevatest dünaamilistest allikatest analüütikute tööks vajalikku vormi.
Soovituste andmine andmete järjepidevuse ja kvaliteedi parandamiseks.
Andmearhitektuuri tagamine ja toetamine, mida kasutavad andeteadlased ja andmeanalüütikud.
Andmete töötlemine ja salvestamine järjestikuses ja efektiivses jaotatud klastris, kus on kümneid või sadu servereid.
Tehniliste kompromisside hindamine tööriistade jaoks, et luua lihtsaid, kuid usaldusväärseid arhitektuure, mis taluvad rikkeid.
Andmevoogude ja seotud süsteemide jälgimise ja toetamise tagamine (monitooringu ja häirete seadistamine).

Data Engineer'i spektra sees on veel üheks valdkonnaks ML insener, kes keskendub masinõppe mudelite viimisele rakendustesse ja kasutusse. Tihti on mudel, mis on saadud andmete teadlase poolt, osa uuringust ning võib tegelikes tingimustes mitte toimida.

Data Scientisti kohustused

Andmetest tunnuste väljavõtmine masinõppe algoritmide rakendamiseks.
Erinevate masinõppe tööriistade kasutamine mustrite prognoosimiseks ja klassifitseerimiseks andmetes.
Masinõppe algoritmide jõudluse ja täpsuse suurendamine täiendava häälestuse ja optimeerimise kaudu.
Tugevate hüpoteeside vormimine, mis vastavad ettevõtte strateegiale ja nõuavad katsetamist.

N nii Data Engineer kui ka Data Scientist panustavad olulisel määral andmekultuuri arendamisse, mis aitab ettevõttel teenida lisatulud või vähendada kulusid.

Milliste keelte ja tööriistadega töötavad insenerid ja teadlased?

Tänapäeval on andmetöötluse spetsialistide ootused muutunud. Varem koostasid insenerid suured SQL-päringud, kirjutasid käsitsi MapReduce'i ja töötlesid andmeid selliste tööriistadega nagu Informatica ETL, Pentaho ETL, Talend.

2020. aastal ei saa spetsialist hakkama ilma Python'i ja kaasaegsete arvutustööriistade (nt Airflow) tundmiseta ning pilveplatvormide tööpõhimõtteid mõistmata, et kasutada neid „raha säästmiseks” koos turvapõhimõtete järgimisega.

SAP, Oracle, MySQL, Redis - need on suurte ettevõtete andmeinseneri traditsioonilised tööriistad. Need on head, kuid litsentside maksumus on nii kõrge, et nende kasutamiseks on mõtet õppida vaid tööstusprojektides. Sellegipoolest on olemas tasuta alternatiiv Postgres'i näol - see on tasuta ja sobib mitte ainult õppimiseks.

Ajalooliselt on sageli olnud nõudlus Java ja Scala järele, kuigi tehnoloogiate ja lähenemiste arenguga on need keeled tagaplaanile jäämas.

Kuid hardcore BigData, nagu Hadoop, Spark ja ülejäänud tööriistade kogum, ei ole enam andmeinseneri jaoks kohustuslik; need on vaid tööriistad probleemide lahendamiseks, mida traditsiooniline ETL ei suuda lahendada.

Tendentsiks on teenused, mis võimaldavad tööriistade kasutamist ilma nende loomise keele tundmiseta (näiteks Hadoop Java teadmata), samuti valmis teenuste pakkumine voogandmete töötlemiseks (näiteks hääletuvastamine või pildituvastus videos).

Tööstuslikud lahendused nagu SAS ja SPSS on populaarsed, samas kui Tableau, Rapidminer, Stata ja Julia on samuti laialdaselt kasutatavad andmeanalüütikute jaoks kohalike ülesannete täitmiseks.

Analüütikutel ja andmeanalüütikatel on olnud võimalus ise andmevahelaid luua vaid paar aastat: näiteks saab lihtsate skriptide abil suunata andmeid PostgreSQL-i põhisesse salvestusse.

Tavaliselt jääb konveierite ja integreeritud andmestruktuuride kasutamine andmeinseneride valdkonda. Kuid täna on T-kujuliste spetsialistide – laiaulatuslike oskustega inimeste, kes valdavad erinevaid valdkondi – trend aktiivsem kui kunagi varem, kuna tööriistad muutuvad pidevalt lihtsamaks.

Miks peaks andmeinsener ja andmeanalüütik koostööd tegema?

Tiheas koostöös inseneridega saavad andmete teadlased keskenduda uurimistööle, arendades tööks valmis masinõppe algoritme.
Insenerid seevastu saavad keskenduda skaleeritavusele, andmete taaskasutusele ning tagada, et andmete sissetuleku ja väljamineku torud igas projektis vastavad globaalsele arhitektuurile.

Selline tööjaotus tagab järjekindluse eri spetsialistide vahel, kes töötavad erinevate masinõppe projektide kallal.

Koostöö võimaldab tõhusalt luua uusi tooteid. Kiirus ja kvaliteet saavutatakse tasakaalu kaudu teenuse loomise ja iga konkreetse vajaduse või projekti (kitsas spetsialiseerunud toru, välistest allikatest ühendamine) rakendamise vahel.

Tihe koostöö andmete teadlaste ja analüütikatega aitab inseneridel arendada analüütilisi ja uurimisoskusi, et kirjutada kvaliteetsemat koodi. See parandab teadmiste vahetust andmehoidlate ja andmejärvede kasutajate vahel, muutes projektid paindlikumaks ja tagades jätkusuutlikumad pikaajalised tulemused.

Ettevõtetes, kus püütakse arendada andmetöötluskultuuri ja luua äriprotsesse selle alusel, täiendavad andmete teadlane ja andmeinsener üksteist ning loovad tervikliku andmeanalüüsi süsteemi.

Järgmisel materjalis räägime, milline haridus peaks olema andmeinseneril ja andmete teadlastel, milliseid oskusi nad peaksid arendama ja kuidas turg välja näeb.