🥇Datu inženieris un Datu zinātnieks: kāda ir atšķirība?

Datu zinātnieka un datu inženiera profesijas bieži tiek jauktas. Katram uzņēmumam ir sava specifika darbā ar datiem, atšķirīgi mērķi to analīzei un atšķirīgs priekšstats, kurš speciālists ar kuru daļu darba jānodarbojas, tāpēc arī prasības katram ir savas.

Izpētīsim, kāda ir šo speciālistu atšķirība, kādas biznesa problēmas viņi risina, kādas prasmes viņiem ir un cik viņi pelna. Materiāls izrādījās liels, tāpēc mēs to sadalījām divās publikācijās.

Pirmajā rakstā Elena Gerasimova, "Datu zinātne un analitika" fakultātes vadītāja Netoloģijā, stāsta par atšķirību starp Datu zinātnieku un Datu inženieri un ar kādiem rīkiem viņi strādā.

Kā atšķiras inženieru un zinātnieku lomas

Datu inženieris ir speciālists, kurš, no vienas puses, izstrādā, testē un uztur datu apstrādes infrastruktūru: datu bāzes, krātuves un masu apstrādes sistēmas. No otras puses — tas, kurš attīra un "kārto" datus analītiķu un datu zinātnieku izmantošanai, tātad izveido datu apstrādes konveijerus.

Datu zinātnieks izveido un apmāca prognozējošos (un ne tikai) modeļus, izmantojot mašīnmācīšanās un neironu tīklu algoritmus, palīdzot biznesam atrast slēptas likumsakarības, prognozēt notikumu attīstību un optimizēt galvenos biznesa procesus.

Galvenā atšķirība starp Datu zinātnieku un Datu inženieri ir tā, ka parasti viņiem ir atšķirīgi mērķi. Abi strādā, lai dati būtu pieejami un kvalitatīvi. Bet Datu zinātnieks atrod atbildes uz saviem jautājumiem un pārbauda hipotezes datu ekosistēmā (piemēram, uz Hadoop bāzes), bet Datu inženieris izstrādā mašīnmācīšanās algoritma apkalpošanas cauruļvadu, ko uzrakstījis datu zinātnieks, Spark klasterī iekšējā tajā pašā ekosistēmā.

Datu inženieris nes vērtību biznesā, strādājot komandā. Viņa uzdevums ir būt svarīgai saitei starp dažādiem dalībniekiem: no izstrādātājiem līdz biznesa datu patērētājiem — un palielināt analītiķu produktivitāti — no mārketinga un produktu līdz BI.

Datu zinātnieks, no otras puses, aktīvi piedalās uzņēmuma stratēģijā un ieskatījumu gūšanā, lēmumu pieņemšanā, automatizācijas, modelēšanas algoritmu ieviešanā un vērtības ģenerēšanā no datiem.

Darba ar datiem pakļaujas GIGO principam (garbage in — garbage out): ja analītiķi un datu zinātnieki strādā ar neapstrādātiem un potenciāli nepareiziem datiem, tad pat visizsmalcinātākie analīzes algoritmi sniegs nepareizus rezultātus.

Datu inženieri risina šo problēmu, izveidojot datu apstrādes, attīrīšanas un transformācijas cauruļvadus, ļaujot datu zinātniekam strādāt ar kvalitatīviem datiem.

Tirgū ir daudz rīku datu apstrādei, kas aptver katru posmu: sākot no datu parādīšanās līdz to rādīšanai vadības panelī. Un ir svarīgi, lai lēmumu par to izmantošanu pieņem inženieris, — nevis tāpēc, ka tā ir modē, bet gan tāpēc, ka tas patiešām palīdzēs citiem procesa dalībniekiem.

Nosacīti: ja uzņēmumam jāapvieno BI un ETL — datu ielāde un ziņojumu atjaunināšana, šis ir tipisks mantojuma pamats, ar kuru būs jāstrādā Datu inženierim (īpaši labi, ja komandā viņam būs arī arhitekts).

Datu inženiera pienākumi

Datu darba infrastruktūras izstrāde, izveide un apkalpošana.
Kļūdu apstrāde un uzticamu datu apstrādes cauruļvadu izveide.
Neorganizētu datu no dažādiem dinamiskajiem avotiem pielāgošana analītiķu vajadzībām.
Ieteikumu sniegšana datu konsistences un kvalitātes uzlabošanai.
Datu arhitektūras nodrošināšana un uzturēšana, ko izmanto datu zinātnieki un analītiķi.
Datu apstrāde un uzglabāšana secīgi un efektīvi izplatītā klasterī uz desmitiem vai simtiem serveru.
Tehnisko kompromisu izvērtēšana rīkos, lai izveidotu vienkāršas, bet uzticamas arhitektūras, kas spēs izturēt neparedzētas situācijas.
Datu plūsmu un saistīto sistēmu uzraudzība un atbalsts (uzraudzības un brīdinājumu iestatīšana).

Pastāv arī cita specializācija Datu inženiera ceļā — ML inženieris. Īsumā, šie inženieri specializējas mašīnmācīšanās modeļu pielāgošanā rūpnieciskai ieviešanai un lietošanai. Bieži modelis, kas nāk no datu zinātnieka, ir pētījuma daļa un var nedarboties reālos apstākļos.

Datu zinātnieka pienākumi

Funkciju izguve no datiem mašīnmācīšanās algoritmu pielietošanai.
Dažādu mašīnmācības rīku izmantošana datu modeļu prognozēšanai un klasificēšanai.
Algoritmu mašīnmācībā veiktspējas un precizitātes palielināšana, optimizējot un pielāgojot algoritmus.
Spēcīgu hipotēžu izstrāde saskaņā ar uzņēmuma stratēģiju, kuras jātestē.

Gan Data Engineer, gan Data Scientist savieno ievērojams ieguldījums datu pārvaldības kultūras attīstībā, kas uzņēmumam ļauj gūt papildu peļņu vai samazināt izdevumus.

Ar kādiem valodām un rīkiem strādā inženieri un zinātnieki.

Šodien gaidas no datu apstrādātājiem ir mainījušās. Agrāk inženieri veidoja lielus SQL pieprasījumus, manuāli rakstīja MapReduce un apstrādāja datus ar tādiem rīkiem kā Informatica ETL, Pentaho ETL, Talend.

2020. gadā speciālistam ir nepieciešamas zināšanas par Python un mūsdienu aprēķinu rīkiem (piemēram, Airflow), kā arī izpratne par mākoņplatformu darbības principiem (to izmantošana, lai ietaupītu uz „dzelžiem”, vienlaikus ievērojot drošības principus).

SAP, Oracle, MySQL, Redis - tie ir tradicionāli inženiera datiem rīki lielās kompānijās. Tie ir labi, taču licenču izmaksas ir tik augstas, ka iemācīties strādāt ar tiem ir jēga tikai rūpnieciskos projektos. Tomēr ir bezmaksas alternatīva Postgres veidā - tas ir bez maksas un derīgs ne tikai mācībām.

Vēsturiski bieži tiek pieprasītas Java un Scala, lai gan ar tehnoloģiju un pieeju attīstību šie valodas atkāpjas otrajā plānā.

Tomēr hardcore BigData: Hadoop, Spark un citi rīki vairs nav obligāta prasība datu inženieriem, bet ir rīku veids, lai risinātu uzdevumus, kurus nav iespējams atrisināt ar tradicionālo ETL.

Populāras tendences ietver rīku izmantošanas pakalpojumus bez valodas zināšanām, kurā tie ir rakstīti (piemēram, Hadoop bez Java zināšanām), kā arī gatavu pakalpojumu nodrošināšanu plūsmas datu apstrādē (balss vai attēla atpazīšana video).

Populāri ir industriāli risinājumi no SAS un SPSS, kā arī Tableau, Rapidminer, Stata un Julia plaši izmanto datu zinātnieki vietējiem uzdevumiem.

Analītiķiem un datu zinātniekiem iespēja pašiem veidot datu caurules ir parādījusies tikai pirms pāris gadiem: piemēram, tagad var ar salīdzinoši vienkāršiem skriptiem nosūtīt datus uz PostgreSQL bāzes datu noliktavu.

Parasti konveijeru un integrēto datu struktūru izmantošana paliek datu inženieru ziņā. Taču šodien ir kā nekad spēcīgāks T-veida speciālistu trends — ar plašām zināšanām blakus jomās, jo rīki kļūst arvien vienkāršāki.

Kāpēc Datu inženieriem un Datu zinātniekiem strādāt kopā

Strādājot ciešā sadarbībā ar inženieriem, Datu zinātnieki var koncentrēties uz pētniecisko daļu, izstrādājot gatavus algoritmus mašīnmācīšanās procesiem.
Savukārt inženieriem ir jāfokusējas uz mērogojamību un datu atkārtotu izmantošanu, kā arī jāpārliecinās, ka datu ievades un izvades caurules katrā projektā atbilst globālajai arhitektūrai.

Šāda pienākumu sadale nodrošina darbību saskaņotību starp speciālistu grupām, kas strādā pie dažādiem mašīnmācīšanās projektiem.

Sadarbība palīdz efektīvi izstrādāt jaunus produktus. Ātrums un kvalitāte tiek sasniegta, pateicoties līdzsvaram starp pakalpojuma izveidi visiem (globāla datu noliktava vai paneļu integrācija) un konkrētā pieprasījuma vai projekta (šaurās specializācijas caurule, ārējo avotu pieslēgšana) realizāciju.

Tuva sadarbība ar datu zinātniekiem un analītiķiem palīdz inženieriem attīstīt analītiskās un pētnieciskās prasmes labāku kodu rakstīšanai. Uzlabojas zināšanu apmaiņa starp datu noliktavu un datu ezeru lietotājiem, padarot projektus elastīgākus un nodrošinot ilgstošākus rezultātus.

Uzņēmumos, kuri cenšas attīstīt datu darba kultūru un veidot bizness procesus uz to pamata, Datu zinātnieki un Datu inženieri papildina viens otru un veido pilnvērtīgu datu analīzes sistēmu.

Nākamajā materiālā pastāstīsim par to, kādam jābūt Datu inženiera un Datu zinātnieka izglītībai, kādas prasmes jāattīsta un kāda ir tirgus situācija.