🥇Data Engineer i Data Scientist: što znaju i koliko zarađuju

Zajedno s Elenom Gerasimovom, voditeljicom fakulteta „Data Science i analitika“ u Netologiji nastavljamo istraživati kako se međusobno povezuju i čime se razlikuju Data Scientist i Data Engineer.

U prvom dijelu govorili smo o osnovnim razlikama između Data Scientista i Data Engineera.

U ovom materijalu razgovarat ćemo o tome kakva znanja i vještine trebaju imati stručnjaci, kakvo obrazovanje poslodavci cijene, kako prolaze razgovori za posao, te koliko zarađuju data inženjeri i data scienisti.

Što trebaju znati scientisti i inženjeri

Strukovno obrazovanje za oba stručnjaka – Computer Science.

Svaki stručnjak za podatke – data scientist ili analitičar – mora znati dokazati ispravnost svojih zaključaka. Za to je neophodno poznavanje statistike i povezane osnovne matematike.

Strojno učenje i alati za analizu podataka su neizostavni u modernom svijetu. Ako uobičajeni alati nisu dostupni, potrebno je imati vještine brzog učenja novih alata, stvaranja jednostavnih skripti za automatizaciju zadataka.

Važno je naglasiti da stručnjak za obradu podataka mora učinkovito prenijeti rezultate analize. U tome će mu pomoći vizualizacija podataka ili rezultata provedenih istraživanja i testiranja hipoteza. Stručnjaci trebaju znati kreirati dijagrame i grafikone, koristiti alate vizualizacije, razumjeti i objašnjavati podatke iz nadzornih ploča.

Za inženjera podataka tri su područja posebno važna.

Algoritmi i strukture podataka. Važno je uvježbati pisanje koda i korištenje osnovnih struktura i algoritama:

analiza složenosti algoritama,
sposobnost pisanja razumljivog, održivog koda,
paketna obrada,
obrada u stvarnom vremenu.

Baze i skladišta podataka, Business Intelligence:

pohrana i obrada podataka,
projektiranje cjelovitih sustava,
Data Ingestion,
distribuirani datotečni sustavi.

Hadoop i Big Data. Podataka je sve više, a u horizontu od 3‒5 godina ove tehnologije postat će neophodne svakom inženjeru. Osim toga:

Data Lakes,
rada s cloud pružateljima.

Strojno učenje će se koristiti svugdje, i važno je razumjeti koje poslovne zadatke može pomoći riješiti. Nije nužno znati modelirati (s tim će se baviti data scientisti), ali treba razumjeti njihovu primjenu i pripadajuće zahtjeve.

Koliko zarađuju inženjeri i scientisti

Prihod inženjera za obradu podataka

U međunarodnoj praksi početna plaća obično iznosi 100 000 USD godišnje i značajno raste s iskustvom, prema podacima Glassdoora. Osim toga, tvrtke često nude opcije dionica i godišnje bonuse od 5 do 15%.

U Rusiji na početku karijere plaća obično nije manja od 50 tisuća rubalja u regijama i 80 tisuća u Moskvi. U ovoj fazi nije potrebno iskustvo osim završenog obrazovanja.

Nakon 1 do 2 godine rada — raspon je 90 do 100 tisuća rubalja.

Raspon se povećava na 120 do 160 tisuća nakon 2 do 5 godina. Dodaju se faktori kao što su specijalizacija prethodnih tvrtki, veličina projekata, rad s velikim podacima i drugo.

Nakon 5 godina rada lakše je tražiti poslove u srodnim odjelima ili se prijaviti na specijalizirane pozicije kao što su:

Arhitekt ili vodeći programer u banci ili telekomunikacijama — oko 250 tisuća.

Pre-Sales u dobavljaču čije ste tehnologije najbolje poznavali — 200 tisuća plus mogući bonus (1 do 1,5 milijuna rubalja).

Stručnjaci za implementaciju Enterprise poslovnih aplikacija, kao što su SAP — do 350 tisuća.

Prihod data scientista

Istraživanje tržišta analitičara tvrtke „Normalne analize“ i agencije za zapošljavanje New.HR pokazuje da stručnjaci za Data Science u prosjeku zarađuju više nego analitičari drugih struka.

U Rusiji početna plaća data scientista s manje od godinu dana iskustva — od 113 tisuća rubalja.

Kao iskustvo rada sada se također priznaju završeni programi obuke.

Nakon 1 do 2 godine takav stručnjak već može zarađivati do 160 tisuća.

Za zaposlenika s 4 do 5 godina iskustva raspon se povećava na 310 tisuća.

Kako izgledaju intervjui

Na zapadu diplomirani studenti stručnih programa prolaze prvi intervju u prosjeku 5 tjedana nakon završetka obuke. Oko 85% pronalazi posao unutar 3 mjeseca.

Proces prolaska intervjua za pozicije inženjera podataka i data scientista praktički se ne razlikuje. Obično se sastoji od pet faza.

SažetakKandidatima s prethodnim neprofesionalnim iskustvom (npr. iz marketinga) potrebno je pripremiti detaljno motivacijsko pismo za svaku tvrtku ili imati preporuke od predstavnika te tvrtke.

Tehnička selekcijaObično se provodi putem telefona. Sastoji se od jednog do dva složena i toliko jednostavnih pitanja koja se odnose na trenutni tehnološki stek poslodavca.

HR intervjuMože se provoditi putem telefona. U ovoj fazi se kandidati procjenjuju na opću prikladnost i sposobnost komunikacije.

Tehnički intervjuNajčešće se odvija uživo. U različitim tvrtkama razine pozicija se razlikuju, a nazivi pozicija mogu biti različiti. Stoga se u ovoj fazi provjeravaju tehnička znanja.

Intervju s tehničkim direktorom / glavnim arhitektomInženjeri i znanstvenici su strateške pozicije, a za mnoge tvrtke su to ujedno i nove pozicije. Važno je da potencijalni kolega odgovara shvaćanjima rukovoditelja.

Što može pomoći znanstvenicima i inženjerima u karijeri

Pojavilo se dovoljno novih alata za rad s podacima. Malo je onih koji jednako dobro razumiju sve.

Mnoge tvrtke nisu spremne zapošljavati zaposlenike bez radnog iskustva. Međutim, kandidati s minimalnim osnovama i znanjem popularnih alata mogu steći potrebno iskustvo ako se sami obrazuju i razvijaju.

Korisne osobine za data inženjera i data znanstvenika

Želja i sposobnost učenjaNije nužno odmah žuriti za iskustvom ili mijenjati posao zbog novog alata, ali treba biti spreman prebaciti se na novu oblast.

Težnja ka automatizaciji rutinskih procesaTo je važno ne samo za produktivnost, već i za održavanje visoke kvalitete podataka i brzinu njihove dostave krajnjem korisniku.

Pažnja i razumijevanje "što se događa iza kulisa" procesaBrže će riješiti problem onaj stručnjak koji ima pregled i detaljno poznavanje procesa.

Osim izvrsnog poznavanja algoritama, struktura podataka i pipeline-ova, potrebno je naučiti razmišljati kroz proizvode — vidjeti arhitekturu i poslovno rješenje kao jedinstvenu sliku.

Na primjer, korisno je uzeti bilo koju poznatu uslugu i osmisliti bazu podataka za nju. Zatim se treba razmisliti o tome kako razviti ETL i DW koji će je napuniti podacima, tko će biti korisnici i što im je važno znati o podacima, kao i kako kupci komuniciraju s aplikacijama: za traženje poslova i upoznavanje, iznajmljivanje automobila, aplikacija za podcaste, obrazovna platforma.

Pozicije analitičara, data znanstvenika i inženjera su vrlo bliske, stoga se prelazak iz jednog smjera u drugi može odvijati brže nego iz drugih područja.

U svakom slučaju, ljudima s IT pozadinom će biti lakše nego onima koji je nemaju. U prosjeku, odrasli motivirani ljudi se prekvalificiraju i mijenjaju posao svake 1,5‒2 godine. To je lakše onima koji uče u grupi i s mentorom, u usporedbi s onima koji se oslanjaju isključivo na otvorene izvore.