🥇Data Engineer a Data Scientist: čo vedia a koľko zarábajú

Spolu s Elenou Gerasimovou, vedúcou fakulty „Data Science a analytika“ v Netologii pokračujeme vo zistení, ako spolu komunikujú a čím sa líšia Data Scientist a Data Engineer.

V prvej časti sme porozprávali o hlavných rozdieloch medzi Data Scientist a Data Engineer..

V tomto materiáli sa budeme venovať tomu, aké vedomosti a zručnosti by mali odborníci mať, aké vzdelanie cení zamestnávateľ, ako prebiehajú pohovory, a koľko zarábajú dátoví inžinieri a dátoví vedci.

Čo by mali vedieť vedci a inžinieri

Špecializované vzdelanie pre oboch odborníkov — Computer Science.

Každý odborník na dáta — dátový vedec alebo analytik — by mal vedieť obhajovať správnosť svojich záverov. Na to je nevyhnutné mať znalosti štatistiky a súvisiacej základnej matematiky..

Strojové učenie a nástroje na analýzu dát sú nevyhnutnými v súčasnom svete. Ak bežné nástroje nie sú dostupné, je potrebné mať zručnosti rýchleho osvojenia si nových nástrojov, vytvárania jednoduchých skriptov na automatizáciu úloh..

Dôležité je poznamenať, že odborník na dáta by mal účinne komunikovať výsledky analýzy. V tom mu pomôže vizualizácia dát alebo výsledkov vykonaných výskumov a testovania hypotéz. Odborníci by mali vedieť vytvárať diagramy a grafy, používať nástroje na vizualizáciu, chápať a vysvetľovať dáta z dashboardov.

Pre dátového inžiniera sú na prvom mieste tri oblasti.

Algoritmy a dátové štruktúry. Je dôležité získať prax v písaní kódu a používaní základných štruktúr a algoritmov:

analýza zložitosti algoritmov,
schopnosť písať zrozumiteľný, udržiavaný kód,
batch processing,
real-time processing.

Databázy a dátové sklady, Business Intelligence:

Uloženie a spracovanie dát,
navrhovanie komplexných systémov,
Data Ingestion,
roz distribučné súborové systémy.

Hadoop a Big Data. Dát sa stáva čoraz viac, a na horizonte 3–5 rokov budú tieto technológie potrebné pre každého inžiniera. Navyše:

Data Lakes,
práca s cloudovými poskytovateľmi.

Strojové učenie bude používané všade, a je dôležité pochopiť, aké obchodné úlohy to pomôže vyriešiť. Nie je nutné vedieť, ako robiť modely (s tým si poradia dátoví vedci), ale je potrebné rozumieť ich aplikácii a súvisiacim požiadavkám.

Koľko zarábajú inžinieri a vedci

Príjem inžinierov na spracovanie dát

V medzinárodnej praxi počiatočný plat obvykle činí 100 000 dolárov ročne a výrazne stúpa s skúsenosťami, podľa údajov z portálu Glassdoor. Okrem toho spoločnosti často poskytujú akciové opcie a ročné bonusy od 5 do 15%.

V Rusku na začiatku kariéry sa plat obvykle pohybuje od 50 tisíc rubľov v regiónoch a 80 tisíc v Moskve. V tejto fáze nie je potrebná skúsenosť, okrem absolvovania školenia.

O 1 až 2 roky práce — platový rozsah 90 až 100 tisíc rubľov.

Rozsah sa zvyšuje na 120 až 160 tisíc po 2 až 5 rokoch. Pridávajú sa faktory ako špecializácia predchádzajúcich spoločností, veľkosť projektov, práca s big data a iné.

Po 5 rokoch práce je jednoduchšie hľadať voľné pracovné miesta v príbuzných oddeleniach alebo reagovať na také úzko špecializované pozície, ako sú:

Architekt alebo vedúci vývojár v banke alebo telekomunikáciách — okolo 250 tisíc.

Pre-sales u dodávateľa, s ktorým ste najviac spolupracovali, — 200 tisíc plus možný bonus (1 až 1,5 milióna rubľov).

Experti na implementáciu podnikových obchodných aplikácií, ako SAP — až 350 tisíc.

Príjmy dátových vedcov

Štúdia Trh analytikov spoločnosti „Normálne výskumy“ a náborovej agentúry New.HR ukazuje, že odborníci na Data Science v priemere zarábajú viac ako analytici iných odborov.

V Rusku je počiatočný plat dátového vedca so skúsenosťami do jedného roka — od 113 tisíc rubľov.

Ako skúsenosť sa v súčasnosti zohľadňuje aj absolvovanie vzdelávacích programov.

O 1 až 2 roky taký odborník už môže zarábať až 160 tisíc.

Pre zamestnanca so skúsenosťami od 4 do 5 rokov sa platový rozsah zvyšuje na 310 tisíc.

Ako prebiehajú pohovory

Na západe absolventi profesijných vzdelávacích programov absolvujú prvý pohovor v priemere po 5 týždňoch od ukončenia štúdia. Približne 85% nájde prácu v priebehu 3 mesiacov.

Proces absolvovania pohovorov na pozície dátového inžiniera a dátového vedca sa prakticky nelíši. Zvyčajne sa skladá z piatich kôl.

Zhrnutie. Uchádzači s nešpecializovanou predchádzajúcou praxou (napríklad z marketingu) musia pre každú spoločnosť pripraviť podrobné sprievodný list alebo mať odporúčania od zástupcu tejto spoločnosti.

Technický screening. Zvyčajne prebieha telefonicky. Skladá sa z jedného až dvoch zložitých a rovnakého počtu jednoduchých otázok týkajúcich sa aktuálneho tech stacku zamestnávateľa.

HR pohovor. Môže sa uskutočniť telefonicky. V tomto kroku sa kandidát preveruje na všeobecnú adekvátnosť a schopnosť komunikovať.

Technické pohovor. Najčastejšie sa koná osobne. V rôznych spoločnostiach sa úroveň pozícií v pracovnej náplni líši a názvy pozícií môžu byť rôzne. Preto sa v tomto kroku preverujú predovšetkým technické znalosti.

Pohovor s technickým riaditeľom / hlavným architektom. Inžinier a vedec sú strategické pozície a pre mnohé spoločnosti sú navyše nové. Dôležité je, aby potenciálny kolega zapadol do tímu a zdieľal názory s vedúcim.

Čo pomôže vedcom a inžinierom v kariérnom raste

Vzniklo mnoho nových nástrojov na prácu s dátami. A málo kto sa rovnako dobre vyzná vo všetkých.

Mnohé spoločnosti nie sú pripravené zamestnávať zamestnancov bez pracovných skúseností. Avšak kandidáti s minimálnym základom a znalosťou základných populárnych nástrojov môžu získať potrebné skúsenosti, ak sa budú učiť a rozvíjať sami.

Užitočné vlastnosti pre dátového inžiniera a dátového vedca

Túžba a schopnosť učiť sa. Nie je nevyhnutné ihneď sa honiť za skúsenosťami alebo meniť prácu kvôli novému nástroju, ale je dôležité byť pripravený prepnúť sa na novú oblasť.

Snaženie sa o automatizáciu rutinných procesov. To je dôležité nielen pre produktivitu, ale aj pre udržanie vysokej kvality dát a rýchlosti ich dodania k zákazníkovi.

Pozornosť a porozumenie tomu, "čo sa deje pod kapotou" procesov. Rýchlejšie vyrieši problém ten odborník, ktorý má prehľad a dôkladné znalosti procesov.

Okrem vynikajúcej znalosti algoritmov, dátových štruktúr a pipeline, je potrebné naučiť sa myslieť produktmi — vidieť architektúru a obchodné riešenie ako jeden celok.

Napríklad, je užitočné vziať akúkoľvek známy službu a vymyslieť pre ňu databázu. Potom rozmýšľať, ako vyvinúť ETL a DW, ktoré ju naplnia dátami, akí budú spotrebitelia a čo je pre nich dôležité vedieť o dátach, ako aj ako interactujú zákazníci s aplikáciami: na hľadanie práce a zoznamovanie, prenájom áut, aplikácia na podcasty, vzdelávacia platforma.

Pozície analytika, dátového vedca a inžiniera sú veľmi blízke, preto je prechod z jedného smeru na druhý rýchlejší ako z iných oblastí.

V každom prípade bude mať ktokoľvek s IT pozadím výhodu oproti tým, ktorí ho nemajú. Priemerne sa dospelí motivovaní ľudia rekvalifikujú a menia zamestnanie každé 1,5‒2 roky. Je to ľahšie pre tých, ktorí študujú v skupine a s mentorom, v porovnaní s tými, ktorí sa spoliehajú len na otvorené zdroje.