Së bashku me Elena Gerasimovën, drejtore e fakultetit "" në Netology, vazhdojmë të shqyrtojmë se si ndërveprojnë me njëri-tjetrin dhe çfarë ndryshimesh kanë Data Scientist dhe Data Engineer.
Në pjesën e parë folëm .
NĂ« kĂ«tĂ« material do tĂ« flasim mbi njohuritĂ« dhe aftĂ«sitĂ« qĂ« duhet tĂ« kenĂ« specialistĂ«t, cilat arsime vlerĂ«sohen nga punĂ«dhĂ«nĂ«sit, si zhvillohen intervistat, si dhe sa fitojnĂ« inxhinierĂ«t e tĂ« dhĂ«nave dhe data scientistĂ«t.Â
ĂfarĂ« duhet tĂ« dinĂ« scientistĂ«t dhe inxhinierĂ«t
Arsimi përkatës për të dy specialistët është Computer Science.
Ădo specialist i tĂ« dhĂ«nave â data scientist ose analist â duhet tĂ« jetĂ« nĂ« gjendje tĂ« provojĂ« saktĂ«sinĂ« e konkluzioneve tĂ« tij. PĂ«r kĂ«tĂ« Ă«shtĂ« e domosdoshme njohuria e statistikĂ«s dhe matematikĂ«s bazĂ« qĂ« lidhet me statistikĂ«n.
Mësimi i makinave dhe mjetet e analizës së të dhënave janë të pashmangshme në botën moderne. Nëse mjetet e zakonshme nuk janë të disponueshme, duhet të kemi aftësi për të mësuar shpejt mjete të reja, për të krijuar skenare të thjeshta për automatizimin e detyrave.
ĂshtĂ« e rĂ«ndĂ«sishme tĂ« theksohet se specialisti i tĂ« dhĂ«nave duhet tĂ« pĂ«rcjellĂ« efektivisht rezultatet e analizĂ«s. KĂ«tu do ta ndihmojĂ« vizualizimi i tĂ« dhĂ«nave ose rezultatet e kĂ«rkimeve tĂ« kryera dhe verifikimit tĂ« hipotezave. SpecialistĂ«t duhet tĂ« jenĂ« nĂ« gjendje tĂ« krijojnĂ« diagrame dhe grafikĂ«, tĂ« pĂ«rdorin mjete vizualizimi, dhe tĂ« kuptojnĂ« dhe shpjegojnĂ« tĂ« dhĂ«nat nga paneli i kontrollit.
Për inxhinierin e të dhënave, tre fusha dalin në pah.
Algoritmet dhe strukturat e tĂ« dhĂ«nave. ĂshtĂ« e rĂ«ndĂ«sishme tĂ« praktikoni nĂ« shkruajturin e kodit dhe pĂ«rdorimin e strukturave dhe algoritmeve themelorĂ«:
- analiza e kompleksitetit të algoritmeve,
- aftĂ«sia pĂ«r tĂ« shkruar kod tĂ« thjeshtĂ« dhe tĂ« mirĂ«mbahet,Â
- punimi me grupe,
- përpunimi në kohë reale.
Baza dhe depozitat e të dhënave, Business Intelligence:
- ruajtja dhe përpunimi i të dhënave,
- projektimi i sistemeve të integruara,
- Data Ingestion,
- sistemet e skedarëve të shpërndarë.
Hadoop dhe Big Data. TĂ« dhĂ«nat po bĂ«hen gjithnjĂ« e mĂ« tĂ« mĂ«dha, dhe nĂ« horizontin e 3â5 vjetĂ«ve kĂ«to teknologji do tĂ« bĂ«hen tĂ« nevojshme pĂ«r çdo inxhinier. Plus:
- Data Lakes,
- puna me ofruesit e shërbimeve të cloud.
Mësimi makinerik do të përdoret gjithandej, dhe është e rëndësishme të kuptoni se cilat probleme biznesi do të ndihmojë të zgjidhni. Nuk është domosdoshmërisht të dini si të krijoni modele (kjo do të bëhet nga data scientistët), por duhet të dini se si t'i aplikoni ato dhe kërkesat përkatëse.
Sa fitojnë inxhinierët dhe scientistët
Të ardhurat e inxhinierëve të përpunimit të të dhënave
NĂ« praktikĂ«n ndĂ«rkombĂ«tare pagĂ« fillestare zakonisht Ă«shtĂ« rreth $100,000 nĂ« vit dhe rritet ndjeshĂ«m me pĂ«rvojĂ«n, sipas Glassdoor. PĂ«r mĂ« tepĂ«r, kompanitĂ« shpesh ofrojnĂ« opsione aksionesh dhe bonuse prej 5â15% nĂ« vit.
Në Rusi në fillim të karrierës, paga zakonisht nuk është më e vogël se 50,000 rubla në rajone dhe 80,000 në Moskë. Në këtë etapë nuk kërkohet përvojë, përveç trajnimeve të përfunduara.
Pas 1â2 vjetĂ«sh pune â periudha Ă«shtĂ« 90â100,000 rubla.
Periudha rritet nĂ« 120â160,000 pas 2â5 vjetĂ«sh. Shtohen faktorĂ« tĂ« tillĂ« si specializimi i kompanive tĂ« mĂ«parshme, madhĂ«sia e projekteve, puna me big data dhe tĂ« tjera.
Pas 5 vjetësh pune, është më e lehtë të kërkosh vende pune në departamente të ngjashme ose të aplikosh për pozita të specializuara, si:
- Arkitekt ose zhvillues udhĂ«heqĂ«s nĂ« bankĂ« ose telekom â rreth 250,000.
- Pre-Sales te njĂ« ofrues, me teknologjitĂ« me tĂ« cilat keni punuar mĂ« afĂ«r, â 200,000 plus mundĂ«sia e njĂ« bonus (1â1.5 milion rubla).Â
- EkspertĂ«t pĂ«r implementimin e aplikacioneve tĂ« biznesit Enterprise, si SAP, â deri nĂ« 350,000.
TĂ« ardhurat e data scientist-Ă«ve
raporti i tregut tĂ« analistĂ«ve nga "Hulumtime Normale" dhe agjencia e rekrutimit New.HR tregon se specialistĂ«t nĂ« Data Science fitojnĂ« mesatarisht mĂ« shumĂ« se analistĂ«t e specialiteteve tĂ« tjera.Â
NĂ« Rusi, paga fillestare e njĂ« data scientist-i me pak mĂ« shumĂ« se njĂ« vit pĂ«rvojĂ« Ă«shtĂ« nga 113,000 rubla.Â
Si eksperiencë pune tani merr parasysh edhe përfundimin e programeve të trajnimit.
Pas 1â2 vjetĂ«sh, njĂ« specialist i tillĂ« mund tĂ« fitojĂ« deri nĂ« 160,000.
PĂ«r njĂ« punonjĂ«s me pĂ«rvojĂ« pune nga 4â5 vjet, periudha rritet nĂ« 310,000.
Si zhvillohen intervistat
Në perëndim, diplomantët e programeve të trajnimit profesional kalojnë intervistën e parë mesatarisht pas 5 javësh pas përfundimit të trajnimeve. Rreth 85% gjejnë punë brenda 3 muajve.
Procesi i kalimit të intervistave për pozitat e inxhinierëve të të dhënave dhe data scientist-ëve nuk ndryshon ndjeshëm. Zakonisht përbëhet nga pesë etapa.
CV. Kandidatët me përvojë të mëparshme jo të profilit (për shembull, nga marketimi) duhet të përgatisin një letër të detajuar shoqëruese për çdo kompani ose të kenë rekomandime nga një përfaqësues i kësaj kompanie.
Screening teknik. Zakonisht bëhet përmes telefonit. Përbëhet nga një deri në dy pyetje të ndërlikuara dhe aq aq pyetje të thjeshta, që lidhen me stakun aktual të punëdhënësit.
Intervista HR. Mund të zhvillohet përmes telefonit. Në këtë hap, kandidatët vlerësohen për përgjithshmërinë dhe aftësinë për t'u komunikuar.
Intervista teknike. Shpesh zhvillohet në person. Në kompani të ndryshme, niveli i pozicioneve në administratën e punonjësve ndryshon, dhe emrat e pozicioneve mund të jenë të ndryshëm. Prandaj, në këtë hap, kontrollohen njohuritë teknike.
Intervista me drejtorin teknologjik / architektin kryesor. InxhinierĂ«t dhe shkencĂ«tarĂ«t janĂ« pozita strategjike, dhe pĂ«r shumĂ« kompani, gjithashtu tĂ« reja. ĂshtĂ« e rĂ«ndĂ«sishme qĂ« kolegu potencial tĂ« pĂ«lqehet nga menaxheri dhe tĂ« pĂ«rputhet me tĂ« nĂ« pikĂ«pamje.
ĂfarĂ« do tĂ« ndihmojĂ« shkencĂ«tarĂ«t dhe inxhinierĂ«t nĂ« rritjen e karrierĂ«s
Ka shumĂ« mjete tĂ« reja pĂ«r punĂ«n me tĂ« dhĂ«nat. Dhe pak njerĂ«z janĂ« gjithashtu tĂ« aftĂ« pĂ«r tĂ« gjithĂ«.Â
Shumë kompani nuk janë të gatshme të punësojnë punonjës pa përvojë. Megjithatë, kandidatët me një bazë minimale dhe njohuri mbi mjetet populare mund të fitojnë përvojën e nevojshme nëse mësojnë dhe zhvillohen vetë.
Cilësitë e dobishme për inxhinierët e të dhënave dhe shkencëtarët e të dhënave
Dëshira dhe aftësia për të mësuar. Nuk është e domosdoshme të nxitosh për përvojë të menjëhershme apo të ndryshosh punën për një mjet të ri, por duhet të jesh i gatshëm të kalosh në një fushë të re.
Përpjekja për automatizimin e proceseve rutinore. Kjo është e rëndësishme jo vetëm për produktivitetin, por edhe për mirëmbajtjen e cilësisë së lartë të të dhënave dhe shpejtësinë e dorëzimit të tyre te konsumatori.
Vëmendshmëria dhe kuptimi i 'çfarë është nën kapak' në procese. Një specialist që ka përvojë dhe njohje të thellë të proceseve do të zgjidhë problemin më shpejt.
PĂ«rveç njohurisĂ« sĂ« shkĂ«lqyer tĂ« algoritmeve, strukturave tĂ« tĂ« dhĂ«nave dhe pipeline-ve, duhet tĂ« mĂ«sosh tĂ« mendosh pĂ«r produktet â tĂ« shohĂ«sh arkitekturĂ«n dhe zgjidhjen e biznesit si njĂ« pamje tĂ« vetme.Â
Për shembull, është e dobishme të zgjidhni një shërbim të njohur dhe të krijoni një bazë të dhënash për të. Më pas, mendoni se si të zhvilloni ETL dhe DW që do ta mbushin atë me të dhëna, cilat do të jenë konsumatorët dhe çfarë është e rëndësishme për ta të dinë për të dhënat, si dhe si ndërveprojnë blerësit me aplikacionet: për kërkimin e punës dhe takimeve, qira makinash, aplikacione për podkaste, platforma edukative.
Pozitat e analistëve, shkencëtarëve të të dhënave dhe inxhinierëve janë shumë të afërta, kështu që kalimi nga një drejtim në tjetrin mund të bëhet më shpejt se nga fusha të tjera.
NĂ« çdo rast, ata qĂ« kanĂ« njĂ« sfond IT do ta kenĂ« mĂ« tĂ« lehtĂ« se ata qĂ« nuk e kanĂ«. NĂ« mesatare, njerĂ«zit e rritur tĂ« motivuar riformulohen dhe ndryshojnĂ« punĂ« çdo 1.5â2 vjet. Kjo Ă«shtĂ« mĂ« e lehtĂ« pĂ«r ata qĂ« studiojnĂ« nĂ« grup dhe me njĂ« mentor, krahasuar me ata qĂ« mbĂ«shteten vetĂ«m nĂ« burime tĂ« hapura.
Nga redaksia e Netologjisë
Nëse po shqyrtoni profesionin e Data Engineer-it ose Data Scientist-it, ju ftojmë të eksploroni programet e kurseve tona:
- Profesion i «». Â
- Profesion i «».
- Kursi «».
Burimi: habr.com
