🥇Data Engineer och Data Scientist: vad de kan och vad de tjänar

Tillsammans med Elena Gerasimova, chef för fakulteten "Data Science och analytik" på Netology fortsätter vi att utforska hur Data Scientist och Data Engineer samverkar och hur de skiljer sig åt.

I första delen berättade vi om de grundläggande skillnaderna mellan Data Scientist och Data Engineer..

I detta material kommer vi att diskutera vilka kunskaper och färdigheter specialister bör ha, vilken utbildning som värderas av arbetsgivarna, hur anställningsintervjuer genomförs, samt hur mycket dataingenjörer och data scientists tjänar.

Vad måste scientists och ingenjörer veta

Relevant utbildning för båda specialister är Computer Science.

Varje data specialist – antingen data scientist eller analytiker – måste kunna bevisa riktigheten i sina slutsatser. För detta krävs kunskaper i statistik och grundläggande matematik relaterad till statistik..

Maskininlärning och dataanalysverktyg är oumbärliga i den moderna världen. Om vanliga verktyg inte är tillgängliga, behöver man ha färdigheter för snabbt lärande av nya verktyg, skapande av enkla skript för automatisering av uppgifter..

Det är viktigt att påpeka att en data specialist effektivt ska kunna kommunicera resultaten av sin analys. Här kan data visualisering eller resultat av genomförda studier och hypotesprövningar hjälpa. Specialister måste kunna skapa diagram och grafer, använda visualiseringsverktyg, samt förstå och förklara data från dashboards.

För dataingenjören framträder tre områden som främsta fokus.

Algoritmer och datastrukturer. Det är viktigt att få erfarenhet av att skriva kod och använda grundläggande datastrukturer och algoritmer:

analys av algoritmers komplexitet,
förmåga att skriva tydlig, underhållbar kod,
batchbearbetning,
bearbetning i realtid.

Databaser och datalager, Business Intelligence:

lagring och bearbetning av data,
design av integrerade system,
Data Ingestion,
distribuerade filsystem.

Hadoop och Big Data. Datamängderna växer ständigt, och inom 3‒5 år kommer dessa teknologier att bli nödvändiga för varje ingenjör. Dessutom:

Data Lakes,
arbete med molnleverantörer.

Maskininlärning kommer att användas överallt, och det är viktigt att förstå vilka affärsproblem de kan lösa. Det är inte nödvändigt att kunna skapa modeller (det kan data scientists ta hand om), men man måste ha kännedom om deras tillämpningar och relaterade krav.

Hur mycket tjänar ingenjörer och scientists

Inkomst för dataåtervinning ingenjörer.

I internationell praxis är ingångslönen vanligtvis $100 000 per år och ökar betydligt med erfarenhet, enligt Glassdoor. Dessutom erbjuder företag ofta aktieoptioner och årliga bonusar på 5-15%.

I Ryssland i början av karriären ligger lönen vanligtvis inte under 50 000 rubel i regionerna och 80 000 i Moskva. På denna nivå krävs ingen erfarenhet, förutom genomförd utbildning.

Efter 1-2 år i arbete — spannet är 90-100 000 rubel.

Spannet ökar till 120-160 000 efter 2-5 år. Faktorer som specialisering på tidigare företag, projektens storlek, arbete med big data osv. läggs till.

Efter 5 års arbete är det lättare att söka jobb inom närliggande avdelningar eller att ansöka om sådana smalare specialiserade positioner som:

Arkitekt eller ledande utvecklare på en bank eller telekom — omkring 250 000.

Pre-Sales hos en leverantör vars teknologier du har arbetat mest med — 200 000 plus eventuell bonus (1-1,5 miljoner rubel).

Experter på implementering av Enterprise business applications, som SAP — upp till 350 000.

Inkomsten för data scientists

Studie från analysmarknaden av företaget «Normala studier» och rekryteringsbyrån New.HR visar att Data Science-specialister i genomsnitt får högre lön än analytiker inom andra specialiteter.

I Ryssland är ingångslönen för en data scientist med erfarenhet på upp till ett år — från 113 000 rubel.

Som arbetslivserfarenhet räknas numera även genomgången utbildningsprogram.

Efter 1-2 år kan en sådan specialist redan tjäna upp till 160 000.

För en medarbetare med erfarenhet från 4-5 år ökar spannet till 310 000.

Hur intervjuer genomförs

På väst, går nyutexaminerade från yrkesutbildningsprogram ofta på sin första intervju i genomsnitt 5 veckor efter avslutad utbildning. Cirka 85% hittar arbete inom 3 månader.

Processen för att genomgå intervjuer för datatekniker och data scientists skiljer sig knappt åt. Den består vanligtvis av fem steg.

Sammanfattning. Kandidater med orelaterad tidigare erfarenhet (till exempel från marknadsföring) måste för varje företag förbereda ett detaljerat följebrev eller ha rekommendationer från en representant för det företaget.

Teknisk screening. Genomförs vanligtvis per telefon. Består av en till två svåra och lika många enkla frågor som rör arbetsgivarens nuvarande teknikstack.

HR-intervju. Kan hållas via telefon. På detta stadium kontrolleras kandidaten för generell lämplighet och kommunikationsförmåga.

Tekniskt intervju. Hålls oftast personligen. Olika företag har olika nivåer på befattningar i sitt schema och namnen på positionerna kan skilja sig. På detta stadium testas därför just tekniska kunskaper.

Intervju med teknisk chef / huvudarkitekt. Ingenjörer och data scientists är strategiska positioner och ofta nya för många företag. Det är viktigt att potentiella kolleger faller chefen i smaken och har en gemensam syn.

Vad som hjälper data scientists och ingenjörer att växa i karriären

Det har dykt upp ganska många nya verktyg för databehandling. Och få är riktigt bra på alla.

Många företag är inte villiga att anställa personal utan erfarenhet. Men kandidater med en minimal grund och kunskap om populära verktyg kan få den erfarenhet som behövs, om de är villiga att lära sig och utvecklas självständigt.

Värdefulla egenskaper för dataingenjörer och data scientists

Vilja och förmåga att lära sig. Det är inte nödvändigt att jaga erfarenhet direkt eller byta jobb för ett nytt verktyg, men man måste vara beredd att gå över till ett nytt område.

Strävan efter att automatisera rutinprocesser. Detta är viktigt inte bara för produktiviteten utan också för att upprätthålla hög datakvalitet och hastighet i leveransen till konsumenten.

Uppmärksamhet och förståelse för "vad som finns under huven" hos processerna. Ett problem löses snabbare av den specialist som har en god överblick och grundlig kunskap om processerna.

Förutom utmärkta kunskaper om algoritmer, datatyper och pipelines, måste man lära sig tänka i produkter — se arkitektur och affärslösning som en enhetlig helhet.

Till exempel, det kan vara nyttigt att välja en känd tjänst och tänka ut en databas för den. Sedan överväga hur man utformar ETL och DW som fyller den med data, vilka konsumenter som finns och vad de anser vara viktigt att veta om datan, samt hur köpare interagerar med applikationerna: för jobbsökning och sociala nätverk, biluthyrning, podcast-appar, utbildningsplattformar.

Positionerna för analytiker, datavetare och ingenjörer ligger nära varandra, så övergången mellan dessa områden kan ske snabbare än mellan andra branscher.

I alla fall har personer med IT-bakgrund en fördel jämfört med dem utan. I genomsnitt byter vuxna motiverade individer jobb och utbildning var 1,5–2 år. Det är lättare för dem som studerar i grupp och med en mentor, jämfört med dem som enbart förlitar sig på öppna källor.