🥇 Data Engineer e Data Scientist: cosa sanno fare e quanto guadagnano

Insieme a Elena Gerasimova, responsabile del Dipartimento "Data Science e analisi" in Netology, continuiamo a esplorare come interagiscono e quali sono le differenze tra Data Scientist e Data Engineer.

Nella prima parte abbiamo parlato delle principali differenze tra Data Scientist e Data Engineer.

In questo articolo discuteremo delle conoscenze e competenze che questi specialisti devono avere, del tipo di istruzione che i datori di lavoro apprezzano, di come si svolgono i colloqui e quanto guadagnano i data engineer e i data scientist.

Cosa devono sapere i scientist e gli engineer

L'istruzione specifica per entrambi i professionisti è la Computer Science.

Qualsiasi professionista dei dati — data scientist o analista — deve saper dimostrare la correttezza delle proprie conclusioni. Per fare ciò, è fondamentale avere conoscenze di statistica e matematica di base collegata alla statistica..

L'apprendimento automatico e gli strumenti di analisi dei dati sono indispensabili nel mondo moderno. Se gli strumenti consueti non sono disponibili, è necessario avere abilità nell'apprendimento rapido di nuovi strumenti, nella creazione di semplici script per l'automazione delle attività..

È importante sottolineare che uno specialista in elaborazione dati deve comunicare efficacemente i risultati dell'analisi. In questo, la visualizzazione dei dati o i risultati delle ricerche effettuate e la verifica di ipotesi possono risultare utili. Gli specialisti devono saper creare diagrammi e grafici, utilizzare strumenti di visualizzazione e interpretare i dati dai dashboard.

Per un ingegnere dei dati, ci sono tre settori principali.

Algoritmi e strutture dati. È fondamentale fare pratica nella scrittura di codice e nell'uso delle principali strutture e algoritmi:

analisi della complessità degli algoritmi,
capacità di scrivere codice chiaro e manutenibile,
elaborazione batch,
elaborazione in tempo reale.

Basi di dati e archiviazione, Business Intelligence:

memorizzazione e trattamento dei dati,
progettazione di sistemi integrati,
Data Ingestion,
sistemi di file distribuiti.

Hadoop e Big Data. I dati stanno crescendo continuamente e nel giro di 3-5 anni queste tecnologie diventeranno indispensabili per ogni ingegnere. Inoltre:

Data Lakes,
lavorare con i fornitori cloud.

Machine Learning sarà ampiamente utilizzato, ed è importante capire quali sfide aziendali aiuterà a risolvere. Non è necessario saper creare modelli (questo può essere fatto dai data scientist), ma è fondamentale comprenderne l'applicazione e i requisiti associati.

Quanto guadagnano gli ingegneri e i scientist

Reddito degli ingegneri di data processing

Nella pratica internazionale lo stipendio iniziale è generalmente di $100.000 all'anno e aumenta notevolmente con l'esperienza, secondo Glassdoor. Inoltre, le aziende spesso offrono opzioni sulle azioni e bonus annuali che variano dal 5 al 15%.

In Russia all'inizio della carriera, lo stipendio è generalmente non inferiore a 50.000 rubli nelle regioni e 80.000 a Mosca. In questa fase non è richiesta esperienza, salvo l'addestramento completato.

Dopo 1-2 anni di lavoro — la fascia è di 90-100.000 rubli.

La fascia aumenta a 120-160.000 dopo 2-5 anni. Fattori come la specializzazione delle aziende precedenti, la dimensione dei progetti, il lavoro con big data e altro ancora sono rilevanti.

Dopo 5 anni di lavoro, è più facile cercare posizioni in reparti correlati o candidarsi a posizioni altamente specializzate come:

Architetto o sviluppatore senior in banca o telecomunicazioni — circa 250.000.

Pre-vendite con il fornitore la cui tecnologia hai utilizzato di più — 200 mila più possibile bonus (1‒1,5 milioni di rubli).

Esperti nell'implementazione di applicazioni aziendali Enterprise, come SAP — fino a 350 mila.

Reddito dei data scientist

Studio Il mercato degli analisti secondo l'azienda 'Normali ricerche' e l'agenzia di reclutamento New.HR mostra che i professionisti in Data Science guadagnano mediamente di più rispetto agli analisti di altre specializzazioni.

In Russia, lo stipendio iniziale di un data scientist con meno di un anno di esperienza è di almeno 113 mila rubli.

Attualmente, anche la partecipazione a programmi di formazione viene considerata come esperienza di lavoro.

Dopo 1‒2 anni, un professionista del genere può già guadagnare fino a 160 mila.

Per un dipendente con 4‒5 anni di esperienza, la fascia salariale aumenta fino a 310 mila.

Come si svolgono i colloqui

In Occidente, i laureati di programmi di formazione professionale sostengono il primo colloquio in media dopo 5 settimane dal termine degli studi. Circa l'85% trova lavoro entro 3 mesi.

Il processo di colloqui per le posizioni di ingegnere dei dati e data scientist è praticamente identico. Di solito consiste in cinque fasi.

Riepilogo. I candidati con esperienza professionale non corrispondente (ad esempio, nel marketing) devono preparare una lettera di accompagnamento dettagliata per ogni azienda o avere raccomandazioni da parte di un rappresentante di quell'azienda.

Screening tecnico. Di solito si svolge per telefono e consiste in una o due domande complesse e altrettante semplici riguardanti lo stack attuale del datore di lavoro.

Colloquio HR. Può svolgersi per telefono. In questa fase si verifica la reattività generale del candidato e la sua capacità di comunicare.

Colloquio tecnico. Di solito si svolge di persona. Nei vari aziende il livello delle posizioni può variare e i titoli possono differire. Pertanto, in questa fase vengono verificate le conoscenze tecniche.

Colloquio con il direttore tecnico / architetto principale. Gli ingegneri e i data scientist sono posizioni strategiche, e per molte aziende sono anche nuove. È importante che il potenziale collega piaccia al responsabile e condivida le sue opinioni.

Cosa può aiutare i data scientist e gli ingegneri nella loro crescita professionale

Ci sono molti nuovi strumenti per lavorare con i dati. Pochi comprendono altrettanto bene tutti.

Molte aziende non sono pronte a assumere persone senza esperienza. Tuttavia, candidati con una base minima e conoscenza delle principali strumenti popolari possono acquisire l'esperienza necessaria se si impegnano a imparare e svilupparsi autonomamente.

Qualità utili per un data engineer e un data scientist

Desiderio e capacità di apprendere. Non è necessario rincorrere immediatamente l'esperienza o cambiare lavoro per un nuovo strumento, ma è importante essere pronti a passare a un nuovo settore.

Impegno per l'automazione dei processi ripetitivi. Questo è importante non solo per la produttività, ma anche per mantenere alta la qualità dei dati e la velocità della loro consegna ai consumatori.

Attenzione e comprensione di «cosa c'è sotto il cofano» nei processi. Più velocemente risolverà il problema il professionista che ha una buona visione e una conoscenza approfondita dei processi.

Oltre a una buona conoscenza di algoritmi, strutture dati e pipeline, è necessario imparare a pensare in termini di prodotti — vedere architettura e soluzione commerciale come un'unica immagine.

Ad esempio, è utile prendere un servizio noto e progettare un database per esso. Poi pensa a come sviluppare ETL e DW che lo riempiranno di dati, quali saranno i consumatori e cosa è importante sapere sui dati, oltre a come gli acquirenti interagiscono con le applicazioni: per cercare lavoro e fare incontri, noleggio auto, app per podcast, piattaforma educativa.

Le posizioni di analista, data scientist e ingegnere sono molto simili, quindi è possibile passare da un'area all'altra più rapidamente rispetto ad altri settori.

In ogni caso, chi ha un background IT avrà un vantaggio rispetto a chi non ce l'ha. In media, gli adulti motivati cambiano carriera e lavoro ogni 1,5-2 anni. Questo è più facile per coloro che studiano in gruppo e con un mentore, rispetto a quelli che si basano solo su fonti aperte.