Insieme a Elena Gerasimova, responsabile del dipartimento «» in Netology continuiamo ad analizzare come interagiscono e quali sono le differenze tra Data Scientist e Data Engineer.
Nella prima parte abbiamo parlato .
In questo materiale discuteremo delle conoscenze e delle competenze che devono avere gli specialisti, quale istruzione è apprezzata dai datori di lavoro, come si svolgono i colloqui e quanto guadagnano i data engineer e i data scientist.
Cosa devono sapere i scientist e gli ingegneri
La formazione specialistica per entrambi gli specialisti è Computer Science.
Qualsiasi specialista dei dati - data scientist o analista - deve saper dimostrare la correttezza delle proprie conclusioni. Per fare ciò, è fondamentale conoscere statistica e matematica di base correlata alla statistica.
Il machine learning e gli strumenti di analisi dei dati sono indispensabili nel mondo moderno. Se gli strumenti familiari non sono disponibili, è necessario avere abilità nell'apprendimento rapido di nuovi strumenti, creazione di semplici script per l'automazione dei compiti.
È importante notare che uno specialista nell'analisi dei dati deve comunicare efficacemente i risultati dell'analisi. A questo lo aiuterà la visualizzazione dei dati o dei risultati delle ricerche condotte e della verifica delle ipotesi. Gli specialisti devono saper creare diagrammi e grafici, utilizzare strumenti di visualizzazione, comprendere e spiegare i dati dai dashboard.
Per un ingegnere dei dati, tre aree principali emergono.
Algoritmi e strutture dati. È importante acquisire familiarità con la scrittura di codice e l'uso delle principali strutture e algoritmi:
- analisi della complessità degli algoritmi,
- capacità di scrivere codice chiaro e manutenibile,
- elaborazione in batch,
- elaborazione in tempo reale.
Basi e archiviazione dei dati, Business Intelligence:
- archiviazione e elaborazione dei dati,
- progettazione di sistemi integrati,
- Data Ingestion,
- sistemi di file distribuiti.
Hadoop e Big Data. I dati stanno aumentando e nei prossimi 3-5 anni queste tecnologie saranno necessarie per ogni ingegnere. Inoltre:
- Data Lakes,
- lavoro con fornitori di cloud.
Apprendimento automatico sarà utilizzato ovunque ed è importante comprendere quali compiti aziendali possa aiutare a risolvere. Non è necessario saper creare modelli (questo sarà compito dei data scientist), ma bisogna capire la loro applicazione e i requisiti corrispondenti.
Quanto guadagnano ingegneri e data scientist
Reddito degli ingegneri di elaborazione dati
Nella pratica internazionale lo stipendio iniziale è solitamente di $100.000 all'anno e aumenta notevolmente con l'esperienza, secondo quanto riportato da Glassdoor. Inoltre, le aziende spesso offrono opzioni su azioni e bonus annuali che vanno dal 5 al 15%.
In Russia all'inizio della carriera, lo stipendio solitamente non è inferiore a 50.000 rubli nelle province e 80.000 a Mosca. In questa fase non è richiesta esperienza, salvo la formazione completata.
Dopo 1-2 anni di lavoro, il range è di 90-100.000 rubli.
Il range aumenta a 120-160.000 dopo 2-5 anni. Fattori come la specializzazione delle aziende precedenti, la dimensione dei progetti, il lavoro con big data e altro entrano in gioco.
Dopo 5 anni di lavoro, è più facile cercare posizioni in reparti correlati o candidarsi per posizioni specializzate, come:
- Architetto o sviluppatore senior in banca o telecomunicazioni — circa 250.000.
- Pre-Sales presso il fornitore con cui si è lavorato più a lungo — 200.000 più bonus possibile (1-1,5 milioni di rubli).
- Esperti nell'implementazione di applicazioni aziendali Enterprise, come SAP — fino a 350.000.
Reddito dei data scientist
il mercato degli analisti dell'azienda «Ricerche Normali» e l'agenzia di reclutamento New.HR mostrano che gli specialisti in Data Science guadagnano in media salari più elevati rispetto ad altri analisti specializzati.
In Russia, lo stipendio iniziale di un data scientist con meno di un anno di esperienza è a partire da 113.000 rubli.
Attualmente, il completamento di programmi di formazione viene considerato come esperienza lavorativa.
Dopo 1-2 anni, un tale specialista può già guadagnare fino a 160.000.
Per un dipendente con 4-5 anni di esperienza, il range cresce fino a 310.000.
Come si svolgono i colloqui
In Occidente, i laureati dei programmi di formazione professionale si sottopongono a un primo colloquio in media dopo 5 settimane dal termine della formazione. Circa l'85% trova lavoro entro 3 mesi.
Il processo di colloqui per posizioni di ingegnere di dati e data scientist è praticamente lo stesso. Di solito consiste di cinque fasi.
Riepilogo. I candidati con un'esperienza pregressa non pertinente (ad esempio, provenienti dal marketing) devono preparare una lettera di presentazione dettagliata per ogni azienda o avere referenze da un rappresentante di quest'ultima.
Screening tecnico. Di solito avviene per telefono. Consiste in una o due domande complesse e altrettante semplici, riguardanti lo stack attuale del datore di lavoro.
Colloquio HR. Può svolgersi per telefono. In questo fase si verifica la generale adeguatezza del candidato e la sua capacità di comunicare.
Colloquio tecnico. Generalmente avviene di persona. Nei vari aziende il livello delle posizioni nel personale può differire, e i nomi delle posizioni possono variare. Pertanto, in questa fase si verificano specificamente le conoscenze tecniche.
Colloquio con il direttore tecnico / architetto principale. Ingegnere e scienziato sono posizioni strategiche e, per molte aziende, anche nuove. È importante che il potenziale collega piaccia al datore di lavoro e condivida le sue visioni.
Cosa può aiutare scienziati e ingegneri nella crescita carriera
Sono emersi numerosi nuovi strumenti per l'analisi dei dati. E pochi sono altrettanto competenti in tutti.
Molte aziende non sono pronte ad assumere dipendenti senza esperienza lavorativa. Tuttavia, i candidati con una base minima e conoscenza delle nozioni fondamentali degli strumenti più popolari possono acquisire l'esperienza necessaria se si impegnano nell'autoapprendimento e nello sviluppo.
Qualità utili per un ingegnere dei dati e un data scientist
Desiderio e capacità di imparare. Non è necessario inseguire subito l'esperienza o cambiare lavoro per un nuovo strumento, ma è importante essere pronti a passare a un nuovo campo.
Ambizione per l'automatizzazione dei processi di routine. È importante non solo per la produttività, ma anche per mantenere un'elevata qualità dei dati e velocità di consegna al consumatore.
Attenzione e comprensione di «cosa c'è sotto il cofano» nei processi. Risolverà il problema più rapidamente quel professionista che ha esperienza e conoscenza approfondita dei processi.
Oltre a una buona conoscenza di algoritmi, strutture dati e pipeline, è necessario imparare a pensare in termini di prodotto — vedere l'architettura e la soluzione aziendale come un tutto unico.
Ad esempio, è utile prendere un servizio noto e immaginare un database per esso. Poi pensare a come sviluppare un ETL e un DW che lo riempiranno di dati, quali saranno i consumatori e cosa è importante per loro sapere sui dati, e come i clienti interagiscono con le applicazioni: per la ricerca di lavoro e incontri, noleggio auto, applicazione per podcast, piattaforma educativa.
Le posizioni di analista, data scientist e ingegnere sono molto simili, quindi il passaggio da un'area all'altra può avvenire più rapidamente rispetto ad altri settori.
In ogni caso, per chi ha un background informatico è più facile rispetto a chi non ce l'ha. In media, gli adulti motivati si riqualificano e cambiano lavoro ogni 1,5–2 anni. È più facile per coloro che studiano in gruppo e con un mentore, rispetto a chi si affida solo a fonti aperte.
Dalla redazione di Netology
Se stai considerando la professione di Data Engineer o Data Scientist, ti invitiamo a esplorare i programmi dei nostri corsi:
- Professione «».
- Professione «».
- Corso «».
Fonte: habr.com
