Dmitry Kazakov, Data Analytics Team Lead presso Kolesa Group, condivide gli approfondimenti del primo sondaggio condotto in Kazakistan tra i professionisti dei dati.
Nella foto: Dmitry Kazakov
Ricorda la frase popolare secondo cui i Big Data sono più simili al sesso adolescenziale: tutti ne parlano, ma nessuno sa se esiste davvero. Lo stesso si potrebbe dire del mercato degli specialisti di dati (in Kazakistan): c'è una campagna pubblicitaria, ma chi c'è dietro (e se c'è qualcuno lì) non è del tutto chiaro - né alle risorse umane, né ai manager, né a gli stessi data scientist.
Abbiamo trascorso , in cui hanno intervistato più di 300 specialisti sui loro stipendi, funzioni, competenze, strumenti e molto altro.
spoiler: Sì, esistono sicuramente, ma non tutto è così semplice.
Bella intuizione. Innanzitutto, ci sono più data scientist di quanto ci aspettassimo. Siamo riusciti a intervistare 300 persone, tra cui non solo analisti di prodotto, marketing e BI, ma anche ingegneri ML e DWH, il che è stato particolarmente piacevole. Il gruppo più numeroso comprende tutti coloro che si definiscono data scientist: ovvero il 36% degli intervistati. È difficile dire se questo copra o meno la domanda del mercato, perché il mercato stesso si sta appena formando.
La distribuzione dei livelli di lavoro è confusa: ci sono quasi tanti team leader e manager quanti sono i junior. Potrebbero esserci diverse ragioni per questo. Ad esempio, un gran numero di piccoli team di 2-3 persone, in cui il leader può essere uno specialista di livello medio o senior.
Un'altra ragione potrebbe essere il caos che regna attualmente sul mercato per quanto riguarda gli standard nella distribuzione dei ruoli e delle funzionalità. A volte i capisquadra vengono assegnati a coloro che lavorano semplicemente un anno o due in più rispetto agli altri, senza riferimento al livello di competenze e conoscenze. Lo vediamo nella distribuzione delle funzioni per posizione: il 38% dei manager e dei team leader è impegnato nella pre-elaborazione e un altro 33% nell'analisi statistica di base.
Qui abbiamo chiesto agli intervistati di valutare soggettivamente il livello di analisi nelle loro aziende. Se guardi da vicino, puoi vedere che il 10% degli intervistati che lavorano in dipartimenti di analisi composti da 2-3 persone credono di avere un “livello avanzato”.
Cos'è il "livello avanzato"? Il sistema BI funziona alla grande. C’è DWH e Big Data. I test A/B vengono eseguiti regolarmente. Sono presenti sistemi ML e DS funzionanti in produzione. Le decisioni vengono prese solo sulla base dei dati. Il dipartimento di elaborazione dati e data science è uno dei più importanti dell’azienda.
È quasi impossibile ottenere tutto quanto sopra con un reparto di 2-3 persone. Penso che il risultato di questo sondaggio sia un po' doloroso: i ragazzi non hanno ancora nessuno con cui confrontarsi per determinare il loro livello in modo più obiettivo.
Come previsto, i data scientist dedicano la maggior parte del loro tempo non a calcoli matematici o ingegneristici estremamente complessi, ma alla preelaborazione, al download e alla pulizia dei dati. In ogni specializzazione vediamo la preelaborazione tra le prime 3. Ma raramente vediamo cose complesse come lo sviluppo di modelli ML o il lavoro con i Big Data tra le prime 3, solo tra gli ingegneri ML e DWH.
Ci sono anche un paio di intuizioni tristi. Gli esperti stabiliscono da soli il 40% dei loro compiti. In Kazakistan, finora solo le migliori aziende di unicorni hanno provato i vantaggi di lavorare con i big data e hanno imparato a farlo con competenza. Trasmettono al mercato che i Big Data e il Machine Learning sono interessanti, e il secondo scaglione segue dietro, ma non sempre capisce come funziona il lavoro con i dati. Pertanto, vediamo che gli specialisti stabiliscono i compiti da soli e le aziende non sempre sanno cosa vogliono.
Mi ha sorpreso che il 20% degli specialisti non sappia nemmeno se la propria azienda dispone di un Data Warehouse. Sì, e con i sistemi di gestione dei database non tutto va così bene: il 41% utilizza MySQL e un altro 34% utilizza PostgreSQL. Cosa potrebbe significare? Funzionano piuttosto con piccoli dati.
Nella domanda sui sistemi di archiviazione, vediamo di nuovo MySQL e persino (!) Excel. Ma ciò potrebbe indicare, ad esempio, che la maggior parte delle aziende semplicemente non ha ancora la richiesta di lavorare con i big data.
Anche qui tutto è ambiguo. In generale, gli stipendi erano leggermente inferiori a quanto mi aspettassi.
Personalmente, è difficile per me immaginare un ingegnere ML pronto a lavorare per 200mila tenge: probabilmente è uno stagista. O le competenze di tali specialisti sono molto deboli, oppure è ancora difficile per le aziende valutare adeguatamente il lavoro della Data Science. Ma forse questo indica anche che il mercato è ancora all’inizio della sua maturazione. E nel tempo, il livello degli stipendi verrà stabilito a un livello più adeguato.
Fonte: habr.com