Oggi solo le persone che non hanno collegamenti esterni con il mondo esterno non hanno sentito parlare di big data. Su Habré, il tema dell'analisi dei Big Data e argomenti correlati è popolare. Ma per i non specialisti che vorrebbero dedicarsi allo studio dei Big Data, non è sempre chiaro quali prospettive abbia questo ambito, dove possa essere applicata l’analisi dei Big Data e su cosa può contare un buon analista. Proviamo a capirlo.
La quantità di informazioni generate dagli esseri umani aumenta ogni anno. Entro il 2020, la quantità di dati archiviati aumenterà fino a 40-44 zettabyte (1 ZB ~ 1 miliardo di GB). Entro il 2025: fino a circa 400 zettabyte. Di conseguenza, la gestione dei dati strutturati e non strutturati utilizzando le moderne tecnologie è un’area che sta diventando sempre più importante. Sia le singole aziende che interi paesi sono interessati ai big data.
A proposito, è stato durante la discussione sul boom dell’informazione e sui metodi di elaborazione dei dati generati dall’uomo che è nato il termine Big Data. Si ritiene che sia stato proposto per la prima volta nel 2008 dall'editore della rivista Nature, Clifford Lynch.
Da allora, il mercato dei Big Data è cresciuto ogni anno di diverse decine di punti percentuali. E questa tendenza, secondo gli esperti, continuerà. Così, secondo le stime dell'azienda nel 2021, il mercato globale dell’analisi dei big data aumenterà fino a raggiungere i 67,2 miliardi di dollari, con una crescita annua pari a circa il 35,9%.
Perché abbiamo bisogno dell’analisi dei big data?
Ti consente di identificare informazioni estremamente preziose da set di dati strutturati o non strutturati. Grazie a ciò, un'azienda può, ad esempio, identificare le tendenze, prevedere l'andamento della produzione e ottimizzare i propri costi. È chiaro che per ridurre i costi le aziende sono pronte a implementare le soluzioni più recenti.
Tecnologie e metodi di analisi utilizzati per analizzare i Big Data:
- Estrazione dei dati;
- crowdsourcing;
- miscelazione e integrazione dei dati;
- apprendimento automatico;
- reti neurali artificiali;
- riconoscimento di modelli;
- analisi predittiva;
- modellazione di simulazione;
- analisi spaziale;
- analisi statistica;
- visualizzazione dei dati analitici.
Analisi dei Big Data nel mondo
L’analisi dei big data è ora utilizzata da oltre il 50% delle aziende in tutto il mondo. Nonostante nel 2015 questa cifra fosse solo del 17%. I Big Data vengono utilizzati più attivamente dalle aziende che operano nei settori delle telecomunicazioni e dei servizi finanziari. Poi ci sono aziende specializzate nella tecnologia sanitaria. Utilizzo minimo dell’analisi dei Big Data nelle aziende educative: nella maggior parte dei casi, i rappresentanti di questo settore hanno annunciato la loro intenzione di utilizzare la tecnologia nel prossimo futuro.
Negli Stati Uniti, l’analisi dei Big Data viene utilizzata più attivamente: oltre il 55% delle aziende di diversi settori lavora con questa tecnologia. In Europa e in Asia, la domanda di analisi dei big data non è molto più bassa, circa il 53%.
E la Russia?
Secondo gli analisti di IDC,. La crescita del mercato per tali soluzioni nell'Europa centrale e orientale è piuttosto attiva, questa cifra aumenta ogni anno dell'11%. Entro il 2022 raggiungerà i 5,4 miliardi di dollari in termini quantitativi.
In molti modi, questo rapido sviluppo del mercato è dovuto alla crescita di quest’area in Russia. Nel 2018, i ricavi derivanti dalla vendita di soluzioni rilevanti nella Federazione Russa ammontavano al 40% dell’investimento totale nelle tecnologie di elaborazione dei Big Data nell’intera regione.
Nella Federazione Russa, le aziende del settore bancario e pubblico, dell’industria delle telecomunicazioni e dell’industria spendono di più nell’elaborazione dei Big Data.
Cosa fa e quanto guadagna un Big Data Analyst in Russia?
Un analista di big data è responsabile dell'esame di grandi quantità di informazioni, sia semi-strutturate che non strutturate. Per le organizzazioni bancarie si tratta di transazioni, per gli operatori - chiamate e traffico, nel commercio al dettaglio - visite e acquisti dei clienti. Come accennato in precedenza, l’analisi dei Big Data ci consente di scoprire connessioni tra vari fattori nella “storia delle informazioni grezze”, ad esempio un processo di produzione o una reazione chimica. Sulla base dei dati dell'analisi, vengono sviluppati nuovi approcci e soluzioni in una varietà di settori, dalla produzione alla medicina.
Competenze richieste per un analista di Big Data:
- La capacità di comprendere rapidamente le caratteristiche dell'area per la quale si sta effettuando l'analisi e di immergersi negli aspetti dell'area desiderata. Potrebbe trattarsi di vendita al dettaglio, industria petrolifera e del gas, medicina, ecc.
- Conoscenza dei metodi di analisi statistica dei dati, costruzione di modelli matematici (reti neurali, reti bayesiane, clustering, analisi di regressione, analisi fattoriale, della varianza e di correlazione, ecc.).
- Essere in grado di estrarre dati da diverse fonti, trasformarli per l'analisi e caricarli in un database analitico.
- Esperto in SQL.
- Conoscenza della lingua inglese ad un livello sufficiente per leggere facilmente la documentazione tecnica.
- Conoscenza di Python (almeno le basi), Bash (è molto difficile farne a meno durante il lavoro), inoltre è auspicabile conoscere le basi di Java e Scala (necessarie per l'uso attivo di Spark, uno dei framework più popolari per lavorare con i big data).
- Capacità di lavorare con Hadoop.
Ebbene, quanto guadagna un analista di Big Data?
Gli specialisti di Big Data scarseggiano ora; la domanda supera l’offerta. Questo perché le imprese stanno giungendo a una comprensione: lo sviluppo richiede nuove tecnologie e lo sviluppo tecnologico richiede specialisti.
Quindi, Data Scientist e Data Analytics negli USA secondo l'agenzia di reclutamento Glassdoor. Lo stipendio medio di questi specialisti in America parte da 100mila dollari all'anno.
In Russia, gli specialisti dell'apprendimento automatico ricevono da 130 a 300 mila rubli al mese, gli analisti di big data - da 73 a 200 mila rubli al mese. Tutto dipende dall'esperienza e dalle qualifiche. Naturalmente ci sono posti vacanti con salari più bassi e altri con salari più alti. Massima richiesta di analisti di big data a Mosca e San Pietroburgo. Mosca, il che non sorprende, rappresenta circa il 50% dei posti vacanti attivi (secondo hh.ru). La domanda è molto inferiore a Minsk e Kiev. Vale la pena notare che alcuni posti vacanti offrono orari flessibili e lavoro a distanza. Ma in generale le aziende hanno bisogno di specialisti che lavorino in ufficio.
Nel corso del tempo, possiamo aspettarci un aumento della domanda di analisti di Big Data e rappresentanti di specialità correlate. Come accennato in precedenza, la carenza di personale nel settore tecnologico non è stata cancellata. Ma, ovviamente, per diventare analista di Big Data è necessario studiare e lavorare, migliorando sia le competenze sopra elencate che quelle aggiuntive. Una delle opportunità per iniziare il percorso di analista Big Data è e prova a lavorare con i big data.
Fonte: habr.com