Molti autori stranieri concordano sul fatto che l'era dei Big Data sia giunta al termine. In questo caso, il termine Big Data si riferisce a tecnologie basate su Hadoop. Molti autori possono addirittura indicare con certezza la data in cui i Big Data hanno lasciato questo mondo: il 05.06.2019.
Cosa è successo in quel giorno significativo?
In quel giorno, l'azienda MAPR ha promesso di sospendere la propria attività se non fosse riuscita a trovare fondi per continuare a operare. In seguito, nell'agosto del 2019, MAPR è stata acquistata dalla HP. Tornando a giugno, non si può non notare la tragicità di quel periodo per il mercato dei Big Data. In quel mese si è verificato un crollo delle quotazioni azionarie di CLOUDERA, un attore principale di questo mercato, che aveva fuso con la cronica azienda non profittevole HORTOWORKS a gennaio dello stesso anno. Il crollo è stato notevole, del 43%, portando alla riduzione della capitalizzazione di CLOUDERA da 4,1 a 1,4 miliardi di dollari.
Non si può non dire che le voci sul gonfiamento della bolla nel settore delle tecnologie basate su Hadoop circolavano fin dal dicembre 2014, ma essa ha resistito coraggiosamente per quasi cinque anni. Queste voci si basavano sul rifiuto di Google, l'azienda in cui è nata la tecnologia Hadoop, del proprio invento. Ma la tecnologia ha preso piede durante il passaggio delle aziende verso strumenti di elaborazione cloud e lo sviluppo esplosivo dell'intelligenza artificiale. Quindi, guardando indietro, si può affermare con certezza che la fine era attesa.
Così, l'era dei Big Data si è conclusa, ma nel processo di lavoro con grandi dati le aziende hanno compreso tutte le sfumature del lavoro con essi, i vantaggi che i Big Data possono portare agli affari, e hanno anche imparato a utilizzare l'intelligenza artificiale per estrarre valore dai dati grezzi.
Diventa quindi interessante chiedersi cosa sostituirà questa tecnologia e come si svilupperanno ulteriormente le tecnologie analitiche.
Analisi avanzata
Durante gli eventi descritti, le aziende che operano nel settore dell'analisi dei dati non sono rimaste ferme. Questo è evidente dalle informazioni sulle transazioni avvenute nel 2019. Quest’anno ha visto la realizzazione della più grande transazione nel mercato: l'acquisizione da parte di Salesforce della piattaforma analitica Tableau per 15,7 miliardi di dollari. Un'operazione meno significativa è avvenuta tra Google e Looker. E ovviamente non possiamo trascurare l'acquisizione da parte di Qlik della piattaforma big data Attunity.
I leader del mercato BI e gli esperti di Gartner annunciano un cambiamento epocale negli approcci all'analisi dei dati; questo cambiamento distruggerà completamente il mercato BI e porterà alla sostituzione del BI con l'AI. In questo contesto, è importante sottolineare che l'acronimo AI non sta per "Artificial intelligence", ma per "Augmented Intelligence". Esploriamo più da vicino cosa si nasconde dietro le parole "Analitica augmentata".
L'analitica augmentata, come la realtà aumentata, si basa su alcuni principi comuni:
- la possibilità di comunicare utilizzando l'NLP (Natural Language Processing), ovvero in linguaggio umano;
- l'uso dell'intelligenza artificiale, il che significa che i dati saranno elaborati in anticipo dall'intelligenza artificiale;
- e naturalmente le raccomandazioni disponibili per l'utente del sistema, generate dall'intelligenza artificiale.
Secondo i produttori di piattaforme analitiche, il loro utilizzo sarà accessibile a utenti prive di competenze speciali, come la conoscenza di SQL o di un linguaggio di scripting simile, privi di preparazione statistica o matematica, e senza conoscenze nei linguaggi popolari dedicati all'elaborazione dei dati e alle relative librerie. Tali persone, definite "Citizen Data Scientist", dovrebbero possedere solo eccezionali qualifiche nel business. Il loro compito consiste nell'afferrare insight aziendali dai suggerimenti e dalle previsioni fornite dall'intelligenza artificiale, e potranno affinare le loro intuizioni utilizzando l'NLP.
Descrivendo il processo di lavoro degli utenti con sistemi di questo tipo, si può immaginare il seguente scenario. Una persona, arrivando al lavoro e avviando l'applicazione corrispondente, oltre al consueto insieme di report e cruscotti che possono essere analizzati con approcci standard (ordinamento, raggruppamento, esecuzione di operazioni aritmetiche), vede suggerimenti e raccomandazioni, qualcosa come: «Per raggiungere il KPI relativo al numero di vendite, dovresti applicare uno sconto sui prodotti della categoria 'Giardinaggio'.» Inoltre, l'individuo può rivolgersi al messenger aziendale: Skype, Slack, ecc. Può porre domande al robot, in forma di testo o voce: «Mostrami i cinque clienti più redditizi». Ottenendo la risposta corretta, dovrà prendere decisioni ottimali, basandosi sulla propria esperienza nel settore e generare profitto per l'azienda.
Se facciamo un passo indietro e guardiamo la composizione delle informazioni analizzate, in questa fase i prodotti di analisi avanzata possono semplificare la vita delle persone. In un mondo ideale, si presume che l'utente debba solo indicare al prodotto analitico le sorgenti delle informazioni desiderate, e il programma si prenderà cura della creazione del modello di dati, della connessione delle tabelle e di compiti simili.
Tutto ciò dovrebbe, prima di tutto, garantire la 'democratizzazione' dei dati, ovvero che chiunque possa svolgere l'analisi dell'intero insieme di informazioni disponibili in azienda. Il processo decisionale deve essere supportato da metodi di analisi statistica. Il tempo di accesso ai dati dovrebbe essere minimo, in modo che non sia necessario scrivere script e query SQL. E naturalmente, si potrà risparmiare su esperti di Data Science molto retribuiti.
Ipoteticamente, le tecnologie offrono prospettive molto promettenti per le aziende.
Cosa sostituisce Big Data
Ma, in effetti, ho iniziato il mio articolo parlando di Big Data. E non potrei sviluppare questo tema senza un breve excursus sugli strumenti BI moderni, che spesso si basano su Big Data. Il destino dei big data è ora chiaramente deciso, e queste sono le tecnologie cloud. Ho messo in evidenza le transazioni con i produttori di BI per dimostrare che ora ogni sistema di analisi ha un'archiviazione cloud sottostante, e i servizi cloud hanno la BI come front end.
Non dimenticando pilastri nel campo dei database come ORACLE e Microsoft, è importante sottolineare l'approccio scelto per lo sviluppo del business, e questo è il cloud. Tutti i servizi offerti possono essere trovati nel cloud, ma alcuni servizi cloud non possono più essere ottenuti on-premise. È stata svolta un'importante lavoro nell'utilizzo di modelli di machine learning, sono state create librerie disponibili per gli utenti, e sono state configurate interfacce per facilitare il lavoro con i modelli, dalla selezione all'impostazione del tempo di avvio.
Un altro importante vantaggio dell'utilizzo dei servizi cloud, spesso sottolineato dai produttori, è la disponibilità di praticamente set di dati illimitati su qualsiasi argomento, per l'addestramento dei modelli.
Tuttavia, sorge la domanda: quanto bene si adatteranno le tecnologie cloud nel nostro paese?
Fonte: habr.com
