Molti autori stranieri concordano sul fatto che l’era dei Big Data sia giunta al termine. E in questo caso il termine Big Data si riferisce alle tecnologie basate su Hadoop. Molti autori possono persino nominare con sicurezza la data in cui i Big Data hanno lasciato questo mondo e questa data è il 05.06.2019/XNUMX/XNUMX.
Cosa è successo in questo giorno significativo?
In questo giorno, il MAPR ha promesso di sospendere il suo lavoro se non fosse riuscito a trovare i fondi per ulteriori operazioni. MAPR è stata successivamente acquisita da HP nell'agosto 2019. Ma tornando a giugno, non si può non notare la tragedia di questo periodo per il mercato dei Big Data. Questo mese si è verificato un crollo dei prezzi delle azioni di CLOUDERA, uno dei principali attori del mercato, che si è fusa con la cronicamente non redditizia HORTOWORKS nel gennaio dello stesso anno. Il crollo è stato piuttosto significativo e ammonta al 43%; alla fine, la capitalizzazione di CLOUDERA è scesa da 4,1 a 1,4 miliardi di dollari.
È impossibile non dire che le voci su una bolla nel campo delle tecnologie basate su Hadoop circolano dal dicembre 2014, ma hanno resistito coraggiosamente per quasi altri cinque anni. Queste voci si basavano sul rifiuto di Google, l'azienda da cui ha avuto origine la tecnologia Hadoop, della sua invenzione. Ma la tecnologia ha messo radici durante la transizione delle aziende verso gli strumenti di elaborazione cloud e il rapido sviluppo dell’intelligenza artificiale. Pertanto, guardando indietro, possiamo dire con sicurezza che la morte era attesa.
Pertanto, l'era dei Big Data è giunta al termine, ma nel processo di lavoro sui Big Data, le aziende hanno realizzato tutte le sfumature del lavoro su di essi, i vantaggi che i Big Data possono apportare alle aziende e hanno anche imparato a utilizzare strumenti artificiali. intelligenza per estrarre valore dai dati grezzi.
Ancora più interessante diventa la questione di cosa sostituirà questa tecnologia e di come le tecnologie di analisi si svilupperanno ulteriormente.
Analisi aumentata
Durante gli eventi descritti, le aziende che lavorano nel campo dell'analisi dei dati non sono rimaste ferme. Cosa si può giudicare sulla base delle informazioni sulle transazioni avvenute nel 2019. Quest'anno è stata effettuata la più grande transazione sul mercato: l'acquisizione della piattaforma analitica Tableau da parte di Salesforce per 15,7 miliardi di dollari. Si è verificato un accordo più piccolo tra Google e Looker. E ovviamente non si può non notare l'acquisizione da parte di Qlik della piattaforma big data Attunity.
I leader del mercato BI e gli esperti Gartner stanno annunciando un cambiamento epocale negli approcci all’analisi dei dati; questo cambiamento distruggerà completamente il mercato della BI e porterà alla sostituzione della BI con l’intelligenza artificiale. In questo contesto va precisato che la sigla AI non è “Intelligenza Artificiale” ma “Intelligenza Aumentata”. Diamo uno sguardo più da vicino a cosa si nasconde dietro le parole "Augmented Analytics".
L'analisi aumentata, come la realtà aumentata, si basa su diversi postulati generali:
- la capacità di comunicare utilizzando la PNL (Natural Language Processing), ad es. nel linguaggio umano;
- l’uso dell’intelligenza artificiale, ciò significa che i dati verranno pre-elaborati dall’intelligenza artificiale;
- e, naturalmente, le raccomandazioni a disposizione dell'utente del sistema, generate dall'intelligenza artificiale.
Secondo i produttori di piattaforme analitiche, il loro utilizzo sarà disponibile per gli utenti che non hanno competenze speciali, come la conoscenza di SQL o un linguaggio di scripting simile, che non hanno una formazione statistica o matematica, che non hanno conoscenza dei linguaggi più diffusi specializzata in elaborazione dati e relative biblioteche. Queste persone, chiamate "Citizen Data Scientists", devono possedere solo qualifiche aziendali eccezionali. Il loro compito è acquisire informazioni aziendali dai suggerimenti e dalle previsioni forniti dall'intelligenza artificiale e possono affinare le loro ipotesi utilizzando la PNL.
Descrivendo il processo degli utenti che lavorano con sistemi di questa classe, si può immaginare la seguente immagine. Una persona, venendo al lavoro e avviando l'applicazione corrispondente, oltre alla consueta serie di report e dashboard che possono essere analizzati utilizzando approcci standard (ordinamento, raggruppamento, esecuzione di operazioni aritmetiche), vede alcuni suggerimenti e raccomandazioni, qualcosa del tipo: “In per raggiungere il KPI, numero di vendite, dovresti applicare uno sconto sui prodotti della categoria “Giardinaggio”. Inoltre, una persona può contattare un messenger aziendale: Skype, Slack, ecc. Può porre domande al robot, tramite testo o voce: "Dammi i cinque clienti più redditizi". Dopo aver ricevuto la risposta appropriata, deve prendere la decisione migliore in base alla sua esperienza aziendale e portare profitto all'azienda.
Se si fa un passo indietro e si osserva la composizione delle informazioni analizzate, in questa fase i prodotti di analisi aumentata possono semplificare la vita delle persone. Idealmente, si presume che l'utente dovrà solo indirizzare il prodotto analitico alle fonti delle informazioni desiderate e il programma stesso si occuperà della creazione di un modello di dati, collegando tabelle e attività simili.
Tutto ciò dovrebbe, innanzitutto, garantire la “democratizzazione” dei dati, ovvero Chiunque può analizzare l'intera gamma di informazioni a disposizione dell'azienda. Il processo decisionale deve essere supportato da metodi di analisi statistica. Il tempo di accesso ai dati dovrebbe essere minimo, quindi non è necessario scrivere script e query SQL. E, naturalmente, puoi risparmiare denaro sugli specialisti di Data Science ben pagati.
Ipoteticamente, la tecnologia offre prospettive molto brillanti per gli affari.
Cosa sta sostituendo i Big Data?
Ma in effetti ho iniziato il mio articolo con i Big Data. E non potrei sviluppare questo argomento senza una breve escursione nei moderni strumenti di BI, la cui base sono spesso i Big Data. Il destino dei big data è ormai chiaramente determinato e si tratta della tecnologia cloud. Mi sono concentrato sugli accordi stipulati con i fornitori di BI per dimostrare che ora ogni sistema analitico ha alle spalle l'archiviazione nel cloud e che i servizi cloud hanno la BI come front-end.
Senza dimenticare pilastri nel campo dei database come ORACLE e Microsoft, è necessario notare la direzione scelta per lo sviluppo del business e questo è il cloud. Tutti i servizi offerti possono essere trovati nel cloud, ma alcuni servizi cloud non sono più disponibili on-premise. Hanno svolto un lavoro significativo sull'uso di modelli di apprendimento automatico, creato librerie disponibili per gli utenti e configurato interfacce per facilitare il lavoro con i modelli, dalla selezione all'impostazione dell'ora di inizio.
Un altro importante vantaggio dell'utilizzo dei servizi cloud, espresso dai produttori, è la disponibilità di set di dati quasi illimitati su qualsiasi argomento per i modelli di formazione.
Sorge però la domanda: quanto riusciranno a radicarsi le tecnologie cloud nel nostro Paese?
Fonte: habr.com