Mulți autori străini sunt de acord că era Big Data a ajuns la sfârșit. Și în acest caz, termenul Big Data se referă la tehnologii bazate pe Hadoop. Mulți autori pot chiar să numească cu încredere data la care Big Data a părăsit această lume și această dată este 05.06.2019/XNUMX/XNUMX.
Ce s-a întâmplat în această zi semnificativă?
În această zi, MAPR a promis că își va suspenda activitatea dacă nu va găsi fonduri pentru continuarea funcționării. MAPR a fost achiziționat ulterior de HP în august 2019. Revenind însă la iunie, nu se poate să nu constate tragedia acestei perioade pentru piața Big Data. Luna aceasta a avut loc o prăbușire a prețurilor acțiunilor CLOUDERA, un jucător lider pe piață, care a fuzionat cu HORTOWORKS, neprofitabil cronic, în ianuarie același an. Colapsul a fost destul de semnificativ și a însumat 43% în cele din urmă, capitalizarea CLOUDERA a scăzut de la 4,1 la 1,4 miliarde de dolari.
Este imposibil să nu spunem că din decembrie 2014 circulă zvonuri despre o bulă în domeniul tehnologiilor bazate pe Hadoop, dar a rezistat cu curaj încă aproape cinci ani. Aceste zvonuri s-au bazat pe refuzul Google, compania de care a provenit tehnologia Hadoop, de la inventia sa. Dar tehnologia a prins rădăcini în timpul tranziției companiilor la instrumente de procesare în cloud și a dezvoltării rapide a inteligenței artificiale. Prin urmare, privind în urmă, putem spune cu încredere că decesul era așteptat.
Astfel, era Big Data a ajuns la sfârșit, dar în procesul de lucru pe Big Data, companiile și-au dat seama de toate nuanțele de a lucra la el, de beneficiile pe care Big Data le poate aduce afacerilor și, de asemenea, au învățat să folosească artificial inteligență pentru a extrage valoare din datele brute.
Cu atât devine mai interesantă întrebarea ce va înlocui această tehnologie și cum se vor dezvolta în continuare tehnologiile de analiză.
Analytics îmbunătățit
Pe parcursul evenimentelor descrise, companiile care activează în domeniul analizei datelor nu au stat pe loc. Ce poate fi judecat pe baza informațiilor despre tranzacțiile care au avut loc în 2019. Anul acesta a fost realizată cea mai mare tranzacție de pe piață - achiziția platformei analitice Tableau de către Salesforce pentru 15,7 miliarde de dolari. O afacere mai mică a avut loc între Google și Looker. Și bineînțeles, nu se poate să nu remarcă achiziția de către Qlik a platformei de big data Attunity.
Liderii pieței BI și experții Gartner anunță o schimbare monumentală în abordările analizei datelor, această schimbare va distruge complet piața BI și va duce la înlocuirea BI cu AI. În acest context, trebuie remarcat faptul că abrevierea AI nu este „Inteligentă artificială” ci „Inteligentă sporită”. Să aruncăm o privire mai atentă la ce se află în spatele cuvintelor „Analytics îmbunătățite”.
Analiza augmentată, ca și realitatea augmentată, se bazează pe mai multe postulate generale:
- capacitatea de a comunica folosind NLP (Natural Language Processing), i.e. în limbajul uman;
- utilizarea inteligenței artificiale, aceasta înseamnă că datele vor fi preprocesate de inteligența mașinii;
- și bineînțeles, recomandări disponibile utilizatorului sistemului, care au fost generate de inteligența artificială.
Potrivit producătorilor de platforme analitice, utilizarea acestora va fi disponibilă utilizatorilor care nu au abilități speciale, cum ar fi cunoștințe de SQL sau un limbaj de scripting similar, care nu au pregătire statistică sau matematică, care nu au cunoștințe de limbaje populare. specializată în prelucrarea datelor și biblioteci corespunzătoare. Astfel de oameni, numiți „Citizen Data Scientists”, trebuie să aibă doar calificări remarcabile în afaceri. Sarcina lor este să capteze informații despre afaceri din sfaturile și previziunile pe care le va oferi inteligența artificială și își pot perfecționa presupunerile folosind NLP.
Descriind procesul utilizatorilor care lucrează cu sisteme din această clasă, ne putem imagina următoarea imagine. O persoană, venind la muncă și lansând aplicația corespunzătoare, pe lângă setul obișnuit de rapoarte și tablouri de bord care pot fi analizate folosind abordări standard (sortare, grupare, efectuare de operații aritmetice), vede anumite sfaturi și recomandări, ceva de genul: „În pentru a atinge KPI, numărul de vânzări, ar trebui să aplicați o reducere la produsele din categoria „Grădinire”. În plus, o persoană poate contacta un mesager corporativ: Skype, Slack etc. Poate pune robotului întrebări, prin text sau voce: „Dă-mi cei mai profitabili cinci clienți.” După ce a primit răspunsul adecvat, trebuie să ia cea mai bună decizie pe baza experienței sale în afaceri și să aducă profit companiei.
Dacă faci un pas înapoi și te uiți la compoziția informațiilor analizate, iar în această etapă, produsele de analiză augmentată pot face viața oamenilor mai ușoară. În mod ideal, se presupune că utilizatorul va trebui doar să îndrepte produsul analitic către sursele informațiilor dorite, iar programul însuși se va ocupa de crearea unui model de date, legarea tabelelor și sarcini similare.
Toate acestea ar trebui, în primul rând, să asigure „democratizarea” datelor, adică. Orice persoană poate analiza întreaga gamă de informații de care dispune compania. Procesul decizional trebuie susținut de metode de analiză statistică. Timpul de acces la date ar trebui să fie minim, deci nu este nevoie să scrieți scripturi și interogări SQL. Și, desigur, puteți economisi bani pe specialiști în știința datelor foarte plătiți.
Ipotetic, tehnologia oferă perspective foarte luminoase pentru afaceri.
Ce înlocuiește Big Data?
Dar, de fapt, mi-am început articolul cu Big Data. Și nu aș putea dezvolta acest subiect fără o scurtă excursie în instrumentele moderne de BI, a căror bază este adesea Big Data. Soarta datelor mari este acum clar determinată și este tehnologia cloud. M-am concentrat pe tranzacțiile efectuate cu furnizorii de BI pentru a demonstra că acum fiecare sistem analitic are în spate stocarea în cloud, iar serviciile cloud au BI ca front-end.
Fără a uita de astfel de piloni din domeniul bazelor de date precum ORACLE și Microsoft, este necesar să notăm direcția aleasă de dezvoltare a afacerii și acesta este cloud-ul. Toate serviciile oferite pot fi găsite în cloud, dar unele servicii cloud nu mai sunt disponibile on-premise. Au făcut o muncă semnificativă în ceea ce privește utilizarea modelelor de învățare automată, au creat biblioteci disponibile utilizatorilor și au configurat interfețe pentru a lucra cu ușurință cu modelele, de la selectarea acestora până la setarea orei de începere.
Un alt avantaj important al utilizării serviciilor cloud, care este exprimat de producători, este disponibilitatea unor seturi de date aproape nelimitate pe orice subiect pentru modelele de antrenament.
Totuși, se pune întrebarea: cât de departe vor înrădăcina tehnologiile cloud în țara noastră?
Sursa: www.habr.com