Mulți autori străini sunt de acord că epoca Big Data a ajuns la sfârșit. Iar prin termenul Big Data se înțeleg tehnologii bazate pe Hadoop. Mulți autori pot chiar să numească cu certitudine data când Big Data a părăsit această lume, iar această dată este 05.06.2019.
Ce s-a întâmplat în această zi semnificativă?
În acea zi, compania MAPR a promis că va suspenda activitatea, dacă nu va găsi fonduri pentru a continua să funcționeze. Ulterior, în august 2019, MAPR a fost achiziționată de compania HP. Dar revenind la luna iunie, nu putem să nu subliniem tragedia acestui perioadă pentru piața Big Data. În această lună, a avut loc prăbușirea cotațiilor bursiere ale companiei CLOUDERA – jucătorul principal de pe piața menționată, care a efectuat o fuziune cu HORTOWORKS, o companie cronic nepătrunsă, în ianuarie a aceluiași an. Prăbușirea a fost destul de semnificativă, de 43%, în cele din urmă capitalizarea CLOUDERA scăzând de la 4,1 miliarde la 1,4 miliarde de dolari.
Este imposibil să nu menționăm că zvonurile despre umflarea unei bule în domeniul tehnologiilor bazate pe Hadoop circulau încă din decembrie 2014, dar a rezistat curajos încă aproape cinci ani. Aceste zvonuri se bazau pe refuzul Google, compania în care a fost dezvoltată tehnologia Hadoop, de a folosi invenția sa. Dar tehnologia s-a prins, în perioada trecerii companiilor la soluții de cloud și dezvoltării explozive a inteligenței artificiale. Așadar, privind înapoi, putem spune cu încredere că sfârșitul a fost așteptat.
Astfel, era Big Data a ajuns la sfârșit, însă în procesul de muncă cu mari cantități de date, companiile au înțeles toate nuanțele lucrului cu acestea, beneficiile pe care Big Data le poate aduce afacerii, precum și au învățat să folosească inteligența artificială pentru a extrage valoare din datele brute.
Întrebarea devine astfel și mai intrigantă: ce va veni în locul acestei tehnologii și cum vor evolua mai departe tehnologiile de analiză.
Analiza augmentată
În timpul evenimentelor descrise, companiile care activează în domeniul analizei datelor nu au stat degeaba. Ceea ce se poate judeca pe baza informațiilor despre tranzacțiile efectuate în 2019. În anul curent, a fost realizată cea mai mare tranzacție de pe piață – achiziția de către Salesforce a platformei de analiză Tableau pentru 15,7 miliarde de dolari. O tranzacție mai mică a avut loc între Google și Looker. Și, desigur, nu putem să nu menționăm achiziția realizată de compania Qlik – platforma de big data Attunity.
Liderii pieței BI și specialiștii Gartner declară un schimb major în abordările de analiză a datelor, acest schimb va distruge complet piața BI și va conduce la înlocuirea BI cu AI. În acest context, este important să menționăm că abrevierea AI nu înseamnă „Artificial intelligence”, ci „Augmented Intelligence”. Să aruncăm o privire mai atentă asupra a ceea ce se ascunde în spatele cuvintelor „Analiză Augmentată”.
Analiza augmentată, la fel ca realitatea augmentată, se bazează pe câteva postulări comune:
- capacitatea de a comunica folosind NLP (Natural Language Processing), adică în limbaj uman;
- utilizarea inteligenței artificiale, ceea ce înseamnă că datele vor fi prelucrate mai întâi de o inteligență de mașină;
- și, desigur, recomandări disponibile utilizatorului sistemului, care sunt generate de inteligența artificială.
Potrivit producătorilor de platforme de analiză, utilizarea acestora va fi accesibilă utilizatorilor care nu dispun de abilități speciale, cum ar fi cunoașterea SQL sau ai unui limbaj de scriptare similar, care nu au pregătire statistică sau matematică, și care nu au cunoștințe în domeniul limbajelor populare specializate în prelucrarea datelor și al bibliotecilor corespunzătoare. Aceste persoane, numite „Citizen Data Scientist”, ar trebui să aibă doar o calificare business excepțională. Sarcina lor este de a capta insight-uri de business din indicii și prognoze pe care le va oferi inteligența artificială, iar să își clarifice intuițiile pot utiliza NLP.
Descriind procesul de lucru al utilizatorilor cu sisteme de acest tip, ne putem imagina următoarea scenă. O persoană, venind la birou și deschizând aplicația corespunzătoare, pe lângă setul familiar de rapoarte și tablouri de bord, care pot fi analizate prin metode standard (sortare, grupare, efectuarea de operațiuni aritmetice), vede anumite sugestii și recomandări, ceva de genul: „Pentru a atinge KPI-ul în ceea ce privește numărul de vânzări, ar trebui să aplicați o reducere pentru produsele din categoria «Grădinărit»”. În plus, persoana poate apela la mesagerul corporativ: Skype, Slack etc. Poate adresa robotului întrebări, fie în text, fie vocal: „Afișează-mi cei mai profitabili cinci clienți”. După ce primește răspunsul corespunzător, trebuie să ia decizii optime, bazându-se pe experiența sa în afaceri, pentru a aduce profit companiei.
Dacă facem un pas înapoi și privim compunerea informațiilor analizate, produsele de clasă analiză avansată pot simplifica viața oamenilor în această etapă. Idealul presupune ca utilizatorul săSpecifice doar sursele de informații dorite, iar programul se va ocupa singur de crearea modelului de date, legarea tabelelor și alte sarcini similare.
Toate acestea ar trebui, înainte de toate, să asigure „democratizarea” datelor, adică oricine poate analiza întreaga masă de informații disponibile companiei. Procesul de luare a deciziilor trebuie să fie susținut de metode de analiză statistică. Timpul de acces la date trebuie să fie minim, astfel încât nu va fi necesar să scrieți scripturi sau interogări SQL. Și, desigur, se va putea economisi pe specialiștii în Data Science foarte bine plătiți.
Tehnologiile deschid ipotetic perspective foarte promițătoare pentru afaceri.
Ce înlocuiește Big Data
Dar, de fapt, am început articolul meu cu Big Data. Și nu aș putea dezvolta acest subiect fără o scurtă excursie în instrumentele moderne de BI, care sunt adesea bazate pe Big Data. Soarta Big Data este acum clar predestinată, iar aceasta este tehnologia cloud. Am subliniat tranzacțiile efectuate cu furnizorii de BI pentru a demonstra că acum fiecare sistem de analiză are salvat în cloud, iar serviciile cloud au BI ca interfață.
Fără a ne uita la pilonii din domeniul bazelor de date precum ORACLE și Microsoft, este important să subliniem direcția lor preferată de dezvoltare a afacerilor, și anume cloudul. Toate serviciile propuse pot fi găsite în cloud, dar unele servicii cloud nu mai pot fi obținute on-premise. S-au depus eforturi considerabile pentru utilizarea modelelor de învățare automată, s-au creat biblioteci disponibile utilizatorilor și s-au configurat interfețe pentru a facilita lucrul cu modelele, de la selecția acestora până la configurarea timpului de pornire.
Un alt avantaj important al utilizării serviciilor cloud, menționat de furnizori, este disponibilitatea unor seturi de date practic nelimitate pe orice subiect pentru antrenarea modelelor.
Cu toate acestea, se pune întrebarea cât de bine vor prinde tehnologiile cloud în țara noastră?
Sursa: habr.com
