Mnohí zahraniční autori sa zhodujú, že éra veľkých dát sa skončila. A v tomto prípade pojem Big Data označuje technológie založené na Hadoop. Mnohí autori dokonca vedia sebavedomo pomenovať dátum, kedy Big Data opustili tento svet a tento dátum je 05.06.2019.
Čo sa stalo v tento významný deň?
V tento deň MAPR prisľúbil, že preruší svoju prácu, ak nenájde financie na ďalšiu prevádzku. Spoločnosť MAPR neskôr získala spoločnosť HP v auguste 2019. Ak sa však vrátime k júnu, nemožno si nevšimnúť tragédiu tohto obdobia pre trh s veľkými dátami. Tento mesiac došlo k prepadu cien akcií spoločnosti CLOUDERA, popredného hráča na trhu, ktorá sa v januári toho istého roku zlúčila s chronicky nerentabilným HORTOWORKS. Kolaps bol dosť významný a dosiahol 43%; v konečnom dôsledku sa kapitalizácia CLOUDERA znížila zo 4,1 na 1,4 miliardy dolárov.
Nedá sa nepovedať, že chýry o bubline v oblasti technológií na báze Hadoopu kolujú už od decembra 2014, no statočne sa držala ešte takmer päť rokov. Tieto fámy boli založené na odmietnutí vynálezu spoločnosti Google, spoločnosti, z ktorej pochádza technológia Hadoop. Táto technológia sa však udomácnila počas prechodu spoločností na nástroje na spracovanie v cloude a rýchly rozvoj umelej inteligencie. Preto pri pohľade späť môžeme s istotou povedať, že smrť bola očakávaná.
Éra veľkých dát sa teda skončila, ale v procese práce na veľkých dátach si spoločnosti uvedomili všetky nuansy práce na nich, výhody, ktoré môžu veľké dáta priniesť biznisu, a naučili sa využívať aj umelé inteligenciu na extrakciu hodnoty z nespracovaných údajov.
O to zaujímavejšia sa stáva otázka, čo túto technológiu nahradí a ako sa budú analytické technológie ďalej rozvíjať.
Rozšírená analytika
Spoločnosti pôsobiace v oblasti analýzy dát počas opísaných udalostí neposedeli. Čo možno posúdiť na základe informácií o transakciách, ku ktorým došlo v roku 2019. Tento rok sa uskutočnila najväčšia transakcia na trhu – akvizícia analytickej platformy Tableau spoločnosťou Salesforce za 15,7 miliardy dolárov. Medzi Google a Looker došlo k menšej dohode. A samozrejme, nemožno si nevšimnúť akvizíciu veľkej dátovej platformy Attunity spoločnosťou Qlik.
Lídri na trhu BI a odborníci z Gartneru ohlasujú obrovský posun v prístupoch k analýze údajov, ktorý úplne zničí trh BI a povedie k nahradeniu BI AI. V tejto súvislosti je potrebné poznamenať, že skratka AI nie je „Artificial Intelligence“, ale „Augmented Intelligence“. Pozrime sa bližšie na to, čo sa skrýva za slovami „Augmented Analytics“.
Rozšírená analytika, podobne ako rozšírená realita, je založená na niekoľkých všeobecných postulátoch:
- schopnosť komunikovať pomocou NLP (Natural Language Processing), t.j. v ľudskom jazyku;
- využitie umelej inteligencie, to znamená, že dáta budú predspracované strojovou inteligenciou;
- a samozrejme aj odporúčania dostupné pre používateľa systému, ktoré vygenerovala umelá inteligencia.
Podľa výrobcov analytických platforiem bude ich použitie dostupné pre používateľov, ktorí nemajú špeciálne zručnosti, ako je znalosť SQL alebo podobného skriptovacieho jazyka, ktorí nemajú štatistické alebo matematické vzdelanie, ktorí nemajú znalosti populárnych jazykov. sa špecializuje na spracovanie údajov a príslušné knižnice. Takíto ľudia, nazývaní „Citizen Data Scientists“, musia mať iba vynikajúce obchodné kvalifikácie. Ich úlohou je zachytiť obchodné postrehy z tipov a predpovedí, ktoré im poskytne umelá inteligencia, a svoje odhady môžu spresniť pomocou NLP.
Pri popise procesu práce používateľov so systémami tejto triedy si možno predstaviť nasledujúci obrázok. Osoba, ktorá prichádza do práce a spúšťa príslušnú aplikáciu, okrem bežnej sady správ a dashboardov, ktoré možno analyzovať pomocou štandardných prístupov (triedenie, zoskupovanie, vykonávanie aritmetických operácií), vidí určité tipy a odporúčania, napríklad: „V aby ste dosiahli KPI, počet predajov, mali by ste uplatniť zľavu na produkty z kategórie „Záhradníctvo“. Okrem toho môže osoba kontaktovať firemného posla: Skype, Slack atď. Dokáže klásť robotovi otázky textom alebo hlasom: „Dajte mi päť najziskovejších klientov.“ Keď dostane vhodnú odpoveď, musí urobiť to najlepšie rozhodnutie na základe svojich obchodných skúseností a priniesť spoločnosti zisk.
Ak urobíte krok späť a pozriete sa na zloženie analyzovaných informácií, v tejto fáze môžu produkty rozšírenej analýzy uľahčiť ľuďom život. V ideálnom prípade sa predpokladá, že používateľovi bude stačiť nasmerovať analytický produkt na zdroje požadovaných informácií a samotný program sa postará o vytvorenie dátového modelu, prepojenie tabuliek a podobné úlohy.
Toto všetko by malo v prvom rade zabezpečiť „demokratizáciu“ dát, t.j. Každý môže analyzovať celý rad informácií, ktoré má spoločnosť k dispozícii. Rozhodovací proces musí byť podporený metódami štatistickej analýzy. Čas prístupu k dátam by mal byť minimálny, takže nie je potrebné písať skripty a SQL dotazy. A samozrejme, môžete ušetriť peniaze na vysoko platených špecialistoch Data Science.
Hypoteticky, technológia ponúka veľmi dobré vyhliadky pre podnikanie.
Čo nahrádza veľké dáta?
Ale v skutočnosti som začal svoj článok Big Data. A túto tému by som nemohol rozvíjať bez krátkej exkurzie do moderných nástrojov BI, ktorých základom sú často veľké dáta. Osud veľkých dát je teraz jasne určený a je ním cloudová technológia. Zameral som sa na transakcie uskutočnené s dodávateľmi BI, aby som ukázal, že teraz má každý analytický systém za sebou cloudové úložisko a cloudové služby majú BI ako frontend.
Netreba zabúdať ani na také piliere v oblasti databáz, akými sú ORACLE a Microsoft, treba si všimnúť ich zvolený smer rozvoja podnikania a tým je cloud. Všetky ponúkané služby možno nájsť v cloude, ale niektoré cloudové služby už nie sú dostupné on-premise. Urobili významnú prácu na používaní modelov strojového učenia, vytvorili knižnice dostupné používateľom a nakonfigurovali rozhrania pre jednoduchú prácu s modelmi od ich výberu až po nastavenie času spustenia.
Ďalšou dôležitou výhodou využívania cloudových služieb, ktorú vyjadrujú výrobcovia, je dostupnosť takmer neobmedzených dátových súborov na akúkoľvek tému pre tréningové modely.
Vynára sa však otázka: ako ďaleko sa u nás presadia cloudové technológie?
Zdroj: hab.com