Západ éry Big Data

Mnoho zahraničných autorov sa zhoduje na tom, že éra Big Data sa skončila. A v tomto prípade sa pod termínom Big Data rozumejú technológie založené na Hadoop. Mnohí autori dokonca môžu s istotou uviesť dátum, kedy Big Data opustili tento svet, a týmto dátumom je 05.06.2019.

Čo sa stalo v tento pamätný deň?

V tento deň spoločnosť MAPR sľúbila prerušiť svoju činnosť, ak nenájde prostriedky na ďalšie fungovanie. Neskôr, v auguste 2019, bola MAPR odkúpená spoločnosťou HP. Ale ak sa vrátime k júnu, nemožno si nevšimnúť tragédiu tohto obdobia pre trh Big Data. V tomto mesiaci došlo k prepadu akcií spoločnosti CLOUDERA - vedúceho hráča na označenom trhu, ktorá sa spájala s chronicky stratovou HORTOWORKS v januári toho istého roka. Prepad bol veľmi výrazný a dosiahol 43 %, pričom kapitalizácia CLOUDERA poklesla z 4,1 na 1,4 miliardy dolárov.

Nemožno nespomenúť, že správy o nafukovaní bubliny v oblasti technológií založených na Hadoop kolovali už od decembra 2014, ale odolali mu ešte takmer päť rokov. Tieto správy sa zakladali na odmietnutí Google, spoločnosti, ktorá vytvorila technológiu Hadoop, od svojho vynálezu. Ale technológia prežila a to v čase prechodu spoločností k cloudovým prostriedkom spracovania a prudkého rozvoja umelej inteligencie. Preto, ak sa ohlédneme späť, môžeme s istotou povedať, že smrť bola očakávaná.

Takže éra Big Data sa skončila, ale počas práce s veľkými údajmi si spoločnosti uvedomili všetky nuansy práce s nimi, výhody, ktoré Big Data môže priniesť do podnikania, a takisto sa naučili používať umelú inteligenciu na získavanie hodnoty z surových dát.

O to zaujímavejší sa stáva otázka, čo príde na mieste tejto technológie a ako sa budú ďalej vyvíjať analytické technológie.

Doplnková analytika

Počas opísaných udalostí, spoločnosti pôsobiace v oblasti analýzy dát nezaháľali. O tom svedčí aj informácia o obchodoch, ktoré sa uskutočnili v roku 2019. V aktuálnom roku bola uskutočnená najväčšia transakcia na trhu – akvizícia analytickej platformy Tableau spoločnosťou Salesforce za 15,7 miliardy dolárov. Menej významná transakcia sa uskutočnila medzi Google a Looker. A samozrejme, nesmieme zabudnúť na akvizíciu big data platformy Attunity spoločnosťou Qlik.

Lídri na trhu BI a odborníci zo spoločnosti Gartner hlásia ohromný posun v prístupoch k analýze dát, ktorý úplne rozvráti trh BI a privedie k nahradeniu BI technológiou AI. V tomto kontexte je potrebné zdôrazniť, že skratka AI neznamená „Artificial Intelligence“, ale „Augmented Intelligence“. Pozrime sa bližšie na to, čo sa skrýva za pojmom „Doplnková analytika“.

Doplnková analytika, podobne ako doplnková realita, je založená na niekoľkých základných postulátoch:

• možnosti komunikovať pomocou NLP (spracovanie prirodzeného jazyka), teda v ľudskej reči;
• použitie umelej inteligencie, čo znamená, že dáta budú predtým spracované strojovým inteligentným systémom;
• a samozrejme, odporúčania dostupné používateľovi systému, ktoré vygenerovala práve umelá inteligencia.

Podľa názorov výrobcov analytických platforiem bude ich používanie dostupné pre používateľov, ktorí nemajú špeciálne zručnosti, ako je znalosť SQL alebo podobného skriptového jazyka, nemajú štatistické alebo matematické vzdelanie a nepoznajú populárne jazyky zamerané na spracovanie dát a príslušné knižnice. Títo jednotlivci, nazývaní „Citizen Data Scientist“, by mali mať iba vynikajúcu obchodnú kvalifikáciu. Ich úlohou je zachytiť obchodné poznatky z podnetov a predpovedí, ktoré im poskytne umelá inteligencia, a svoje domnienky budú môcť upresniť pomocou NLP.

Pri popise procesu práce používateľov so systémami tejto kategórie si môžeme predstaviť nasledujúcu scénu. Osoba, keď príde do práce a spustí príslušnú aplikáciu, okrem obvyklého súboru správ a panelov, ktoré je možné analyzovať štandardnými prístupmi (triedenie, skupinovanie, vykonávanie aritmetických operácií), vidí určité náznaky a odporúčania, niečo ako: „Aby ste dosiahli KPI v počte predajov, mali by ste aplikovať zľavu na produkty z kategórie 'Záhradníctvo'.” Okrem toho sa môže obrátiť na firemný messenger: Skype, Slack atď. Môže sa opýtať robota otázky, textom alebo hlasom: „Zobraz mi päť najziskovejších klientov.” Po obdržaní príslušnej odpovede by mal prijať optimálne rozhodnutie na základe svojej biznisovej skúsenosti a priniesť spoločnosti zisk.

Ak urobíme krok späť a pozrieme sa na zloženie analyzovaných informácií, produkty triedy rozšírenej analytiky môžu zjednodušiť život ľuďom. Ideálne sa predpokladá, že používateľ bude musieť len označiť analytickému produktu zdroje požadovaných informácií a program sa už postará o vytvorenie modelu údajov, prepojenie tabuliek a podobné úlohy.

To všetko by malo predovšetkým zabezpečiť 'demokratizáciu' údajov, t.j. každý človek sa môže zaoberať analýzou celého súboru informácií, ktoré má spoločnosť k dispozícii. Proces rozhodovania by mal byť podporovaný metódami štatistickej analýzy. Doba prístupu k údajom by mala byť minimálna, takže nebude potrebné písať skripty a SQL dotazy. A samozrejme, bude možné ušetriť na vysoko platených odborníkoch na Data Science.

Hypoteticky technológie otvárajú veľmi sľubné vyhliadky pre biznis.

Čo nahrádza Big Data

Ale, vlastne, začal som svoj článok s Big Data. A nemohol som rozvinúť túto tému bez krátkeho exkurzu do súčasných BI nástrojov, ktorých základom sú často práve Big Data. Osud veľkých údajov je teraz jasne predurčený, a to sú cloudové technológie. Venoval som pozornosť obchodným dohodám uzatvoreným s výrobcami BI s cieľom demonštrovať, že teraz každý analytický systém má pod sebou cloudové úložisko, a cloudové služby majú BI ako front end.

Nie zabúdajúc na také piliere v oblasti databáz ako ORACLE a Microsoft, je potrebné zdôrazniť ich preferované smerovanie rozvoja biznisu, a to do cloudu. Všetky ponúkané služby sú dostupné v cloude, ale niektoré cloudové služby už nemožno získať on-premise. Urobili významný krok v oblasti využívania modelov strojového učenia, vytvorili knižnice dostupné pre používateľov a nastavili rozhrania pre pohodlnú prácu s modelmi od výberu po nastavovanie času spustenia.

Ďalšou dôležitou výhodou používania cloudových služieb, ktorú uvádzajú výrobcovia, je existencia prakticky neobmedzených dátových súborov na akúkoľvek tému pre trénovanie modelov.

Avšak, vzniká otázka, ako sa cloudové technológie ujmú v našej krajine?

Zdroj: habr.com