Mnogi strani autori se slažu da je era velikih podataka došla do kraja. I u ovom slučaju, termin Big Data se odnosi na tehnologije zasnovane na Hadoop-u. Mnogi autori čak mogu sa sigurnošću imenovati datum kada je Big Data napustio ovaj svijet, a to je 05.06.2019.
Šta se dogodilo na ovaj značajan dan?
MAPR je na današnji dan obećao da će obustaviti rad ukoliko ne nađe sredstva za dalji rad. MAPR je kasnije kupio HP u avgustu 2019. No, vraćajući se na juni, ne možemo a da ne primijetimo tragediju ovog perioda za tržište velikih podataka. Ovog mjeseca došlo je do kolapsa cijena dionica kompanije CLOUDERA, vodećeg igrača na tržištu, koja se u januaru iste godine spojila sa hronično neprofitabilnim HORTOWORKS-om. Kolaps je bio prilično značajan i iznosio je 43% u konačnici, kapitalizacija CLOUDERA je smanjena sa 4,1 na 1,4 milijarde dolara.
Nemoguće je ne reći da glasine o balonu na polju tehnologija zasnovanih na Hadoopu kruže još od decembra 2014. godine, ali se hrabro održao još skoro pet godina. Ove glasine su bile zasnovane na odbijanju Google-a, kompanije u kojoj je nastala Hadoop tehnologija, od njenog pronalaska. Ali tehnologija se ukorijenila tokom tranzicije kompanija na alate za obradu u oblaku i brzog razvoja umjetne inteligencije. Stoga, gledajući unazad, možemo sa sigurnošću reći da je smrt očekivana.
Time je era velikih podataka došla do kraja, ali su u procesu rada na velikim podacima kompanije shvatile sve nijanse rada na njima, prednosti koje veliki podaci mogu donijeti u poslovanje, a naučile su i da koriste umjetne podatke. inteligenciju za izvlačenje vrijednosti iz sirovih podataka.
Sve zanimljivije postaje pitanje šta će zamijeniti ovu tehnologiju i kako će se analitičke tehnologije dalje razvijati.
Augmented Analytics
Tokom opisanih događaja, kompanije koje rade u oblasti analize podataka nisu mirovale. Šta se može suditi na osnovu informacija o transakcijama koje su se desile u 2019. Ove godine je obavljena najveća transakcija na tržištu - kupovina analitičke platforme Tableau od strane Salesforcea za 15,7 milijardi dolara. Manji dogovor dogodio se između Googlea i Lookera. I naravno, ne može se ne primijetiti akvizicija od strane Qlik-a velike data platforme Attunity.
Lideri BI tržišta i stručnjaci kompanije Gartner najavljuju monumentalnu promjenu u pristupu analizi podataka. U ovom kontekstu, treba napomenuti da skraćenica AI nije “vještačka inteligencija” već “proširena inteligencija”. Pogledajmo pobliže šta se krije iza riječi "Proširena analitika".
Proširena analitika, kao i proširena stvarnost, zasniva se na nekoliko općih postulata:
- sposobnost komuniciranja pomoću NLP-a (Obrada prirodnog jezika), tj. na ljudskom jeziku;
- korištenje umjetne inteligencije, to znači da će podaci biti prethodno obrađeni mašinskom inteligencijom;
- i naravno, preporuke dostupne korisniku sistema, koje je generisala veštačka inteligencija.
Kako navode proizvođači analitičkih platformi, njihovo korištenje bit će dostupno korisnicima koji nemaju posebne vještine, poput poznavanja SQL-a ili sličnog skriptnog jezika, koji nemaju statističku ili matematičku obuku, koji nemaju znanje popularnih jezika. specijaliziran za obradu podataka i odgovarajuće biblioteke. Takvi ljudi, koji se nazivaju "Citizen Data Scientists", moraju imati samo izvanredne poslovne kvalifikacije. Njihov zadatak je da uhvate poslovne uvide iz savjeta i predviđanja koje će im dati umjetna inteligencija, a mogu precizirati svoja nagađanja koristeći NLP.
Opisujući proces rada korisnika sa sistemima ove klase, može se zamisliti sljedeća slika. Osoba, koja dolazi na posao i pokreće odgovarajuću aplikaciju, pored uobičajenog skupa izvještaja i nadzornih ploča koji se mogu analizirati standardnim pristupima (sortiranje, grupisanje, izvođenje aritmetičkih operacija), vidi određene savjete i preporuke, nešto poput: „U da biste ostvarili KPI, broj prodaje, trebate primijeniti popust na proizvode iz kategorije „Bartarstvo“. Osim toga, osoba može kontaktirati korporativni messenger: Skype, Slack, itd. Može postavljati pitanja robotu, tekstom ili glasom: "Daj mi pet najprofitabilnijih klijenata." Nakon što dobije odgovarajući odgovor, mora donijeti najbolju odluku na osnovu svog poslovnog iskustva i donijeti profit kompaniji.
Ako napravite korak unazad i pogledate sastav informacija koje se analiziraju, u ovoj fazi, prošireni analitički proizvodi mogu olakšati život ljudima. U idealnom slučaju, pretpostavlja se da će korisnik samo trebati analitički proizvod ukazati na izvore željenih informacija, a sam program će se pobrinuti za kreiranje modela podataka, povezivanje tabela i slične zadatke.
Sve ovo bi, prije svega, trebalo osigurati „demokratizaciju“ podataka, tj. Svaka osoba može analizirati čitav niz informacija dostupnih kompaniji. Proces donošenja odluka mora biti podržan metodama statističke analize. Vrijeme pristupa podacima treba biti minimalno, tako da nema potrebe za pisanjem skripti i SQL upita. I naravno, možete uštedjeti novac na visoko plaćenim stručnjacima Data Science.
Hipotetički, tehnologija nudi veoma svetle izglede za poslovanje.
Šta zamjenjuje Big Data
Ali, u stvari, počeo sam svoj članak s Big Data. A ovu temu ne bih mogao razviti bez kratkog izleta u moderne BI alate, čija je osnova često Big Data. Sudbina velikih podataka sada je jasno određena, a riječ je o tehnologiji oblaka. Fokusirao sam se na poslove sklopljene sa BI dobavljačima kako bih pokazao da sada svaki analitički sistem iza sebe ima skladište u oblaku, a usluge u oblaku imaju BI kao prednji kraj.
Ne zaboravljajući na takve stubove u oblasti baza podataka kao što su ORACLE i Microsoft, potrebno je napomenuti njihov izabrani pravac razvoja poslovanja, a to je oblak. Sve ponuđene usluge mogu se pronaći u oblaku, ali neke usluge u oblaku više nisu dostupne na licu mjesta. Uradili su značajan posao na korišćenju modela mašinskog učenja, kreirali biblioteke dostupne korisnicima i konfigurisali interfejse za lakši rad sa modelima od odabira do postavljanja vremena početka.
Još jedna važna prednost korištenja cloud servisa, o kojoj govore proizvođači, je dostupnost gotovo neograničenih skupova podataka o bilo kojoj temi za modele obuke.
Međutim, postavlja se pitanje: dokle će se cloud tehnologije ukorijeniti u našoj zemlji?
izvor: www.habr.com