Mnogi tuji avtorji se strinjajo, da se je doba velikih podatkov končala. In v tem primeru se izraz Big Data nanaša na tehnologije, ki temeljijo na Hadoopu. Številni avtorji lahko celo z gotovostjo navedejo datum, ko so veliki podatki zapustili ta svet in ta datum je 05.06.2019. XNUMX. XNUMX.
Kaj se je zgodilo na ta pomemben dan?
MAPR je ta dan obljubil, da bo prekinil svoje delo, če ne bo našel sredstev za nadaljnje delovanje. MAPR je pozneje avgusta 2019 prevzel HP. Toda če se vrnemo k juniju, si ne moremo kaj, da ne bi opazili tragedije tega obdobja za trg velikih podatkov. Ta mesec je prišlo do padca tečajev delnic CLOUDERA, vodilnega igralca na trgu, ki se je januarja istega leta združil s kronično nedonosnim HORTOWORKS. Propad je bil precejšen in je znašal 43%, na koncu pa se je kapitalizacija CLOUDERA zmanjšala s 4,1 na 1,4 milijarde dolarjev.
Nemogoče je reči, da govorice o balonu na področju tehnologij, ki temeljijo na Hadoop, krožijo že od decembra 2014, a je pogumno vztrajal še skoraj pet let. Te govorice so temeljile na tem, da je Google, podjetje, kjer je nastala tehnologija Hadoop, zavrnilo svoj izum. A tehnologija se je uveljavila ob prehodu podjetij na orodja za obdelavo v oblaku in hitrem razvoju umetne inteligence. Torej, če pogledamo nazaj, lahko z gotovostjo rečemo, da je bila smrt pričakovana.
Tako se je doba velikih podatkov končala, a v procesu dela na velikih podatkih so podjetja spoznala vse nianse dela na njih, prednosti, ki jih lahko veliki podatki prinesejo poslovanju, in se tudi naučila uporabljati umetne inteligenco za pridobivanje vrednosti iz neobdelanih podatkov.
Še bolj zanimivo postaja vprašanje, kaj bo nadomestilo to tehnologijo in kako se bodo analitične tehnologije razvijale naprej.
Razširjena analitika
Med opisanimi dogodki podjetja, ki se ukvarjajo s analizo podatkov, niso mirovala. Kaj je mogoče presoditi na podlagi informacij o transakcijah, ki so se zgodile v letu 2019. Letos je bila izvedena največja transakcija na trgu - nakup analitične platforme Tableau s strani Salesforce za 15,7 milijarde dolarjev. Med Googlom in Lookerjem je prišlo do manjšega posla. In seveda ne moremo mimo tega, da je Qlik kupil platformo za velike podatke Attunity.
Vodilni na trgu BI in strokovnjaki Gartnerja napovedujejo ogromen premik v pristopih k analizi podatkov, ki bo popolnoma uničil trg BI in privedel do zamenjave BI z AI. V tem kontekstu je treba opozoriti, da okrajšava AI ni "umetna inteligenca", ampak "razširjena inteligenca". Oglejmo si podrobneje, kaj se skriva za besedami »Razširjena analitika«.
Razširjena analitika, tako kot obogatena resničnost, temelji na več splošnih postulatih:
- sposobnost komuniciranja z uporabo NLP (Natural Language Processing), t.j. v človeškem jeziku;
- uporaba umetne inteligence, to pomeni, da bodo podatki predhodno obdelani s strojno inteligenco;
- in seveda priporočila, ki so na voljo uporabniku sistema, ki jih je ustvarila umetna inteligenca.
Po navedbah proizvajalcev analitičnih platform bo njihova uporaba na voljo uporabnikom, ki nimajo posebnih znanj, kot je poznavanje SQL ali podobnega skriptnega jezika, ki nimajo statistične ali matematične izobrazbe, ki nimajo znanja priljubljenih jezikov. specializiran za obdelavo podatkov in pripadajoče knjižnice. Takšni ljudje, imenovani "državljanski podatkovni znanstveniki", morajo imeti le izjemne poslovne kvalifikacije. Njihova naloga je zajeti poslovne vpoglede iz nasvetov in napovedi, ki jim jih bo dala umetna inteligenca, svoja ugibanja pa lahko izboljšajo z uporabo NLP.
Če opisujemo proces dela uporabnikov s sistemi tega razreda, si lahko predstavljamo naslednjo sliko. Oseba, ki pride na delo in zažene ustrezno aplikacijo, poleg običajnega nabora poročil in nadzornih plošč, ki jih je mogoče analizirati s standardnimi pristopi (razvrščanje, združevanje, izvajanje aritmetičnih operacij), vidi določene nasvete in priporočila, nekaj takega: »V Da bi dosegli KPI, število prodaj, morate uveljaviti popust na izdelke iz kategorije “Vrtnarjenje”. Poleg tega se lahko oseba obrne na korporativni messenger: Skype, Slack itd. Robotu lahko postavlja vprašanja z besedilom ali glasom: "Daj mi pet najbolj dobičkonosnih strank." Po ustreznem odgovoru se mora glede na svoje poslovne izkušnje odločiti najbolje in podjetju prinesti dobiček.
Če stopite korak nazaj in pogledate sestavo informacij, ki se analizirajo, in na tej stopnji lahko izdelki razširjene analitike ljudem olajšajo življenje. V idealnem primeru se predpostavlja, da bo moral uporabnik analitični izdelek le usmeriti na vire želenih informacij, program pa bo sam poskrbel za izdelavo podatkovnega modela, povezovanje tabel in podobna opravila.
Vse to naj bi v prvi vrsti zagotovilo »demokratizacijo« podatkov, tj. Vsaka oseba lahko analizira celotno paleto informacij, ki so na voljo podjetju. Proces odločanja mora biti podprt z metodami statistične analize. Čas dostopa do podatkov mora biti minimalen, zato ni treba pisati skriptov in SQL poizvedb. In seveda lahko prihranite denar pri visoko plačanih strokovnjakih za podatkovno znanost.
Hipotetično tehnologija ponuja zelo svetle možnosti za poslovanje.
Kaj nadomešča velike podatke
Toda pravzaprav sem svoj članek začel z Big Data. In te teme ne bi mogel razviti brez kratkega izleta v sodobna orodja poslovne inteligence, katerih osnova so pogosto veliki podatki. Usoda velikih podatkov je zdaj jasno določena in to je tehnologija v oblaku. Osredotočil sem se na transakcije, opravljene s prodajalci BI, da bi pokazal, da ima zdaj vsak analitični sistem za sabo shranjevanje v oblaku, storitve v oblaku pa imajo BI kot sprednji del.
Ne pozabimo na stebre na področju podatkovnih baz, kot sta ORACLE in Microsoft, treba je opozoriti na njihovo izbrano smer razvoja poslovanja in to je oblak. Vse ponujene storitve lahko najdete v oblaku, vendar nekatere storitve v oblaku niso več na voljo na mestu uporabe. Opravili so veliko dela pri uporabi modelov strojnega učenja, ustvarili knjižnice, ki so na voljo uporabnikom, in konfigurirali vmesnike za enostavno delo z modeli od njihove izbire do nastavitve začetnega časa.
Druga pomembna prednost uporabe storitev v oblaku, ki jo navajajo proizvajalci, je razpoložljivost skoraj neomejenih naborov podatkov o kateri koli temi za modele usposabljanja.
Postavlja pa se vprašanje, kako daleč se bodo tehnologije v oblaku uveljavile pri nas?
Vir: www.habr.com