Paljude välisautorite arvates on Big Data ajastu jõudnud lõppkuupäeva. Big Data mõistena mõeldakse siin Hadoopi põhiseid tehnoloogiaid. Paljud autorid võivad isegi usaldusväärselt nimetada kuupäeva, mil Big Data selle maailma lahkus, ning see kuupäev on 05.06.2019.
Mis siis sellel ajaloolisel päeval juhtus?
Sel päeval kuulutas ettevõte MAPR välja, et peatab oma tegevuse, kui ei suuda leida vahendeid edasise toimimise jaoks. Hiljem, 2019. aasta augustis, omandas MAPR firma HP. Kuid tagasi juunisse vaadates ei saa jätta märkimata selle perioodi traagilisust Big Data turul. Sel kuul toimus aktsiahindade järsk langus CLOUDERA – juhtiva mängija aktsiates, mis oli jaanuaris sel aastal teinud ühinemise pidevalt kahjumis oleva HORTOWORKS-iga. Langus oli märkimisväärne – 43%, mille tulemusena CLOUDERA kapitalisatsioon langes 4,1 miljardilt dollarilt 1,4 miljardile dollarile.
Ei saa jätta tähelepanuta, et kuulujutud Hadoopil põhinevate tehnoloogiate mullist rääkimisest olid liikvel juba 2014. aasta detsembrist, kuid see püsis vapralt veel peaaegu viis aastat. Need kuulujutud tuginesid Google'i otsusele, milles sündis Hadoopi tehnoloogia, loobuda oma leiutisest. Siiski juurdus tehnoloogia, kui ettevõtted liikusid pilvandmetöötlusele ja kunstliku intelligentsi kiirele arengule. Seetõttu, vaadates tagasi, võib julgelt öelda, et surm oli ootuspärane.
Seega on Big Data ajastu lõppemas, kuid suurte andmete töötamise käigus said ettevõtted aru kõigist nende töötamise nüanssidest, kasu, mida Big Data äridele tuua võib ning õppisid kasutama kunstlikku intelligentsust, et tooraineandmetest väärtust välja tuua.
Küsimus, mis tehnoloogia selle asemele tuleb ja kuidas analüüsitehnoloogiad jätkuvalt arenevad, on seetõttu veelgi huvitavam.
Täiendatud analüütika
Toimuvate sündmuste ajal ei istunud andmeanalüüsi ettevõtted puhkama. Seda tõestab teave 2019. aastal toimunud tehingute kohta. Sel aastal toimus turu suurim tehing – Salesforce'i analüütika platvormi Tableau ostmine 15,7 miljardi dollari eest. Vähem oluline tehing toimus Google'i ja Lookeri vahel. Ja loomulikult ei saa jätta märkimata, et ettevõte Qlik soetas Big Data platvormi Attunity.
BI turu liidrid ja analüütikud Gartneri organisatsioonist teatavad tohutust nihkest andmeanalüüsis, mis lammutab täielikult BI turu ning toob kaasa BI asendamise AI-ga. Selle konteksti juures on oluline märkida, et AI akronüüm ei tähenda 'Artificial Intelligence', vaid 'Augmented Intelligence'. Vaatame lähemalt, mis peitub 'Täiendatud analüütika' mõistete taga.
Täiendatud analüütika, nagu ka täiustatud reaalsus, põhineb mitmetel üldistel postulaatidel:
- võimalus suhelda loomuliku keele töötlemise (NLP) abil, st inimkeeles;
- kasutatav kunstlik intelligentsus, mis tähendab, et andmed töötleb eelnevalt masinaintelekt;
- ja loomulikult soovitused, mis on süsteemi kasutajale kättesaadavad ja mille on genereerinud kunstlik intelligentsus.
Analüüsiplatvormide tootjate arvates peaks nende kasutamine olema kergesti kättesaadav kasutajatele, kes ei oma spetsiifilisi oskusi, nagu SQL või muu skriptikeel, puudub statistiline või matemaatiline haridus ning teadmised populaarsetest keeltest, mis on spetsialiseerunud andmete töötlemisele ja vastavatele raamatukogudele. Sellised inimesed, keda tuntakse kui 'Citizen Data Scientist', peaksid omama vaid erakordseid äri kvalifikatsioone. Nende ülesanne on tabada äriülevaateid, järgides kunstliku intelligentsuse antud vihjeid ja prognoose, ning oma oletusi täpsustada, kasutades NLP-d.
Kasutajate tööprotsesside kirjeldamine selliste süsteemidega võib anda järgmise pildi. Inimene, tulles tööle ja avades vastava rakenduse, näeb lisaks tavalistele aruannetele ja juhtpaneelidele, mida saab analüüsida tavapäraste lähenemisviisidega (sorteerimine, grupeerimine, arvutuste tegemine), ka teatud vihjeid ja soovitusi, näiteks: „KPI saavutamiseks, seoses müügikogustega, peaksite rakendama allahindlust 'Aianduse' kategooria toodetele." Lisaks võib inimene pöörduda ettevõtte siseste sõnumitoimingute rakenduste nagu Skype, Slack jne poole. Ta võib robotile esitada küsimusi tekstina või häälega: „Kuva mulle viis kõige kasumlikumat klienti." Saades vastuse, peab ta langetama optimaalset otsust, tuginedes oma äritegevusele, et tuua ettevõttele kasu.
Kui astuda sammu tagasi ja vaadata analüüsitava teabe koostist, võivad täiendava analüütika tooted selles etapis elu lihtsustada. Ideaaljuhul peaks kasutaja lihtsalt näitama analüütika tootele soovitud teabe allikaid, ja programm hoolitseb ning loodi andmemudelid, tabelite sidumine ja sarnaste ülesannete eest.
Kõik see peaks eelkõige tagama andmete „demokratiseerimise”, t. e. igaühel on võimalik analüüsida kogu ettevõtte teabe massi. Otsuste tegemise protsess peaks olema tugevdatud statistiliste analüüsi meetoditega. Andmetele juurdepääsu aeg peab olema minimaalne, seega ei ole vaja kirjutada skripte ja SQL päringuid. Ja muidugi, saab kokku hoida kõrgelt tasustatud Data Science spetsialistidelt.
Hüpoteetiliselt avavad tehnoloogiad äri jaoks väga roosi-pruunid vaated.
Mis asendab Big Data
Kuid tegelikult alustasin oma artiklit Big Dataga. Ja ei saanud seda teemat arendada ilma lühikese ekskursioonita tänapäeva BI tööriistadesse, mille aluseks on sageli Big Data. Suured andmed on nüüd selgelt määratud pilvetehnoloogiatele. Olen rõhutanud tehinguid, mis on tehtud BI tootjatega, näitamaks, et nüüd on igasugune analüütiline süsteem seotud pilvehoidla kasutamisega, ja pilveteenused pakuvad BI-d front-endina.
Ilma unustamata andmebaaside, nagu ORACLE ja Microsoft, tugipunkte, tuleb märkida nende poolt valitud suund äri arendamiseks, ja see on pilv. Kõik pakutavad teenused on saadaval pilves, kuid mõnda pilveteenust ei saa enam kohapeal saada. Neid on tehtud märkimisväärne töö masinõppemudelite kasutamisel, loodud raamatukogud, mis on kasutajatele kergesti ligipääsetavad, seatud liideseid mugavaks tööks mudelite valimisest nende käivitamise ajani.
Teine oluline eelis pilveteenuste kasutamisel, mida tootjad välja toovad, on praktiliselt piiramatud andmehulga, mis katab mistahes teemat, olemasolu mudelite treenimiseks.
Kuid tekib küsimus, kuivõrd pilvetehnoloogiad meie riigis juurduma hakkavad?
Allikas: habr.com
