Paljud välisautorid nõustuvad, et suurandmete ajastu on läbi saanud. Ja antud juhul viitab mõiste suurandmed Hadoopil põhinevatele tehnoloogiatele. Paljud autorid võivad isegi julgelt nimetada kuupäeva, millal Big Data siit maailmast lahkus ja see kuupäev on 05.06.2019.
Mis juhtus sellel tähtsal päeval?
Sel päeval lubas MAPR oma töö peatada, kui ei leia vahendeid edasiseks tegutsemiseks. HP omandas MAPRi hiljem 2019. aasta augustis. Kuid naastes juuni juurde, ei saa jätta märkimata selle perioodi traagikat suurandmete turu jaoks. Sel kuul langesid turu juhtiva tegija CLOUDERA aktsiahinnad, mis ühinesid sama aasta jaanuaris krooniliselt kahjumliku HORTOWORKSiga. Kokkuvarisemine oli üsna märkimisväärne ja ulatus 43%-ni, kokkuvõttes vähenes CLOUDERA kapitalisatsioon 4,1 miljardilt dollarilt 1,4 miljardile dollarile.
Ei saa öelda, et kuuldused mullist Hadoopil põhinevate tehnoloogiate vallas on ringlenud alates 2014. aasta detsembrist, kuid see pidas vapralt vastu veel ligi viis aastat. Need kuulujutud põhinesid Hadoopi tehnoloogia päritolu ettevõtte Google'i keeldumisel selle leiutamisest. Kuid tehnoloogia juurdus ettevõtete üleminekul pilvetöötlusvahenditele ja tehisintellekti kiirele arengule. Seetõttu võime tagasi vaadates kindlalt öelda, et surm oli ootuspärane.
Seega on suurandmete ajastu läbi saanud, kuid suurandmete kallal töötamise käigus on ettevõtted mõistnud kõiki sellega töötamise nüansse, kasu, mida suurandmed võivad ettevõtlusele tuua, ning õppinud kasutama ka kunstlikku luureandmed toorandmetest väärtuse eraldamiseks.
Seda huvitavamaks muutub küsimus, mis seda tehnoloogiat asendab ja kuidas analüütikatehnoloogiad edasi arenevad.
Liitanalüüs
Kirjeldatud sündmuste ajal ei jäänud andmeanalüüsi valdkonnas tegutsevad ettevõtted paigale. Mida saab hinnata 2019. aastal toimunud tehingute teabe põhjal. Sel aastal viidi läbi turu suurim tehing – analüütilise platvormi Tableau omandamine Salesforce’i poolt 15,7 miljardi dollari eest. Google'i ja Lookeri vahel tekkis väiksem tehing. Ja muidugi ei saa jätta mainimata, et Qlik omandas suurandmeplatvormi Attunity.
BI turuliidrid ja Gartneri eksperdid teatavad tohutust nihkest andmeanalüüsi lähenemisviisides; see nihe hävitab täielikult BI turu ja viib BI asendamiseni tehisintellektiga. Selles kontekstis tuleb märkida, et lühend AI ei ole "tehisintellekt", vaid "täiendatud intelligentsus". Vaatame lähemalt, mis peitub sõnade „Liitanalüüs” taga.
Laiendatud analüütika, nagu ka liitreaalsus, põhineb mitmel üldisel postulaadil:
- oskus suhelda kasutades NLP-d (loomuliku keele töötlemine), st. inimkeeles;
- tehisintellekti kasutamine, see tähendab, et andmeid eeltöötleb masinintellekt;
- ja loomulikult tehisintellekti poolt genereeritud tehisintellekti poolt loodud soovitused süsteemi kasutajale.
Analüütiliste platvormide tootjate sõnul saavad neid kasutada kasutajad, kellel puuduvad erioskused, näiteks SQL-i või sarnase skriptikeele tundmine, kellel puudub statistiline või matemaatikaalane ettevalmistus, kes ei valda populaarseid keeli. spetsialiseerunud andmetöötlusele ja vastavatele raamatukogudele. Sellistel inimestel, keda nimetatakse "Citizen Data Scientistiks", peab olema ainult silmapaistev ärikvalifikatsioon. Nende ülesanne on jäädvustada tehisintellekti pakutavatest näpunäidetest ja prognoosidest äriteavet ning nad saavad NLP abil oma oletusi täpsustada.
Kirjeldades selle klassi süsteemidega kasutajate tööprotsessi, võib ette kujutada järgmist pilti. Inimene, tulles tööle ja käivitades vastava rakenduse, näeb lisaks tavapärasele aruannete ja armatuurlaudade komplektile, mida saab analüüsida standardsete lähenemisviisidega (sorteerimine, rühmitamine, aritmeetiliste toimingute sooritamine), teatud näpunäiteid ja soovitusi, näiteks: KPI, müükide arvu saavutamiseks tuleks kategooria “Aiandus” toodetele kohaldada allahindlust. Lisaks saab inimene ühendust võtta ettevõtte messengeriga: Skype, Slack jne. Oskab robotile teksti või häälega küsimusi esitada: "Andke mulle viis kõige tulusamat klienti." Saanud asjakohase vastuse, peab ta tegema oma ärikogemuse põhjal parima otsuse ja tooma ettevõttele kasumit.
Kui astute sammu tagasi ja vaatate analüüsitava teabe koostist ja selles etapis, võivad täiustatud analüütikatooted inimeste elu lihtsamaks muuta. Ideaalis eeldatakse, et kasutajal on vaja ainult analüüsitoode suunata soovitud teabe allikatele ja programm ise hoolitseb andmemudeli loomise, tabelite linkimise ja sarnaste ülesannete eest.
See kõik peaks eelkõige tagama andmete “demokratiseerimise”, s.t. Iga inimene saab analüüsida kogu ettevõtte käsutuses olevat teavet. Otsustusprotsessi peavad toetama statistilised analüüsimeetodid. Andmetele juurdepääsu aeg peaks olema minimaalne, nii et pole vaja kirjutada skripte ja SQL päringuid. Ja muidugi saate säästa raha kõrgelt tasustatud andmeteaduse spetsialistide pealt.
Hüpoteetiliselt pakub tehnoloogia ärile väga helgeid väljavaateid.
Mis asendab suurandmeid?
Kuid tegelikult alustasin oma artiklit Big Dataga. Ja ma ei saaks seda teemat arendada ilma põgusa ülevaateta kaasaegsetesse BI-tööriistadesse, mille aluseks on sageli suurandmed. Suurandmete saatus on nüüd selgelt määratud ja selleks on pilvetehnoloogia. Keskendusin BI-müüjatega tehtud tehingutele, et näidata, et nüüd on iga analüütilise süsteemi taga pilvesalvestus ja pilveteenuste esiotsaks on BI.
Unustamata selliseid andmebaaside valdkonna tugisammasid nagu ORACLE ja Microsoft, tuleb märkida nende valitud äriarenduse suund ja see on pilv. Kõik pakutavad teenused on pilves leitavad, kuid mõned pilveteenused pole enam kohapeal saadaval. Nad on teinud märkimisväärset tööd masinõppemudelite kasutamisel, loonud kasutajatele kättesaadavaid teeke ja konfigureerinud liidesed mudelitega töötamise hõlbustamiseks alates nende valimisest kuni algusaja määramiseni.
Teine oluline pilveteenuste kasutamise eelis, mida tootjad välja ütlevad, on peaaegu piiramatute andmekogumite kättesaadavus mis tahes teemal koolitusmudelite jaoks.
Siiski tekib küsimus: kui kaugele hakkavad pilvetehnoloogiad meie riigis juurduma?
Allikas: www.habr.com