Mange utenlandske forfattere er enige om at æraen med Big Data har kommet til slutten. Og i dette tilfellet refererer begrepet Big Data til teknologier basert på Hadoop. Mange forfattere kan til og med trygt navngi datoen da Big Data forlot denne verden, og denne datoen er 05.06.2019/XNUMX/XNUMX.
Hva skjedde på denne betydningsfulle dagen?
På denne dagen lovet MAPR å stanse arbeidet dersom det ikke kunne finne midler til videre drift. MAPR ble senere kjøpt opp av HP i august 2019. Men tilbake til juni kan man ikke unngå å merke seg tragedien i denne perioden for Big Data-markedet. Denne måneden så en kollaps i aksjekursene til CLOUDERA, en ledende aktør i markedet, som fusjonerte med kronisk ulønnsomme HORTOWORKS i januar samme år. Sammenbruddet var ganske betydelig og utgjorde 43 %; til slutt falt CLOUDERAs kapitalisering fra 4,1 til 1,4 milliarder dollar.
Det er umulig å ikke si at rykter om en boble innen Hadoop-baserte teknologier har sirkulert siden desember 2014, men det holdt tappert i nesten fem år til. Disse ryktene var basert på avslaget fra Google, selskapet der Hadoop-teknologien oppsto, fra oppfinnelsen. Men teknologien slo rot under overgangen av selskaper til skybehandlingsverktøy og den raske utviklingen av kunstig intelligens. Derfor, når vi ser tilbake, kan vi med sikkerhet si at dødsfallet var ventet.
Dermed har æraen med Big Data kommet til slutten, men i prosessen med å jobbe med Big Data har selskaper innsett alle nyansene ved å jobbe med det, fordelene som Big Data kan gi for virksomheten, og også lært å bruke kunstig intelligens for å trekke ut verdi fra rådata.
Jo mer interessant blir spørsmålet om hva som vil erstatte denne teknologien og hvordan analyseteknologier vil utvikle seg videre.
Utvidet Analytics
Under de beskrevne hendelsene satt ikke selskaper som jobber innen dataanalyse stille. Hva kan bedømmes basert på informasjon om transaksjoner som skjedde i 2019. I år ble den største transaksjonen i markedet gjennomført – oppkjøpet av analytisk plattform Tableau av Salesforce for 15,7 milliarder dollar. En mindre avtale skjedde mellom Google og Looker. Og selvfølgelig kan man ikke unngå å legge merke til Qliks oppkjøp av stordataplattformen Attunity.
BI-markedsledere og Gartner-eksperter kunngjør et monumentalt skifte i tilnærminger til dataanalyse; dette skiftet vil fullstendig ødelegge BI-markedet og føre til at BI erstattes med AI. I denne sammenhengen bør det bemerkes at forkortelsen AI ikke er «Artificial intelligence» men «Augmented Intelligence». La oss se nærmere på hva som ligger bak ordene «Augmented Analytics».
Augmented analytics, som utvidet virkelighet, er basert på flere generelle postulater:
- evnen til å kommunisere ved hjelp av NLP (Natural Language Processing), dvs. på menneskelig språk;
- bruk av kunstig intelligens, dette betyr at dataene vil bli forhåndsbehandlet av maskinell intelligens;
- og selvfølgelig anbefalinger tilgjengelig for brukeren av systemet, som ble generert av kunstig intelligens.
Ifølge produsentene av analytiske plattformer vil bruken av dem være tilgjengelig for brukere som ikke har spesielle ferdigheter, for eksempel kunnskap om SQL eller et lignende skriptspråk, som ikke har statistisk eller matematisk opplæring, som ikke har kunnskap om populære språk spesialiserer seg på databehandling og tilsvarende biblioteker. Slike personer, kalt "Citizen Data Scientists", må bare ha fremragende forretningskvalifikasjoner. Deres oppgave er å fange opp forretningsinnsikt fra tipsene og prognosene som kunstig intelligens vil gi dem, og de kan avgrense gjetningene sine ved hjelp av NLP.
Ved å beskrive prosessen med brukere som arbeider med systemer av denne klassen, kan man forestille seg følgende bilde. En person som kommer på jobb og starter den tilsvarende applikasjonen, i tillegg til det vanlige settet med rapporter og dashbord som kan analyseres ved hjelp av standardtilnærminger (sortering, gruppering, utførelse av aritmetiske operasjoner), ser visse tips og anbefalinger, noe som: "I For å oppnå KPI, antall salg, bør du bruke rabatt på produkter fra kategorien "Hagearbeid". I tillegg kan en person kontakte en bedriftsmessenger: Skype, Slack, etc. Kan stille spørsmål til roboten, via tekst eller stemme: "Gi meg de fem mest lønnsomme kundene." Etter å ha mottatt det riktige svaret, må han ta den beste avgjørelsen basert på sin forretningserfaring og bringe profitt til selskapet.
Hvis du tar et skritt tilbake og ser på sammensetningen av informasjonen som analyseres, og på dette stadiet, kan utvidede analyseprodukter gjøre folks liv enklere. Ideelt sett antas det at brukeren kun trenger å peke analyseproduktet til kildene til ønsket informasjon, og programmet vil selv ta seg av å lage en datamodell, lenke tabeller og lignende oppgaver.
Alt dette skal for det første sikre «demokratisering» av data, dvs. Enhver person kan analysere hele spekteret av informasjon som er tilgjengelig for selskapet. Beslutningsprosessen må støttes av statistiske analysemetoder. Datatilgangstiden skal være minimal, så det er ikke nødvendig å skrive skript og SQL-spørringer. Og selvfølgelig kan du spare penger på høyt betalte datavitenskapsspesialister.
Hypotetisk sett gir teknologien svært lyse utsikter for virksomheten.
Hva erstatter Big Data?
Men faktisk startet jeg artikkelen min med Big Data. Og jeg kunne ikke utvikle dette emnet uten en kort ekskursjon til moderne BI-verktøy, som ofte er Big Data som grunnlag. Skjebnen til big data er nå klart bestemt, og det er skyteknologi. Jeg fokuserte på avtaler med BI-leverandører for å demonstrere at nå har hvert analytisk system skylagring bak seg, og skytjenester har BI som frontend.
For ikke å glemme slike pilarer innen databaser som ORACLE og Microsoft, er det nødvendig å merke seg deres valgte retning for forretningsutvikling, og dette er skyen. Alle tilbudte tjenester finnes i skyen, men noen skytjenester er ikke lenger tilgjengelige på stedet. De har gjort betydelig arbeid med bruken av maskinlæringsmodeller, opprettet biblioteker tilgjengelig for brukere og konfigurert grensesnitt for å gjøre det enkelt å jobbe med modeller fra valg av dem til innstilling av starttidspunkt.
En annen viktig fordel med å bruke skytjenester, som er uttalt av produsenter, er tilgjengeligheten av nesten ubegrensede datasett om ethvert emne for treningsmodeller.
Spørsmålet oppstår imidlertid: hvor langt vil skyteknologier slå rot i landet vårt?
Kilde: www.habr.com