Solnedgangen for Big Data

Mange utenlandske forfattere er enige om at Big Data-epoken er over. Med termen Big Data refereres det her til teknologier basert på Hadoop. Mange forfattere kan til og med med sikkerhet nevne datoen da Big Data forlot denne verden, og den datoen er 05.06.2019.

Hva skjedde på denne skjebnesvangre dagen?

På denne dagen lovet selskapet MAPR å stoppe driften hvis de ikke klarte å finne midler til videre drift. Senere, i august 2019, ble MAPR kjøpt opp av HP. Men tilbake til juni, kan man ikke unngå å bemerke tragedien i denne perioden for Big Data-markedet. I denne måneden falt aksjekursen til CLOUDERA – en ledende aktør på dette markedet, som fusjonerte med det kronisk ulønnsomme HORTOWORKS i januar samme år. Fallet var ganske betydelig, med en nedgang på 43%, som resulterte i at kapitaliseringen til CLOUDERA falt fra 4,1 til 1,4 milliarder dollar.

Man kan ikke unngå å si at ryktene om en boble i teknologi basert på Hadoop sirkulerte allerede fra desember 2014, men den holdt seg tappert i nesten fem år til. Ryktene var basert på Googles avvisning av deres egen oppfinnelse, Hadoop. Men teknologien klarte seg når selskapene overgikk til skybaserte databehandlingsverktøy og kunstig intelligens begynte å utvikle seg raskt. Derfor, når man ser tilbake, kan man med sikkerhet si at slutten var forventet.

Dermed er Big Data-epoken over, men i løpet av arbeidet med store data har selskaper forstått alle nyansene ved arbeidet med disse, fordelene som Big Data kan gi for virksomheter, samt lært å bruke kunstig intelligens for å utvinne verdi fra rådata.

Spørsmålet om hva som vil erstatte denne teknologien og hvordan analytics-teknologier vil utvikle seg videre, blir derfor desto mer interessant.

Utvidet analyse

I løpet av de beskrevne hendelsene sto selskaper innen dataanalyse ikke stille. Dette kan bedømmes ut fra informasjonen om avtaler som skjedde i 2019. I år ble den største avtalen på markedet gjennomført – oppkjøpet av Salesforce av analyseplattformen Tableau for 15,7 milliarder dollar. En mindre avtale fant sted mellom Google og Looker. Og selvsagt må man også nevne oppkjøpet av big data-plattformen Attunity av Qlik.

Markedets ledere innen BI og Gartner-spesialister varsler om et stort skifte i tilnærminger til dataanalyse, et skifte som fullstendig vil omforme BI-markedet og føre til erstatning av BI med AI. I denne sammenhengen er det nødvendig å bemerke at forkortelsen AI ikke betyr "Artificial Intelligence", men "Augmented Intelligence". La oss ta en nærmere titt på hva som ligger bak begrepet "Tilført Analyse".

Tilført analyse, akkurat som utvidet virkelighet, bygger på flere felles postulat:

• muligheten til å kommunisere ved hjelp av NLP (Natural Language Processing), altså på menneskelig språk;
• bruken av kunstig intelligens, noe som betyr at dataene vil bli forhåndsbehandlet av maskinintelligens;
• og selvfølgelig anbefalingene som er tilgjengelige for brukeren av systemet, som nettopp ble generert av kunstig intelligens.

Ifølge produsentene av analyseplattformer vil bruken deres være tilgjengelig for brukere uten spesielle ferdigheter, som kunnskap i SQL eller lignende skriptspråk, ingen statistisk eller matematisk utdanning, og ikke ha kunnskap om populære språk som spesialiserer seg på databehandling og tilhørende biblioteker. Slike personer, kalt "Citizen Data Scientist", skal kun ha en fremragende forretningskvalifikasjon. Deres oppgave er å fange forretningsinnsikter fra innsiktene og prognosene som vil bli levert av kunstig intelligens, og å presisere sine hypotese ved å bruke NLP.

Når man beskriver prosessen brukere har med systemer av denne klassen, kan man forestille seg følgende scenario. En person kommer på jobb og åpner det aktuelle programmet. I tillegg til det vanlige settet av rapporter og dashbord som kan analyseres med standardmetoder (sortering, gruppering, utføring av aritmetiske handlinger), ser han spesifikke hint og anbefalinger, som for eksempel: «For å nå KPI-en din når det gjelder salg av produkter i kategorien 'Hagearbeid', bør du bruke rabatter.» I tillegg kan personen henvende seg til bedriftsmeldingssystemet, som Skype, Slack osv. Han kan stille roboten spørsmål, skriftlig eller muntlig: «Vis meg de fem mest lønnsomme kundene.» Etter å ha fått svaret må han ta et optimalt valg basert på sin erfaring i virksomheten og bidra til selskapets fortjeneste.

Hvis man tar et skritt tilbake og ser på innholdet i den analyserte informasjonen, kan produkter av klassen forsterket analyse forenkle livet for folk på dette stadiet. Ideelt sett skal brukeren bare trenge å indikere hvilke kilder for informasjon han ønsker at analyseproduktet skal bruke, og programmet vil ta seg av opprettelsen av datamodellen, sammenkoblingen av tabeller og slike oppgaver.

Alt dette skal først og fremst sikre «demokratisering» av data, det vil si at enhver person kan engasjere seg i analysen av hele datamengden som selskapet har. Beslutningsprosessen skal være støttet av metoder for statistisk analyse. Tiden det tar å få tilgang til dataene skal være minimal, slik at det ikke er nødvendig å skrive skript eller SQL-spørsmål. Og selvfølgelig kan man spare på dyre data science-spesialister.

Hypotetisk åpner teknologier opp for svært lovende utsikter for virksomheten.

Hva erstatter Big Data

Men jeg begynte jo artikkelen min med Big Data. Jeg kunne ikke utvikle dette emnet uten en kort omtale av moderne BI-verktøy, der Big Data ofte fungerer som grunnlag. Schiksalen til store data er nå klart forutsagt, og det er skyteknologier. Jeg har fokusert på transaksjoner utført med BI-leverandører for å vise at nå har hvert analyssystem skybasert lagring, mens skyttjenester har BI som frontend.

Uten å glemme søyler innen databaser som ORACLE og Microsoft, er det viktig å merke seg deres valgte retning for forretningsutvikling, og dette er skyen. Alle tilgjengelige tjenester kan finnes i skyen, men enkelte skybaserte tjenester er ikke lenger tilgjengelige on-premise. De har gjort betydelig arbeid med å implementere maskinlæringsmodeller, utviklet biblioteker tilgjengelige for brukerne, og tilpasset grensesnitt for å legge til rette for arbeidet med modellene, fra valg til oppsettstidspunkt.

En annen viktig fordel med å bruke skybaserte tjenester, noe som fremheves av produsentene, er tilgjengeligheten av nærmest ubegrensede datasett innen ethvert emne, til trening av modellene.

Men spørsmålet oppstår: Hvor godt vil skyteknologier slå rot i vårt land?

Kilde: habr.com