Mange udenlandske forfattere er enige om, at Big Data-æraen er slut. Og i dette tilfælde refererer udtrykket Big Data til teknologier baseret på Hadoop. Mange forfattere kan endda trygt navngive datoen, hvor Big Data forlod denne verden, og denne dato er 05.06.2019/XNUMX/XNUMX.
Hvad skete der på denne betydningsfulde dag?
På denne dag lovede MAPR at indstille sit arbejde, hvis det ikke kunne finde midler til yderligere drift. MAPR blev senere opkøbt af HP i august 2019. Men vender man tilbage til juni, kan man ikke undgå at bemærke tragedien i denne periode for Big Data-markedet. Denne måned oplevede et kollaps i aktiekurserne for CLOUDERA, en førende aktør på markedet, som fusionerede med det kronisk urentable HORTOWORKS i januar samme år. Sammenbruddet var ret betydeligt og beløb sig til 43 %; i sidste ende faldt CLOUDERAs kapitalisering fra 4,1 til 1,4 milliarder dollars.
Det er umuligt ikke at sige, at rygter om en boble inden for Hadoop-baserede teknologier har cirkuleret siden december 2014, men det holdt modigt fast i næsten fem år mere. Disse rygter var baseret på afslaget fra Google, firmaet hvor Hadoop-teknologien opstod, fra dets opfindelse. Men teknologien slog rod under virksomhedernes overgang til cloud-behandlingsværktøjer og den hurtige udvikling af kunstig intelligens. Når vi ser tilbage, kan vi derfor med tillid sige, at dødsfaldet var forventet.
Dermed er Big Data-æraen slut, men i processen med at arbejde med Big Data har virksomheder indset alle nuancerne ved at arbejde med det, de fordele Big Data kan give for erhvervslivet, og også lært at bruge kunstige intelligens til at udtrække værdi fra rådata.
Jo mere interessant bliver spørgsmålet om, hvad der vil erstatte denne teknologi, og hvordan analyseteknologier vil udvikle sig yderligere.
Augmented Analytics
Under de beskrevne begivenheder sad virksomheder, der arbejder inden for dataanalyse, ikke stille. Hvad kan bedømmes ud fra oplysninger om transaktioner, der fandt sted i 2019. I år blev den største transaktion på markedet gennemført - købet af den analytiske platform Tableau af Salesforce for 15,7 mia. Der opstod en mindre aftale mellem Google og Looker. Og man kan selvfølgelig ikke undgå at bemærke Qliks opkøb af big data-platformen Attunity.
BI-markedsledere og Gartner-eksperter annoncerer et monumentalt skift i tilgange til dataanalyse; dette skift vil fuldstændig ødelægge BI-markedet og føre til udskiftning af BI med AI. I denne sammenhæng skal det bemærkes, at forkortelsen AI ikke er "Artificial intelligence", men "Augmented Intelligence". Lad os se nærmere på, hvad der ligger bag ordene "Augmented Analytics".
Augmented analytics er ligesom augmented reality baseret på flere generelle postulater:
- evnen til at kommunikere ved hjælp af NLP (Natural Language Processing), dvs. på menneskeligt sprog;
- brugen af kunstig intelligens betyder, at dataene vil blive forbehandlet af maskinel intelligens;
- og selvfølgelig anbefalinger tilgængelige for brugeren af systemet, som blev genereret af kunstig intelligens.
Ifølge producenterne af analytiske platforme vil deres brug være tilgængelig for brugere, der ikke har særlige færdigheder, såsom kendskab til SQL eller et lignende scriptsprog, som ikke har statistisk eller matematisk uddannelse, som ikke har kendskab til populære sprog med speciale i databehandling og tilsvarende biblioteker. Sådanne personer, kaldet "Citizen Data Scientists", skal kun have fremragende forretningsmæssige kvalifikationer. Deres opgave er at fange forretningsindsigt fra de tips og prognoser, som kunstig intelligens vil give dem, og de kan forfine deres gæt ved hjælp af NLP.
Ved at beskrive processen med brugere, der arbejder med systemer i denne klasse, kan man forestille sig følgende billede. En person, der kommer på arbejde og starter den tilsvarende applikation, ud over det sædvanlige sæt rapporter og dashboards, der kan analyseres ved hjælp af standardtilgange (sortering, gruppering, udførelse af aritmetiske operationer), ser visse tips og anbefalinger, noget som: "I For at opnå KPI, antal salg, bør du anvende en rabat på produkter fra kategorien "Havearbejde". Derudover kan en person kontakte en virksomheds messenger: Skype, Slack osv. Kan stille spørgsmål til robotten via tekst eller stemme: "Giv mig de fem mest profitable kunder." Efter at have modtaget det passende svar, skal han træffe den bedste beslutning baseret på sin forretningserfaring og bringe overskud til virksomheden.
Hvis du tager et skridt tilbage og ser på sammensætningen af den information, der analyseres, og på dette stadie, kan augmented analytics-produkter gøre folks liv lettere. Ideelt set antages det, at brugeren kun skal pege det analytiske produkt til kilderne til den ønskede information, og programmet vil selv sørge for at lave en datamodel, sammenkæde tabeller og lignende opgaver.
Alt dette skal først og fremmest sikre "demokratisering" af data, dvs. Enhver person kan analysere hele rækken af information, der er tilgængelig for virksomheden. Beslutningsprocessen skal understøttes af statistiske analysemetoder. Dataadgangstiden skal være minimal, så der er ingen grund til at skrive scripts og SQL-forespørgsler. Og selvfølgelig kan du spare penge på højt betalte Data Science-specialister.
Hypotetisk giver teknologien meget lyse perspektiver for erhvervslivet.
Hvad erstatter Big Data?
Men faktisk startede jeg min artikel med Big Data. Og jeg kunne ikke udvikle dette emne uden en kort udflugt til moderne BI-værktøjer, hvis grundlag ofte er Big Data. Big datas skæbne er nu klart bestemt, og det er cloud-teknologi. Jeg fokuserede på transaktioner foretaget med BI-leverandører for at demonstrere, at nu har ethvert analytisk system cloud-lagring bag sig, og cloud-tjenester har BI som frontend.
For ikke at glemme sådanne søjler inden for databaser som ORACLE og Microsoft, er det nødvendigt at notere deres valgte retning for forretningsudvikling, og dette er skyen. Alle tilbudte tjenester kan findes i skyen, men nogle cloudtjenester er ikke længere tilgængelige på stedet. De har udført et betydeligt arbejde med brugen af maskinlæringsmodeller, skabt biblioteker, der er tilgængelige for brugerne, og konfigureret grænseflader for at lette arbejdet med modeller fra valg af dem til indstilling af starttidspunkt.
En anden vigtig fordel ved at bruge cloud-tjenester, som producenterne giver udtryk for, er tilgængeligheden af næsten ubegrænsede datasæt om ethvert emne til træningsmodeller.
Spørgsmålet opstår imidlertid: hvor langt vil skyteknologier slå rod i vores land?
Kilde: www.habr.com