Ärendet av Big Data

Många internationella författare är överens om att Big Data-eran har nått sitt slut. I det här fallet avser termen Big Data teknologier baserade på Hadoop. Många författare kan faktiskt med säkerhet ange det datum då Big Data lämnade denna värld, och det datumet är 05.06.2019.

Vad hände egentligen den dagen?

Den dagen lovade företaget MAPR att stänga ner sin verksamhet om de inte kunde hitta medel för fortsatt drift. Senare, i augusti 2019, köptes MAPR av HP. Men när vi återvänder till juni kan vi inte undgå att nämna tragiken i denna period för Big Data-marknaden. I den månaden skedde en krasch av aktiekurserna för företaget CLOUDERA – en ledande aktör på den angivna marknaden, som fusionerade med det kroniskt olönsamma HORTOWORKS i januari samma år. Kraschens omfång var ganska betydande, uppgick till 43%, vilket ledde till att CLOUDERAs marknadsvärde minskade från 4,1 till 1,4 miljarder dollar.

Det är omöjligt att inte nämna att rykten om en bubbla inom Hadoop-baserade teknologier hade cirkulerat sedan december 2014, men den stod tappert emot i nästan fem år till. Dessa rykten grundades på Googles avvisande av sin egen innovation, Hadoop. Men teknologin överlevde under övergången till molnbaserade behandlingsmetoder och den snabba utvecklingen av artificiell intelligens. Därför kan vi med säkerhet säga, när vi ser tillbaka, att döden var förväntad.

Således har Big Data-eran slutat, men under arbetet med stora datamängder kom företag att inse alla nyanser av att hantera dem, de fördelar som Big Data kan ge till affärer, samt lärde sig att använda artificiell intelligens för att extrahera värde från rådata.

Det blir intressantare att ställa frågan om vad som kommer att ta över denna teknologi och hur analysverktyg kommer att utvecklas framöver.

Kompletterad analys

Under de beskrivna händelserna stod företagen inom dataanalys inte stilla. Detta kan intyga med information om affärer som skedde 2019. År 2020 genomfördes den största affären på marknaden – förvärvet av Salesforce av den analytiska plattformen Tableau för 15,7 miljarder dollar. En mindre affär skedde mellan Google och Looker. Och vi får inte glömma förvärvet av big data-plattformen Attunity av företaget Qlik.

Marknadsledare inom BI och experter från Gartner talar om en monumental förändring i tillvägagångssätten för dataanalys; denna förändring kommer helt att omkullkasta BI-marknaden och leda till att BI ersätts av AI. I detta sammanhang är det viktigt att notera att förkortningen AI inte står för "Artificial Intelligence" utan för "Augmented Intelligence". Låt oss titta närmare på vad som döljer sig bakom orden "Augmented Analytics".

Augmented Analytics, precis som Augmented Reality, baseras på flera gemensamma postulaten:

• möjligheten att kommunicera med hjälp av NLP (Natural Language Processing), dvs. på mänskligt språk;
• användningen av artificiell intelligens, vilket innebär att data kommer att förbehandlas av maskinintelligens;
• och självklart rekommendationer som systemanvändaren får, som genereras av artificiell intelligens.

Enligt tillverkarna av analysplattformar kommer deras användning att vara tillgänglig för användare utan specialkunskaper som kunskap om SQL eller liknande skriptspråk, ingen statistisk eller matematisk utbildning, och ingen kunskap om populära språk som specialiserar sig på datahantering och motsvarande bibliotek. Dessa personer, som kallas "Citizen Data Scientists", förväntas endast ha en utmärkt affärskompetens. Deras uppgift är att fånga affärsinsikter från de förslag och prognoser som artificiell intelligens ger dem, och de kan förfina sina gissningar med hjälp av NLP.

När man beskriver hur användare interagerar med system av denna klass kan man föreställa sig följande scenario. En person, när de kommer till jobbet och startar motsvarande applikation, ser förutom den vanliga uppsättningen rapporter och instrumentpaneler som kan analyseras med standardmetoder (sortering, gruppering, aritmetiska operationer) vissa tips och rekommendationer, som: "För att uppnå KPI för försäljningsantalet bör du tillämpa rabatter på produkter i kategorin 'Trädgårdsarbete'." Dessutom kan personen vända sig till företagsmeddelaren: Skype, Slack etc. De kan ställa frågor till roboten, antingen skriftligt eller med röst: "Ge mig de fem mest lönsamma kunderna." När de får det relevanta svaret måste de fatta det optimala beslutet baserat på sin erfarenhet inom affärer och bidra till företagets vinst.

Om vi tar ett steg tillbaka och tittar på sammansättningen av den analyserade informationen, kan produkter av typen avancerad analys i detta skede förenkla livet för människor. I idealfallet förväntas att användaren bara behöver ange källorna till önskad information för analytikprodukten, så kommer programmet själv att ta hand om att skapa datamodellen, koppla samman tabeller och liknande uppgifter.

Allt detta ska framför allt säkerställa 'demokratiseringen' av data, dvs. vem som helst kan ägna sig åt analys av hela mängden information som företaget besitter. Beslutsfattande bör stödjas av statistiska analysmetoder. Åtkomsttiden till data bör vara minimal, så det blir inte nödvändigt att skriva skript eller SQL-frågor. Och självklart kommer man kunna spara på högt betalda Data Science-specialister.

Hypotetiskt sett öppnar teknologier mycket lovande perspektiv för företag.

Vad ersätter Big Data

Men, egentligen inledde jag min artikel med Big Data. Jag kunde inte utveckla detta ämne utan en kort utflykt i moderna BI-verktyg, där Big Data ofta fungerar som bas. Styrkan av stora data är nu tydligt förutbestämd, och det är molnteknologier. Jag har betonat affärer som gjorts med BI-leverantörer för att visa att nu har varje analystsystem en molnlagring, och molntjänster har BI som front-end.

Utan att glömma sådana pelare inom databaser som ORACLE och Microsoft, är det viktigt att notera deras valda affärsutvecklingsriktning, och det är molnet. Alla erbjudna tjänster finns i molnet, men vissa molntjänster kan inte längre erhållas on-premise. De har gjort betydande framsteg inom användningen av maskininlärningsmodeller, skapat bibliotek som är tillgängliga för användarna och ställt in gränssnitt för enkel hantering av modeller, från val till starttidsinställning.

En annan viktig fördel med att använda molntjänster, som tillverkare nämner, är tillgången till praktiskt taget obegränsade datasets inom alla ämnen för träning av modeller.

Men frågan uppstår, hur väl kommer molnteknik att slå rot i vårt land?

Källa: habr.com