Veel buitenlandse auteurs zijn het erover eens dat het tijdperk van Big Data ten einde is. En in dit geval verwijst de term Big Data naar technologieën gebaseerd op Hadoop. Veel auteurs kunnen zelfs vol vertrouwen de datum noemen waarop Big Data deze wereld verliet en deze datum is 05.06.2019/XNUMX/XNUMX.
Wat gebeurde er op deze belangrijke dag?
Op deze dag beloofde MAPR zijn werk op te schorten als het geen geld kon vinden voor verdere operaties. MAPR werd later in augustus 2019 door HP overgenomen. Maar als we teruggaan naar juni, kunnen we niet anders dan de tragedie van deze periode voor de Big Data-markt opmerken. Deze maand zagen we een ineenstorting van de aandelenkoersen van CLOUDERA, een leidende speler op de markt, die in januari van hetzelfde jaar fuseerde met het chronisch onrendabele HORTOWORKS. De ineenstorting was behoorlijk groot en bedroeg 43%; uiteindelijk daalde de kapitalisatie van CLOUDERA van 4,1 naar 1,4 miljard dollar.
Het is onmogelijk om niet te zeggen dat er sinds december 2014 geruchten circuleren over een zeepbel op het gebied van op Hadoop gebaseerde technologieën, maar dat deze nog bijna vijf jaar dapper heeft standgehouden. Deze geruchten waren gebaseerd op de weigering van Google, het bedrijf waar de Hadoop-technologie vandaan kwam, van de uitvinding ervan. Maar de technologie heeft wortel geschoten tijdens de transitie van bedrijven naar cloudverwerkingstools en de snelle ontwikkeling van kunstmatige intelligentie. Terugkijkend kunnen we daarom met vertrouwen zeggen dat het overlijden werd verwacht.
Het tijdperk van Big Data is dus ten einde, maar tijdens het werken aan Big Data hebben bedrijven zich alle nuances van het werken eraan gerealiseerd, de voordelen die Big Data voor het bedrijfsleven kan opleveren, en hebben ze ook geleerd kunstmatige intelligentie te gebruiken. intelligentie om waarde uit ruwe data te halen.
Des te interessanter wordt de vraag wat deze technologie zal vervangen en hoe analysetechnologieën zich verder zullen ontwikkelen.
Verbeterde analyses
Tijdens de beschreven evenementen zaten bedrijven die zich bezighouden met data-analyse niet stil. Wat kan worden beoordeeld op basis van informatie over transacties die in 2019 hebben plaatsgevonden. Dit jaar werd de grootste transactie op de markt uitgevoerd: de overname van het analytische platform Tableau door Salesforce voor $15,7 miljard. Er vond een kleinere deal plaats tussen Google en Looker. En uiteraard mag de overname door Qlik van het big data-platform Attunity niet ontbreken.
BI-marktleiders en Gartner-experts kondigen een monumentale verschuiving aan in de benadering van data-analyse; deze verschuiving zal de BI-markt volledig vernietigen en leiden tot de vervanging van BI door AI. In dit verband moet worden opgemerkt dat de afkorting AI niet “Artificial Intelligence” is, maar “Augmented Intelligence”. Laten we eens nader bekijken wat er achter de woorden 'Augmented Analytics' zit.
Augmented analytics is, net als augmented reality, gebaseerd op verschillende algemene postulaten:
- het vermogen om te communiceren met behulp van NLP (Natural Language Processing), d.w.z. in menselijke taal;
- het gebruik van kunstmatige intelligentie, dit betekent dat de gegevens voorbewerkt zullen worden door machine-intelligentie;
- en natuurlijk de aanbevelingen die beschikbaar zijn voor de gebruiker van het systeem en die zijn gegenereerd door kunstmatige intelligentie.
Volgens de fabrikanten van analytische platforms zal het gebruik ervan beschikbaar zijn voor gebruikers die geen speciale vaardigheden hebben, zoals kennis van SQL of een vergelijkbare scripttaal, die geen statistische of wiskundige opleiding hebben genoten, die geen kennis hebben van populaire talen gespecialiseerd in dataverwerking en bijbehorende bibliotheken. Zulke mensen, die ‘Citizen Data Scientists’ worden genoemd, mogen alleen uitstekende zakelijke kwalificaties hebben. Het is hun taak om zakelijke inzichten te verwerven uit de tips en voorspellingen die kunstmatige intelligentie hen zal geven, en ze kunnen hun gissingen verfijnen met behulp van NLP.
Als je het proces beschrijft van gebruikers die met systemen van deze klasse werken, kun je je het volgende beeld voorstellen. Een persoon die naar zijn werk komt en de bijbehorende applicatie start, ziet, naast de gebruikelijke reeks rapporten en dashboards die kunnen worden geanalyseerd met behulp van standaardbenaderingen (sorteren, groeperen, rekenkundige bewerkingen uitvoeren), bepaalde tips en aanbevelingen, zoiets als: “In om de KPI, het aantal verkopen, te behalen, moet u een korting toepassen op producten uit de categorie ‘Tuinieren’.” Bovendien kan een persoon contact opnemen met een zakelijke messenger: Skype, Slack, enz. Kan de robot vragen stellen, via tekst of stem: “Geef mij de vijf meest winstgevende klanten.” Nadat hij het juiste antwoord heeft gekregen, moet hij de beste beslissing nemen op basis van zijn zakelijke ervaring en winst voor het bedrijf opleveren.
Als je een stapje terug doet en kijkt naar de samenstelling van de informatie die wordt geanalyseerd, kunnen augmented analytics-producten in dit stadium het leven van mensen gemakkelijker maken. Idealiter wordt ervan uitgegaan dat de gebruiker het analytische product alleen maar naar de bronnen van de gewenste informatie hoeft te verwijzen, en dat het programma zelf zorgt voor het maken van een datamodel, het koppelen van tabellen en soortgelijke taken.
Dit alles zou in de eerste plaats moeten zorgen voor de “democratisering” van data, d.w.z. Iedereen kan de volledige reeks informatie analyseren die beschikbaar is voor het bedrijf. Het besluitvormingsproces moet worden ondersteund door statistische analysemethoden. De toegangstijd tot gegevens moet minimaal zijn, dus het is niet nodig om scripts en SQL-query's te schrijven. En natuurlijk kunt u geld besparen op goedbetaalde Data Science-specialisten.
Hypothetisch gezien biedt technologie zeer goede vooruitzichten voor het bedrijfsleven.
Wat vervangt Big Data?
Maar eigenlijk begon ik mijn artikel met Big Data. En ik zou dit onderwerp niet kunnen uitwerken zonder een korte excursie naar moderne BI-tools, waarvan de basis vaak Big Data is. Het lot van big data is nu duidelijk bepaald, en het is cloudtechnologie. Ik concentreerde me op transacties met BI-leveranciers om aan te tonen dat nu elk analytisch systeem cloudopslag achter zich heeft, en dat cloudservices BI als front-end hebben.
Als we dergelijke pijlers op het gebied van databases als ORACLE en Microsoft niet vergeten, is het noodzakelijk om hun gekozen richting van bedrijfsontwikkeling op te merken, en dit is de cloud. Alle aangeboden diensten zijn te vinden in de cloud, maar sommige clouddiensten zijn niet meer on-premise beschikbaar. Ze hebben veel werk verricht op het gebied van het gebruik van machine learning-modellen, bibliotheken gecreëerd die beschikbaar zijn voor gebruikers en interfaces geconfigureerd om het werken met modellen te vergemakkelijken, van het selecteren ervan tot het instellen van de starttijd.
Een ander belangrijk voordeel van het gebruik van clouddiensten, dat door fabrikanten wordt genoemd, is de beschikbaarheid van vrijwel onbeperkte datasets over elk onderwerp voor trainingsmodellen.
De vraag rijst echter: in hoeverre zullen cloudtechnologieën wortel schieten in ons land?
Bron: www.habr.com