Veel buitenlandse auteurs zijn het erover eens dat het tijdperk van Big Data ten einde is gekomen. Met de term Big Data worden hier technologieƫn aangeduid die zijn gebaseerd op Hadoop. Veel auteurs kunnen zelfs met zekerheid de datum noemen waarop Big Data deze wereld heeft verlaten, en die datum is 05.06.2019.
Wat is er op deze gedenkwaardige dag gebeurd?
Op deze dag beloofde het bedrijf MAPR zijn activiteiten te staken als het geen middelen kon vinden om verder te functioneren. Later, in augustus 2019, werd MAPR overgenomen door HP. Maar terugkerend naar juni moet worden opgemerkt hoe tragisch deze periode was voor de Big Data-markt. In deze maand vond er een grote daling plaats in de aandelenkoersen van CLOUDERA, een toonaangevende speler op deze markt, die in januari van hetzelfde jaar samengevoegd was met het chronisch onrendabele HORTOWORKS. De daling was aanzienlijk en bedroeg 43%, waardoor de marktkapitalisatie van CLOUDERA daalde van 4,1 naar 1,4 miljard dollar.
Het is onvermijdelijk om te zeggen dat de geruchten over de opblazing van de bubbel in technologieƫn die gebaseerd zijn op Hadoop al sinds december 2014 de ronde deden, maar deze heeft dapper bijna vijf jaar standgehouden. Deze geruchten waren gebaseerd op de weigering van Google, het bedrijf waar de technologie Hadoop is ontstaan, om zijn uitvinding te omarmen. Maar de technologie heeft zich gevestigd tijdens de overgang van bedrijven naar cloud-gebaseerde verwerkingsmiddelen en de snelle ontwikkeling van kunstmatige intelligentie. Daarom kan met zekerheid worden gezegd dat het einde werd verwacht.
Zo is het tijdperk van Big Data ten einde gekomen, maar in het proces van werken met grote gegevens hebben bedrijven alle nuances van het werken ermee begrepen, de voordelen die Big Data voor bedrijven kan bieden en hebben ze geleerd om kunstmatige intelligentie te gebruiken voor het extraheren van waarde uit ruwe gegevens.
Des te interessanter is de vraag wat deze technologie zal vervangen en hoe de analytische technologieƫn zich verder zullen ontwikkelen.
Aanvullende analytics
Tijdens de beschreven gebeurtenissen stonden de bedrijven die actief zijn in data-analyse niet stil. Dit blijkt uit de informatie over de transacties die in 2019 hebben plaatsgevonden. Dit jaar vond de grootste transactie op de markt plaats ā de overname van het analytische platform Tableau door Salesforce voor 15,7 miljard dollar. Een kleinere transactie vond plaats tussen Google en Looker. En natuurlijk kan de overname van het big data-platform Attunity door Qlik niet onvermeld blijven.
Marktleiders in BI en experts van Gartner spreken over een ingrijpende verschuiving in de benadering van data-analyse die de BI-markt volledig zal verstoren en zal leiden tot de vervanging van BI door AI. In dit verband is het belangrijk om op te merken dat de afkorting AI niet staat voor 'Artificial Intelligence', maar voor 'Augmented Intelligence'. Laten we eens nader bekijken wat er schuilt achter de term 'Augmented Analytics'.
Augmented analytics, net als augmented reality, is gebaseerd op verschillende gemeenschappelijke principes:
- de mogelijkheid om te communiceren met behulp van NLP (Natural Language Processing), dat wil zeggen in menselijke taal;
- het gebruik van kunstmatige intelligentie, wat betekent dat de gegevens voorafgaand aan de analyse door machine-intelligentie worden verwerkt;
- en natuurlijk de aanbevelingen die beschikbaar zijn voor de gebruiker van het systeem, die precies door de kunstmatige intelligentie zijn gegenereerd.
Volgens de makers van analytische platforms zal hun gebruik toegankelijk zijn voor gebruikers zonder speciale vaardigheden, zoals kennis van SQL of een soortgelijke scripttaal, zonder statistische of wiskundige achtergrond, en zonder kennis van populaire talen die gespecialiseerd zijn in data verwerking en de bijbehorende bibliotheken. Dergelijke mensen, die 'Citizen Data Scientists' worden genoemd, hoeven alleen maar over een uitstekende zakelijke kwalificatie te beschikken. Hun taak is het vangen van zakelijke inzichten uit de aanwijzingen en voorspellingen die zij van de kunstmatige intelligentie ontvangen, terwijl ze hun veronderstellingen kunnen verfijnen met behulp van NLP.
Bij het beschrijven van het proces waarmee gebruikers werken met systemen van dit type, kan men zich het volgende voorstellen. Een persoon, die op het werk komt en de juiste applicatie opstart, ziet naast de gebruikelijke rapporten en dashboards die met standaardmethoden geanalyseerd kunnen worden (sorteren, groeperen, uitvoeren van rekenkundige handelingen) bepaalde aanwijzingen en aanbevelingen, zoals: 'Om de KPI voor het aantal verkopen te bereiken, moet je kortingen toepassen op producten uit de categorie "Tuinieren".' Daarnaast kan de persoon gebruikmaken van een bedrijfscommunicatietool, zoals Skype of Slack. Men kan de robot vragen stellen, zowel tekstueel als via spraak: 'Geef me de vijf meest winstgevende klanten.' Na het ontvangen van het juiste antwoord moet hij de optimale beslissing nemen, op basis van zijn ervaring in het bedrijfsleven, en zo winst voor het bedrijf genereren.
Als we een stap terugdoen en kijken naar de samenstelling van de geanalyseerde informatie, kunnen producten van de klasse van verbeterde analytics het leven van mensen vereenvoudigen. Idealiter zou de gebruiker alleen de analytics-software moeten aansteken op de gewenste informatiebronnen, en het programma zou zelf moeten zorgen voor het opzetten van het gegevensmodel, het verbinden van tabellen en soortgelijke taken.
Dit alles moet in de eerste plaats zorgen voor de 'democratisering' van gegevens, dat wil zeggen dat elke persoon de mogelijkheid heeft om de totale hoeveelheid informatie die het bedrijf heeft te analyseren. Het beslissingsproces moet worden onderbouwd met statistische analysemethoden. De toegangstijd tot gegevens moet minimaal zijn, zodat er geen scripts en SQL-queries hoeven te worden geschreven. En natuurlijk kan er bespaard worden op de hoogbetaalde Data Science-specialisten.
Hypothetisch gezien openen technologieƫn zeer veelbelovende perspectieven voor bedrijven.
Wat vervangt Big Data
Maar eigenlijk begon ik mijn artikel met Big Data. En ik kon dit onderwerp niet verder ontwikkelen zonder een korte excursie naar moderne BI-tools, waarvan Big Data vaak de basis vormt. Het lot van grote gegevens is nu duidelijk besloten, en dat is cloudtechnologie. Ik heb de aandacht gevestigd op de overeenkomsten die zijn gemaakt met BI-leveranciers om te laten zien dat nu elk analytics-systeem een cloudopslag heeft, en cloudservices BI als front-end hebben.
Bij het overwegen van belangrijke pijlers in de database-sector zoals ORACLE en Microsoft, moet het door hen gekozen bedrijfsontwikkelingspad worden opgemerkt: de cloud. Alle aangeboden diensten zijn te vinden in de cloud, maar sommige cloudservices zijn niet meer on-premise beschikbaar. Er is aanzienlijke vooruitgang geboekt in het gebruik van machine learning-modellen, zijn bibliotheken gemaakt die beschikbaar zijn voor gebruikers, en zijn interfaces ingesteld voor gebruiksgemak, van het kiezen van modellen tot het instellen van de starttijd.
Een ander belangrijk voordeel van het gebruik van cloudservices, dat door leveranciers wordt genoemd, is de beschikbaarheid van vrijwel onbeperkte datasets over elk onderwerp voor het trainen van modellen.
Echter, de vraag rijst hoe goed cloudtechnologieƫn in ons land zullen aanslaan?
Bron: habr.com
