🥇Databeheerplatforms: van de rand naar de cloud

Tegenwoordig zijn gegevens voor de meeste bedrijven en organisaties een van de strategische activa. Met de uitbreiding van analys mogelijkheden neemt de waarde van de gegevens die door bedrijven worden verzameld en opgeslagen voortdurend toe. Vaak wordt er gesproken over de explosieve, exponentiële groei van de hoeveelheid gegenereerde bedrijfsgegevens. Het wordt opgemerkt dat 90% van alle gegevens in de afgelopen twee jaar zijn gecreëerd.

De groei van de hoeveelheid gegevens gaat gepaard met een toename van hun waarde.

Gegevens worden gecreëerd en gebruikt door systemen voor big data-analyse, het internet der dingen (IoT), kunstmatige intelligentie en meer. Gegevens die worden verzameld zijn de basis voor het verbeteren van de klantenservice, besluitvorming, ondersteuning van operationele bedrijfsactiviteiten en voor verschillende onderzoeken en ontwikkelingen.

90% van alle gegevens zijn in de afgelopen twee jaar gecreëerd.

Volgens voorspellingen van IDC zal de hoeveelheid opgeslagen gegevens wereldwijd tussen 2018 en 2023 verdubbelen en zal de totale capaciteit van datalocaties 11,7 zettabyte bereiken, waarbij meer dan drie kwart van het totale volume zal komen van bedrijfsdatabases. Kenmerkend is dat als in 2018 de totale capaciteit van geleverde harde schijven (HDD), die tot nu toe de belangrijkste informatie-drager blijven, 869 exabyte bedroeg, dit cijfer tegen 2023 kan stijgen tot meer dan 2,6 zettabyte.

Gegevensbeheersystemen: waarvoor zijn ze nodig en welke rol spelen ze?

Het is dan ook niet verwonderlijk dat gegevensbeheer voor bedrijven prioritair is geworden, met directe invloed op hun werking. Het vergt soms inspanningen om de complexiteiten te overwinnen, zoals heterogeniteit van systemen, dataformaten, methoden van opslag en gebruik, evenals benaderingen van beheer in een 'zoo' van oplossingen die in verschillende tijden zijn geïmplementeerd.

Het resultaat van deze niet-geünificeerde aanpak is fragmentatie van gegevenssets, opgeslagen en verwerkt in verschillende systemen, en verschillende procedures voor het waarborgen van gegevenskwaliteit. Deze typische problemen verhogen de arbeids- en financiële kosten bij het werken met gegevens, bijvoorbeeld bij het verkrijgen van statistieken en rapporten of bij het nemen van managementbeslissingen.

Het databeheer businessmodel moet op maat worden gemaakt, aangepast aan de behoeften, taken en doelstellingen van de onderneming. Er bestaat geen enkele geautomatiseerde systeem of data management platform dat alle taken dekt. Echter, moderne allesomvattende, flexibele en schaalbare data management systemen zijn vaak universele software voor databeheer en -opslag. Ze bevatten de noodzakelijke tools en services voor effectief databeheer.

De nieuwste ontwikkelingen stellen bedrijven in staat om databeheer op een organisatiebreed niveau te heroverwegen en een duidelijk beeld te krijgen van welke data beschikbaar zijn, welke policies eraan zijn verbonden, waar en hoeveel tijd de data worden opgeslagen. Bovendien bieden ze de mogelijkheid om de juiste informatie tijdig aan de juiste mensen te verschaffen. Dit zijn oplossingen die de mogelijkheden van bedrijven uitbreiden en hen in staat stellen:

Te beheren bestanden, objecten, applicatiedata, databases, gegevens uit virtuele en cloudomgevingen, en toegang te krijgen tot verschillende soorten data.
Met behulp van orchestratie- en automatiseringstools de data te verplaatsen naar de meest efficiënte opslaglocaties – naar primaire en secundaire opslaginfrastructuren, naar de datacentra van de provider of naar de cloud.
Geavanceerde functies voor gegevensbescherming te gebruiken.
Data-integratie te waarborgen.
Operationele analyses uit de data te halen.

Het databeheer platform kan gebouwd zijn op basis van verschillende softwareproducten of kan een enkele uniforme systeem zijn. Een uitgebreide platform zorgt voor een uniforme databeheer binnen de gehele IT-infrastructuur, inclusief back-ups, herstel, archivering, beheer van hardware instant snapshots en rapportage.

Een dergelijk platform maakt het mogelijk om een multicloudstrategie te implementeren, het datacenter uit te breiden naar de cloudomgeving, snelle migratie naar de cloud te realiseren, gebruik te maken van mogelijkheden voor hardwarevervanging en de meest kostenefficiënte opslagoplossingen in te voeren.

Sommige oplossingen kunnen gegevens automatisch archiveren. Met behulp van kunstmatige intelligentie kunnen ze detecteren dat er 'iets mis is gegaan' en automatisch corrigerende maatregelen nemen of de beheerder waarschuwen, evenals verschillende soorten aanvallen identificeren en stoppen. Automatisering van services bevordert de optimalisatie van IT-operaties, waardoor IT-personeel wordt vrijgemaakt, fouten door menselijke factoren wordt geminimaliseerd en stilstand wordt verminderd.

Welke kwaliteiten moet een moderne databeheerplatform hebben, en waar worden dergelijke oplossingen in de praktijk toegepast?

De aanpak van 'één oplossing voor iedereen' werkt niet als het gaat om databeheerplatforms. Elke onderneming heeft zijn eigen databehoeften, afhankelijk van het type bedrijf, de ervaring en dergelijke. Een universieel platform moet, aan de ene kant, aanpassingen mogelijk maken voor databeheer op een specifieke onderneming, en aan de andere kant, onafhankelijk zijn van de specificiteit van de toepassingssector, het toepassingsgebied van het op gebaseerd product en zijn informatieomgeving.

Praktische gebieden van databeheer (bron; CMMI Institute).

Hier zijn enkele praktische toepassingsgebieden voor databeheerplatforms:

Component
Toepassingsgebied

Databeheerstrategie
Doelstellingen en taken van beheer, de bedrijfscultuur van databeheer, bepaling van de eisen aan de levenscyclus van gegevens.

Gegevensbeheer
Gegevens- en metadata management

Gegevensoperaties
Normen en procedures voor het omgaan met gegevensbronnen

Gegevenskwaliteit
Kwaliteitsborging, kwaliteitsraamwerk voor gegevens

Platform en architectuur
Architectonisch raamwerk, platforms en integratie

Ondersteunende processen
Evaluatie en analyse, procesbeheer, kwaliteitsborging, risicobeheer, configuratiebeheer

Bovendien spelen dergelijke platforms een belangrijke rol in het transformatieproces van een organisatie in een 'datagestuurd' bedrijf, dat in verschillende fasen kan worden verdeeld:

Verandering van databeheer in bestaande systemen, implementatie van een rolmodel met scheiding van verantwoordelijkheden en bevoegdheden. Kwaliteitscontrole van gegevens, kruisvalidatie van gegevens tussen systemen, correctie van onjuiste gegevens.
Het instellen van processen voor het extraheren en verzamelen van gegevens, hun transformatie en lading. Gegevens samenbrengen in één systeem zonder de controle van gegevenskwaliteit en wijzigingen in bedrijfsprocessen te compliceren.
Gegevensintegratie. Automatisering van processen voor de levering van de juiste gegevens op de juiste plaats en op het juiste moment.
Invoering van volledige controle over gegevenskwaliteit. Bepaling van kwaliteitsparameters, ontwikkeling van de methodologie voor het gebruik van automatische systemen.
Implementatie van tools voor het beheren van de processen van gegevensverzameling, verificatie, deduplicatie en schoonmaak. Dit resulteert in een hogere kwaliteit, betrouwbaarheid en uniformiteit van de gegevens van alle systemen binnen de onderneming.

Voordelen van gegevensbeheerplatformen

Bedrijven die effectief met gegevens omgaan, behalen doorgaans meer succes dan hun concurrenten, brengen sneller producten en diensten op de markt, begrijpen beter de behoeften van de doelgroep en kunnen snel inspelen op veranderingen in de vraag. Gegevensbeheerplatformen bieden de mogelijkheid tot het 'schoonmaken' van gegevens, het verkrijgen van kwaliteitsinformatie, de transformatie van gegevens en de strategische evaluatie van bedrijfsgegevens.

Een voorbeeld van een universeel platform voor het opzetten van systemen voor bedrijfsgegevensbeheer is het Russische "Unidata", ontwikkeld op basis van open-source software. Het biedt tools voor het creëren van datamodellen en middelen voor het uitbreiden van functionaliteit bij integratie in verschillende IT-omgevingen en externe informatiesystemen: van het beheer van materieel en technische middelen tot veilige verwerking van grote hoeveelheden persoonsgegevens.

Architectuur van het platform "Unidata" van het gelijknamige bedrijf.

Dit multifunctionele platform zorgt voor gecentraliseerde gegevensverzameling (inventarisatie en registratie van middelen), standaardisatie van informatie (normalisatie en verrijking), en het bijhouden van actuele en historische informatie (versiebeheer van records, perioden van bruikbaarheid van gegevens), gegevenskwaliteit en statistieken. Automatisering van taken zoals verzamelen, accumuleren, schoonmaken, vergelijken, consolideren, kwaliteitscontrole en het verspreiden van gegevens is voorzien, evenals hulpmiddelen voor automatisering van het beslissingsproces.

Data Management Platforms (DPM) in Advertising and Marketing

In advertising and marketing, the term Data Management Platform (DMP) has a more specific meaning. It is a software platform that allows companies to define audience segments for targeted advertising at specific users and the context of online advertising campaigns based on the data collected. Such software can collect, process, and store any type of audience data, as well as facilitate its usage through familiar media channels.

According to Market Research Future (MRFR), the global market for Data Management Platforms (DMP) is projected to reach $3 billion by the end of 2023, with an average annual growth rate of 15%, and by 2025, its volume will exceed $3.5 billion.

DMP System:

Allows for collecting and structuring all types of audience data; analyzing existing data; transmitting data to any media space for targeted advertising placements.
Helps to collect, organize, and activate data from various sources and translate it into a useful form.
Organizes all data into categories based on business goals and marketing models. The system analyzes the data and generates audience segments that accurately represent the customer base across a wide range of channels, based on various common characteristics.
Enables increased accuracy in online advertising targeting and builds personalized communications with relevant audiences. Based on DMP, communication chains with each target segment can also be configured so that users receive timely messages in the right place and at the right time.

The increase in the share of digital marketing significantly influences the growth of the Data Management Platform market. DMP systems can quickly unify data from various sources and segment users into several categories based on their behavioral patterns. Such capabilities foster demand for DMP among marketers.

The global market for Data Management Platforms features a number of leading players as well as several emerging companies, including Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica, and others.

Een voorbeeld van een Russische oplossing is het door Mail.ru Group uitgebrachte infrastructuurproduct, dat een geïntegreerd platform voor gegevensbeheer en -verwerking (Data Management Platform, DMP) biedt. Deze oplossing maakt het mogelijk om uitgebreide beschrijvingen van profielsegmenten binnen het platform op te stellen, geïntegreerd met marketingtools. DMP combineert oplossingen en diensten van Mail.ru Group op het gebied van omnichannelmarketing en het werken met doelgroepen. Klanten kunnen hun eigen geanonimiseerde gegevens opslaan, verwerken en structureren, en deze activeren in reclamecommunicatie, waardoor de effectiviteit van hun bedrijf en marketing wordt verhoogd.

Gegevensbeheer in de cloudomgeving

Een andere categorie oplossingen voor gegevensbeheer zijn cloudplatformen. Het gebruik van een moderne oplossing voor gegevensbescherming bij gegevensbeheer in de cloud voorkomt mogelijke problemen – van beveiligingsbedreigingen tot uitdagingen bij gegevensmigratie en verminderde prestaties, en helpt bij de digitale transformatietaken van het bedrijf. Natuurlijk zijn de functies van dergelijke systemen niet beperkt tot gegevensbescherming.

De functies van cloudplatformen voor gegevensbeheer volgens Gartner: resource-allocatie, automatisering en orkestratie; beheer van serviceverzoeken; hoog niveau management en naleving van beleid; monitoring en meting van parameters; ondersteuning van multicloudomgevingen; kostenoptimalisatie en transparantie; optimalisatie van capaciteiten en middelen; migratie naar de cloud en disaster recovery (DR); service level management; beveiliging en identificatie; automatisering van configuratie-updates.

Gegevensbeheer in de cloudomgeving moet zorgen voor een hoge beschikbaarheid van gegevens, controle en automatisering van gegevensbeheer in datacenters, aan de rand van netwerken en in de cloud.

Cloud Data Management (CDM) is een platform dat wordt gebruikt voor het beheer van bedrijfsgegevens in verschillende cloudomgevingen, rekening houdend met private, publieke, hybride en multicloudbenaderingen.

Een voorbeeld van een dergelijke oplossing is het Veeam Cloud Data Management Platform. Volgens de ontwikkelaars van het systeem helpt het organisaties hun benadering van databeheer te veranderen, zorgt het voor intelligente geautomatiseerde gegevensbeheer en maakt het gegevens beschikbaar in elke applicatie of cloudinfrastructure.

Het beheer van cloudgegevens binnen Veeam wordt beschouwd als een onmisbaar onderdeel van intelligent databeheer, dat ervoor zorgt dat gegevens vanuit elke locatie voor bedrijven toegankelijk zijn.

Het Veeam Cloud Data Management Platform maakt modernisering van back-up mogelijk en vervangt verouderde systemen, versnelt de implementatie van hybride cloud en gegevensmigratie, en automatiseert gegevensbeveiliging en naleving van regelgeving.

Het Veeam Cloud Data Management Platform is een "moderne gegevensbeheerplatform dat elk type cloud ondersteunt."

Zoals te zien is, vertegenwoordigen moderne gegevensbeheerplatforms een behoorlijk breed en divers scala aan oplossingen. Wat ze verbindt, is waarschijnlijk één ding: de focus op effectieve omgang met bedrijfsgegevens en het omvormen van een bedrijf of organisatie in een datagestuurd bedrijf.

Gegevensbeheerplatforms zijn een noodzakelijke evolutie van traditioneel databeheer. Steeds meer organisaties verplaatsen hun gegevens naar de cloud, en in toenemende aantallen verschillende lokale en cloudconfiguraties ontstaan nieuwe problemen die vooral vanuit het perspectief van databeheer moeten worden opgelost. Cloudgegevensbeheer is een vernieuwde benadering, een nieuw paradigma dat de functies van databeheer uitbreidt om nieuwe platforms, applicaties en gebruiksscenario's te ondersteunen.

Bovendien, volgens het Veeam Cloud Data Management Rapport van 2019, zijn bedrijven van plan om cloudtechnologieën, hybride cloudtechnologieën, big data-analyse, kunstmatige intelligentie en het internet der dingen dieper te integreren. Het wordt verwacht dat de invoering van deze digitale initiatieven aanzienlijke voordelen voor bedrijven zal opleveren.

Bedrijven implementeren steeds sneller dataplatformtechnologieën en zijn bereid om de cloud in te schakelen voor analytische werkbelastingen, maar velen stuiten op problemen bij het proberen om al hun gegevens te gebruiken voor betere bedrijfsresultaten, aldus analisten van 451 Research. De nieuwste databeheerplatforms zullen bedrijven helpen navigeren door de complexe processen van datawerk met meerdere clouds, databeheertools te gebruiken en analyses uit te voeren, ongeacht waar deze gegevens zich bevinden.

Aangezien we proberen bij de tijd te blijven en ons richten op de wensen van onze klanten (zowel huidige als potentiële), willen we het Habr-gemeenschap vragen of jullie graag Veeam in onze op de marktplaats? Ответить можно в опросе ниже.