🥇Andmehaldusplatvormid: äärealadest pilve

Täna on andmed enamikule ettevõtetele ja organisatsioonidele üks strateegilisi varasid. Koos analüütika võimaluste laienemisega suureneb pidevalt kogutud ja salvestatud andmete väärtus. Samuti räägitakse sageli ettevõtte andmete genereerimise plahvatuslikust, eksponentsiaalsest kasvust. Toodud on tähelepanek, et 90% kõigist andmetest on loodud viimase kahe aasta jooksul.

Andmekoguste kasvuga kaasneb nende väärtuse suurenemine.

Andmeid loovad ja kasutavad suure andmemahu analüüsi süsteemid, asjade internet (IoT), tehisintellekt jne. Kogutud andmed on aluseks klienditeeninduse kvaliteedi parandamisele, otsuste tegemisele, ettevõtete tegevuse toetamiseks ning erinevate uurimis- ja arendustegevuste jaoks.

90% kõigist andmetest on loodud viimase kahe aasta jooksul.

IDC prognoosib, et andmete hulk maailmas kahekordistub ajavahemikus 2018 kuni 2023, samas kui andmesäilituste kogumaht ulatub 11,7 zettabaidini, kusjuures ettevõtte andmebaasid katavad rohkem kui kolm neljandikku kogu mahust. Huvitav on, et kui 2018. aastal moodustas tarnitud kõvakettade (HDD) kogumaht, mis jääb siiani peamise infokandjana, 869 eksabaiti, siis 2023. aastaks võib see number ületada 2,6 zettabaidi.

Andmehaldusplatvormid: milleks need on vajalikud ja millist rolli nad mängivad?

Pole üllatav, et andmehalduse küsimused muutuvad ettevõtete jaoks prioriteetideks, mõjutades otseselt nende tegevust. Nende probleemide lahendamiseks tuleb sageli ületada selliseid keerukusi nagu süsteemide, andmevormingute, nende salvestamise ja kasutamise meetodite, samuti lahenduste "loomaaia" haldamise lähenemisviiside mitmekesisus, mis on juurutatud erinevatel aegadel.

Selliste mitteühendatud lähenemete tulemuseks on andmefoskastatsioon, kus erinevates süsteemides salvestatud ja töödeldud andmed on killustatud ning andmete kvaliteedi tagamise protseduurid on erinevad. Need tüüpilised probleemid suurendavad tööjõu- ja rahakulusid andmete töötlemisel, näiteks statistika ja aruannete koostamisel või juhtimisotsuste tegemisel.

Andmehalduse ärimudel peab olema kohandatav, kohandatud ettevõtte vajadustele, ülesannetele ja eesmärkidele. Ei ole ühtegi automaatset süsteemi ega andmehaldusplatvormi, mis kataks kõiki ülesandeid. Siiski esindavad kaasaegsed terviklikud, paindlikud ja skaleeritavad andmehaldust süsteemid sageli universaalset tarkvara andmete haldamiseks ja säilitamiseks. Need sisaldavad vajalikke tööriistu ja teenuseid andmete tõhusaks haldamiseks.

Uued lahendused võimaldavad ettevõtetel andmete haldamist ümber mõelda kogu organisatsiooni tasandil, saades selge ülevaate, millised andmed on olemas, millised poliitikad nendega on seotud, kus ja kui kaua andmeid säilitakse, ning nad võimaldavad õigeaegselt pakkuda vajalikke andmeid õigetele inimestele. Need on lahendused, mis suurendavad ettevõtete võimekust ning võimaldavad:

Haldada faile, objekte, rakenduste andmeid, andmebaase, virtuaalse ja pilvekeskkonna andmeid ning pääseda juurde erinevat tüüpi andmetele.
Orkestreerimise ja automatiseerimise tööriistade abil liikuda andmed sinna, kus nende säilitamine on kõige tõhusam — esmasesse või teisestesse salvestusstruktuuridesse, teenuseosutaja andmekeskusesse või pilve.
Kasutada keerukaid andmekaitse funktsioone.
Tagada andmete integreerimine.
Saada andmetest operatiivset analüüsi.

Andmete haldamise platvorm võib olla loodud mitmete tarkvaratoode põhjal või esindada ühte ühtset süsteemi. Kompleksne platvorm tagab andmete ühtse haldamise kogu IT-infrastruktuuri ulatuses, sealhulgas nende varundamise, taastamise, arhiveerimise, riistvaraliste momentide tegemise ja aruandluse.

Selline platvorm võimaldab rakendada mitme pilve strateegiat, laiendada andmekeskust pilves keskkonda, teostada kiiret migreerimist pilve, kasutada seadmete vahetamise võimalusi ja rakendada kõige ökonoomsemaid andmete salvestamise variante.

Mõned lahendused suudavad automaatselt andmeid arhiveerida. Tehisintellekti abil suudavad nad tuvastada, kui "midagi on valesti läinud", ning automaatselt võtta korrigeerivaid meetmeid või teavitada administraatorit, samuti tuvastada ja peatada erinevat tüüpi rünnakud. Teenuste automatiseerimine aitab optimeerida IT-operatsioone, vabastab IT-personali, minimeerib inimfaktorist põhjustatud vigu ja vähendab seiskumisi.

Millised omadused peavad olema kaasaegsel andmehaldusplatvormil ja kus selliseid lahendusi praktikas rakendatakse?

„Üks lahendus kõigile“ lähenemine ei tööta andmehaldusplatvormide puhul. Igal ettevõttel on oma andmenõuded, mis sõltuvad äritegevuse tüübist, kogemustest ja muudest teguritest. Üks, universaalne platvorm peab ühel poolt tagama võimaluse seadistada andmete töötlemist konkreetse ettevõtte jaoks, samas aga olema sõltumatu rakendusvaldkonna eripärast, selle baasil loodud toote kasutusvaldkonnast ja selle infokeskkonnast.

Andmete haldamise praktilised valdkonnad (allikas; CMMI Instituut).

Siin on mõned praktilised andmehaldusplatvormide rakendusalad:

Komponent
Rakenduseala

Andmete haldamise strateegia
Halduse eesmärgid ja ülesanded, andmete haldamise ettevõtte kultuur, elutsükli andmenõuete määratlemine.

Andmete haldamine
Andmete ja metaandmete haldamine

Andmete toimingud
Andmeallikate tööstandardid ja -menetlused

Andmete kvaliteet
Kvaliteedi tagamine, andmekvaliteedi raamistik

Platvorm ja arhitektuur
Arhitektuuriline raamistiku, platvormide ja integratsiooni loomine

Toetavad protsessid
Hindamine ja analüüs, protsesside haldamine, kvaliteedi tagamine, riskide haldamine, konfigureerimise haldamine

Lisaks mängivad sellised platvormid olulist rolli organisatsioonide transformimise protsessis andmete juhtimise ettevõteteks, mis võib jaguneda mitmeks etapiks:

Andmete haldamise muutmine olemasolevates süsteemides, rollimudeli rakendamine, kus on jagatud kohustused ja volitused. Andmekvaliteedi kontroll, andmete ristkontroll süsteemide vahel, valeandmete parandamine.
Andmete ekstraktsiooni ja kogumise, nende muundamise ja laadimise protsesside seadistamine. Andmete viimine ühtsesse süsteemi ilma andmekvaliteedi kontrolli keerukust ja äritegevuse muutmist.
Andmete integreerimine. Protsesside automatiseerimine vajalike andmete edastamiseks õigesse kohta ja õigel ajal.
Täpse andmekvaliteedi kontrolli rakendamine. Kvaliteedikontrolli parameetrite määramine, automaatsete süsteemide kasutamiseks metoodika väljatöötamine.
Andmete kogumise, nende kontrollimise, deebupideerimise ja puhastamise protsesside juhtimise tööriistade rakendamine. Selle tulemusena — andmete kvaliteedi, usaldusväärsuse ja ühtsuse suurenemine kõigis ettevõtte süsteemides.

Andmehalduse platvormide eelised

Ettevõtted, mis tõhusalt andmeid hallata, saavutavad tavaliselt konkurentidest paremad tulemused, toovad tooted ja teenused turule kiiremini, mõistavad sihtrühma vajadusi paremini ning saavad kiiresti reageerida nõudluse muutustele. Andmehaldusplatvormid pakuvad võimalust andmete "puhastamiseks", kvaliteetse ja asjakohase teabe saamiseks, andmete muutmiseks ja ettevõtte strateegiliseks hindamiseks.

Üks universaalne platvorm ettevõtte andmehaldussüsteemide loomiseks on Venemaa "Unidata", mis on loodud avatud lähtekoodiga tarkvara baasil. See pakub andmemudelite loomise tööriistu ja funktsionaalsuse suurendamise vahendeid integratsiooniks erinevatesse IT-keskkondadesse ja kolmandate osapoolte infotehnoloogiasüsteemidesse: alates materjalide ja tehnika varude haldamisest kuni isikuandmete turvalise töötlemiseni suurtel mahtudel.

Platvormi "Unidata" arhitektuur samanimeliselt ettevõttelt.

See mitmekülgne platvorm tagab andmete keskse kogumise (varude inventuur ja arvestus), teabe standardimise (normaliseerimise ja rikastamise), jooksva ja ajaloo teabe arvestamise (kirjete versioonide kontroll, andmete kehtivuse ajajad), andmete kvaliteedi ja statistika pidamise. Käsitletakse automatiseerimist ülesannete, nagu andmete kogumine, kogumine, puhastamine, sobitamine, konsolideerimine, kvaliteedikontroll, andmete jagamine, ning ka otsuste tegemise süsteemi automatiseerimise tööriistade osas.

Andmehalduse platvormid (DPM) reklaamis ja turunduses

Reklaamis ja turunduses on andmehalduse platvormi (DMP, Data Management Platform) mõisted kitsama tähendusega. See on tarkvaraplatvorm, mille alusel ettevõtted suudavad määratleda sihtrühmad kindlatele kasutajatele ja reklaamikampaaniate kontekstile internetis, tuginedes kogutud andmetele. Selline tarkvara suudab koguda, töödelda ja salvestada mis tahes tüüpi sihtrühma andmeid ning pakub võimalust neid kasutada tuttavates meediakanalites.

Market Research Future (MRFR) prognoosib, et globaalne andmehaldusplatvormide (DMP) turg võib 2023. aasta lõpuks ulatuda 3 miljardi dollarini, kusjuures keskmine aastakasv on 15%, ning 2025. aastaks ületab selle maht 3,5 miljardit dollarit.

DMP süsteem:

Pakub võimalust koguda ja struktureerida kõiki auditoorseid andmeid; analüüsida olemasolevaid andmeid; edastada andmeid mis tahes meediakanalisse sihitud reklaami paigutamiseks.
Aitab koguda, organiseerida ja aktiveerida andmeid erinevatest allikatest ning muuta need kasulikuks vormiks.
Korraldab kõik andmed kategooriate alusel, lähtudes ärieesmärkidest ja turundusmudelitest. Süsteem analüüsib andmeid ja genereerib auditooriumi segmente, mis täpselt esindavad kliendibaasi laias kanalite spektris, tuginedes erinevatele ühistele omadustele.
Tõstab sihitud reklaami täpsust veebis ja võimaldab luua isikupäraseid kommunikatsioone asjakohase auditooriumiga. DMP baasil saab samuti seadistada suhtlusahelad iga sihitud segmendi jaoks, et kasutajad saaksid relevantseid sõnumeid õigeaegselt ja õigel kohal.

Digitaalse turunduse osakaalu suurenemine mõjutab oluliselt andmehaldusplatvormide turu kasvu. DMP süsteemid suudavad kiiresti ühtlustada andmeid erinevatest allikatest ning jagada kasutajaid mitmekesistesse kategooriatesse nende käitumismudelite põhjal. Sellised võimalused suurendavad DMP-de nõudlust turundajate seas.

Globaalne andmehaldusplatvormide turg on esindatud mitmete juhtivate mängijatega ning mitmete uute ettevõtetega, sealhulgas Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica jpt.

Näide Venemaa lahendusest — Mail.ru Grupi välja antud infrastruktuuri toode, mis on ainus andmete haldamise ja töötlemise platvorm (Data Management Platform, DMP). Lahendus võimaldab koostada põhjalikku kirjeldust sihtrühmade profiilidest platvormi raames, mis on integreeritud turundustööriistadega. DMP ühendab Mail.ru Grupi lahendused ja teenused omnikanalisest turundusest ja sihtrühmadega töötamisest. Klientidel on võimalus salvestada, töödelda ja struktureerida oma anonüümseid andmeid ning aktiveerida neid reklaamkommunikatsioonides, suurendades seeläbi ettevõtte ja turunduse efektiivsust.

Andmete haldamine pilves keskkonnas

Teine andmete haldamise lahenduste kategooria on pilveplatvormid. Eelkõige võimaldab kaasaegse andmete kaitse lahenduse kasutamine andmete haldamise kontekstis pilves vältida võimalikke probleeme — alates turvauhikutest kuni andmete migreerimise ja jõudluse probleemideni, samuti aidata lahendada ettevõtte digitaaltransformatsiooni ülesandeid. Loomulikult ei piirdu selliste süsteemide funktsioonid ainult andmete kaitsega.

Andmete haldamise pilveplatvormi funktsioonid Gartneri vaates: ressursside jaotamine, automatiseerimine ja orkestreerimine; teenuse taotlemise haldamine; kõrgema taseme haldamine ja poliitikate järgimise kontroll; jälgimine ja parameetrite mõõtmine; mitme pilvekeskkonna tugi; kulude optimeerimine ja läbipaistvus; võimsuse ja ressursside optimeerimine; pilve migreerimine ja katastroofide taastamise tagamine (DR); teenuse taseme haldamine; turvalisus ja tuvastamine; konfiguratsioonide uuendamise automatiseerimine.

Andmete haldamine pilves peab tagama kõrgendatud andmete kättesaadavuse, kontrolli ja automatiseeritud andmete haldamise andmekeskustes, võrgu perifeerias ja pilves.

Pilveandmete haldamine (Cloud Data Management, CDM) on platvorm, mis on mõeldud ettevõtte andmete haldamiseks erinevates pilvekeskkondades, arvestades eraklike, avalike, hübriidsete ja mitme pilve lähenemisviise.

Näide sellisest lahendusest on Veeam Cloud Data Management Platform. Süsteemi arendajate sõnul aitab see organisatsioonidel muuta andmete haldamise lähenemist, pakkudes intelligentselt automatiseeritud andmehaldust ja nende kättesaadavust igasugustes rakendustes või pilvinfrastruktuuris.

Veeam peab pilvandmete haldamist lahutamatuks osaks intelligentsest andmehaldussüsteemist, mis tagab andmete kättesaadavuse ettevõttele mistahes asukohast.

Veeam Cloud Data Management Platform võimaldab kaasaegse varunduse juurutamist ja vanade süsteemide hülgamist, kiirendab hübriidpilve kasutuselevõttu ja andmete ülekannet, andmete turvalisuse ja regulatiivsete nõuete automatiseerimist.

Veeam Cloud Data Management Platform on "kaasaegne andmehalduse platvorm, mis toetab igasuguseid pilvi".

Nähtavasti esindavad kaasaegsed andmehaldusplatvormid piisavalt ulatuslikku ja mitmekesist lahenduste klassi. Ühendavaks teguriks on tõenäoliselt nende suund andmete tõhusale haldamisele ettevõtetes, muutes firma või organisatsiooni andmepõhiseks ettevõtteks (data-driven enterprise).

Andmehaldusplatvormid on vajalik evolutsioon traditsioonilisest andmehaldusest. Üha rohkem organisatsioone viib andmed pilve, erakliendina ja pilvel põhinevates konfiguratsioonides tekivad uued probleemid, mida tuleb lahendada just andmete haldamise perspektiivist. Pilvepõhine andmehaldus on uus lähenemine, uus paradigma, mis laiendab andmete haldamise võimalusi, et toetada uusi platvorme, rakendusi ja kasutusjuhte.

Lisaks näitab 2019. aasta Veeam Cloud Data Management Report, et ettevõtted plaanivad sügavamalt integreerida pilvetehnoloogiad, hübriidpilvetehnoloogiad, suurandmete analüütika, tehisintellekti ja asjade interneti. Oodatakse, et nende digitaalsete algatuste elluviimine toob ettevõtetele märkimisväärset kasu.

Ettevõtted kiirendavad andmeplatvormide tehnoloogiate kasutuselevõttu ja on valmis kasutama pilve analüütiliste töökoormuste täitmiseks, kuid paljud seisavad silmitsi probleemidega, püüdes kasutada kogu oma andmeid paremate äritulemuste saavutamiseks, arvavad 451 Researchi analüütikud. Uusimad andmehalduse platvormid aitavad ettevõtetel navigeerida keerulistes andmetöötlusprotsessides mitmes pilves, kasutada andmehaldustöötavaid vahendeid ja analüüsida neid, sõltumata sellest, kus need andmed asuvad.

Kuna püüame ajaga sammu pidada ja lähtume klientide (nii olemasolevate kui ka potentsiaalsete) soovidest, tahame küsida habrasoome kogukonnalt, kas sooviksite näha Veeamit meie turul? Ответить можно в опросе ниже.