🥇Platformy na správu dát: od periférie po cloud

Dnes sú pre väčšinu firiem a organizácií údaje jedným zo strategických aktív. A s rozširovaním analytických možností sa hodnota zhromaždených a akumulovaných údajov neustále zvyšuje. Často sa hovorí o explozívnom, exponenciálnom raste objemov generovaných firemných údajov. Uvádza sa, že 90 % všetkých údajov bolo vytvorených za posledné dva roky.

Rast objemov údajov je sprevádzaný zvyšovaním ich hodnoty

Údaje vytvárajú a používajú systémy analytiky veľkých údajov, internetu vecí (IoT), umelej inteligencie a ďalších. Zhromaždené údaje sú základom pre zlepšenie kvality služieb, rozhodovacieho procesu, podporu operačných činností spoločností a pre rôzne výskumy a vývoj.

90 % všetkých údajov bolo vytvorených za posledné dva roky.

Podľa predpovede IDC sa objem uložených údajov vo svete v rokoch 2018 až 2023 zdvojnásobí a celková kapacita úložísk dosiahne 11,7 zettabajtu, pričom na databázy podnikov pripadne viac ako tri štvrtiny celkovej kapacity. Je zaujímavé, že ak ešte v roku 2018 celková kapacita dodaných diskových jednotiek (HDD), ktoré zatiaľ zostávajú hlavným nositeľom informácií, predstavovala 869 exabajtov, do roku 2023 by tento údaj mohol prekročiť 2,6 zettabajtu.

Platformy správy dát: na čo sú potrebné a akú rolu hrajú?

Nie je prekvapením, že otázky správy údajov sa pre podniky stávajú prioritnými a priamo ovplyvňujú ich fungovanie. Na ich riešenie je často potrebné prekonať také komplikácie, ako sú heterogenita systémov, formátov údajov, metód ich ukladania a používania, prístupov k správe v podmienkach "zoo" riešení, ktoré boli implementované v rôznych časoch.

Výsledkom takého nejednotného prístupu je fragmentácia súborov údajov, ktoré sú uložené a spracovávané v rôznych systémoch, a rôzne postupy zabezpečenia kvality údajov. Tieto typické problémy zvyšujú pracovné a finančné náklady pri práci s údajmi, napríklad pri získavaní štatistík a správ alebo pri rozhodovaní.

Obchodný model správy dát by mal byť prispôsobený potrebám, úlohám a cieľom podniku. Neexistuje jediné automatizované riešenie, platforma na správu dát, ktoré by pokrylo všetky úlohy. Napriek tomu moderné komplexné, flexibilné a škálovateľné systémy správy dát často predstavujú univerzálny softvér na správu a ukladanie dát. Obsahujú potrebné nástroje a služby na efektívne riadenie dát.

Najnovšie vývojové trendy umožňujú organizáciám prehodnotiť správu dát v rozsahu celej organizácie, získať jasný prehľad o tom, aké dáta sú k dispozícii, aké politiky s nimi sú spojené, kde a ako dlho sa dáta uchovávajú, a nakoniec umožňujú včas poskytovať potrebné informácie správnym ľuďom. Tieto riešenia rozširujú možnosti podnikov a umožňujú:

Riadiť súbory, objekty, dáta aplikácií, databázy, dáta virtuálnych a cloudových prostredí, získať prístup k rôznym typom dát.
Pomocou nástrojov na orchestráciu a automatizáciu presúvať dáta tam, kde je ich ukladanie najefektívnejšie — do primárnej, sekundárnej infraštruktúry úložiska, do datacentra poskytovateľa alebo do cloudu.
Využívať komplexné funkcie ochrany dát.
Zabezpečiť integráciu dát.
Získať z dát operatívnu analytiku.

Platforma na správu dát môže byť postavená na základe niekoľkých softvérových produktov alebo predstavovať jediné unified systém. Komplexná platforma zabezpečuje jednotné riadenie dát v rámci celej IT infraštruktúry vrátane ich zálohovania, obnovy, archivácie, riadenia hardvérových snímok a generovania reportov.

Takáto platforma umožňuje realizovať multi-cloudovú stratégiu, rozšíriť centrum spracovania dát do cloudového prostredia, uskutočniť rýchlu migráciu do cloudu, využiť možnosti nahrádzania hardvéru a zavedenia nákladovo najefektívnejších možností ukladania dát.

Niektoré riešenia dokážu automaticky archivovať údaje. A s pomocou umelej inteligencie môžu zistiť, že "niečo sa pokazilo", a automaticky podniknúť nápravné opatrenia alebo informovať administrátora, ako aj odhaľovať a zastavovať útoky rôzneho druhu. Automatizácia služieb prispieva k optimalizácii IT operácií, umožňuje oslobodiť IT personál a minimalizovať chyby spôsobené ľudským faktorom, ako aj znižovať prestoje.

Akými vlastnosťami by mala disponovať moderná platforma na správu údajov a kde sa takéto riešenia prakticky uplatňujú?

Prístup "jedno riešenie pre všetkých" nefunguje v prípade platforiem na správu údajov. Každá spoločnosť má svoje požiadavky na údaje, ktoré závisia od typu podnikania, skúseností a pod. Univerzálna platforma by mala na jednej strane zabezpečiť prispôsobenie na prácu s údajmi v konkrétnej firme a na druhej strane byť nezávislá od špecifík aplikovanej oblasti, sféry použitia produktu vybudovaného na jej základe a jeho informačného prostredia.

Praktické oblasti správy údajov (zdroj; CMMI Institute).

Tu sú niektoré praktické oblasti použitia platforiem na správu údajov:

Komponent
Oblasť použitia

Stratégia správy údajov
Ciele a úlohy správy, podniková kultúra správy údajov, definovanie požiadaviek na životný cyklus údajov.

Správa údajov
Správa údajov a metadát

Operácie s údajmi
Štandardy a postupy práce so zdrojmi údajov

Kvalita údajov
Zabezpečenie kvality, rámec kvality údajov

Platforma a architektúra
Architektonický rámec, platformy a integrácia

Podporné procesy
Hodnotenie a analýza, správa procesov, zabezpečenie kvality, riadenie rizík, správa konfigurácie

Okrem toho takéto platformy zohrávajú dôležitú úlohu v procese transformácie organizácie na "údajmi riadené" podniky, ktorý je možné rozdeliť na niekoľko etáp:

Zmena správy údajov v existujúcich systémoch, zavedenie rolového modelu so zdieľaním povinností a právomocí. Kontrola kvality údajov, krížová kontrola údajov medzi systémami, oprava nepresných údajov.
Nastavenie procesov extrakcie a zberu údajov, ich transformácie a načítania. Uvedenie údajov do jednotného systému bez skomplexnenia kontroly kvality údajov a zmeny obchodných procesov.
Integrácia údajov. Automatizácia procesov dodávky potrebných údajov na správne miesto a v správny čas.
Zavedenie komplexnej kontroly kvality údajov. Stanovenie parametrov kontroly kvality, vypracovanie metodológie využívania automatických systémov.
Implementácia nástrojov na riadenie procesov zberu údajov, ich overovanie, deduplikáciu a čistenie. Ako následok — zvýšenie kvality, spoľahlivosti a unifikácie údajov všetkých systémov podniku.

Výhody platforiem na správu údajov

Spoločnosti, ktoré efektívne pracujú s údajmi, zvyčajne dosahujú väčší úspech v porovnaní s konkurenciou, rýchlejšie uvádzajú na trh produkty a služby, lepšie rozumejú potrebám cieľovej skupiny a môžu rýchlo reagovať na zmeny dopytu. Platformy na správu údajov poskytujú možnosť 'čistenia' údajov, získania kvalitných a relevantných informácií, transformácie údajov a strategickej hodnotenia údajov podniku.

Príklad univerzálnej platformy pre budovanie systémov riadenia podnikových údajov – ruská 'Unidata', vytvorená na základe softvéru s otvoreným zdrojovým kódom. Ponúka nástroje na vytváranie modelu údajov a prostriedky na rozšírenie funkcionality pri integrácii do rôznych IT prostredí a externých informačných systémov: od správy materiálových a technických zdrojov po bezpečné spracovanie veľkých objemov osobných údajov.

Architektúra platformy 'Unidata' rovnomennej spoločnosti.

Táto multifunkčná platforma zabezpečuje centralizovaný zber údajov (inventarizácia a evidencia zdrojov), štandardizáciu informácií (normalizácia a obohacovanie), evidovanie aktuálnych a historických informácií (kontrola verzií záznamu, obdobia aktuálnosti údajov), kvalitu údajov a vedenie štatistiky. Predpokladá automatizáciu takých úloh, ako sú zber, akumulácia, čistenie, porovnávanie, konsolidácia, kontrola kvality, distribúcia údajov, a tiež nástroje na automatizáciu systému rozhodovania.

Platformy správy údajov (DPM) v reklame a marketingu

V reklame a marketingu má pojem platformy správy údajov DMP (Data Management Platform) užší význam. Ide o softvérovú platformu, ktorá na základe zhromaždených údajov umožňuje firmám definovať segmenty publika pre cielenie reklamy na konkrétnych používateľov a kontext reklamných kampaní na internete. Tento softvér dokáže zhromažďovať, spracovávať a ukladať akýkoľvek typ údajov o publiku, a má tiež možnosť ich používania prostredníctvom bežných mediálnych kanálov.

Podľa predpovede Market Research Future (MRFR) môže globálny trh platforiem správy údajov (DMP) do konca roku 2023 dosiahnuť 3 miliardy dolárov pri priemernom ročnom raste 15 %, pričom do roku 2025 presiahne jeho objem 3,5 miliardy dolárov.

Systém DMP:

Umožňuje zhromažďovať a štruktúrovať všetky typy údajov o publiku; analyzovať dostupné údaje; prenášať údaje do akéhokoľvek mediálneho priestoru na umiestnenie cielených reklám.
Pomáha zhromažďovať, organizovať a aktivovať údaje z rôznych zdrojov a prevádzať ich do užitočnej formy.
Organizuje všetky údaje do kategórií na základe obchodných cieľov a marketingových modelov. Systém analyzuje údaje a generuje segmenty publika, ktoré presne reprezentujú zákaznícku základňu v širokej škále kanálov, založených na rôznych spoločných charakteristikách.
Umožňuje zvýšiť presnosť cielenia reklamy online a vytvoriť personalizovanú komunikáciu s relevantným publikom. Na základe DMP je tiež možné nastaviť reťazce interakcie s každým cieľovým segmentom, aby používatelia dostávali aktuálne správy v správnom čase a na správnom mieste.

Zvýšenie podielu digitálneho marketingu do veľkej miery ovplyvňuje rast trhu platforiem správy údajov. Systémy DMP dokážu rýchlo unifikovať údaje z rôznych zdrojov a rozdeliť používateľov do niekoľkých kategórií na základe ich správania. Tieto možnosti prispievajú k dopytu po DMP medzi marketingovými odborníkmi.

Globálny trh platforiem správy údajov je zastúpený radom vedúcich hráčov, ako aj niekoľkými novými spoločnosťami, vrátane Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica a iných.

Príklad ruského riešenia – infraštruktúrny produkt vydaný spoločnosťou Mail.ru Group, ktorý predstavuje jednotnú platformu na správu a spracovanie údajov (Data Management Platform, DMP). Riešenie umožňuje vytvárať rozšírený popis profilu audítorských segmentov v rámci platformy integrované s marketingovými nástrojmi. DMP spája riešenia a služby Mail.ru Group v oblasti omnichannel marketingu a práce s publikom. Klienti môžu uchovávať, spracovávať a štruktúrovať svoje anonymizované údaje, ako aj ich aktivovať v reklamných komunikáciách, čím zvyšujú efektivitu podnikania a marketingu.

Správa údajov v cloudovom prostredí

Ďalšia kategória riešení pre správu údajov – cloudové platformy. Zvlášť použitie moderného riešenia na ochranu údajov v rámci správy údajov v cloude umožňuje vyhnúť sa možným problémom – od bezpečnostných hrozieb po problémy s migráciou údajov a poklesom výkonu, a tiež riešiť úlohy digitálnej transformácie, ktoré pred spoločnosťou stoja. Samozrejme, funkcie takýchto systémov sa neobmedzujú len na ochranu údajov.

Funkcie cloudovej platformy správy údajov podľa Gartnera: rozdelenie zdrojov, automatizácia a orchestrácia; správa požiadaviek na služby; riadenie na vysokej úrovni a kontrola dodržiavania politík; monitoring a meranie parametrov; podpora multi-cloud prostredí; optimalizácia a transparentnosť nákladov; optimalizácia kapacít a zdrojov; migrácia do cloudu a zabezpečenie odolnosti voči katastrofám (DR); správa úrovne služieb; bezpečnosť a identifikácia; automatizácia aktualizácie konfigurácií.

Správa údajov v cloudovom prostredí by mala zabezpečovať vysokú úroveň dostupnosti údajov, kontroly, automatizácie správy údajov v dátových centrách, na perimetri siete a v cloude.

Správa cloudových údajov (Cloud Data Management, CDM) – to je platforma, ktorá sa používa na správu podnikových údajov v rôznych cloudových prostrediach s ohľadom na súkromné, verejné, hybridné a multi-cloud prístupy.

Príklad takéhoto riešenia je Veeam Cloud Data Management Platform. Ako tvrdia vývojári systému, pomáha organizáciám zmeniť prístup k správe dát, zabezpečuje inteligentné automatizované riadenie dát a ich dostupnosť v akýchkoľvek aplikáciách alebo cloudovej infraštruktúre.

Správa cloudových dát vo Veeam sa považuje za neoddeliteľnú súčasť inteligentného riadenia dát, ktoré zabezpečuje ich dostupnosť pre podniky z akéhokoľvek miesta.

Cloudová platforma Veeam Cloud Data Management Platform umožňuje modernizáciu zálohovania a zbavenie sa zastaraných systémov, zabezpečuje urýchlené zavádzanie hybridného cloudu a presun dát, automatizáciu bezpečnosti dát a dodržiavania predpisov.

Veeam Cloud Data Management Platform — "moderná platforma na správu dát, podporujúca akýkoľvek cloud."

Ako je vidieť, moderné platformy na správu dát predstavujú dostatočne rozsiahly a pestrý klasť riešení. Spája ich azda jedno: zameranie na efektívnu prácu s firemnými dátami a premenenie spoločnosti alebo organizácie na moderné podnikanie riadené dátami (data-driven enterprise).

Platformy na správu dát sú nevyhnutnou evolúciou tradičnej správy dát. čoraz viac organizácií presúva dáta do cloudu, v rastúcom počte rôznych lokálnych a cloudových konfigurácií sa objavujú nové problémy, ktoré je potrebné riešiť práve z pohľadu správy dát. Správa dát v cloude — aktualizovaný prístup, nová paradigma, rozširujúca funkcie správy dát na podporu nových platforiem, aplikácií a scenárov použitia.

Okrem toho, podľa výskumu Veeam Cloud Data Management Report za rok 2019, spoločnosti plánujú hlbšiu integráciu cloudových technológií, technológií hybridného cloudu, analytiky veľkých dát, umelej inteligencie a internetu vecí. Očakáva sa, že zavádzanie týchto digitálnych iniciatív prinesie spoločnostiam značné výhody.

Podniky rýchlo zavádzajú technológie dátových platforiem a sú pripravené využiť cloud na vykonávanie analytických pracovných záťaží, avšak mnohí sa stretávajú s problémami, keď sa pokúšajú využiť všetky svoje dáta na dosiahnutie lepších obchodných výsledkov, tvrdia analytici spoločnosti 451 Research. Najnovšie platformy na správu dát pomôžu podnikom orientovať sa v zložitých procesoch práce s dátami na viacerých cloudech, využívať prostriedky na správu dát a vykonávať ich analýzu bez ohľadu na to, kde sa tieto dáta nachádzajú.

Keďže sa snažíme držať krok s dobou a zohľadňujeme požiadavky našich klientov (ako súčasných, tak potenciálnych), chceme sa opýtať komunity na Habr, či by ste chceli vidieť Veeam v našom trhu? Ответить можно в опросе ниже.