🥇Platformele de gestionare a datelor: de la periferie la cloud

Astăzi, pentru majoritatea companiilor și organizațiilor, datele reprezintă unul dintre activele strategice. Odată cu extinderea capacităților analitice, valoarea datelor colectate și acumulate de companii crește constant. Se vorbește adesea despre o creștere explozivă, exponențială a volumelor de date corporative generate. Se constată că 90% din toate datele au fost create în ultimii doi ani.

Creșterea volumelor de date este însoțită de o creștere a valorii acestora.

Datele sunt create și utilizate de sistemele de analiză a big data, internetul lucrurilor (IoT), inteligența artificială și altele. Datele colectate constituie baza pentru îmbunătățirea calității serviciilor pentru clienți, luarea deciziilor, sprijinirea activităților operaționale ale companiilor, pentru diferite studii și dezvoltări.

90% din toate datele au fost create în ultimii doi ani.

Potrivit prognozei IDC, volumul datelor stocate în întreaga lume se va dubla între 2018 și 2023, iar capacitatea totală a depozitelor de date va ajunge la 11,7 zettabiți, cu peste trei sferturi din totalul acestora provenind din bazele de date ale întreprinderilor. Este caracteristic că, dacă în 2018 capacitatea totală a hard disk-urilor livrate (HDD), care rămân principalul suport de informații, a fost de 869 exabiți, până în 2023 acest indicator ar putea depăși 2,6 zettabiți.

Platformele de gestionare a datelor: pentru ce sunt necesare și ce rol joacă?

Nu este surprinzător că problemele de gestionare a datelor devin priorități pentru întreprinderi, având un impact direct asupra activității lor. Pentru a le rezolva, de multe ori este necesar să depășim astfel de dificultăți precum heterogeneitatea sistemelor, formatelor de date, metodelor de stocare și utilizare, abordărilor de management în condiții de „zoo” de soluții, care au fost implementate în momente diferite.

Rezultatul unei astfel de abordări neuniforme este fragmentarea masivelor de date, stocate și procesate în diferite sisteme, diferite proceduri de asigurare a calității datelor. Aceste probleme tipice cresc costurile de muncă și financiare în gestionarea datelor, de exemplu, în obținerea statisticilor și rapoartelor sau în luarea deciziilor de management.

Modelul de afaceri pentru managementul datelor trebuie să fie personalizat, adaptat nevoilor, sarcinilor și obiectivelor organizației. Nu există un sistem automatizat unic, o platformă de management al datelor, care să acopere toate sarcinile. Cu toate acestea, sistemele moderne, cuprinzătoare, flexibile și scalabile pentru managementul datelor reprezintă adesea software universal pentru gestionarea și stocarea datelor. Acestea includ instrumentele și serviciile necesare pentru un management eficient al datelor.

Cele mai noi dezvoltări permit organizațiilor să regândească managementul datelor la nivelul întregii organizații, să obțină o imagine clară asupra datelor disponibile, a politicilor asociate, a locului și duratei de stocare a datelor, oferind, în final, posibilitatea de a furniza informațiile necesare oamenilor potriviți la momentul potrivit. Aceste soluții extind capabilitățile organizațiilor și permit:

Gestionarea fișierelor, obiectelor, datelor aplicațiilor, bazelor de date, datelor din medii virtuale și cloud, accesarea datelor de diferite tipuri.
Folosind instrumente de orchestrare și automatizare pentru a muta datele acolo unde stocarea lor este cea mai eficientă — în infrastructura de stocare primară, secundară, în centrul de date al furnizorului sau în cloud.
Utilizarea funcțiilor complexe de protecție a datelor.
Asigurarea integrării datelor.
Obținerea de analize operative din date.

Platforma de management al datelor poate fi construită pe baza mai multor produse software sau poate reprezenta un sistem unificat. O platformă cuprinzătoare asigură gestionarea unitară a datelor în întreaga infrastructură IT, inclusiv backup-ul, recuperarea, arhivarea, gestionarea instantaneelor hardware și generarea de raportări.

O astfel de platformă permite implementarea unei strategii multi-cloud, extinderea centrului de date în medii cloud, efectuarea rapidă a migrației în cloud, utilizarea posibilităților de înlocuire a hardware-ului și adoptarea celor mai economice soluții de stocare a datelor.

Unele soluții pot arhiva automat datele. Cu ajutorul inteligenței artificiale, ele pot detecta că „ceva nu a mers bine” și pot lua măsuri corective automat sau pot notifica administratorul, precum și identifica și preveni atacurile de diferite tipuri. Automatizarea serviciilor contribuie la optimizarea operațiunilor IT, eliberează personalul IT, minimizează erorile cauzate de factorul uman și reduce timpii de nefuncționare.

Ce caracteristici ar trebui să aibă o platformă modernă de gestionare a datelor și unde sunt aplicate astfel de soluții în practică?

Abordarea „o soluție pentru toate” nu funcționează în cazul platformelor de gestionare a datelor. Fiecare companie are cerințe specifice legate de date, în funcție de tipul de afacere, experiența de lucru etc. O platformă universală trebuie, pe de o parte, să permită personalizarea pentru gestionarea datelor într-o anumită companie și, pe de altă parte, să fie independentă de specificul domeniului de aplicare, de sfera de utilizare a produsului construit pe baza sa și de mediul informațional asociat.

Domeniile practice de gestionare a datelor (sursă; CMMI Institute).

Iată câteva domenii practice de aplicare a platformelor de gestionare a datelor:

Componentă
Domeniul de aplicare

Strategia de gestionare a datelor
Obiectivele și sarcinile managementului, cultura corporativă a gestionării datelor, definirea cerințelor pentru ciclul de viață al datelor.

Gestionarea datelor
Gestionarea datelor și a metadatelor

Operațiuni cu date
Standarde și proceduri pentru lucrul cu sursele de date

Calitatea datelor
Asigurarea calității, cadru pentru calitatea datelor

Platforma și arhitectura
Cadru arhitectural, platforme și integrare

Procese suport
Evaluare și analiză, managementul proceselor, asigurarea calității, managementul riscurilor, gestionarea configurației

În plus, astfel de platforme joacă un rol important în procesul de transformare a organizației într-o întreprindere „dirijată de date”, care poate fi împărțită în mai multe etape:

Schimbarea gestionării datelor în sistemele existente, implementarea unui model bazat pe roluri cu separarea responsabilităților și a autorităților. Controlul calității datelor, verificarea încrucișată a datelor între sisteme, corectarea datelor inexacte.
Configurarea proceselor de extragere și colectare a datelor, transformarea lor și încărcarea acestora. Unificarea datelor într-un sistem coerent, fără complicarea controalelor asupra calității datelor și a modificărilor în procesele de afaceri.
Integrarea datelor. Automatizarea proceselor de livrare a datelor necesare, la momentul și locul potrivit.
Implementarea unui control complet al calității datelor. Definirea parametrilor de control al calității, dezvoltarea unei metodologii pentru utilizarea sistemelor automate.
Implementarea instrumentelor de gestionare a proceselor de colectare a datelor, verificarea, deduplicarea și curățarea acestora. Ca urmare, se îmbunătățește calitatea, veridicitatea și unificarea datelor din toate sistemele întreprinderii.

Avantajele platformelor de gestionare a datelor

Companiile care gestionează eficient datele obțin, de obicei, un succes mai mare comparativ cu concurenții, lansează mai rapid produse și servicii pe piață, înțeleg mai bine nevoile publicului țintă și răspund rapid la schimbările cererii. Platformele de gestionare a datelor oferă oportunitatea de a „curăța” datele, de a obține informații de calitate și relevante, de a transforma datele și de a evalua strategic datele întreprinderii.

Un exemplu de platformă versatilă pentru construirea sistemelor de gestionare a datelor corporative este „Unidata”, dezvoltată pe baza unui software cu cod sursă deschis. Oferă instrumente pentru crearea modelului de date și metode pentru extinderea funcționalității prin integrarea în diferite medii IT și sisteme informative externe: de la gestionarea resurselor materiale până la procesarea în siguranță a unor volume mari de date personale.

Arhitectura platformei „Unidata” a companiei cu același nume.

Această platformă multifunctională asigură colectarea centralizată a datelor (inventarierea și contabilizarea resurselor), standardizarea informațiilor (normalizarea și îmbogățirea), gestionarea informațiilor curente și istorice (controlul versiunilor înregistrărilor, perioadele de valabilitate ale datelor), calitatea datelor și statisticile. Se preconizează automatizarea unor sarcini precum colectarea, acumularea, curățarea, potrivirea, consolidarea, verificarea calității, distribuirea datelor, precum și instrumente pentru automatizarea sistemului de luare a deciziilor.

Platformele de gestionare a datelor (DPM) în publicitate și marketing

În publicitate și marketing, conceptul de platformă de gestionare a datelor DMP (Data Management Platform) are un înțeles mai restrâns. Aceasta este o platformă software care, pe baza datelor colectate, permite companiilor să definească segmentele de audiență pentru targetarea publicității către utilizatori specifici și contextul campaniilor publicitare online. Acest tip de software poate colecta, procesa și stoca orice tip de date ale audienței, având de asemenea capacitatea de a le utiliza prin canale media obișnuite.

Conform prognozelor Market Research Future (MRFR), piața globală a platformelor de gestionare a datelor (DMP) ar putea atinge la sfârșitul anului 2023 suma de 3 miliarde de dolari, cu o creștere medie anuală de 15%, iar în 2025, volumul său va depăși 3,5 miliarde de dolari.

Sistemul DMP:

Oferă posibilitatea de a colecta și structura toate tipurile de date ale audienței; de a analiza datele disponibile; de a transfera datele în orice spațiu media pentru plasarea de publicitate țintită.
Ajută la colectarea, organizarea și activarea datelor din diverse surse și la transformarea acestora într-o formă utilă.
Organizează toate datele în categorii pe baza obiectivelor de afaceri și a modelelor de marketing. Sistemul analizează datele și generează segmente de audiență care reflectă cu exactitate baza de clienți pe o gamă largă de canale, bazate pe diferite caracteristici comune.
Permite creșterea acurateței targetării publicității online și construirea de comunicații personalizate cu audiența relevantă. Pe baza DMP-ului, pot fi configurate și șiruri de interacțiune cu fiecare segment țintă, astfel încât utilizatorii să primească mesaje relevante la momentul și locul potrivit.

Creșterea părții de marketing digital influențează semnificativ creșterea pieței platformelor de gestionare a datelor. Sistemele DMP pot rapid unifica datele din diverse surse și pot împărți utilizatorii în mai multe categorii pe baza modelului lor de comportament. Aceste capacități contribuie la cererea de DMP în rândul marketerilor.

Piața globală a platformelor de gestionare a datelor este reprezentată de o serie de jucători de top, precum și de câteva companii noi, inclusiv Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica și altele.

Un exemplu de soluție rusească este produsul infrastructural lansat de Mail.ru Group, care reprezintă o platformă unică pentru gestionarea și procesarea datelor (Data Management Platform, DMP). Soluția permite construirea unei descrieri extinse a profilului segmentelor de audiență în cadrul platformei, integrate cu instrumentele de marketing. DMP combină soluțiile și serviciile Mail.ru Group în domeniul marketingului omnichannel și al interacțiunii cu audiența. Clienții vor putea stoca, prelucra și structura datele lor dezlegate, activându-le în comunicările publicitare, sporind astfel eficiența afacerii și marketingului.

Gestionarea datelor în mediul cloud

O altă categorie de soluții pentru gestionarea datelor sunt platformele cloud. În special, utilizarea unei soluții moderne pentru protecția datelor în cadrul gestionării datelor în cloud permite evitarea problemelor posibile – de la amenințări de securitate la probleme cu migrarea datelor și reducerea performanței, precum și rezolvarea provocărilor legate de transformarea digitală a companiei. Desigur, funcțiile acestor sisteme nu se limitează la protecția datelor.

Funcțiile platformei cloud de gestionare a datelor conform Gartner: distribuirea resurselor, automatizare și orchestrare; gestionarea cererilor de servicii; management la un nivel înalt și controlul conformității politicilor; monitorizarea și măsurarea parametrilor; suport pentru medii multi-cloud; optimizarea și transparența costurilor; optimizarea capacităților și resurselor; migrarea în cloud și asigurarea rezilienței în caz de dezastru (DR); gestionarea nivelului de servicii; securitate și identificare; automatizarea actualizării configurațiilor.

Gestionarea datelor în mediul cloud trebuie să asigure un nivel ridicat de disponibilitate a datelor, control, automatizare a gestionării datelor în centrele de date, la periferia rețelei și în cloud.

Gestionarea datelor în cloud (Cloud Data Management, CDM) este o platformă utilizată pentru gestionarea datelor corporative în diverse medii cloud, având în vedere abordările private, publice, hibride și multi-cloud.

Un exemplu al acestei soluții este Veeam Cloud Data Management Platform. Potrivit dezvoltatorilor sistemului, aceasta ajută organizațiile să își schimbe abordarea în managementul datelor, asigurând o gestionare automatizată și inteligentă a datelor și accesibilitatea acestora în orice aplicație sau infrastructură de cloud.

Gestionarea datelor în cloud la Veeam este considerată o parte esențială a managementului inteligent al datelor, asigurând accesibilitatea acestora pentru afaceri din orice locație.

Platforma de cloud Veeam Cloud Data Management Platform permite modernizarea backup-ului și eliminarea sistemelor învechite, asigurând o implementare accelerată a cloud-ului hibrid și transferul de date, automatizarea securității datelor și conformitatea cu reglementările.

Veeam Cloud Data Management Platform este "o platformă modernă pentru gestionarea datelor, care suportă orice cloud."

După cum se observă, platformele moderne de gestionare a datelor reprezintă o clasă de soluții destul de extinsă și diversificată. Acestea sunt unite, poate, de un singur lucru: focusul pe o muncă eficientă cu datele corporative și transformarea companiei sau organizației într-o întreprindere modernă, bazată pe date (data-driven enterprise).

Platformele de gestionare a datelor reprezintă o evoluție necesară a gestionării tradiționale a datelor. Tot mai multe organizații își mută datele în cloud, iar un număr tot mai mare de configurații locale și cloud generează probleme noi care trebuie abordate în mod particular din perspectiva managementului datelor. Gestionarea datelor în cloud este o abordare actualizată, o nouă paradigmă, care extinde funcțiile managementului datelor pentru a susține noi platforme, aplicații și scenarii de utilizare.

În plus, conform studiului Veeam Cloud Data Management Report din 2019, companiile intenționează să integreze mai profund tehnologiile cloud, tehnologiile de cloud hibrid, analitica big data, inteligența artificială și internetul lucrurilor. Se așteaptă ca implementarea acestor inițiative digitale să aducă beneficii semnificative companiilor.

Companiile implementează rapid tehnologiile platformelor de date și sunt pregătite să folosească cloudul pentru a efectua sarcini de analiză, însă multe dintre ele se confruntă cu dificultăți în încercarea de a utiliza toate datele lor pentru a obține cele mai bune rezultate de afaceri, susțin analiștii companiei 451 Research. Cele mai noi platforme de gestionare a datelor vor ajuta întreprinderile să navigheze prin procesele complexe de lucru cu datele în mai multe clouduri, să utilizeze instrumentele de gestionare a datelor și să efectueze analiza acestora, indiferent de locul în care se află aceste date.

Deoarece ne străduim să ținem pasul cu vremea și ne concentrăm pe dorințele clienților noștri (atât actuali, cât și potențiali), dorim să întrebăm comunitatea Habr, dacă ați dori să vedeți Veeam în oferta noastră. pe marketplace? Ответить можно в опросе ниже.