Dzisiaj dla większości firm i organizacji dane są jednym z aktywów strategicznych. Wraz z rozwojem możliwości analitycznych, wartość gromadzonych i akumulowanych przez firmy danych nieustannie rośnie. Często mówi się o eksplozji, wykładniczym wzroście objętości generowanych danych korporacyjnych. Zauważa się, że 90% wszystkich danych powstało w ciągu ostatnich dwóch lat.
Wzrost objętości danych wiąże się ze wzrostem ich wartości.
Dane są tworzone i wykorzystywane przez systemy analityki big data, Internet rzeczy (IoT), sztuczną inteligencję i inne. Gromadzone dane stanowią podstawę poprawy jakości obsługi klienta, podejmowania decyzji, wspierania działalności operacyjnej firm oraz dla różnych badań i rozwoju.
90% wszystkich danych powstało w ciągu ostatnich dwóch lat.
Według prognoz IDC, objętość przechowywanych danych na świecie podwoi się w latach 2018-2023, a całkowita pojemność magazynów danych osiągnie 11,7 zettabajta, przy czym ponad trzy czwarte całkowitej objętości przypadnie na bazy danych przedsiębiorstw. Ciekawe, że jeszcze w 2018 roku całkowita pojemność dostarczonych dysków twardych (HDD), które wciąż pozostają głównym nośnikiem informacji, wyniosła 869 eksabajtów, natomiast do 2023 roku ten wskaźnik może przekroczyć 2,6 zettabajta.
Platformy zarządzania danymi: po co są potrzebne i jaką rolę odgrywają?
Nic dziwnego, że kwestie zarządzania danymi stają się dla przedsiębiorstw priorytetowe, mając bezpośredni wpływ na ich działalność. Aby je rozwiązać, czasami konieczne jest pokonywanie takich trudności jak różnorodność systemów, formatów danych, metod ich przechowywania i wykorzystywania, podejść do zarządzania w warunkach 'zoo' rozwiązań, które wprowadzane były w różnym czasie.
Efektem takiego niezunifikowanego podejścia jest fragmentacja zbiorów danych, przechowywanych i przetwarzanych w różnych systemach, różne procedury zapewnienia jakości danych. Te typowe problemy zwiększają koszty pracy i finansowe przy pracy z danymi, na przykład przy pozyskiwaniu statystyk i raportów lub przy podejmowaniu decyzji zarządzających.
Model biznesowy zarządzania danymi powinien być dostosowany do potrzeb, celów i zadań przedsiębiorstwa. Nie istnieje jedna zautomatyzowana platforma do zarządzania danymi, która pokrywałaby wszystkie zadania. Niemniej jednak, nowoczesne kompleksowe, elastyczne i skalowalne systemy zarządzania danymi często stanowią uniwersalne oprogramowanie do zarządzania danymi oraz ich przechowywania. Zawierają niezbędne narzędzia i usługi do efektywnego zarządzania danymi.
Nowoczesne rozwiązania pozwalają przedsiębiorstwom na przemyślenie zarządzania danymi w skali całej organizacji, uzyskanie dokładnego obrazu dostępnych danych, związanych z nimi polityk, lokalizacji przechowywania danych oraz czasu ich przechowywania, a także umożliwiają terminowe udostępnienie potrzebnych informacji odpowiednim osobom. To rozwiązania, które zwiększają możliwości przedsiębiorstw i pozwalają na:
- Zarządzanie plikami, obiektami, danymi aplikacji, bazami danych, danymi z wirtualnych i chmurowych środowisk, dostęp do różnych typów danych.
- Dzięki narzędziom orkiestracji i automatyzacji przenosić dane tam, gdzie ich przechowywanie jest najbardziej efektywne — do podstawowej lub pomocniczej infrastruktury przechowywania, do centrum danych dostawcy lub do chmury.
- Wykorzystać kompleksowe funkcje ochrony danych.
- Zapewnić integrację danych.
- Uzyskiwać analitykę operacyjną z danych.
Platforma zarządzania danymi może być zbudowana na bazie kilku produktów programowych lub stanowić jednolitą, scentralizowaną system. Kompleksowa platforma zapewnia jednolite zarządzanie danymi w całej infrastrukturze IT, w tym ich tworzenie kopii zapasowych, odzyskiwanie, archiwizację, zarządzanie migawkami sprzętowymi oraz generowanie raportów.
Taka platforma umożliwia wdrożenie strategii multi-cloud, rozszerzenie centrum danych do środowiska chmurowego, przeprowadzenie szybkiej migracji do chmury, wykorzystanie możliwości wymiany sprzętu oraz wdrażania najbardziej ekonomicznych rozwiązań przechowywania danych.
Niektóre rozwiązania mogą automatycznie archiwizować dane. Dzięki sztucznej inteligencji są w stanie wykrywać, że "coś poszło nie tak", automatycznie podejmować działania naprawcze lub informować administratora, a także wykrywać i zapobiegać atakom różnych typów. Automatyzacja usług sprzyja optymalizacji operacji IT, pozwala zwolnić personel IT, minimalizować błędy wynikające z czynnika ludzkiego i redukować przestoje.
Jakie cechy powinna posiadać nowoczesna platforma zarządzania danymi i gdzie takie rozwiązania znajdują zastosowanie w praktyce?
Podejście „jedno rozwiązanie dla wszystkich” nie sprawdza się w przypadku platform zarządzania danymi. Każda firma ma swoje wymagania dotyczące danych, które zależą od rodzaju biznesu, doświadczenia i innych czynników. Uniwersalna platforma powinna z jednej strony zapewniać możliwość dostosowania do pracy z danymi w konkretnej firmie, a z drugiej być niezależna od specyfiki branży, do której należy produkt oparty na jej podstawie oraz jego otoczenia informacyjnego.
Praktyczne obszary zarządzania danymi (źródło; CMMI Institute).
Oto niektóre praktyczne obszary zastosowania platform zarządzania danymi:
Komponent
Zakres zastosowania
Strategia zarządzania danymi
Cele i zadania zarządzania, kultura korporacyjna zarządzania danymi, określenie wymagań dotyczących cyklu życia danych.
Zarządzanie danymi
Zarządzanie danymi i metadanymi
Operacje z danymi
Standardy i procedury pracy ze źródłami danych
Jakość danych
Zarządzanie jakością, ramy jakości danych
Platforma i architektura
Ramy architektoniczne, platformy i integracja
Procesy wspierające
Ocena i analiza, zarządzanie procesami, zapewnienie jakości, zarządzanie ryzykiem, zarządzanie konfiguracją
Ponadto takie platformy odgrywają ważną rolę w procesie transformacji organizacji w przedsiębiorstwo „sterowane danymi”, który można podzielić na kilka etapów:
- Zmiana zarządzania danymi w istniejących systemach, wprowadzenie modelu ról z podziałem obowiązków i uprawnień. Kontrola jakości danych, sprawdzanie danych pomiędzy systemami, korekta danych niewiarygodnych.
- Ustawienie procesów wydobywania i gromadzenia danych, ich transformacji i załadunku. Ujednolicenie danych w systemie bez komplikowania kontroli jakości danych i zmiany procesów biznesowych.
- Integracja danych. Automatyzacja procesów dostarczania potrzebnych danych w odpowiednie miejsce i w odpowiednim czasie.
- Wprowadzenie pełnej kontroli jakości danych. Określenie parametrów kontroli jakości, opracowanie metodologii korzystania z systemów automatycznych.
- Wdrożenie narzędzi zarządzania procesami gromadzenia danych, ich weryfikacji, deduplikacji i oczyszczania. W efekcie — poprawa jakości, wiarygodności i unifikacji danych wszystkich systemów przedsiębiorstwa.
Zalety platform zarządzania danymi
Firmy, które skutecznie zarządzają danymi, osiągają zazwyczaj większy sukces w porównaniu do konkurencji, szybciej wprowadzają na rynek produkty i usługi, lepiej rozumieją potrzeby swojej grupy docelowej, mogą szybko reagować na zmiany popytu. Platformy zarządzania danymi oferują możliwość 'oczyszczenia' danych, uzyskania jakościowych i adekwatnych informacji, przekształcania danych oraz strategicznej oceny danych przedsiębiorstwa.
Przykład uniwersalnej platformy do budowy systemów zarządzania danymi korporacyjnymi – rosyjska 'Unidata', stworzona na bazie oprogramowania typu open source. Oferuje narzędzia do tworzenia modeli danych oraz możliwości rozszerzania funkcjonalności przy integracji z różnymi środowiskami IT i zewnętrznymi systemami informacyjnymi: od zarządzania zasobami materialnymi po bezpieczeństwo przetwarzania dużych zbiorów danych osobowych.
Architektura platformy 'Unidata' tej samej firmy.
Ta wielofunkcyjna platforma zapewnia centralne gromadzenie danych (inwentaryzacja i liczenie zasobów), standaryzację informacji (normalizacja i wzbogacanie), zarządzanie aktualnymi i historycznymi informacjami (kontrola wersji rekordów, okresy ważności danych), jakość danych i prowadzenie statystyk. Przewidziano automatyzację takich zadań jak zbieranie, gromadzenie, oczyszczanie, porównywanie, konsolidacja, kontrola jakości, dystrybucja danych, a także narzędzia do automatyzacji systemu podejmowania decyzji.
Platformy zarządzania danymi (DPM) w reklamie i marketingu
W reklamie i marketingu pojęcie platformy zarządzania danymi DMP (Data Management Platform) ma węższe znaczenie. Jest to platforma programowa, która na podstawie zbieranych danych umożliwia firmom określenie segmentów odbiorców do targetowania reklamy na konkretnych użytkowników oraz kontekstu kampanii reklamowych w internecie. Oprogramowanie to potrafi zbierać, przetwarzać i przechowywać wszelkie typy danych o odbiorcach, a także umożliwia ich wykorzystanie przez popularne kanały medialne.
Według prognoz Market Research Future (MRFR), globalny rynek platform zarządzania danymi (DMP) może osiągnąć do końca 2023 roku 3 miliardy dolarów przy średniorocznym wzroście o 15%, a w 2025 roku jego wartość przekroczy 3,5 miliarda dolarów.
System DMP:
- Umożliwia zbieranie i strukturyzowanie wszystkich typów danych o odbiorcach; analizowanie posiadanych danych; przekazywanie danych do dowolnej przestrzeni medialnej w celu umieszczania targetowanej reklamy.
- Pomaga zbierać, organizować i aktywować dane z różnych źródeł oraz przeprowadzać ich konwersję w użyteczną formę.
- Organizuje wszystkie dane w kategorie na podstawie celów biznesowych i modeli marketingowych. System analizuje dane i generuje segmenty odbiorców, które dokładnie odzwierciedlają bazę klientów w szerokim zakresie kanałów, opartych na różnych wspólnych cechach.
- Pozwala zwiększyć dokładność targetowania reklamy w internecie i budować spersonalizowane komunikacje z odpowiednią publicznością. Na bazie DMP można również konfigurować ścieżki interakcji z każdym docelowym segmentem, aby użytkownicy otrzymywali odpowiednie komunikaty we właściwym czasie i miejscu.
Wzrost udziału marketingu cyfrowego w znacznym stopniu wpływa na rozwój rynku platform zarządzania danymi. Systemy DMP mogą szybko ujednolicać dane z różnych źródeł i dzielić użytkowników na kilka kategorii na podstawie ich modelu zachowań. Takie możliwości sprzyjają zapotrzebowaniu na DMP wśród marketerów.
Globalny rynek platform zarządzania danymi reprezentowany jest przez szereg wiodących graczy, a także kilka nowych firm, w tym Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica i innych.
Przykład rosyjskiego rozwiązania — produkt infrastrukturalny wydany przez Mail.ru Group, który stanowi jednolitą platformę zarządzania i przetwarzania danych (Data Management Platform, DMP). Rozwiązanie umożliwia budowanie rozszerzonego opisu profilu segmentów odbiorców w ramach platformy, zintegrowanej z narzędziami marketingowymi. DMP łączy rozwiązania i usługi Mail.ru Group w zakresie marketingu omnikanalowego oraz pracy z odbiorcami. Klienci będą mogli przechowywać, przetwarzać i strukturyzować własne zanonimizowane dane, a także aktywować je w komunikacji reklamowej, zwiększając efektywność działalności biznesowej i marketingu.
Zarządzanie danymi w chmurze
Kolejną kategorią rozwiązań do zarządzania danymi są platformy chmurowe. W szczególności stosowanie nowoczesnego rozwiązania do ochrony danych w ramach zarządzania danymi w chmurze pozwala uniknąć potencjalnych problemów — od zagrożeń bezpieczeństwa po problemy z migracją danych i obniżoną wydajność, a także rozwiązać stojące przed firmą zadania transformacji cyfrowej. Oczywiście funkcje takich systemów nie ograniczają się tylko do ochrony danych.
Funkcje chmurowej platformy zarządzania danymi według Gartner: alokacja zasobów, automatyzacja i orkiestracja; zarządzanie zgłoszeniami serwisowymi; zarządzanie na wysokim poziomie i kontrola przestrzegania polityk; monitorowanie i pomiar parametrów; wsparcie dla środowisk wielochmurowych; optymalizacja i przejrzystość kosztów; optymalizacja mocy i zasobów; migracja do chmury i zapewnienie ciągłości działania (DR); zarządzanie poziomem serwisu; bezpieczeństwo i identyfikacja; automatyzacja aktualizacji konfiguracji.
Zarządzanie danymi w chmurze powinno zapewniać wysoki poziom dostępności danych, kontroli, automatyzację zarządzania danymi w centrach danych, w obrębie sieci oraz w chmurze.
Zarządzanie danymi w chmurze (Cloud Data Management, CDM) to platforma stosowana do zarządzania danymi korporacyjnymi w różnych środowiskach chmurowych, uwzględniająca podejścia prywatne, publiczne, hybrydowe i wielochmurowe.
Przykładem takiego rozwiązania jest platforma Veeam Cloud Data Management. Jak twierdzą twórcy systemu, pomaga on organizacjom zmienić podejście do zarządzania danymi, zapewnia inteligentne, zautomatyzowane zarządzanie danymi oraz ich dostępność w dowolnych aplikacjach czy infrastrukturze chmurowej.
Zarządzanie danymi w chmurze w Veeam uznawane jest za nieodłączny element inteligentnego zarządzania danymi, które zapewnia ich dostępność dla firm z każdego miejsca.
Platforma Veeam Cloud Data Management umożliwia modernizację kopii zapasowych i rezygnację z przestarzałych systemów. Zapewnia przyspieszone wdrażanie hybrydowej chmury i migrację danych, automatyzację bezpieczeństwa danych oraz przestrzeganie norm.
Veeam Cloud Data Management Platform to „nowoczesna platforma do zarządzania danymi, wspierająca każdą chmurę”.
Jak widać, nowoczesne platformy zarządzania danymi stanowią dość obszerną i różnorodną klasę rozwiązań. Łączy je być może jedno: ukierunkowanie na efektywne zarządzanie danymi korporacyjnymi i przekształcenie firmy lub organizacji w nowoczesne przedsiębiorstwo, które kieruje się danymi (data-driven enterprise).
Platformy zarządzania danymi to konieczna ewolucja tradycyjnego zarządzania danymi. Coraz więcej organizacji przenosi dane do chmury, a w rosnącej liczbie różnych lokalnych i chmurowych konfiguracji pojawiają się nowe problemy, które należy rozwiązać z perspektywy zarządzania danymi. Zarządzanie danymi w chmurze to zaktualizowane podejście, nowa paradygma, która rozszerza funkcje zarządzania danymi, aby wspierać nowe platformy, aplikacje i scenariusze użytkowania.
Ponadto, według badania Veeam Cloud Data Management Report z 2019 roku, firmy planują głębsze integracje technologii chmurowych, technologii hybrydowej chmury, analityki dużych danych, sztucznej inteligencji i internetu rzeczy. Oczekuje się, że wdrożenie tych cyfrowych inicjatyw przyniesie firmom znaczne korzyści.
Firmy szybko wdrażają technologie platform danych i są gotowe wykorzystać chmurę do analizy obciążenia roboczego, jednak wiele z nich napotyka problemy w próbach pełnego wykorzystania swoich danych dla lepszych wyników biznesowych, twierdzą analitycy firmy 451 Research. Nowoczesne platformy zarządzania danymi pomogą firmom poruszać się w skomplikowanych procesach zarządzania danymi w wielu chmurach, używając narzędzi do zarządzania danymi i przeprowadzając ich analizę niezależnie od tego, gdzie te dane się znajdują.
Ponieważ staramy się iść z duchem czasu i kierować się życzeniami naszych klientów (zarówno obecnych, jak i przyszłych), chcielibyśmy zapytać społeczność Habr, czy chcielibyście zobaczyć Veeam w naszym ? Ответить можно в опросе ниже.
Tylko zarejestrowani użytkownicy mogą brać udział w ankiecie. , proszę.
Pakietowa oferta z Veeam na rynku
62,5%Tak, dobry pomysł5
37,5%Myślę, że to nie wypali3
Oddano głosy od 8 użytkowników. 4 użytkowników wstrzymało się od głosu.
Źródło: habr.com
