Dziś dla większości firm i organizacji dane są jednym ze strategicznych aktywów. A wraz z rozwojem możliwości analitycznych wartość gromadzonych i akumulowanych przez firmy danych stale rośnie. Jednocześnie często mówi się o gwałtownym, wykładniczym wzroście wolumenu generowanych danych korporacyjnych. Należy zauważyć, że 90% wszystkich danych powstało w ciągu ostatnich dwóch lat.
Wzrostowi wolumenów danych towarzyszy wzrost ich wartości
Dane są tworzone i wykorzystywane przez systemy analityki Big Data, Internet Rzeczy (IoT), sztuczną inteligencję itp. Zbierane dane są podstawą do poprawy jakości obsługi klienta, podejmowania decyzji, wspierania działalności operacyjnej firm, a także różne badania i rozwój.
90% wszystkich danych powstało w ciągu ostatnich dwóch lat.
IDC przewiduje, że w latach 2018–2023 ilość danych przechowywanych na całym świecie podwoi się, a całkowita pojemność przechowywania danych osiągnie 11,7 zettabajtów, a korporacyjne bazy danych będą stanowić ponad trzy czwarte całości. Charakterystyczne jest, że jeśli jeszcze w 2018 roku łączna pojemność dostarczanych dysków twardych (HDD), które w dalszym ciągu pozostają głównym nośnikiem danych, wynosiła 869 eksabajtów, to do 2023 roku liczba ta może przekroczyć 2,6 zettabajta.
Platformy zarządzania danymi: do czego służą i jaką pełnią rolę?
Nic więc dziwnego, że kwestie zarządzania danymi stają się dla przedsiębiorstw priorytetem, mającym bezpośredni wpływ na ich działalność. Aby je rozwiązać, czasami konieczne jest pokonanie takich trudności, jak heterogeniczność systemów, formatów danych, sposobów ich przechowywania i wykorzystania, podejścia do zarządzania w „zoo” rozwiązań, które były wdrażane w różnym czasie.
Efektem tego nieujednoliconego podejścia jest fragmentacja zbiorów danych przechowywanych i przetwarzanych w różnych systemach oraz różne procedury zapewnienia jakości danych. Te typowe problemy zwiększają koszty pracy i finansowe podczas pracy z danymi, na przykład podczas uzyskiwania statystyk i raportów lub podczas podejmowania decyzji zarządczych.
Model biznesowy zarządzania danymi musi być dostosowany, dostosowany do potrzeb, zadań i celów przedsiębiorstwa. Nie ma jednego zautomatyzowanego systemu ani platformy zarządzania danymi, która obejmowałaby wszystkie zadania. Jednak dzisiejsze wszechstronne, elastyczne i skalowalne systemy zarządzania danymi często zapewniają kompleksowe oprogramowanie do zarządzania i przechowywania danych. Zawierają niezbędne narzędzia i usługi do skutecznego zarządzania danymi.
Najnowsze osiągnięcia pozwalają firmom na nowo przemyśleć zarządzanie danymi w całej organizacji, uzyskując jasne zrozumienie, jakie dane są dostępne, jakie zasady są z nimi powiązane, gdzie dane są przechowywane i jak długo, a wreszcie zapewniają możliwość dostarczania właściwe informacje właściwym osobom w odpowiednim czasie. Są to rozwiązania, które poszerzają możliwości przedsiębiorstw i pozwalają na:
- Zarządzaj plikami, obiektami, danymi aplikacji, bazami danych, danymi ze środowisk wirtualnych i chmurowych oraz uzyskuj dostęp do różnego rodzaju danych.
- Korzystając z narzędzi do orkiestracji i automatyzacji, przenoś dane tam, gdzie są przechowywane najbardziej efektywnie – do podstawowej, dodatkowej infrastruktury pamięci masowej, do centrum danych dostawcy lub do chmury.
- Korzystaj z kompleksowych funkcji ochrony danych.
- Zapewnij integrację danych.
- Uzyskaj analizy operacyjne na podstawie danych.
Platforma zarządzania danymi może być zbudowana w oparciu o kilka produktów programowych lub stanowić pojedynczy, ujednolicony system. Kompleksowa platforma zapewnia ujednolicone zarządzanie danymi w całej infrastrukturze IT, w tym tworzenie kopii zapasowych, odzyskiwanie, archiwizację, zarządzanie migawkami sprzętu i raportowanie.
Taka platforma pozwala na realizację strategii multicloud, rozbudowę centrum danych o środowisko chmurowe, przeprowadzenie szybkiej migracji do chmury, skorzystanie z możliwości wymiany sprzętu i wdrożenie najbardziej opłacalnych opcji przechowywania danych.
Niektóre rozwiązania mają możliwość automatycznej archiwizacji danych. A przy pomocy sztucznej inteligencji potrafią wykryć, że „coś poszło nie tak” i automatycznie podjąć działania naprawcze lub powiadomić administratora, a także zidentyfikować i powstrzymać różnego rodzaju ataki. Automatyzacja usług pomaga zoptymalizować operacje IT, odciąża personel IT, minimalizuje błędy spowodowane czynnikiem ludzkim i minimalizuje przestoje.
Jakimi cechami powinna charakteryzować się nowoczesna platforma do zarządzania danymi i gdzie tego typu rozwiązania stosuje się w praktyce?
Podejście uniwersalne nie sprawdza się w przypadku platform zarządzania danymi. Każda firma ma swoje wymagania dotyczące danych, zależą one od rodzaju prowadzonej działalności, doświadczenia zawodowego itp. Uniwersalna platforma powinna z jednej strony zapewniać konfigurację do pracy z danymi w konkretnym przedsiębiorstwie, a z drugiej być niezależna od specyfikę stosowanej branży, zakres zastosowania zbudowanego na jej bazie produktu oraz jego środowisko informacyjne.
Praktyczne obszary zarządzania danymi (źródło: Instytut CMMI).
Oto kilka praktycznych zastosowań platform zarządzania danymi:
komponent
Aplikacje
Strategia zarządzania danymi
Cele i zadania zarządzania, kultura korporacyjna zarządzania danymi, określenie wymagań dotyczących cyklu życia danych.
Zarządzanie danymi
Zarządzanie danymi i metadanymi
Operacje na danych
Standardy i procedury pracy ze źródłami danych
Jakość danych
Zapewnienie jakości, ramy jakości danych
Platforma i architektura
Ramy architektoniczne, platformy i integracja
Procesy wspierające
Ocena i analiza, zarządzanie procesami, zapewnienie jakości, zarządzanie ryzykiem, zarządzanie konfiguracją
Ponadto platformy tego typu odgrywają ważną rolę w procesie transformacji organizacji w przedsiębiorstwo „data-driven”, który można podzielić na kilka etapów:
- Zmiana zarządzania danymi w istniejących systemach, wprowadzenie wzorca do naśladowania z podziałem odpowiedzialności i uprawnień. Kontrola jakości danych, sprawdzanie danych pomiędzy systemami, poprawianie nieprawidłowych danych.
- Konfigurowanie procesów wyodrębniania i gromadzenia danych, ich przekształcania i ładowania. Wprowadzanie danych do ujednoliconego systemu bez komplikowania kontroli jakości danych i zmiany procesów biznesowych.
- Integracja danych. Zautomatyzuj procesy dostarczania właściwych danych we właściwe miejsce i we właściwym czasie.
- Wprowadzenie pełnej kontroli jakości danych. Wyznaczanie parametrów kontroli jakości, opracowywanie metodyki stosowania systemów automatycznych.
- Wdrożenie narzędzi do zarządzania procesami gromadzenia, weryfikacji, deduplikacji i czyszczenia danych. W rezultacie następuje wzrost jakości, wiarygodności i ujednolicenia danych ze wszystkich systemów przedsiębiorstwa.
Korzyści z platform zarządzania danymi
Firmy, które efektywnie operują danymi, zwykle odnoszą większe sukcesy niż konkurenci, szybciej wprowadzają produkty i usługi na rynek, lepiej rozumieją potrzeby swojej grupy docelowej i potrafią szybko reagować na zmiany popytu. Platformy zarządzania danymi zapewniają możliwość oczyszczania danych, uzyskiwania wysokiej jakości i odpowiednich informacji, przekształcania danych i strategicznej oceny danych przedsiębiorstwa.
Przykładem uniwersalnej platformy do budowy korporacyjnych systemów zarządzania danymi jest rosyjska Unidata, stworzona w oparciu o oprogramowanie open source. Oferuje narzędzia do tworzenia modelu danych oraz środki do rozszerzania funkcjonalności przy integracji z różnymi środowiskami IT i systemami informatycznymi podmiotów zewnętrznych: od utrzymywania zasobów materialnych i technicznych po bezpieczne przetwarzanie dużych wolumenów danych osobowych.
Architektura platformy Unidata firmy o tej samej nazwie.
Ta wielofunkcyjna platforma zapewnia scentralizowane gromadzenie danych (inwentaryzacja i księgowość zasobów), standaryzację informacji (normalizacja i wzbogacanie), rozliczanie informacji bieżących i historycznych (kontrola wersji zapisów, okresy ważności danych), jakość danych i statystykę. Zapewniona jest automatyzacja zadań takich jak zbieranie, akumulacja, czyszczenie, porównywanie, konsolidacja, kontrola jakości, dystrybucja danych, a także narzędzia do automatyzacji systemu decyzyjnego.
Platformy zarządzania danymi (DPM) w reklamie i marketingu
W reklamie i marketingu pojęcie platformy zarządzania danymi DMP (ang. Data Management Platform) ma węższe znaczenie. Jest to platforma programowa, która na podstawie zebranych danych pozwala firmom definiować segmenty odbiorców w celu kierowania reklam do konkretnych użytkowników i kontekstu internetowych kampanii reklamowych. Oprogramowanie takie jest w stanie zbierać, przetwarzać i przechowywać wszelkiego rodzaju dane klasowe, a także ma możliwość wykorzystania ich za pośrednictwem znanych kanałów medialnych.
Według Market Research Future (MRFR) rynek globalnych platform zarządzania danymi (DMP) może osiągnąć 2023 miliardy dolarów do końca 3 roku przy CAGR na poziomie 15% i przekroczy 2025 miliarda dolarów w 3,5 roku.
Układ DMP:
- Umożliwia gromadzenie i porządkowanie wszelkiego rodzaju danych w klasie; analizować dostępne dane; przesyłać dane do dowolnej przestrzeni medialnej w celu umieszczenia ukierunkowanej reklamy.
- Pomaga gromadzić, organizować i aktywować dane z różnych źródeł oraz przekładać je na użyteczną formę.
- Organizuje wszystkie dane w kategorie w oparciu o cele biznesowe i modele marketingowe. System analizuje dane i generuje segmenty odbiorców, które dokładnie reprezentują bazę klientów w szerokim zakresie kanałów w oparciu o różne wspólne cechy.
- Pozwala zwiększyć trafność targetowania reklam online i budować spersonalizowaną komunikację z odpowiednimi odbiorcami. W oparciu o DMP można także ustawić łańcuchy interakcji z każdym segmentem docelowym, tak aby użytkownicy otrzymywali odpowiednie komunikaty we właściwym czasie i miejscu.
Rosnący udział marketingu cyfrowego znacząco wpływa na rozwój rynku platform do zarządzania danymi. Systemy DMP potrafią szybko ujednolicić dane z różnych źródeł i kategoryzować użytkowników na podstawie ich wzorców zachowań. Takie możliwości napędzają popyt na DMP wśród marketerów.
Globalny rynek platform do zarządzania danymi reprezentuje szereg wiodących graczy, a także kilka nowych firm, m.in. Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital), Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatyka itp.
Przykładem rosyjskiego rozwiązania jest produkt infrastrukturalny Grupy Mail.ru będący ujednoliconą platformą do zarządzania i przetwarzania danych (Data Management Platform, DMP). Rozwiązanie pozwala na zbudowanie rozbudowanego opisu profilu segmentów odbiorców w ramach platformy zintegrowanej z narzędziami marketingowymi. DMP łączy rozwiązania i usługi Grupy Mail.ru z zakresu marketingu omnichannel i pracy z odbiorcami. Klienci będą mogli przechowywać, przetwarzać i strukturyzować własne, zanonimizowane dane, a także aktywować je w komunikacji reklamowej, zwiększając efektywność biznesową i marketingową.
Zarządzanie danymi w chmurze
Kolejną kategorią rozwiązań do zarządzania danymi są platformy chmurowe. W szczególności wykorzystanie nowoczesnego rozwiązania do ochrony danych w ramach zarządzania danymi w chmurze pozwala uniknąć potencjalnych problemów – od zagrożeń bezpieczeństwa po problemy z migracją danych i zmniejszoną produktywnością, a także rozwiązać wyzwania transformacji cyfrowej stojące przed firmą. Oczywiście funkcje takich systemów nie ograniczają się do ochrony danych.
Funkcje platformy zarządzania danymi Gartner w chmurze: alokacja zasobów, automatyzacja i orkiestracja; zarządzanie zgłoszeniami serwisowymi; zarządzanie wysokiego szczebla i monitorowanie zgodności z polityką; monitorowanie i pomiar parametrów; obsługa środowisk wielochmurowych; optymalizacja kosztów i przejrzystość; optymalizacja mocy i zasobów; migracja do chmury i odporność na katastrofy (DR); Zarządzanie poziomem usług; bezpieczeństwo i identyfikacja; automatyzacja aktualizacji konfiguracji.
Zarządzanie danymi w środowisku chmurowym musi zapewniać wysoki poziom dostępności danych, kontroli i automatyzacji zarządzania danymi w centrach danych, wzdłuż obwodu sieci i w chmurze.
Cloud Data Management (CDM) to platforma służąca do zarządzania danymi przedsiębiorstwa w różnych środowiskach chmurowych, z uwzględnieniem podejścia prywatnego, publicznego, hybrydowego i wielochmurowego.
Przykładem takiego rozwiązania jest platforma Veeam Cloud Data Management Platform. Według twórców systemu pomaga organizacjom zmienić podejście do zarządzania danymi, zapewnia inteligentne, zautomatyzowane zarządzanie danymi i ich dostępność w dowolnej aplikacji lub infrastrukturze chmurowej.
Veeam uważa zarządzanie danymi w chmurze za integralną część inteligentnego zarządzania danymi, która zapewnia firmom dostęp do danych z dowolnego miejsca.
Platforma Veeam Cloud Data Management Platform unowocześnia tworzenie kopii zapasowych i eliminuje starsze systemy, przyspiesza wdrażanie chmury hybrydowej i migrację danych oraz automatyzuje bezpieczeństwo danych i zgodność.
Veeam Cloud Data Management Platform to „nowoczesna platforma do zarządzania danymi, która obsługuje dowolną chmurę”.
Jak widać, nowoczesne platformy do zarządzania danymi reprezentują dość szeroką i różnorodną klasę rozwiązań. Być może łączy ich jedno: skupienie się na efektywnej pracy z danymi korporacyjnymi i przekształceniu firmy lub organizacji w nowoczesne przedsiębiorstwo oparte na danych.
Platformy zarządzania danymi stanowią niezbędną ewolucję tradycyjnego zarządzania danymi. W miarę jak coraz więcej organizacji przenosi dane do chmury, rosnąca liczba różnych konfiguracji lokalnych i chmurowych stwarza nowe wyzwania, którymi należy się zająć szczególnie z punktu widzenia zarządzania danymi. Zarządzanie danymi w chmurze to odnowione podejście, nowy paradygmat, który rozszerza możliwości zarządzania danymi w celu obsługi nowych platform, aplikacji i przypadków użycia.
Ponadto, jak wynika z raportu Veeam Cloud Data Management Report za 2019 rok, firmy planują głęboką integrację technologii chmurowych, technologii chmur hybrydowych, analityki Big Data, sztucznej inteligencji i Internetu rzeczy. Oczekuje się, że wdrożenie tych inicjatyw cyfrowych przyniesie przedsiębiorstwom znaczne korzyści.
Według analityków z 451 Research przedsiębiorstwa przyspieszają wdrażanie technologii platform danych i są gotowe wykorzystać chmurę do obsługi obciążeń analitycznych, ale według analityków z XNUMX Research wiele z nich stoi przed wyzwaniami związanymi z wykorzystaniem wszystkich swoich danych w celu osiągnięcia lepszych wyników biznesowych. Najnowsze platformy do zarządzania danymi mogą pomóc przedsiębiorstwom w poruszaniu się po złożonych przepływach danych w wielu chmurach, zarządzaniu danymi i przeprowadzaniu analiz niezależnie od tego, gdzie dane się znajdują.
Ponieważ staramy się iść z duchem czasu i skupiać się na życzeniach naszych klientów (zarówno obecnych, jak i potencjalnych), chcielibyśmy zapytać społeczność habra, czy chcielibyście zobaczyć firmę Veeam w naszym ? Odpowiedzi można udzielić w poniższej ankiecie.
W ankiecie mogą brać udział tylko zarejestrowani użytkownicy. , Proszę.
Oferta pakietowa z Veeam na rynku
-
62,5%Tak, dobry pomysł5
-
37,5%Nie sądzę, że to wypali3
Głosowało 8 użytkowników. 4 użytkowników wstrzymało się od głosu.
Źródło: www.habr.com