Сьогодні для більшості компаній та організацій дані – це один із стратегічних активів. І з розширенням можливостей аналітики, цінність даних, що збираються і накопичуються компаніями, постійно збільшується. При цьому часто говорять про вибухове, експоненційне зростання обсягів корпоративних даних, що генеруються. Зазначається, що 90% усіх даних було створено за останні два роки.
Зростання обсягів даних супроводжується збільшенням їхньої цінності
Дані створюють та використовують системи аналітики великих даних, інтернету речей (IoT), штучного інтелекту та ін. Збираються дані – основа для підвищення якості обслуговування клієнтів, прийняття рішень, підтримки операційної діяльності компаній, для різних досліджень та розробок.
90% всіх даних було створено за останні два роки.
За прогнозом IDC, обсяг даних у світі з 2018 по 2023 роки подвоїться, а загальна ємність сховищ даних досягне 11,7 зеттабайт, причому на частку баз даних підприємств припадатиме понад три чверті від загального обсягу. Характерно, що якщо ще у 2018 році загальна ємність поставлених дискових накопичувачів (HDD), які поки що залишаються основним носієм інформації, склала 869 екзабайт, то вже до 2023 року цей показник може перевищити 2,6 зеттабайта.
Платформи управління даними: навіщо вони потрібні, і яку відіграють роль?
Не дивно, що питання управління даними стають для підприємств пріоритетними, безпосередньо впливаючи на їх роботу. Для їх вирішення доводиться часом долати такі складнощі як різнорідність систем, форматів даних, методів їх зберігання та використання, підходи до управління в умовах «зоопарку» рішень, які впроваджувалися у різний час.
Результат такого неуніфікованого підходу – фрагментація масивів даних, що зберігаються та оброблюються у різних системах, різні процедури забезпечення якості даних. Ці типові проблеми збільшують трудові та фінансові витрати під час роботи з даними, наприклад, при отриманні статистики та звітів або при прийнятті управлінських рішень.
Бізнес-модель управління даними має бути кастомізованою, адаптованою до потреб, завдань та цілей підприємства. Не існує єдиної автоматизованої системи, платформи управління даними, яка б закривала всі завдання. Тим не менш, сучасні всеосяжні, гнучкі та масштабовані системи управління даними нерідко є універсальним програмним забезпеченням для управління даними та їх зберігання. Вони включають необхідні інструменти і сервіси для ефективного управління даними.
Нові розробки дозволяють підприємствам переосмислити управління даними в масштабі всієї організації, отримати чітке уявлення про те, які дані є, які з ними пов'язані політики, де і скільки часу дані зберігаються, нарешті, дають можливість своєчасно надавати необхідну інформацію необхідним людям. Це рішення, що розширюють можливості підприємств та дозволяють:
- Керувати файлами, об'єктами, даними програм, базами даних, даними віртуальних та хмарних середовищ, отримувати доступ до даних різних типів.
- За допомогою інструментів оркестрації та автоматизації переміщати дані туди, де їх зберігання найефективніше — первинну, вторинну інфраструктуру зберігання, ЦОД провайдера або хмару.
- Використовувати комплексні функції захисту даних.
- Забезпечити інтеграцію даних.
- Отримувати з даних оперативну аналітику.
Платформа управління даними може будуватися на основі декількох програмних продуктів або являти собою єдину уніфіковану систему. Комплексна платформа забезпечує єдине управління даними в рамках усієї ІТ-інфраструктури, включаючи їх резервне копіювання, відновлення, архівування, управління апаратними миттєвими знімками та отримання звітності.
Така платформа дозволяє реалізувати мультихмарну стратегію, розширити центр обробки даних до хмарного середовища, здійснити швидку міграцію до хмар, використовувати можливості заміни обладнання та впровадження найбільш економічних варіантів зберігання даних.
Деякі рішення можуть автоматично архівувати дані. А за допомогою штучного інтелекту вони можуть виявляти, що «щось пішло не так», і автоматично вживати заходів, що коректують, або повідомляти адміністратора, а також виявляти і припиняти атаки різних типів. Автоматизація сервісів сприяє оптимізації ІТ-операцій, дозволяє звільнити ІТ-персонал, звести до мінімуму помилки через людський фактор, мінімізувати простої.
Якими ж якостями має мати сучасна платформа управління даними, і де такі рішення застосовуються на практиці?
Підхід «одне рішення для всіх» не спрацьовує у випадку із платформами управління даними. У кожної компанії свої вимоги до даних, вони залежать від типу бізнесу, досвіду роботи та ін. Універсальна платформа повинна, з одного боку, забезпечувати налаштування для роботи з даними на конкретному підприємстві, а з іншого, бути незалежною від специфіки прикладної галузі, сфери застосування побудованого на її основі продукту та його інформаційного оточення.
Практичні галузі управління даними (джерело; CMMI Institute).
Ось деякі практичні сфери застосування платформ управління даними:
Компонент
Галузь застосування
Стратегія управління даними
Цілі та завдання управління, корпоративна культура управління даними, визначення вимог до життєвого циклу даних.
Управління даними
Управління даними та метаданими
Операції з даними
Стандарти та процедури роботи з джерелами даних
Якість даних
Забезпечення якості, фреймворк якості даних
Платформа та архітектура
Архітектурний фреймворк, платформи та інтеграція
Підтримуючі процеси
Оцінка та аналіз, управління процесами, забезпечення якості, управління ризиками, управління конфігурацією
Крім того, такі платформи відіграють важливу роль у процесі трансформації організації в підприємство, «кероване даними», яке можна розділити на кілька етапів:
- Зміна управління даними у існуючих системах, впровадження рольової моделі з поділом обов'язків та повноважень. Контроль якості даних, перехресна перевірка між системами, виправлення недостовірних даних.
- Налаштування процесів вилучення та збору даних, їх трансформації та завантаження. Приведення даних до єдиної системи без ускладнення контролю якості даних та зміни бізнес-процесів.
- Інтеграція даних. Автоматизація процесів доставки потрібних даних у потрібне місце та у потрібний час.
- Введення повноцінного контролю за якістю даних. Визначення параметрів контролю за якістю, розробка методології використання автоматичних систем.
- Впровадження інструментів управління процесами збору даних, їхньої верифікації, дедуплікації та очищення. Як наслідок – збільшення якості, достовірності та уніфікації даних усіх систем підприємства.
Переваги платформ управління даними
Компанії, які ефективно працюють з даними, як правило, досягають більшого успіху в порівнянні з конкурентами, швидше виводять на ринок продукти та послуги, краще розуміють потреби цільової аудиторії, можуть оперативно реагувати на зміни попиту. Платформи управління даними надають можливість «очищення» даних, отримання якісної та релевантної інформації, трансформації даних та стратегічної оцінки даних підприємства.
Приклад універсальної платформи для побудови систем управління корпоративними даними - російська "Юнідата", створена на основі програмного забезпечення з відкритим вихідним кодом. Вона пропонує інструменти створення моделі даних та засоби розширення функціональності при інтеграції в різні ІТ-середовища та сторонні інформаційні системи: від ведення матеріально-технічних ресурсів до безпечної обробки великих обсягів персональних даних.
Архітектура платформи "Юнідата" однойменної компанії.
Ця багатофункціональна платформа забезпечує централізований збір даних (інвентаризація та облік ресурсів), стандартизацію відомостей (нормалізація та збагачення), облік поточної та історичної інформації (контроль версій запису, періоди актуальності даних), якість даних та ведення статистики. Передбачено автоматизацію таких завдань як збирання, накопичення, очищення, зіставлення, консолідація, перевірка якості, розповсюдження даних, а також інструменти для автоматизації системи прийняття рішень.
Платформи управління даними (DPM) у рекламі та маркетингу
У рекламі та маркетингу поняття платформи управління даними DMP (Data Management Platform) має вужчий зміст. Це програмна платформа, яка на основі даних, що збираються, дозволяє компаніям визначати сегменти аудиторії для націлення реклами на конкретних користувачів і контекст рекламних кампаній в інтернеті. Таке програмне забезпечення здатне збирати, обробляти та зберігати будь-які типи аудиторних даних, а також має можливість їх використання через звичні медіа-канали.
За прогнозом Market Research Future (MRFR), світовий ринок платформ управління даними (DMP) може досягти до кінця 2023 року 3 млрд. доларів за середньорічного зростання 15%, а 2025 року його обсяг перевищить 3,5 млрд. доларів.
Система DMP:
- Дає можливість збирати та структурувати всі типи аудиторних даних; аналізувати наявні дані; передавати дані до будь-якого медійного простору для розміщення таргетованої реклами.
- Допомагає збирати, організовувати та активувати дані з різних джерел та переводити їх у корисну форму.
- Організує всі дані в категорії на основі бізнес-цілей та маркетингових моделей. Система аналізує дані та генерує сегменти аудиторії, які точно представляють клієнтську базу в широкому діапазоні каналів, що базуються на різних загальних характеристиках.
- Дозволяє підвищити точність націлення реклами в онлайні та побудувати персоналізовані комунікації з релевантною аудиторією. На базі DMP можна налаштувати ланцюжки взаємодії з кожним цільовим сегментом, щоб користувачі отримували актуальні повідомлення в потрібний час і в потрібному місці.
Збільшення частки цифрового маркетингу значною мірою впливає зростання ринку платформ управління даними. Системи DMP можуть швидко уніфікувати дані з різних джерел та розділяти користувачів на декілька категорій на основі їхньої моделі поведінки. Такі можливості сприяють попиту DMP серед маркетологів.
Світовий ринок платформ управління даними представлений рядом провідних гравців, а також кількома новими компаніями, у тому числі Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital), Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica та ін.
Приклад російського рішення - випущений Mail.ru Group інфраструктурний продукт, який є єдиною платформою управління та обробки даних (Data Management Platform, DMP). Рішення дозволяє будувати розширений опис профілю аудиторних сегментів усередині платформи, інтегрованої з маркетинговими інструментами. DMP об'єднує рішення та послуги Mail.ru Group у галузі омніканального маркетингу та роботи з аудиторією. Клієнти зможуть зберігати, обробляти та структурувати власні знеособлені дані, а також активувати їх у рекламних комунікаціях, підвищуючи ефективність бізнесу та маркетингу.
Управління даними у хмарному середовищі
Ще одна категорія рішень для керування даними – хмарні платформи. Зокрема, використання сучасного рішення для захисту даних у рамках управління даними у хмарі дозволяє уникнути можливих проблем – від загроз безпеки до проблем з міграцією даних та зниження продуктивності, а також вирішити завдання цифрової трансформації, що стоять перед компанією. Звичайно, функції таких систем не обмежуються захистом даних.
Функції хмарної платформи управління даними у поданні Gartner: розподіл ресурсів, автоматизація та оркестрація; керування запитами на обслуговування; управління високого рівня та контроль дотримання політик; моніторинг та вимірювання параметрів; підтримка мультихмарних середовищ; оптимізація та прозорість витрат; оптимізація потужностей та ресурсів; міграція у хмару та забезпечення катастрофостійкості (DR); керування рівнем обслуговування; безпека та ідентифікація; автоматизація оновлення конфігурацій.
Управління даними у хмарному середовищі має забезпечувати високий рівень доступності даних, контролю, автоматизації управління даними у дата-центрах, по периметру мережі та у хмарі.
Керування хмарними даними (Cloud Data Management, CDM) – це платформа, яка використовується для управління корпоративними даними в різних хмарних середовищах з урахуванням приватних, публічних, гібридних та мультихмарних підходів.
Приклад такого рішення – Veeam Cloud Data Management Platform. Як стверджують розробники системи, воно допомагає організаціям змінити підхід до управління даними, забезпечує інтелектуальне автоматизоване управління даними та їх доступність у будь-яких додатках чи хмарній інфраструктурі.
Управління хмарними даними у Veeam вважають невід'ємною частиною інтелектуального управління даними, що забезпечує їхню доступність для бізнесу з будь-якої точки.
Хмарна платформа Veeam Cloud Data Management Platform дозволяє модернізувати резервне копіювання та відмовитися від застарілих систем, забезпечує прискорене впровадження гібридної хмари та перенесення даних, автоматизацію безпеки даних та відповідність нормативним вимогам.
Veeam Cloud Data Management Platform - "сучасна платформа для управління даними, що підтримує будь-яку хмару".
Як видно, сучасні платформи управління даними становлять досить широкий і різноманітний клас рішень. Об'єднує їх, мабуть, одне: націленість на ефективну роботу з корпоративними даними та перетворення компанії чи організації на сучасне підприємство, кероване даними (data-driven enterprise).
Платформи управління даними - необхідна еволюція традиційного управління даними. Все більше організацій переносять дані в хмару, у зростаючій кількості різних локальних і хмарних змін виникають нові проблеми, які необхідно вирішувати саме з точки зору управління даними. Управління даними у хмарі – оновлений підхід, нова парадигма, що розширює функції управління даними для підтримки нових платформ, додатків та сценаріїв використання.
Крім того, за даними дослідження Veeam Cloud Data Management Report за 2019 рік, компанії планують глибше інтегрувати хмарні технології, технології гібридної хмари, аналітики великих даних, штучного інтелекту та інтернету речей. Очікується, що впровадження цих цифрових ініціатив принесе компаніям значні вигоди.
Підприємства прискореними темпами впроваджують технології платформ даних і готові задіяти хмару для виконання аналітичних робочих навантажень, проте багато хто стикається з проблемами, намагаючись використати всі свої дані для досягнення найкращих бізнес-результатів, вважають аналітики компанії 451 Research. Нові платформи управління даними допоможуть підприємствам орієнтуватися у складних процесах роботи з даними у кількох хмарах, використовувати засоби управління даними та виконувати їх аналіз незалежно від того, де ці дані знаходяться.
Так як ми намагаємося йти в ногу з часом і орієнтуємось на побажання наших клієнтів (як нинішніх, так і потенційних), то хочемо запитати у хабраспівтовариства, чи хотілося б вам бачити Veeam у нашому ? Відповісти можна в опитуванні нижче.
Тільки зареєстровані користувачі можуть брати участь в опитуванні. , будь ласка.
Пакетна пропозиція з Veeam у маркетплейсі
-
62,5%Так, хороша ідея5
-
37,5%Думаю не злетить3
Проголосували 8 користувачів. Утрималися 4 користувача.
Джерело: habr.com