Днес за повечето компании и организации данните представляват един от стратегическите активи. И с разширяването на възможностите за анализ, стойността на събираните и натрупваните от компаниите данни непрекъснато нараства. Често се говори за експлозивен, експоненциален растеж на обемите на генерираните корпоративни данни. Забелязва се, че 90% от всички данни са създадени през последните две години.
Нарастването на обемите данни се съпътства от увеличаване на тяхната стойност.
Данните се създават и използват от системи за анализ на големи данни, интернет на нещата (IoT), изкуствен интелект и др. Събраните данни са основа за подобряване на качеството на обслужване на клиентите, вземане на решения, подпомагане на оперативната дейност на компаниите, както и за различни изследвания и разработки.
90% от всички данни са създадени през последните две години.
Според прогноза на IDC, обемът на съхраняваните данни в света ще се удвои от 2018 до 2023 година, а общата капацитет на хранилищата на данни ще достигне 11,7 зетабайта, като на бази данни на предприятията ще се падат над три четвърти от общия обем. Характерно е, че ако през 2018 година общата капацитет на предоставените дискови устройства (HDD), които все още остават основен носител на информация, е била 869 ексабайта, то до 2023 година тази стойност може да надвиши 2,6 зетабайта.
Платформи за управление на данни: за какво са нужни и каква роля играят?
Не е учудващо, че въпросите за управлението на данните стават приоритетни за предприятията, оказвайки пряко влияние на тяхната работа. За тяхното решаване понякога се налага да се преодоляват такива сложности като хетерогенността на системите, форматите на данните, методите на съхранение и използване, както и подходите за управление в условията на "зоопарк" от решения, внедрявани по различно време.
Резултат от такъв неунифициран подход е фрагментацията на масивите от данни, съхранявани и обработвани в различни системи, различни процедури за осигуряване на качеството на данните. Тези типични проблеми увеличават трудовите и финансовите разходи при работа с данни, например при получаване на статистики и отчети или при вземане на управленски решения.
Бизнес моделата за управление на данни трябва да бъде персонализирана, адаптирана към нуждите, задачите и целите на предприятието. Не съществува единна автоматизирана система, платформа за управление на данни, която да покрие всички задачи. Все пак, съвременните всеобхватни, гъвкави и мащабируеми системи за управление на данни често представляват универсален софтуер за управление на данни и тяхното съхранение. Те включват необходимите инструменти и услуги за ефективно управление на данни.
Най-новите разработки позволяват на предприятията да преосмислят управлението на данни в рамките на цялата организация, да получат ясна представа за наличните данни, свързаните с тях политики, къде и колко време данните се съхраняват и най-накрая, те дават възможност да предоставят необходимата информация на необходимите хора навреме. Това са решения, които разширяват възможностите на предприятията и позволяват:
- Управление на файлове, обекти, данни от приложения, бази данни, данни от виртуални и облачни среди, достъп до данни от различни типове.
- С помощта на инструменти за оркестрация и автоматизация да се преместят данните там, където съхранението им е най-ефективно — в основната, вторичната инфраструктура за съхранение, в центъра за данни на доставчика или в облака.
- Да използвате комплексни функции за защита на данните.
- Да осигурите интеграция на данните.
- Да получавате оперативна аналитика от данните.
Платформата за управление на данни може да бъде изградена на базата на няколко софтуерни продукта или да представлява единна унифицирана система. Комплексната платформа осигурява единно управление на данните в рамките на цялата ИТ инфраструктура, включително техния резервен архив, възстановяване, архивиране, управление на хардуерните моментни снимки и получаване на отчети.
Такава платформа позволява реализирането на мултиоблачна стратегия, разширяване на центъра за данни до облачна среда, извършване на бърза миграция в облака, използване на възможности за замяна на оборудването и внедряване на най-икономичните варианти за съхранение на данни.
Някои решения могат автоматично да архивират данни. С помощта на изкуствен интелект те могат да открият, че „нещо не е наред“ и автоматично да предприемат коригиращи мерки или да уведомят администратора, а също така да идентифицират и предотвратят атаки от различен тип. Автоматизацията на услугите спомага за оптимизиране на ИТ-операциите, позволява освобождаването на ИТ-екипа, минимизира грешките поради човешкия фактор и намалява времето на престой.
Какви качества трябва да притежава съвременната платформа за управление на данни и къде на практика се прилагат такива решения?
Подходът "едно решение за всички" не работи в случая с платформите за управление на данни. Всяка компания има свои специфични изисквания към данните, които зависят от типа бизнес, опита на работа и т.н. Универсалната платформа трябва от една страна да осигурява конфигурация за работа с данни в конкретното предприятие, а от друга, да бъде независима от спецификата на приложната индустрия, сферата на приложение на продукта, изградения на нейна основа и неговата информационна среда.
Практически области на управление на данни (източник; CMMI Institute).
Ето някои практически области на приложение на платформите за управление на данни:
Компонент
Области на приложение
Стратегия за управление на данни
Цели и задачи на управлението, корпоративна култура на управлението на данни, определяне на изискванията за жизнения цикъл на данните.
Управление данните
Управление на данни и метаданни
Операции с данни
Стандарти и процедури за работа с източниците на данни
Качество на данните
Осигуряване на качество, рамка за качество на данните
Платформа и архитектура
Архитектурна рамка, платформи и интеграция
Поддържащи процеси
Оценка и анализ, управление на процеси, осигуряване на качество, управление на рисковете, управление на конфигурацията
Освен това такива платформи играят важна роля в процеса на трансформация на организацията в предприятие, "управлявано от данни", който може да бъде разделен на няколко етапа:
- Промяна в управлението на данни в съществуващите системи, внедряване на роля с разделение на задълженията и правомощията. Контрол на качеството на данните, кръстосана проверка на данни между системите, коригиране на неверни данни.
- Настройка на процесите на извличане и събиране на данни, тяхната трансформация и зареждане. Привеждане на данните в единна система без усложняване на контрола на качеството на данните и изменение на бизнес процесите.
- Интеграция на данни. Автоматизация на процесите за доставка на нужните данни на нужното място и в нужното време.
- Въвеждане на цялостен контрол на качеството на данните. Определяне на параметрите за контрол на качеството, разработване на методология за използване на автоматични системи.
- Внедряване на инструменти за управление на процесите на събиране на данни, тяхната верификация, дедупликация и почистване. В резултат на това — увеличение на качеството, достоверността и унификацията на данните на всички системи на предприятието.
Предимства на платформите за управление на данни
Компаниите, които ефективно работят с данни, обикновено постигат по-голям успех в сравнение с конкурентите, по-бързо пускат на пазара продукти и услуги, по-добре разбират нуждите на целевата аудитория и могат бързо да реагират на промените в търсенето. Платформите за управление на данни предлагат възможност за „почистване“ на данни, получаване на качествена и релевантна информация, трансформация на данни и стратегическа оценка на данните на предприятието.
Пример за универсална платформа за изграждане на системи за управление на корпоративни данни – руската „Юнидата“, създадена на базата на софтуер с отворен код. Тя предлага инструменти за създаване на модели на данни и средства за разширяване на функционалността при интеграция в различни IT среди и външни информационни системи: от управление на материално-техническите ресурси до безопасна обработка на големи обеми лични данни.
Архитектура на платформата „Юнидата“ на еднаименното дружество.
Тази многофункционална платформа осигурява централизирано събиране на данни (инвентаризация и отчет на ресурсите), стандартизация на данни (нормализиране и обогатяване), отчитане на текуща и историческа информация (контрол на версиите на записа, периоди на актуалност на данните), качество на данните и водене на статистика. Осигурява автоматизация на задачи като събиране, натрупване, почистване, сопоставяне, консолидиране, проверка на качеството, разпространение на данни, както и инструменти за автоматизация на системата за вземане на решения.
Платформи за управление данни (DPM) в рекламата и маркетинга
В рекламата и маркетинга понятието за платформа за управление данни DMP (Data Management Platform) има по-ограничен смисъл. Това е софтуерна платформа, която на базата на събираните данни позволява на компаниите да определят аудиториите за таргетиране на реклами към конкретни потребители и контекст на рекламните кампании в интернет. Този тип софтуер е способен да събира, обработва и съхранява всякакви видове данни за аудиторията, а също така предлага възможност за тяхното използване чрез познатите медийни канали.
Според прогнозите на Market Research Future (MRFR) световният пазар на платформи за управление данни (DMP) може да достигне 3 милиарда долара до края на 2023 година при среден годишен ръст от 15%, а през 2025 година обемът му ще надвиши 3,5 милиарда долара.
Система DMP:
- Позволява събиране и структуриране на всички типове данни за аудиторията; анализира наличните данни; предава данни в всяко медийно пространство за разполагане на таргетирани реклами.
- Помага за събиране, организиране и активиране на данни от различни източници и превеждането им в полезна форма.
- Организира всички данни в категории въз основа на бизнес цели и маркетингови модели. Системата анализира данните и генерира сегменти на аудиторията, които точно представят клиентската база в широк диапазон канали, основани на различни общи характеристики.
- Позволява повишаване на точността на таргетирането на рекламите онлайн и изграждане на персонализирани комуникации с релевантната аудитория. На базата на DMP също могат да се настроят вериги за взаимодействие с всяка целева аудитория, така че потребителите да получават актуални съобщения в точното време и на точното място.
Увеличаването на дела на цифровия маркетинг в значителна степен влияе на растежа на пазара на платформи за управление данни. Системите DMP могат бързо да унифицират данните от различни източници и да разделят потребителите на няколко категории въз основа на техния модел на поведение. Тези възможности способстват за търсенето на DMP сред маркетолозите.
Световният пазар на платформи за управление данни е представен от редица водещи играчи, както и от няколко нови компании, включително Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica и др.
Пример на руско решение — издаден продукт от Mail.ru Group, който представлява единна платформа за управление и обработка на данни (Data Management Platform, DMP). Решението позволява изграждането на разширено описание на профила на аудиторните сегменти в рамките на платформата, интегрирана с маркетингови инструменти. DMP обединява решенията и услугите на Mail.ru Group в областта на омниканален маркетинг и работа с аудитория. Клиентите ще могат да съхраняват, обработват и структурят собствените си анонимизирани данни, както и да ги активират в рекламни комуникации, повишавайки ефективността на бизнеса и маркетинга.
Управление на данни в облачна среда
Още една категория решения за управление на данни – облачни платформи. В частност, използването на модерно решение за защита на данни в рамките на управлението на данни в облака позволява да се избегнат възможни проблеми – от заплахи за сигурността до проблеми с миграцията на данни и намаляване на производителността, както и да се решат задачите, стоящи пред компанията в процеса на цифрова трансформация. Разбира се, функциите на подобни системи не се ограничават само до защита на данни.
Функциите на облачната платформа за управление на данни според Gartner: разпределение на ресурси, автоматизация и оркестрация; управление на заявки за обслужване; управление на високо ниво и контрол на спазването на политики; мониторинг и измерване на параметри; поддръжка на мултиоблачни среди; оптимизация и прозрачност на разходите; оптимизация на мощности и ресурси; миграция в облака и осигуряване на устойчивост при бедствия (DR); управление на нива на обслужване; сигурност и идентификация; автоматизация на обновяване на конфигурации.
Управлението на данни в облачната среда трябва да осигурява високо ниво на наличност на данни, контрол, автоматизация на управлението на данни в дата центрове, по периферията на мрежата и в облака.
Управление на облачните данни (Cloud Data Management, CDM) – това е платформа, която се използва за управление на корпоративни данни в различни облачни среди, с оглед на частни, публични, хибридни и мултиоблачни подходи.
Пример на такова решение е платформата за управление данни Veeam Cloud Data Management Platform. Как твърдят разработчиците на системата, тя помага на организациите да променят подхода си към управлението на данни, осигурявайки интелигентно автоматизирано управление на данните и тяхната достъпност в приложения или облачна инфраструктура.
Управлението на облачните данни във Veeam се смята за неотменима част от интелигентното управление на данни, което осигурява тяхната достъпност за бизнеса от всяка точка.
Облачната платформа Veeam Cloud Data Management Platform позволява модернизиране на резервното копие и отказване от остарелите системи, осигурява ускорено внедряване на хибридно облако и пренос на данни, автоматизация на сигурността на данните и спазване на нормативни изисквания.
Veeam Cloud Data Management Platform е "съвременна платформа за управление на данни, която поддържа всяко облако".
Както се вижда, съвременните платформи за управление на данни представляват достатъчно обширен и разнообразен клас решения. Обединява ги, може би, едно: насочеността им към ефективна работа с корпоративни данни и трансформацията на компанията или организацията в модерно предприятие, управлявано от данни (data-driven enterprise).
Платформите за управление на данни са необходима еволюция на традиционното управление на данни. Все повече организации пренасят данните в облака, и в нарастващ брой различни локални и облачни конфигурации възникват нови проблеми, които трябва да се решават именно от гледна точка на управлението на данни. Управлението на данни в облака е обновен подход, нова парадигма, която разширява функциите на управлението на данни за поддръжка на нови платформи, приложения и сценарии за използване.
Освен това, според данни от изследването Veeam Cloud Data Management Report за 2019 година, компаниите планират да интегрират по-дълбоко облачните технологии, хибридното облако, анализа на големи данни, изкуствения интелект и интернет на нещата. Очаква се внедрението на тези цифрови инициативи да донесе значителни ползи на компаниите.
Предприятия бързо внедряват технологии за платформи за данни и са готови да използват облака за изпълнение на аналитични работни натоварвания. Въпреки това много от тях се сблъскват с проблеми, опитвайки се да използват всичките си данни за постигане на по-добри бизнес резултати, посочват анализатори от компанията 451 Research. Най-новите платформи за управление на данни ще помогнат на предприятията да навигират в сложните процеси по работа с данни в различни облаци, да използват средства за управление на данни и да извършват анализа им, независимо от местоположението на тези данни.
Тъй като се стремим да сме в крак с времето и се ръководим от желанията на нашите клиенти (както настоящи, така и потенциални), искаме да питаме хабрасообществото дали бихте искали да видите Veeam в нашия ? Ответить можно в опросе ниже.
Само регистрирани потребители могат да участват в анкетата. , моля.
Пакетното предложение с Veeam в маркетплейса
62,5%Да, добра идея5
37,5%Мисля, че няма да се получи3
Гласували 8 потребители. Въздържали се 4 потребители.
Източник: habr.com
