Платформи за управление на данни: Edge to Cloud

Днес за повечето компании и организации данните са един от стратегическите активи. А с разширяването на възможностите за анализ, стойността на данните, събирани и натрупвани от компаниите, непрекъснато нараства. В същото време те често говорят за експлозивен, експоненциален растеж на обема на генерираните корпоративни данни. Отбелязва се, че 90% от всички данни са създадени през последните две години. 

Ръстът на обемите данни е съпроводен с нарастване на тяхната стойност

Данните се създават и използват от системи за анализ на големи данни, Интернет на нещата (IoT), изкуствен интелект и др. Събраните данни са в основата за подобряване на качеството на обслужване на клиентите, вземане на решения, подпомагане на оперативната дейност на компаниите и за различни изследвания и разработки.

90% от всички данни са създадени през последните две години. 

IDC прогнозира, че обемът на данните, съхранявани в световен мащаб, ще се удвои от 2018 г. до 2023 г., като общият капацитет за съхранение на данни ще достигне 11,7 зетабайта, като корпоративните бази данни представляват повече от три четвърти от общия обем. Характерно е, че ако през 2018 г. общият капацитет на доставените дискови устройства (HDD), които все още остават основната среда за съхранение, възлизаше на 869 екзабайта, то до 2023 г. тази цифра може да надхвърли 2,6 зетабайта.

Платформи за управление на данни: за какво служат и каква роля играят?

Не е изненадващо, че проблемите с управлението на данни се превръщат в приоритет за предприятията, оказвайки пряко въздействие върху техните операции. За да ги разрешите, понякога е необходимо да се преодолеят такива трудности като разнородността на системите, форматите на данни, методите за тяхното съхранение и използване, подходите за управление в „зоопарк“ от решения, които са били внедрени по различно време. 

Резултатът от този неунифициран подход е фрагментирането на набори от данни, съхранявани и обработвани в различни системи, и различни процедури за осигуряване на качеството на данните. Тези типични проблеми увеличават разходите за труд и финансови разходи при работа с данни, например при получаване на статистически данни и отчети или при вземане на управленски решения. 

Бизнес моделът за управление на данни трябва да бъде персонализиран, адаптиран към нуждите, задачите и целите на предприятието. Няма единна автоматизирана система или платформа за управление на данни, която да покрива всички задачи. Въпреки това, днешните всеобхватни, гъвкави и мащабируеми системи за управление на данни често предоставят всичко-в-едно софтуер за управление и съхранение на данни. Те включват необходимите инструменти и услуги за ефективно управление на данните. 

Най-новите разработки позволяват на бизнеса да преосмисли управлението на данни в цялата организация, придобивайки ясно разбиране за това какви данни са налични, какви политики са свързани с тях, къде се съхраняват данните и за колко време, и накрая, те предоставят възможността да доставят точна информация до правилните хора навреме. Това са решения, които разширяват възможностите на предприятията и позволяват: 

• Управлявайте файлове, обекти, данни от приложения, бази данни, данни от виртуални и облачни среди и осъществявайте достъп до различни видове данни.
• Използвайки инструменти за оркестрация и автоматизация, преместете данните там, където се съхраняват най-ефективно - към първичната, вторичната инфраструктура за съхранение, към центъра за данни на доставчика или в облака.
• Използвайте цялостни функции за защита на данните.
• Осигурете интеграция на данните.
• Получавайте оперативен анализ от данни. 

Платформата за управление на данни може да бъде изградена на базата на няколко софтуерни продукта или да бъде единна унифицирана система. Цялостната платформа осигурява унифицирано управление на данни в цялата ИТ инфраструктура, включително архивиране, възстановяване, архивиране, управление на моментни снимки на хардуер и отчитане.

Такава платформа ви позволява да приложите мулти-облачна стратегия, да разширите центъра за данни към облачната среда, да извършите бърза миграция към облака, да се възползвате от възможността за подмяна на оборудване и внедряване на най-рентабилните опции за съхранение на данни.

Някои решения могат автоматично да архивират данни. И с помощта на изкуствен интелект те могат да открият, че „нещо се е объркало“ и автоматично да предприемат коригиращи действия или да уведомят администратора, както и да идентифицират и спрат различни видове атаки. Автоматизирането на услугите помага за оптимизиране на ИТ операциите, освобождава ИТ персонала, минимизира грешките, дължащи се на човешкия фактор, и свежда до минимум времето за престой. 

Какви качества трябва да притежава една съвременна платформа за управление на данни и къде се използват на практика подобни решения?

Универсалният подход не работи с платформи за управление на данни. Всяка компания има свои собствени изисквания към данните, те зависят от типа бизнес, трудов стаж и т.н. Универсалната платформа трябва, от една страна, да предоставя конфигурация за работа с данни в конкретно предприятие, а от друга, да е независима от спецификата на приложната индустрия, обхват на приложение, изграден на нейна основа продукт и неговата информационна среда. 

Практически области на управление на данни (източник; CMMI Institute).

Ето някои практически приложения за платформи за управление на данни:

компонент
Приложения

Стратегия за управление на данни
Цели и задачи на управлението, корпоративна култура на управление на данни, определяне на изискванията за жизнения цикъл на данните.

Управление на данни
Управление на данни и метаданни

Операции с данни
Стандарти и процедури за работа с източници на данни

Качество на данните
Осигуряване на качеството, Рамка за качество на данните

Платформа и архитектура
Архитектурна рамка, платформи и интеграция 

Поддържащи процеси
Оценка и анализ, управление на процеси, осигуряване на качеството, управление на риска, управление на конфигурация

Освен това такива платформи играят важна роля в процеса на трансформиране на една организация в предприятие, управлявано от данни, което може да бъде разделено на няколко етапа: 

1. Промяна на управлението на данни в съществуващите системи, въвеждане на модел за подражание с разделяне на отговорностите и правомощията. Контрол на качеството на данните, кръстосана проверка на данни между системите, коригиране на невалидни данни. 
2. Настройка на процеси за извличане и събиране на данни, тяхното трансформиране и зареждане. Обединяване на данни в единна система без усложняване на контрола на качеството на данните и промяна на бизнес процесите. 
3. Интегриране на данни. Автоматизирайте процесите за доставяне на точните данни на точното място и в точното време. 
4. Въвеждане на пълен контрол на качеството на данните. Определяне на параметрите за контрол на качеството, разработване на методология за използване на автоматични системи. 
5. Внедряване на инструменти за управление на процесите на събиране на данни, проверка, дедупликация и почистване. В резултат на това има повишаване на качеството, надеждността и унификацията на данните от всички корпоративни системи. 

Предимства на платформите за управление на данни

Компаниите, които работят ефективно с данни, обикновено са по-успешни от конкурентите, пускат продукти и услуги на пазара по-бързо, разбират по-добре нуждите на целевата си аудитория и могат бързо да реагират на промените в търсенето. Платформите за управление на данни предоставят възможност за почистване на данни, получаване на качествена и подходяща информация, трансформиране на данни и стратегическа оценка на корпоративните данни. 

Пример за универсална платформа за изграждане на корпоративни системи за управление на данни е руската Unidata, създадена на базата на софтуер с отворен код. Той предлага инструменти за създаване на модел на данни и средства за разширяване на функционалността при интегриране в различни ИТ среди и информационни системи на трети страни: от поддържане на материални и технически ресурси до сигурна обработка на големи обеми лични данни. 

Архитектура на платформата Unidata на едноименната компания.

Тази многофункционална платформа осигурява централизирано събиране на данни (отчитане на инвентаризация и ресурси), стандартизация на информацията (нормализиране и обогатяване), отчитане на текуща и историческа информация (контрол на версията на записа, периоди на релевантност на данните), качество на данните и статистика. Осигурена е автоматизация на задачи като събиране, натрупване, почистване, сравнение, консолидация, контрол на качеството, разпространение на данни, както и инструменти за автоматизиране на системата за вземане на решения. 

Платформи за управление на данни (DPM) в рекламата и маркетинга 

В рекламата и маркетинга понятието платформа за управление на данни DMP (Data Management Platform) има по-тясно значение. Това е софтуерна платформа, която въз основа на събраните данни позволява на компаниите да дефинират сегменти от аудиторията, за да насочват рекламата към конкретни потребители и контекста на онлайн рекламните кампании. Такъв софтуер е в състояние да събира, обработва и съхранява всякакъв вид данни от класната стая и също така има способността да ги използва чрез познати медийни канали.

Според Market Research Future (MRFR) пазарът на глобалната платформа за управление на данни (DMP) може да достигне 2023 милиарда долара до края на 3 г. с CAGR от 15% и ще надхвърли 2025 милиарда долара през 3,5 г.

DMP система:

• Прави възможно събирането и структурирането на всички видове данни от класната стая; анализирайте наличните данни; прехвърляне на данни към всяко медийно пространство за поставяне на насочена реклама. 
• Помага за събирането, организирането и активирането на данни от различни източници и превеждането им в полезна форма. 
• Организира всички данни в категории въз основа на бизнес цели и маркетингови модели. Системата анализира данни и генерира сегменти от аудиторията, които точно представят клиентската база в широк диапазон от канали въз основа на различни общи характеристики.
• Позволява ви да увеличите точността на насочването на онлайн рекламата и да изградите персонализирани комуникации с подходящи аудитории. Въз основа на DMP можете също да настроите вериги за взаимодействие с всеки целеви сегмент, така че потребителите да получават подходящи съобщения в точното време и на точното място.

Нарастващият дял на дигиталния маркетинг оказва значително влияние върху растежа на пазара на платформи за управление на данни. DMP системите могат бързо да обединяват данни от различни източници и да категоризират потребителите въз основа на техните модели на поведение. Такива възможности подхранват търсенето на DMP сред търговците. 

Глобалният пазар на платформи за управление на данни е представен от редица водещи играчи, както и няколко нови компании, включително Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital), Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica и др.

Пример за руско решение е инфраструктурен продукт, издаден от Mail.ru Group, който е единна платформа за управление и обработка на данни (Data Management Platform, DMP). Решението ви позволява да изградите разширено описание на профила на сегментите от аудиторията в рамките на платформа, интегрирана с маркетингови инструменти. DMP съчетава решения и услуги на Mail.ru Group в областта на омниканален маркетинг и работа с аудитории. Клиентите ще могат да съхраняват, обработват и структурират собствените си анонимизирани данни, както и да ги активират в рекламни комуникации, повишавайки ефективността на бизнеса и маркетинга. 

Управление на облачни данни

Друга категория решения за управление на данни са облачните платформи. По-специално, използването на модерно решение за защита на данните като част от управлението на облачни данни ви позволява да избегнете потенциални проблеми - от заплахи за сигурността до проблеми с миграцията на данни и намалена производителност, както и да разрешите предизвикателствата на дигиталната трансформация, пред които е изправена компанията. Разбира се, функциите на такива системи не се ограничават до защита на данните.

Характеристики на платформата за управление на облачни данни на Gartner: Разпределение на ресурси, автоматизация и оркестрация; управление на заявки за услуги; управление на високо ниво и мониторинг на спазването на политиката; мониторинг и измерване на параметри; поддръжка на мулти-облачни среди; оптимизиране на разходите и прозрачност; оптимизиране на капацитета и ресурсите; облачна миграция и устойчивост на бедствия (DR); управление на нивото на обслужване; сигурност и идентификация; автоматизация на актуализациите на конфигурацията.

Управлението на данни в облачна среда трябва да гарантира високо ниво на достъпност на данните, контрол и автоматизация на управлението на данни в центрове за данни, по периметъра на мрежата и в облака. 

Cloud Data Management (CDM) е платформа, която се използва за управление на корпоративни данни в различни облачни среди, като се вземат предвид частни, публични, хибридни и мулти-облачни подходи.

Пример за такова решение е Veeam Cloud Data Management Platform. Според разработчиците на системата, тя помага на организациите да променят подхода към управлението на данни, осигурява интелигентно, автоматизирано управление на данни и тяхната наличност във всяко приложение или облачна инфраструктура.

Veeam счита управлението на облачни данни за неразделна част от интелигентното управление на данни, като гарантира, че данните са достъпни за бизнеса отвсякъде. 

Платформата за управление на облачни данни Veeam модернизира архивирането и елиминира наследените системи, ускорява приемането на хибриден облак и миграцията на данни и автоматизира сигурността на данните и съответствието. 

Veeam Cloud Data Management Platform е „модерна платформа за управление на данни, която поддържа всеки облак“.

Както можете да видите, съвременните платформи за управление на данни представляват доста широк и разнообразен клас решения. Може би те имат едно общо нещо: фокус върху ефективната работа с корпоративни данни и трансформирането на компания или организация в модерно предприятие, управлявано от данни.

Платформите за управление на данни са необходима еволюция на традиционното управление на данни. Тъй като все повече организации преместват данни в облака, все по-голям брой различни локални и облачни конфигурации създават нови предизвикателства, които трябва да бъдат разгледани конкретно от гледна точка на управление на данни. Управлението на данни в облака е обновен подход, нова парадигма, която разширява възможностите за управление на данни, за да поддържа нови платформи, приложения и случаи на използване.

Освен това, според доклада за управление на облачни данни на Veeam за 2019 г., компаниите планират дълбоко да интегрират облачни технологии, хибридни облачни технологии, анализ на големи данни, изкуствен интелект и интернет на нещата. Очаква се прилагането на тези дигитални инициативи да донесе значителни ползи на компаниите.

Предприятията ускоряват приемането на технологии за платформи за данни и са готови да използват облака, за да изпълняват аналитични работни натоварвания, но много от тях са изправени пред предизвикателства при използването на всичките си данни за постигане на по-добри бизнес резултати, според анализаторите от 451 Research. Най-новите платформи за управление на данни могат да помогнат на предприятията да навигират сложни работни потоци от данни в множество облаци, да управляват данни и да извършват анализи, независимо къде се намират данните.

Тъй като се опитваме да сме в крак с времето и да се фокусираме върху желанията на нашите клиенти (както настоящи, така и потенциални), бихме искали да попитаме общността на habra дали искате да видите Veeam в нашия пазар? Можете да отговорите в анкетата по-долу.

В анкетата могат да участват само регистрирани потребители. Впиши се, Моля те.

Пакетна оферта с Veeam на пазара

• 62,5%Да, добра идея5

• 37,5%Не мисля, че ще излети3

8 потребители гласуваха. 4 потребители се въздържаха.

Източник: www.habr.com