🥇Plataformas de gerenciamento de dados: da periferia à nuvem

Hoje, para a maioria das empresas e organizações, os dados são um dos ativos estratégicos. E com a ampliação das possibilidades de análise, o valor dos dados coletados e acumulados pelas empresas aumenta constantemente. Fala-se frequentemente sobre o crescimento explosivo e exponencial dos volumes de dados corporativos gerados. Observa-se que 90% de todos os dados foram criados nos últimos dois anos.

O aumento dos volumes de dados vem acompanhando um aumento em seu valor.

Os dados são gerados e utilizados por sistemas de análise de big data, internet das coisas (IoT), inteligência artificial, entre outros. Os dados coletados são a base para melhorar a qualidade do atendimento ao cliente, a tomada de decisões, o suporte às operações das empresas e para diversas pesquisas e desenvolvimentos.

90% de todos os dados foram criados nos últimos dois anos.

De acordo com a previsão da IDC, o volume de dados armazenados no mundo dobrará de 2018 a 2023, e a capacidade total de armazenamento de dados atingirá 11,7 zettabytes, sendo que mais de três quartos desse volume serão representados por bancos de dados empresariais. É notável que, se em 2018 a capacidade geral dos discos rígidos (HDD), que ainda permanecem como o principal meio de armazenamento de informações, foi de 869 exabytes, até 2023 esse número pode ultrapassar 2,6 zettabytes.

Plataformas de gestão de dados: para que servem e qual é o seu papel?

Não é surpreendente que as questões de gestão de dados estejam se tornando prioritárias para as empresas, tendo um impacto direto em sua operação. Para resolver esses problemas, frequentemente é necessário superar desafios como a heterogeneidade de sistemas, formatos de dados, métodos de armazenamento e uso, e abordagens de gestão em um 'zoológico' de soluções que foram implementadas em momentos diferentes.

O resultado dessa abordagem não unificada é a fragmentação dos conjuntos de dados que são armazenados e processados em diferentes sistemas, com diferentes procedimentos de garantia de qualidade de dados. Esses problemas comuns aumentam os custos de trabalho e financeiros relacionados ao manuseio de dados, como ao obter estatísticas e relatórios ou ao tomar decisões gerenciais.

O modelo de gestão de dados deve ser personalizado, adaptado às necessidades, objetivos e metas da empresa. Não existe um único sistema automatizado, uma plataforma de gestão de dados, que resolva todas as questões. No entanto, sistemas modernos abrangentes, flexíveis e escaláveis de gestão de dados frequentemente se apresentam como software universal para a gestão e armazenamento de dados. Eles incluem ferramentas e serviços necessários para a gestão eficaz dos dados.

Os mais recentes desenvolvimentos permitem às empresas repensar a gestão de dados em toda a organização, obter uma visão clara sobre quais dados estão disponíveis, quais políticas estão associadas, onde e por quanto tempo os dados são armazenados; além disso, possibilitam fornecer a informação necessária para as pessoas certas em tempo hábil. Estas são soluções que ampliam as capacidades das empresas e permitem:

Gerenciar arquivos, objetos, dados de aplicativos, bancos de dados, dados de ambientes virtuais e em nuvem, acessando dados de diferentes tipos.
Com ferramentas de orquestração e automação, mover dados para onde o seu armazenamento é mais eficiente — seja na infraestrutura primária, secundária de armazenamento, no data center do provedor ou na nuvem.
Usar funcionalidades abrangentes de proteção de dados.
Garantir a integração de dados.
Obter análises em tempo real a partir dos dados.

A plataforma de gestão de dados pode ser construída a partir de vários produtos de software ou representar um único sistema unificado. Uma plataforma abrangente garante uma gestão centralizada dos dados em toda a infraestrutura de TI, incluindo backup, recuperação, arquivamento, gerenciamento de snapshots de hardware e geração de relatórios.

Tal plataforma permite implementar uma estratégia multi-nuvem, expandir o data center para o ambiente de nuvem, realizar migrações rápidas para a nuvem e utilizar opções de substituição de hardware e implementação das soluções de armazenamento de dados mais econômicas.

Algumas soluções são capazes de arquivar dados automaticamente. Com a ajuda da inteligência artificial, elas podem detectar que "algo deu errado" e tomar medidas corretivas automaticamente ou notificar o administrador, além de identificar e reprimir ataques de vários tipos. A automação dos serviços ajuda a otimizar as operações de TI, liberando a equipe de TI, minimizando erros devido ao fator humano e reduzindo inatividades.

Quais características uma plataforma moderna de gerenciamento de dados deve ter e onde essas soluções são aplicadas na prática?

A abordagem "uma solução para todos" não funciona para plataformas de gerenciamento de dados. Cada empresa tem suas próprias exigências em relação aos dados, que dependem do tipo de negócio, da experiência e assim por diante. Uma plataforma universal deve, por um lado, permitir a configuração para lidar com dados em uma empresa específica e, por outro, ser independente da especificidade do setor aplicado, da área de aplicação do produto construído com base nela e do seu ambiente informacional.

Áreas práticas de gerenciamento de dados (fonte; CMMI Institute).

Aqui estão algumas áreas práticas de aplicação das plataformas de gerenciamento de dados:

Componente
Área de aplicação

Estratégia de gerenciamento de dados
Objetivos e tarefas de gerenciamento, cultura corporativa de gerenciamento de dados, definição de requisitos para o ciclo de vida dos dados.

Manipulação de dados
Gerenciamento de dados e metadados

Operações com dados
Padrões e procedimentos para trabalhar com fontes de dados

Qualidade dos dados
Garantia de qualidade, estrutura de qualidade dos dados

Plataforma e arquitetura
Estrutura arquitetural, plataformas e integração

Processos de suporte
Avaliação e análise, gerenciamento de processos, garantia de qualidade, gerenciamento de riscos, gerenciamento de configuração

Além disso, essas plataformas desempenham um papel importante no processo de transformação de uma organização em uma empresa "orientada a dados", que pode ser dividida em várias etapas:

Mudança do gerenciamento de dados em sistemas existentes, implementação de um modelo de papéis com divisão de responsabilidades e autoridades. Controle da qualidade dos dados, verificação cruzada de dados entre sistemas, correção de dados imprecisos.
Configuração de processos de extração e coleta de dados, sua transformação e carregamento. Harmonização de dados em um único sistema sem complicar o controle de qualidade dos dados e a alteração dos processos de negócios.
Integração de dados. Automação dos processos de entrega de dados necessários no local e tempo certos.
Implementação de controle de qualidade de dados abrangente. Definição de parâmetros de controle de qualidade, desenvolvimento de metodologia para uso de sistemas automáticos.
Implementação de ferramentas de gerenciamento de processos de coleta de dados, sua verificação, deduplicação e limpeza. Como resultado, aumento da qualidade, confiabilidade e uniformidade dos dados de todos os sistemas da empresa.

Vantagens das plataformas de gerenciamento de dados

Empresas que trabalham de forma eficaz com dados geralmente alcançam mais sucesso em comparação com seus concorrentes, lançam produtos e serviços no mercado mais rapidamente, compreendem melhor as necessidades do público-alvo e podem reagir rapidamente a mudanças na demanda. As plataformas de gerenciamento de dados oferecem a possibilidade de "limpeza" de dados, obtenção de informações de qualidade e relevantes, transformação de dados e avaliação estratégica dos dados da empresa.

Exemplo de uma plataforma universal para a criação de sistemas de gerenciamento de dados corporativos – a russa "Unidata", criada a partir de software de código aberto. Ela oferece ferramentas para criar modelos de dados e meios de expandir a funcionalidade ao se integrar a diferentes ambientes de TI e sistemas de informações de terceiros: desde o gerenciamento de recursos materiais até o processamento seguro de grandes volumes de dados pessoais.

Arquitetura da plataforma "Unidata" da empresa homônima.

Esta plataforma multifuncional garante a coleta centralizada de dados (inventário e contabilidade de recursos), padronização de informações (normalização e enriquecimento), registro de informações atuais e históricas (controle de versões de registros, períodos de validade dos dados), qualidade dos dados e manutenção de estatísticas. Automatiza tarefas como coleta, acumulação, limpeza, comparação, consolidação, verificação da qualidade e disseminação de dados, além de ferramentas para automatizar o sistema de tomada de decisões.

Plataformas de Gerenciamento de Dados (DPM) em Publicidade e Marketing

Em publicidade e marketing, o conceito de Plataforma de Gerenciamento de Dados DMP (Data Management Platform) tem um significado mais específico. Trata-se de uma plataforma de software que permite que as empresas definam segmentos de audiência para a publicidade direcionada a usuários específicos e o contexto das campanhas publicitárias na internet, com base nos dados coletados. Esse software é capaz de coletar, processar e armazenar quaisquer tipos de dados de audiência, além de possibilitar seu uso através dos canais de mídia habituais.

De acordo com a Market Research Future (MRFR), o mercado global de plataformas de gerenciamento de dados (DMP) pode atingir 3 bilhões de dólares até o final de 2023, com um crescimento anual médio de 15%, e em 2025 seu volume deve ultrapassar 3,5 bilhões de dólares.

Sistema DMP:

Permite coletar e estruturar todos os tipos de dados de audiência; analisar os dados disponíveis; transferir dados para qualquer espaço de mídia para veiculação de publicidade direcionada.
Ajuda a coletar, organizar e ativar dados de várias fontes e convertê-los em uma forma útil.
Organiza todos os dados em categorias com base nos objetivos de negócios e modelos de marketing. O sistema analisa os dados e gera segmentos de audiência que representam com precisão a base de clientes em uma ampla gama de canais, com base em várias características comuns.
Permite aumentar a precisão da publicidade direcionada online e construir comunicações personalizadas com uma audiência relevante. A partir do DMP, também é possível configurar cadeias de interação com cada segmento-alvo, para que os usuários recebam mensagens relevantes no momento e lugar certos.

O aumento da participação do marketing digital influencia significativamente o crescimento do mercado de plataformas de gerenciamento de dados. Os sistemas DMP podem rapidamente unificar dados de várias fontes e dividir os usuários em várias categorias com base em seu comportamento. Essas capacidades promovem a demanda por DMP entre os profissionais de marketing.

O mercado global de plataformas de gerenciamento de dados é representado por vários principais players, assim como algumas novas empresas, incluindo Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica, entre outros.

Um exemplo de solução russa é o produto de infraestrutura da Mail.ru Group, que é uma plataforma única para gestão e processamento de dados (Data Management Platform, DMP). A solução permite construir uma descrição detalhada dos perfis dos segmentos de audiência dentro da plataforma, integrada com ferramentas de marketing. O DMP combina soluções e serviços da Mail.ru Group na área de marketing omnichannel e gestão de audiência. Os clientes poderão armazenar, processar e estruturar seus próprios dados anônimos, além de ativá-los em comunicações publicitárias, aumentando a eficiência dos negócios e do marketing.

Gestão de dados em ambiente de nuvem

Outra categoria de soluções para gestão de dados são as plataformas em nuvem. Em particular, o uso de uma solução moderna para proteção de dados dentro da gestão de dados em nuvem evita possíveis problemas – desde ameaças de segurança até problemas de migração de dados e redução de desempenho, além de resolver os desafios de transformação digital que a empresa enfrenta. Claro, as funções desses sistemas não se limitam à proteção de dados.

As funções da plataforma de gestão de dados em nuvem segundo a Gartner: alocação de recursos, automação e orquestração; gestão de solicitações de serviço; supervisão de alto nível e controle de conformidade com políticas; monitoramento e medição de parâmetros; suporte a ambientes multicloud; otimização e transparência de custos; otimização de capacidade e recursos; migração para a nuvem e garantia de continuidade (DR); gestão de níveis de serviço; segurança e identidade; automação da atualização de configurações.

A gestão de dados em ambiente de nuvem deve garantir um alto nível de disponibilidade de dados, controle, automação da gestão de dados em data centers, na borda da rede e na nuvem.

A Gestão de Dados em Nuvem (Cloud Data Management, CDM) é uma plataforma usada para gerenciar dados corporativos em diferentes ambientes de nuvem, levando em consideração abordagens privadas, públicas, híbridas e multicloud.

Um exemplo dessa solução é a Veeam Cloud Data Management Platform. Segundo os desenvolvedores do sistema, ele ajuda as organizações a mudarem sua abordagem em relação à gestão de dados, oferecendo uma gestão inteligente e automatizada dos dados e sua disponibilidade em qualquer aplicação ou infraestrutura em nuvem.

A gestão de dados em nuvem na Veeam é considerada parte integrante da gestão inteligente de dados, garantindo sua disponibilidade para os negócios de qualquer lugar.

A plataforma em nuvem Veeam Cloud Data Management Platform permite modernizar os backups e abandonar sistemas obsoletos, garantindo uma implementação acelerada de nuvens híbridas, migração de dados, automação da segurança dos dados e conformidade regulatória.

A Veeam Cloud Data Management Platform é "uma plataforma moderna para gestão de dados, suportando qualquer nuvem".

Como se pode ver, as plataformas modernas de gestão de dados representam uma classe diversa e abrangente de soluções. O que as une é, sem dúvida, o foco em trabalhar de forma eficaz com dados corporativos e transformar uma empresa ou organização em uma empresa moderna, orientada por dados (data-driven enterprise).

As plataformas de gestão de dados são uma evolução necessária da gestão de dados tradicional. Cada vez mais organizações estão transferindo dados para a nuvem, e um número crescente de configurações locais e em nuvem está gerando novos problemas que precisam ser resolvidos sob a perspectiva da gestão de dados. A gestão de dados em nuvem é uma abordagem renovada, uma nova paradigma que amplia as funções de gestão de dados para dar suporte a novas plataformas, aplicações e cenários de uso.

Além disso, segundo a pesquisa Veeam Cloud Data Management Report de 2019, as empresas planejam integrar mais profundamente tecnologias em nuvem, tecnologias de nuvem híbrida, análise de grandes dados, inteligência artificial e Internet das Coisas. Espera-se que a implementação dessas iniciativas digitais traga benefícios significativos para as empresas.

As empresas estão adotando rapidamente tecnologias de plataformas de dados e estão prontas para usar a nuvem para realizar cargas de trabalho analíticas, no entanto, muitas enfrentam problemas ao tentar usar todos os seus dados para obter melhores resultados nos negócios, afirmam analistas da empresa 451 Research. As mais recentes plataformas de gerenciamento de dados ajudarão as empresas a navegar em processos complexos de trabalho com dados em múltiplas nuvens, utilizar ferramentas de gerenciamento de dados e realizar suas análises, independentemente de onde esses dados estejam.

Como buscamos acompanhar o tempo e nos orientamos pelos desejos de nossos clientes (tanto atuais quanto potenciais), gostaríamos de perguntar à comunidade Habr se vocês gostariam de ver a Veeam em nosso , há uma imagem? Ответить можно в опросе ниже.