Hoje, para a maioria das empresas e organizações, os dados são um dos ativos estratégicos. E com a expansão das capacidades analíticas, o valor dos dados recolhidos e acumulados pelas empresas aumenta constantemente. Ao mesmo tempo, falam frequentemente sobre o crescimento explosivo e exponencial do volume de dados corporativos gerados. Nota-se que 90% de todos os dados foram criados nos últimos dois anos.
O crescimento dos volumes de dados é acompanhado por um aumento no seu valor
Os dados são criados e utilizados por sistemas de análise de big data, Internet das Coisas (IoT), inteligência artificial, etc. Os dados coletados são a base para melhorar a qualidade do atendimento ao cliente, a tomada de decisões, apoiar as atividades operacionais das empresas e para diversas pesquisas e desenvolvimento.
90% de todos os dados foram criados nos últimos dois anos.
A IDC prevê que o volume de dados armazenados globalmente duplicará entre 2018 e 2023, com a capacidade total de armazenamento de dados a atingir 11,7 zettabytes, com as bases de dados empresariais a representarem mais de três quartos do total. É característico que se em 2018 a capacidade total das unidades de disco fornecidas (HDD), que ainda continuam sendo o principal meio de armazenamento, era de 869 exabytes, então em 2023 esse número poderá ultrapassar 2,6 zetabytes.
Plataformas de gestão de dados: para que servem e que papel desempenham?
Não é surpreendente que as questões de gestão de dados estejam a tornar-se uma prioridade para as empresas, tendo um impacto direto no seu trabalho. Para resolvê-los, às vezes é necessário superar dificuldades como a heterogeneidade dos sistemas, formatos de dados, métodos de armazenamento e utilização, abordagens de gestão num “zoológico” de soluções que foram implementadas em diferentes momentos.
O resultado desta abordagem não unificada é a fragmentação de conjuntos de dados armazenados e processados em diferentes sistemas e diferentes procedimentos para garantir a qualidade dos dados. Estes problemas típicos aumentam os custos laborais e financeiros ao trabalhar com dados, por exemplo, na obtenção de estatísticas e relatórios ou na tomada de decisões de gestão.
O modelo de negócio de gestão de dados deve ser customizado, adaptado às necessidades, tarefas e objetivos da empresa. Não existe um sistema automatizado único ou plataforma de gestão de dados que cubra todas as tarefas. No entanto, os atuais sistemas de gerenciamento de dados abrangentes, flexíveis e escaláveis geralmente fornecem software completo de gerenciamento e armazenamento de dados. Eles incluem as ferramentas e serviços necessários para um gerenciamento eficaz de dados.
Os desenvolvimentos mais recentes estão a permitir às empresas repensar a gestão de dados em toda a organização, obtendo uma compreensão clara de que dados estão disponíveis, que políticas estão associadas a eles, onde os dados são armazenados e por quanto tempo e, finalmente, estão a fornecer a capacidade de fornecer as informações certas para as pessoas certas em tempo hábil. São soluções que ampliam as capacidades das empresas e permitem:
- Gerencie arquivos, objetos, dados de aplicativos, bancos de dados, dados de ambientes virtuais e em nuvem e acesse diversos tipos de dados.
- Usando ferramentas de orquestração e automação, mova os dados para onde eles são armazenados com mais eficiência: para a infraestrutura de armazenamento primária e secundária, para o data center do provedor ou para a nuvem.
- Use recursos abrangentes de proteção de dados.
- Garanta a integração de dados.
- Obtenha análises operacionais de dados.
A plataforma de gerenciamento de dados pode ser construída com base em vários produtos de software ou ser um único sistema unificado. A plataforma abrangente fornece gerenciamento unificado de dados em toda a infraestrutura de TI, incluindo backup, recuperação, arquivamento, gerenciamento de instantâneos de hardware e relatórios.
Tal plataforma permite implementar uma estratégia multi-cloud, expandir o data center para o ambiente de nuvem, realizar uma migração rápida para a nuvem, aproveitar a possibilidade de substituição de equipamentos e implementar as opções de armazenamento de dados mais econômicas.
Algumas soluções são capazes de arquivar dados automaticamente. E com a ajuda da inteligência artificial, eles podem detectar que “algo deu errado” e automaticamente tomar medidas corretivas ou notificar o administrador, além de identificar e impedir diversos tipos de ataques. A automação de serviços ajuda a otimizar as operações de TI, libera a equipe de TI, minimiza erros devido ao fator humano e minimiza o tempo de inatividade.
Que qualidades deve ter uma plataforma moderna de gestão de dados e onde tais soluções são utilizadas na prática?
A abordagem única não funciona com plataformas de gerenciamento de dados. Cada empresa tem seus próprios requisitos de dados, que dependem do tipo de negócio, experiência profissional, etc. Uma plataforma universal deve, por um lado, fornecer configuração para trabalhar com dados em uma empresa específica e, por outro, ser independente de as especificidades da indústria aplicada, o escopo do produto construído em sua base e seu ambiente de informação.
Áreas práticas de gestão de dados (fonte; Instituto CMMI).
Aqui estão algumas aplicações práticas para plataformas de gerenciamento de dados:
Componente
Aplicações
Estratégia de gerenciamento de dados
Metas e objetivos de gestão, cultura corporativa de gestão de dados, determinação de requisitos para o ciclo de vida dos dados.
Gestão de dados
Gerenciamento de dados e metadados
Operações de dados
Padrões e procedimentos para trabalhar com fontes de dados
Qualidade dos dados
Garantia de Qualidade, Estrutura de Qualidade de Dados
Plataforma e arquitetura
Estrutura arquitetônica, plataformas e integração
Processos de apoio
Avaliação e análise, gerenciamento de processos, garantia de qualidade, gerenciamento de riscos, gerenciamento de configuração
Além disso, tais plataformas desempenham um papel importante no processo de transformação de uma organização em uma empresa “orientada por dados”, que pode ser dividida em várias etapas:
- Alterar a gestão de dados nos sistemas existentes, introduzindo um modelo com separação de responsabilidades e poderes. Controle de qualidade dos dados, cruzamento de dados entre sistemas, correção de dados inválidos.
- Configurar processos de extração e coleta de dados, transformação e carregamento dos mesmos. Trazendo dados para um sistema unificado sem complicar o controle de qualidade dos dados e alterar os processos de negócios.
- Integração de dados. Automatize os processos de entrega dos dados certos, no lugar certo e na hora certa.
- Introdução do controle total de qualidade dos dados. Determinação de parâmetros de controle de qualidade, desenvolvimento de metodologia para utilização de sistemas automáticos.
- Implementação de ferramentas para gerenciamento dos processos de coleta, verificação, desduplicação e limpeza de dados. Como resultado, há um aumento na qualidade, confiabilidade e unificação dos dados de todos os sistemas empresariais.
Benefícios das plataformas de gerenciamento de dados
As empresas que trabalham de forma eficaz com dados tendem a ser mais bem-sucedidas do que os concorrentes, a lançar produtos e serviços no mercado mais rapidamente, a compreender melhor as necessidades do seu público-alvo e a poder responder rapidamente às mudanças na procura. As plataformas de gerenciamento de dados fornecem a capacidade de limpar dados, obter informações relevantes e de qualidade, transformar dados e avaliar estrategicamente os dados corporativos.
Um exemplo de plataforma universal para a construção de sistemas de gerenciamento de dados corporativos é o Unidata russo, criado com base em software de código aberto. Oferece ferramentas para a criação de um modelo de dados e meios para expandir a funcionalidade na integração em diversos ambientes de TI e sistemas de informação de terceiros: desde a manutenção de recursos materiais e técnicos até o processamento seguro de grandes volumes de dados pessoais.
Arquitetura da plataforma Unidata da empresa de mesmo nome.
Esta plataforma multifuncional permite a recolha centralizada de dados (inventário e contabilização de recursos), normalização da informação (normalização e enriquecimento), contabilização da informação atual e histórica (controlo de versões de registos, períodos de relevância dos dados), qualidade dos dados e estatísticas. É fornecida automação de tarefas como coleta, acumulação, limpeza, comparação, consolidação, controle de qualidade, distribuição de dados, bem como ferramentas para automatizar o sistema de tomada de decisão.
Plataformas de gerenciamento de dados (DPM) em publicidade e marketing
Em publicidade e marketing, o conceito de plataforma de gerenciamento de dados DMP (Data Management Platform) tem um significado mais restrito. É uma plataforma de software que, com base nos dados recolhidos, permite às empresas definir segmentos de público para direcionar a publicidade a utilizadores específicos e ao contexto das campanhas publicitárias online. Esse software é capaz de coletar, processar e armazenar qualquer tipo de dados de sala de aula, além de utilizá-los por meio de canais de mídia familiares.
De acordo com a Market Research Future (MRFR), o mercado global de plataformas de gerenciamento de dados (DMP) poderá atingir US$ 2023 bilhões até o final de 3, com um CAGR de 15%, e ultrapassará US$ 2025 bilhões em 3,5.
Sistema DMP:
- Permite coletar e estruturar todos os tipos de dados de sala de aula; analisar os dados disponíveis; transferir dados para qualquer espaço de mídia para colocar publicidade direcionada.
- Ajuda a coletar, organizar e ativar dados de várias fontes e traduzi-los em formatos úteis.
- Organiza todos os dados em categorias com base em objetivos de negócios e modelos de marketing. O sistema analisa dados e gera segmentos de público que representam com precisão a base de clientes em uma ampla variedade de canais com base em diversas características comuns.
- Permite aumentar a precisão da segmentação da publicidade online e construir comunicações personalizadas com públicos relevantes. Com base no DMP, você também pode configurar cadeias de interação com cada segmento-alvo para que os usuários recebam mensagens relevantes na hora certa e no lugar certo.
A crescente participação do marketing digital está influenciando significativamente o crescimento do mercado de plataformas de gerenciamento de dados. Os sistemas DMP podem unificar rapidamente dados de diversas fontes e categorizar usuários com base em seus padrões de comportamento. Essas capacidades estão alimentando a demanda por DMPs entre os profissionais de marketing.
O mercado global de plataformas de gerenciamento de dados é representado por vários players líderes, bem como por várias novas empresas, incluindo Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital), Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turno, Informática e etc.
Um exemplo de solução russa é um produto de infraestrutura lançado pelo Grupo Mail.ru, que é uma plataforma unificada de gerenciamento e processamento de dados (Data Management Platform, DMP). A solução permite construir uma descrição ampliada do perfil dos segmentos de público dentro de uma plataforma integrada a ferramentas de marketing. DMP combina soluções e serviços do Grupo Mail.ru na área de marketing omnicanal e alcance de público. Os clientes poderão armazenar, processar e estruturar os seus próprios dados anonimizados, bem como ativá-los em comunicações publicitárias, aumentando a eficiência do negócio e do marketing.
Gerenciamento de dados em nuvem
Outra categoria de soluções de gerenciamento de dados são as plataformas em nuvem. Em particular, a utilização de uma solução moderna de proteção de dados como parte da gestão de dados na nuvem permite evitar potenciais problemas - desde ameaças à segurança a problemas de migração de dados e redução da produtividade, bem como resolver os desafios de transformação digital que a empresa enfrenta. É claro que as funções de tais sistemas não se limitam à protecção de dados.
Recursos da plataforma de gerenciamento de dados em nuvem Gartner: alocação, automação e orquestração de recursos; gerenciamento de solicitações de serviço; gestão de alto nível e monitoramento do cumprimento das políticas; monitoramento e medição de parâmetros; suporte para ambientes multi-cloud; otimização de custos e transparência; otimização de capacidades e recursos; migração para nuvem e resiliência a desastres (DR); Gerenciamento de nível de serviço; segurança e identificação; automação de atualizações de configuração.
O gerenciamento de dados em um ambiente de nuvem deve garantir um alto nível de disponibilidade de dados, controle e automação do gerenciamento de dados em data centers, ao longo do perímetro da rede e na nuvem.
Cloud Data Management (CDM) é uma plataforma usada para gerenciar dados corporativos em vários ambientes de nuvem, levando em consideração abordagens privadas, públicas, híbridas e multinuvem.
Um exemplo de tal solução é a Veeam Cloud Data Management Platform. Segundo os desenvolvedores do sistema, ele ajuda as organizações a mudar a abordagem de gerenciamento de dados, fornece gerenciamento inteligente e automatizado de dados e sua disponibilidade em qualquer aplicação ou infraestrutura em nuvem.
A Veeam considera o gerenciamento de dados em nuvem uma parte integrante do gerenciamento inteligente de dados, garantindo que os dados sejam acessíveis às empresas de qualquer lugar.
A Veeam Cloud Data Management Platform moderniza o backup e elimina sistemas legados, acelera a adoção da nuvem híbrida e a migração de dados, além de automatizar a segurança e a conformidade dos dados.
Veeam Cloud Data Management Platform é uma “plataforma moderna de gerenciamento de dados que suporta qualquer nuvem”.
Como você pode ver, as plataformas modernas de gerenciamento de dados representam uma classe de soluções bastante ampla e diversificada. Talvez eles tenham uma coisa em comum: o foco no trabalho eficaz com dados corporativos e na transformação de uma empresa ou organização em uma empresa moderna orientada por dados.
As plataformas de gerenciamento de dados são uma evolução necessária do gerenciamento de dados tradicional. À medida que mais e mais organizações movem dados para a nuvem, um número crescente de configurações diferentes no local e na nuvem cria novos desafios que precisam ser abordados especificamente do ponto de vista do gerenciamento de dados. O gerenciamento de dados na nuvem é uma abordagem renovada, um novo paradigma que amplia os recursos de gerenciamento de dados para dar suporte a novas plataformas, aplicativos e casos de uso.
Além disso, de acordo com o Relatório de Gerenciamento de Dados em Nuvem da Veeam para 2019, as empresas planejam integrar profundamente tecnologias de nuvem, tecnologias de nuvem híbrida, análise de big data, inteligência artificial e Internet das coisas. Espera-se que a implementação destas iniciativas digitais traga benefícios significativos para as empresas.
As empresas estão a acelerar a adoção de tecnologias de plataformas de dados e estão prontas para aproveitar a nuvem para executar cargas de trabalho analíticas, mas muitas enfrentam desafios para aproveitar todos os seus dados para alcançar melhores resultados de negócio, de acordo com analistas da 451 Research. As mais recentes plataformas de gerenciamento de dados podem ajudar as empresas a navegar em fluxos de trabalho de dados complexos em diversas nuvens, gerenciar dados e realizar análises, independentemente de onde os dados residam.
Como tentamos acompanhar os tempos e focar nos desejos de nossos clientes (atuais e potenciais), gostaríamos de perguntar à comunidade habra se você gostaria de ver a Veeam em nosso ? Você pode responder na enquete abaixo.
Apenas usuários registrados podem participar da pesquisa. por favor
Oferta de pacote com a Veeam no mercado
-
62,5%Sim, boa ideia5
-
37,5%Eu não acho que vai decolar3
8 usuários votaram. 4 usuários se abstiveram.
Fonte: habr.com