Olá, Habr!
Os dados são o ativo mais valioso de uma empresa. Essa é uma afirmação feita por praticamente todas as empresas com enfoque digital. E não há como contestar isso: sem discutir abordagens sobre gestão, armazenamento e processamento de dados, nenhuma grande conferência de TI pode ocorrer atualmente.
Os dados nos chegam de fontes externas e também são gerados internamente na empresa. Se falarmos sobre dados de uma empresa de telecomunicações, eles fornecem uma rica fonte de informações sobre clientes, interesses, hábitos e localizações. Com o perfilamento e segmentação adequados, as ofertas publicitárias se tornam muito mais eficazes. No entanto, na prática, a realidade é menos otimista. Os dados que as empresas armazenam podem estar desesperadamente desatualizados, excessivos, duplicados ou são conhecidos apenas por um pequeno grupo de usuários. ¯_(ツ)_/¯
Em resumo, é necessário gerenciar os dados de forma eficaz - só assim eles se tornarão um ativo que trará benefícios reais e lucros para o negócio. Infelizmente, para resolver questões de gestão de dados, é preciso superar várias dificuldades. Essas dificuldades se devem principalmente ao legado histórico na forma de 'zoológicos' de sistemas e à falta de processos e abordagens unificadas de gestão. Mas o que significa 'gerir dados'?
É exatamente sobre isso que vamos falar abaixo, além de como o stack de código aberto nos ajudou.
O conceito de gestão estratégica de dados, Data Governance (DG), já é bastante conhecido no mercado russo, e os objetivos alcançados pelos negócios como resultado de sua implementação são claros e bem definidos. Nossa empresa não foi uma exceção e estabeleceu como meta a implementação do conceito de gestão de dados.
Então, por onde começamos? Para começar, definimos nossos objetivos principais:
- Garantir a acessibilidade dos nossos dados.
- Garantir a transparência do ciclo de vida dos dados.
- Fornecer aos usuários da empresa dados consistentes e coerentes.
- Fornecer aos usuários da empresa dados verificados.
Atualmente, existem no mercado de software cerca de uma dúzia de ferramentas da classe Data Governance.
Mas após uma análise detalhada e estudo das soluções, identificamos vários pontos críticos:
- A maioria dos fabricantes oferece um conjunto abrangente de soluções, que para nós é excessivo e duplica funcionalidades já existentes. Além disso, a integração com o panorama de TI atual é dispendiosa em termos de recursos.
- A funcionalidade e a interface são voltadas para tecnólogos, e não para usuários de negócios finais.
- Baixa aceitação de produtos e falta de implementações bem-sucedidas no mercado russo.
- Alto custo de software e seu suporte contínuo.
Os critérios e recomendações mencionados acima sobre a substituição de software para empresas russas nos convenceram a seguir em direção ao desenvolvimento próprio em uma pilha de código aberto. Escolhemos o Django como plataforma - um framework gratuito e livre escrito em Python. Assim, identificamos os principais módulos que apoiarão os objetivos mencionados acima:
- Registro de relatórios.
- Glossário de negócios.
- Módulo para descrição de transformações técnicas.
- Módulo para descrição do ciclo de vida dos dados, desde a fonte até a ferramenta de BI.
- Módulo de controle de qualidade dos dados.
Registro de relatórios
De acordo com pesquisas internas em grandes empresas, ao lidar com questões relacionadas a dados, os funcionários gastam de 40 a 80% do tempo apenas buscando essas informações. Portanto, nos propusemos a tornar disponíveis informações sobre os relatórios existentes, que anteriormente estavam acessíveis apenas aos clientes. Assim, reduzimos o tempo para gerar novos relatórios e garantimos a democratização dos dados.
O registro de relatórios se tornou uma janela única de relatórios para usuários internos de diversas regiões, departamentos e divisões. Nesse registro, foram consolidadas informações sobre serviços de informação criados em vários repositórios corporativos da empresa, que são muitos na Rostelecom.
Mas o registro não é apenas uma lista seca de relatórios desenvolvidos. Para cada relatório, fornecemos as informações necessárias para que o usuário possa se familiarizar de forma independente:
- uma breve descrição do relatório;
- profundidade de disponibilidade dos dados;
- segmento de cliente;
- ferramenta de visualização;
- nome do repositório corporativo;
- requisitos de funcionalidade de negócio;
- link para o relatório;
- link para o pedido de acesso;
- status de implementação.
Os relatórios oferecem análises sobre o nível de utilização, e os relatórios estão entre os principais na lista com base na análise de logs quanto ao número de usuários únicos. E isso não é tudo. Além das características gerais, também incluímos uma descrição detalhada da composição dos relatórios com exemplos de valores e métodos de cálculo. Essa detalhação proporciona imediatamente ao usuário a resposta se o relatório é útil para ele ou não.
O desenvolvimento deste módulo foi um passo importante para a democratização dos dados e reduziu significativamente o tempo de busca pela informação necessária. Além da redução do tempo de busca, também houve uma diminuição no número de consultas à equipe de suporte para solicitação de aconselhamentos. Não podemos deixar de destacar mais um resultado positivo que alcançamos ao desenvolver um registro unificado de relatórios – a prevenção da criação de relatórios duplicados para diferentes unidades organizacionais.
Glossário de Negócios
Todos vocês sabem que mesmo dentro da mesma empresa, o negócio fala em diferentes linguagens. Sim, usam os mesmos termos, mas entendem coisas totalmente diferentes por eles. O glossário de negócios visa resolver esse problema.
Para nós, o glossário de negócios não é apenas um dicionário com descrições de termos e metodologia de cálculo. É um ambiente completo para o desenvolvimento, a concordância e a aprovação da terminologia, bem como para a construção de relacionamentos entre os termos e outros ativos informativos da empresa. Antes de ser incluído no glossário de negócios, um termo deve passar por todas as etapas de aprovação com os solicitantes do negócio e o centro de qualidade dos dados. Só então ele se torna disponível para uso.
Como já mencionei acima, a singularidade desta ferramenta está no fato de que ela permite fazer conexões desde o nível do termo de negócios até relatórios de usuário específicos nos quais ele é utilizado, bem como até o nível de objetos físicos em bancos de dados.
Isso se tornou possível através do uso de identificadores de termos do glossário nas descrições detalhadas dos relatórios do registro e na descrição dos objetos físicos dos bancos de dados.
Atualmente, o Glossário já definiu e concordou com mais de 4000 termos. Seu uso simplifica e acelera o processamento de solicitações recebidas para alterações nos sistemas de informação da empresa. Se o indicador requerido já estiver implementado em algum relatório, o usuário verá imediatamente um conjunto de relatórios prontos onde esse indicador foi utilizado, podendo decidir sobre a reutilização eficiente da funcionalidade existente ou sobre seu mínimo aprimoramento, sem iniciar novas solicitações para o desenvolvimento de um novo relatório.
Módulo de descrição de transformações técnicas e DataLineage
Você pode perguntar, que módulos são esses? Não basta apenas implementar o Registro de relatório e o Glossário; é necessário também aterrissar todos os termos de negócios no modelo físico de bancos de dados. Dessa forma, conseguimos concluir o processo de formação do ciclo de vida dos dados, desde os sistemas de origem até a visualização em BI, passando por todas as camadas do armazém de dados. Em outras palavras, construir o DataLineage.
Desenvolvemos uma interface que se baseou no formato anteriormente utilizado na empresa para descrever regras e lógica de transformação de dados. Através da interface, são inseridas as mesmas informações de antes, mas agora se tornou obrigatório determinar o identificador do termo do glossário de negócios. Assim, construímos a conexão entre as camadas de negócios e físicas.
Para quem isso é necessário? O que estava errado com o formato antigo, com o qual trabalhamos por vários anos? Quanto aumentou o esforço para formular requisitos? Enfrentamos essas perguntas durante o processo de implementação da ferramenta. Aqui as respostas são bastante simples - isso é necessário para todos nós, para o escritório de dados da nossa empresa e para nossos usuários.
De fato, os funcionários tiveram que se adaptar, o que inicialmente levou a um aumento pequeno no esforço para preparar a documentação, mas resolvemos essa questão. A prática, a identificação e a otimização de pontos problemáticos fizeram a sua parte. Conseguimos o principal — aumentamos a qualidade dos requisitos desenvolvidos. Campos obrigatórios, diretórios padronizados, máscaras de entrada, verificações integradas — tudo isso permitiu aumentar significativamente a qualidade das descrições das transformações. Abandonamos a prática de passar scripts como requisitos para o desenvolvimento e compartilhamos conhecimentos que estavam disponíveis apenas para a equipe de desenvolvimento. A base de metadados formada reduz drasticamente o tempo de realização de análises de regressão e proporciona uma avaliação rápida do impacto das mudanças em qualquer camada da paisagem de TI (relatórios de vitrine, agregados, fontes).
E qual a relevância para os usuários comuns de relatórios, quais são os benefícios para eles? Graças à capacidade de construir Data Lineage, nossos usuários, mesmo aqueles distantes de SQL e outras linguagens de programação, obtêm rapidamente informações sobre as fontes e objetos a partir dos quais um determinado relatório é formado.
Módulo de controle de qualidade de dados
Tudo o que discutimos acima em relação à transparência dos dados não é relevante sem a compreensão de que os dados que fornecemos aos usuários são corretos. Um dos módulos importantes da nossa concepção de Governança de Dados é o módulo de controle de qualidade de dados.
Neste estágio, trata-se de um catálogo de verificações para entidades selecionadas. O próximo objetivo para o desenvolvimento do produto é expandir a lista de verificações e integrar-se ao registro de relatórios.
O que isso trará e para quem? Para o usuário final do registro, informações sobre as datas planejadas e reais de prontidão do relatório estarão disponíveis, resultados dos testes realizados com dinâmica, informações sobre as fontes carregadas no relatório.
Para nós, um módulo de qualidade de dados integrado aos processos de trabalho significa:
- Formação imediata das expectativas dos clientes.
- Tomada de decisões sobre o uso futuro dos dados.
- Obtenção de um conjunto preliminar de pontos problemáticos nas fases iniciais do trabalho para desenvolver controles regulares de qualidade.
Certamente, estes são os primeiros passos para estabelecer um processo completo de gerenciamento de dados. Mas estamos certos de que, somente ao nos dedicarmos a esse trabalho, implementando ativamente ferramentas de DataGovernance no fluxo de trabalho, garantiremos aos nossos clientes informações, um alto nível de confiança nos dados, transparência na obtenção e aumentaremos a velocidade de lançamento de novas funcionalidades.
Equipe DataOffice
Fonte: habr.com
