A qualidade dos dados no armazenamento é uma pré-condição importante para a obtenção de informações valiosas. A má qualidade leva a uma reação em cadeia negativa a longo prazo.
Primeiro, a confiança nas informações fornecidas é perdida. As pessoas começam a usar menos aplicativos de Business Intelligence, e o potencial dos aplicativos permanece não utilizado.
Como resultado, as futuras investimentos em projetos de análise são questionados.
Responsabilidade pela qualidade dos dados
O aspecto relacionado à melhoria da qualidade dos dados é mega importante em projetos de BI. No entanto, não é um privilégio apenas de especialistas técnicos.
A qualidade dos dados é influenciada também por aspectos como
Cultura corporativa
- Os próprios funcionários estão interessados em produzir dados de boa qualidade?
- Se não, por quê? Pode haver um conflito de interesses.
- Existem regras corporativas que definem os responsáveis pela qualidade?
Processos
- Quais dados são gerados no final dessas cadeias?
- Os sistemas operacionais podem estar configurados de tal forma que é necessário "dar um jeito" para refletir determinadas situações na realidade.
- Os sistemas operacionais realizam a verificação e conciliação de dados por conta própria?
Todos na organização são responsáveis pela qualidade dos dados nos sistemas de relatório.
Definição e significado
Qualidade é a satisfação confirmada das expectativas do cliente.
Mas a qualidade dos dados não contém em si uma definição. Sempre reflete o contexto de uso. Um data warehouse e um sistema de BI têm objetivos diferentes de um sistema operacional, de onde os dados são retirados.
Por exemplo, em um sistema operacional, o atributo do cliente pode não ser um campo obrigatório. No data warehouse, esse atributo pode ser utilizado como uma dimensão e seu preenchimento é obrigatório. O que, por sua vez, introduz a necessidade de preenchimento com valores padrão.
Os requisitos para data warehouses estão em constante mudança e, geralmente, são mais altos do que para sistemas operacionais. Mas pode ser o contrário, quando não é necessário armazenar informações detalhadas de um sistema operacional no data warehouse.
Para tornar a qualidade dos dados mensurável, seus padrões devem ser descritos. As pessoas que usam informações e números em seu trabalho devem ser envolvidas no processo de descrição. O resultado desse envolvimento pode ser uma regra que permita, com um único olhar para a tabela, dizer se há um erro ou não. Essa regra precisa ser formatada como um script/código para verificação posterior.
Melhoria da qualidade dos dados
Não é possível limpar e corrigir todos os erros hipotéticos durante o carregamento dos dados no armazém. A boa qualidade dos dados só pode ser alcançada através de uma colaboração estreita entre todos os participantes. As pessoas que inserem dados nos sistemas operacionais devem entender quais ações levam a erros.
A qualidade dos dados é um processo. Infelizmente, muitas organizações não têm uma estratégia para sua melhoria contínua. Muitas se limitam a armazenar dados e não aproveitam todo o potencial dos sistemas analíticos. Em geral, ao desenvolver armazéns de dados, 70-80% do orçamento é destinado à implementação da integração de dados. O processo de controle e melhoria permanece incompleto, se é que existe.
Ferramentas
A aplicação de ferramentas de software pode ajudar no processo de automação da melhoria e monitoramento da qualidade dos dados. Por exemplo, elas podem automatizar completamente a verificação técnica das estruturas do armazém: formato dos campos, presença de valores padrão, conformidade com os requisitos dos nomes dos campos das tabelas.
A verificação do conteúdo pode ser mais complicada. À medida que os requisitos para o armazém mudam, a interpretação dos dados também pode mudar. A ferramenta em si pode se tornar um grande projeto, exigindo suporte.
Conselho
Bancos de dados relacionais, onde geralmente são projetados os armazéns, têm a notável capacidade de criar visões (views). Elas podem ser usadas para verificação rápida dos dados, se forem conhecidas as particularidades do conteúdo. Cada caso de identificação de erro ou problema nos dados pode ser registrado na forma de uma consulta ao banco de dados.
Assim, será formada uma base de conhecimentos sobre o conteúdo. Claro, essas consultas devem ser rápidas. Normalmente, o processamento de visualizações leva menos tempo humano do que as ferramentas organizadas em tabelas. A visualização está sempre pronta para mostrar o resultado da verificação.
No caso de relatórios importantes, a visualização pode conter uma coluna com o destinatário. Faz sentido utilizar as mesmas ferramentas de BI para criar relatórios sobre o estado da qualidade dos dados no armazenamento.
Exemplo
A consulta foi escrita para um banco de dados Oracle. Neste exemplo, os testes retornam um valor numérico que pode ser interpretado conforme necessário. Os valores de T_MIN e T_MAX podem regular o nível de alerta. O campo REPORT foi usado anteriormente como uma mensagem em um produto ETL comercial que não conseguia enviar emails de forma adequada, então rpad é uma 'gambiarra'.
No caso de uma tabela grande, pode-se adicionar, por exemplo, AND ROWNUM <= 10, ou seja, se houver 10 erros, isso é suficiente para um alerta.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Teste em si
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Contagem de vazios' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- não valor padrão
AND ATTRIBUTE IS NULL ); -- conta os vazios
Na publicação foram utilizados materiais do livro
Ronald Bachmann, Dr. Guido Kemper
Saindo da armadilha de BI
Como a Inteligência de Negócios se torna um sucesso
Fonte: habr.com
