La calidad de los datos en el almacenamiento es una condición importante para obtener información valiosa. Una mala calidad lleva a una reacción en cadena negativa a largo plazo.
Primero, se pierde la confianza en la información proporcionada. Las personas comienzan a usar menos las aplicaciones de Business Intelligence, y el potencial de las aplicaciones queda sin aprovechar.
Como resultado, se cuestionan las futuras inversiones en el proyecto analítico.
Responsabilidad por la calidad de los datos
El aspecto relacionado con la mejora de la calidad de los datos es megacrítico en los proyectos de BI. Sin embargo, no es un privilegio exclusivo de los especialistas técnicos.
La calidad de los datos también se ve afectada por aspectos como
La cultura corporativa
- ¿Están los propios empleados interesados en producir buena calidad?
- Si no, ¿por qué? Puede que haya un conflicto de intereses.
- ¿Existen reglas corporativas que determinan quién es responsable de la calidad?
Procesos
- ¿Qué datos se generan al final de estas cadenas?
- Tal vez los sistemas operativos están configurados de tal manera que se necesita "hacer malabares" para reflejar una u otra situación en la realidad.
- ¿Los sistemas operativos realizan ellos mismos la verificación y reconciliación de los datos?
Todos en la organización son responsables de la calidad de los datos en los sistemas de informes.
Definición y significado
La calidad es la confirmación de que se satisface las expectativas del cliente.
Pero la calidad de los datos no contiene una definición en sí misma. Siempre refleja el contexto de uso. El almacenamiento de datos y el sistema de BI tienen objetivos diferentes que el sistema operativo del cual se extraen los datos.
Por ejemplo, en el sistema operativo, el atributo del cliente puede no ser un campo obligatorio. En el almacenamiento, este atributo puede utilizarse como medida y su llenado es obligatorio. Lo que, a su vez, introduce la necesidad de completar con valores por defecto.
Los requisitos para el almacenamiento de datos cambian constantemente y generalmente son más altos que los de los sistemas operativos. Pero puede ser lo contrario, cuando el almacenamiento no requiere guardar información detallada del sistema operativo.
Para que la calidad de los datos sea medible, deben definirse sus estándares. Las personas que utilizan información y cifras en su trabajo deben participar en el proceso de definición. El resultado de esta participación puede ser una regla que permita, de un vistazo a una tabla, determinar si hay un error o no. Esta regla debe formalizarse en forma de script/código para la posterior verificación.
Mejora de la calidad de los datos
No es posible limpiar y corregir todos los errores hipotéticos durante la carga de datos en el almacenamiento. Solo se puede lograr una buena calidad de datos a través de la estrecha colaboración de todos los participantes. Las personas que ingresan datos en los sistemas operativos deben aprender qué acciones conducen a errores.
La calidad de los datos es un proceso. Desafortunadamente, en muchas organizaciones no hay una estrategia para su mejora continua. Muchos se limitan a conservar los datos y no aprovechan todo el potencial de los sistemas analíticos. Por lo general, al desarrollar almacenes de datos, se destina entre el 70 y el 80% del presupuesto a la implementación de la integración de datos. El proceso de control y mejora sigue sin desarrollarse, si es que se desarrolla.
Herramientas
La aplicación de herramientas de software puede ayudar en el proceso de automatización de la mejora y el monitoreo de la calidad de los datos. Por ejemplo, se puede automatizar completamente la verificación técnica de las estructuras de almacenamiento: formato de campos, existencia de valores predeterminados, conformidad con los requisitos de los nombres de los campos de las tablas.
La verificación del contenido puede ser más complicada. A medida que cambian los requisitos para el almacenamiento, también puede cambiar la interpretación de los datos. La herramienta misma puede convertirse en un gran proyecto que requiere mantenimiento.
Consejo
Las bases de datos relacionales, en las que generalmente se diseñan los almacenes, tienen una maravillosa capacidad para crear vistas. Se pueden utilizar para una rápida verificación de los datos, siempre que se conozcan las particularidades del contenido. Cada caso de detección de un error o problema en los datos puede registrarse en forma de consulta a la base de datos.
De esta manera, se formará una base de conocimientos sobre el contenido. Por supuesto, tales consultas deben ser rápidas. Por lo general, el mantenimiento de las vistas consume menos tiempo humano que las herramientas organizadas en tablas. La vista siempre está lista para mostrar el resultado de la verificación.
En el caso de informes importantes, la vista puede contener una columna con el destinatario. Tiene sentido utilizar las mismas herramientas de BI para generar informes sobre el estado de la calidad de los datos en el almacén.
Ejemplo
La consulta está escrita para la base de datos Oracle. En este ejemplo, las pruebas devuelven un valor numérico que se puede interpretar de la manera necesaria. Los valores T_MIN y T_MAX pueden regular el nivel de alerta. El campo REPORT se utilizaba anteriormente como un mensaje en un producto ETL comercial que no podía enviar correos electrónicos de manera adecuada, por lo que rpad es un 'parche'.
En el caso de una tabla grande, se puede añadir, por ejemplo, AND ROWNUM <= 10, es decir, si se han acumulado 10 errores, eso es suficiente para generar una alerta.
CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
THEN 'OK' ELSE 'ERROR' END AS RESULT,
DESCRIPTION,
TABLE_NAME,
OUTPUT,
T_MIN,
T_MAX,
rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
SELECT
'DIM_PRODUCT' AS TABLE_NAME,
'Count of blanks' AS DESCRIPTION,
COUNT(*) AS OUTPUT,
0 AS T_MIN,
10 AS T_MAX
FROM DIM_PRODUCT
WHERE DIM_PRODUCT_ID != -1 -- not default value
AND ATTRIBUTE IS NULL ); -- count blanks
Se han utilizado materiales del libro
Ronald Bachmann, Dr. Guido Kemper
Salir de la trampa de BI
Cómo la Inteligencia de Negocios se vuelve un éxito
Fuente: habr.com
