¡Hola, Habr!
Los datos son un activo valiosísimo para la empresa. Casi todas las empresas con un enfoque digital afirman esto. Es difícil discutirlo: sin un debate sobre los enfoques de gestión, almacenamiento y procesamiento de datos, no pasa ninguna gran conferencia de TI en la actualidad.
Los datos nos llegan desde el exterior, también se generan dentro de la empresa, y si hablamos de datos de una empresa de telecomunicaciones, para los empleados internos representan un tesoro de información sobre el cliente, sus intereses, hábitos y ubicación. Con un perfilado y segmentación adecuados, las ofertas publicitarias son mucho más efectivas. Sin embargo, en la práctica no todo es tan brillante. Los datos que las empresas almacenan pueden estar desesperadamente desactualizados, ser redundantes, repetidos o de su existencia solo saben un número reducido de usuarios. ¯_(ツ)_/¯
En una palabra, es necesario gestionar los datos de manera efectiva; solo así se convertirán en un activo que aporte un verdadero beneficio y ganancia al negocio. Desafortunadamente, hay muchas dificultades que superar para resolver las cuestiones de gestión de datos. Estas se deben, en gran medida, tanto a un legado histórico en forma de 'zoos' de sistemas como a la falta de procesos y enfoques unificados para gestionarlos. Pero, ¿qué significa 'gestionar los datos'?
Precisamente de esto hablaremos a continuación, así como de cómo nos ayudó la pila de código abierto.
El concepto de gestión estratégica de datos, Data Governance (DG), ya es bastante conocido en el mercado ruso, y los objetivos que las empresas alcanzan como resultado de su implementación son claros y bien declarados. Nuestra empresa no fue la excepción y se propuso implementar el concepto de gestión de datos.
Entonces, ¿por dónde empezamos? Primero, definimos nuestros objetivos clave:
- Asegurar la disponibilidad de nuestros datos.
- Garantizar la transparencia del ciclo de vida de los datos.
- Proporcionar a los usuarios de la empresa datos coherentes y no contradictorios.
- Proporcionar a los usuarios de la empresa datos verificados.
Actualmente, hay varios instrumentos de clase Data Governance en el mercado de software.
Sin embargo, tras un análisis detallado y el estudio de las soluciones, hemos señalado una serie de observaciones críticas:
- La mayoría de los fabricantes ofrecen un conjunto completo de soluciones, que para nosotros son excesivas y duplican la funcionalidad ya existente. Además, la integración en el paisaje IT actual resulta costosa en términos de recursos.
- La funcionalidad y la interfaz están destinadas a los tecnólogos, no a los usuarios finales del negocio.
- Baja adopción de productos y la falta de implementaciones exitosas en el mercado ruso.
- El alto costo del software y su posterior mantenimiento.
Los criterios y recomendaciones mencionados anteriormente en cuanto a la sustitución del software para las empresas rusas nos convencieron de ir hacia el desarrollo propio en un stack opensource. Elegimos Django como plataforma, un marco gratuito y de código abierto escrito en Python. De este modo, hemos destacado los módulos clave que ayudarán a alcanzar los objetivos mencionados anteriormente:
- Registro de informes.
- Glosario empresarial.
- Módulo de descripción de transformaciones técnicas.
- Módulo de descripción del ciclo de vida de los datos desde la fuente hasta la herramienta BI.
- Módulo de control de calidad de los datos.
Registro de informes
Según investigaciones internas en grandes empresas, al abordar tareas relacionadas con los datos, los empleados gastan entre el 40% y el 80% de su tiempo en buscarlos. Por lo tanto, nos hemos propuesto abrir la información sobre los informes existentes, que anteriormente solo estaban disponibles para clientes. De este modo, acortamos el tiempo para generar nuevos informes y aseguramos la democratización de los datos.
El registro de informes se ha convertido en una ventanilla única de informes para usuarios internos de diversas regiones, departamentos y divisiones. En él se ha consolidado la información sobre los servicios de información creados en varios almacenes corporativos de la empresa, que son numerosos en Rostelecom.
Pero el registro no es solo una lista seca de informes desarrollados. Para cada informe proporcionamos la información necesaria para que el usuario se familiarice con él de manera autónoma:
- descripción breve del informe;
- profundidad de disponibilidad de los datos;
- segmento de cliente;
- herramienta de visualización;
- nombre del almacén corporativo;
- requisitos funcionales del negocio;
- enlace al informe;
- enlace a la solicitud de acceso;
- estado de implementación.
Los informes ofrecen análisis del nivel de uso, y los reportes se clasifican en la parte superior de la lista basándose en la analítica de los registros según el número de usuarios únicos. Y eso no es todo. Además de las características generales, hemos incluido una descripción detallada de la composición de atributos de los informes con ejemplos de valores y la metodología de cálculos. Este tipo de detalle inmediatamente le da al usuario una respuesta sobre si el informe le es útil o no.
El desarrollo de este módulo ha sido un paso importante en la democratización de los datos y ha reducido significativamente el tiempo de búsqueda de la información requerida. Además de acortar el tiempo de búsqueda, también ha disminuido la cantidad de consultas al equipo de soporte para recibir asesoría. No se puede pasar por alto otro resultado útil que hemos logrado al crear un registro único de informes: la prevención de la creación de informes duplicados para diferentes unidades estructurales.
Glosario de negocios
Todos saben que incluso dentro de la misma empresa, el negocio habla diferentes idiomas. Sí, utilizan los mismos términos, pero entienden cosas completamente diferentes bajo ellos. La solución a este problema es el glosario de negocios.
Para nosotros, el glosario de negocios no es solo un directorio con descripciones de términos y metodologías de cálculo. Es un entorno completo para el desarrollo, la aprobación y la validación de la terminología, así como para la construcción de relaciones entre términos y otros activos informativos de la empresa. Antes de entrar en el glosario de negocios, un término debe pasar todas las etapas de aprobación por parte de los solicitantes de negocios y el centro de calidad de datos. Solo después de eso se hace disponible para su uso.
Como ya mencioné anteriormente, la singularidad de esta herramienta radica en que permite trazar conexiones desde el nivel de término comercial hasta los informes específicos de los usuarios en los que se utiliza, así como hasta el nivel de objetos físicos de bases de datos.
Esto se ha logrado mediante el uso de identificadores de términos del glosario en la descripción detallada de los informes del registro y la descripción de los objetos físicos de las bases de datos.
Actualmente, en el Glosario se han definido y aprobado más de 4000 términos. Su uso simplifica y acelera el procesamiento de las solicitudes de cambios que se reciben en los sistemas de información de la empresa. Si un indicador requerido ya se ha implementado en alguno de los informes, el usuario verá de inmediato un conjunto de informes listos donde se ha utilizado dicho indicador, y podrá tomar una decisión sobre el reutilización efectiva de la funcionalidad existente o sobre su mínima modificación, sin necesitar iniciar nuevas solicitudes para el desarrollo de un nuevo informe.
Módulo de descripción de transformaciones técnicas y DataLineage
¿Se pregunta qué son estos módulos? No es suficiente con implementar el Registro de informes y el Glosario; también es necesario atar todos los términos comerciales al modelo físico de bases de datos. De esta manera, pudimos completar el proceso de formación del ciclo de vida de los datos desde los sistemas fuente hasta la visualización en BI a través de todas las capas del almacén de datos. En otras palabras, construir DataLineage.
Hemos desarrollado una interfaz basada en el formato de descripción de las reglas y la lógica de transformación de datos que se utilizaba anteriormente en la empresa. A través de la interfaz se introduce la misma información que antes, pero se ha vuelto obligatorio definir el identificador del término del glosario empresarial. Así establecemos la conexión entre las capas de negocio y físicas.
¿A quién le importa esto? ¿Qué no funcionó en el formato antiguo, con el que trabajamos durante varios años? ¿Cuánto han aumentado los esfuerzos para la formación de requisitos? Nos encontramos con tales preguntas durante el proceso de implementación de la herramienta. Aquí las respuestas son bastante simples: esto nos beneficia a todos, a la oficina de datos de nuestra empresa y a nuestros usuarios.
En efecto, los empleados tuvieron que adaptarse; al principio, esto condujo a un ligero aumento en el esfuerzo requerido para preparar la documentación, pero hemos resuelto esta cuestión. La práctica, la identificación y la optimización de los puntos problemáticos han dado su fruto. Hemos logrado lo más importante: mejorar la calidad de los requisitos desarrollados. Los campos obligatorios, los glosarios estandarizados, las máscaras de entrada y las verificaciones integradas han permitido aumentar considerablemente la calidad de las descripciones de las transformaciones. Nos hemos alejado de la práctica de entregar scripts como requisitos para el desarrollo y hemos compartido conocimientos que antes solo estaban disponibles para el equipo de desarrollo. La base de metadatos creada reduce significativamente el tiempo de análisis de regresión y permite evaluar rápidamente el impacto de los cambios en cualquiera de los niveles del paisaje de TI (informes de vitrinas, agregados, fuentes).
¿Y qué tienen que ver aquí los usuarios comunes de informes, cuáles son las ventajas para ellos? Gracias a la capacidad de construir DataLineage, nuestros usuarios, incluso aquellos alejados de SQL y otros lenguajes de programación, obtienen rápidamente información sobre las fuentes y objetos en base a los cuales se forma cada informe.
Módulo de control de calidad de datos
Todo lo que hemos mencionado anteriormente en cuanto a garantizar la transparencia de los datos no importa sin entender que los datos que proporcionamos a los usuarios son correctos. Uno de los módulos más importantes de nuestra concepción de Data Governance es el módulo de control de calidad de datos.
En esta etapa, se trata de un catálogo de verificaciones por entidades seleccionadas. El objetivo más cercano en el desarrollo del producto es ampliar la lista de verificaciones e integrarlo con el registro de informes.
¿Qué implicará esto y para quién? Para el usuario final del registro, estará disponible información sobre las fechas planificadas y efectivas de disponibilidad del informe, los resultados de las verificaciones realizadas con dinámica, y los datos sobre las fuentes cargadas en el informe.
Para nosotros, un módulo de calidad de datos integrado en los procesos de trabajo es:
- Formación rápida de las expectativas de los clientes.
- Toma de decisiones sobre el uso posterior de los datos.
- Obtención de un conjunto preliminar de puntos problemáticos en las etapas iniciales del trabajo para el desarrollo de controles de calidad regulares.
Sin duda, estos son los primeros pasos para establecer un proceso completo de gestión de datos. Pero estamos seguros de que, solo trabajando de manera intencional en esta tarea, implementando activamente herramientas de DataGovernance en los procesos laborales, proporcionaremos a nuestros clientes información, un alto nivel de confianza en los datos, transparencia en su obtención y aumentaremos la velocidad de implementación de nuevas funcionalidades.
Equipo de DataOffice
Fuente: habr.com
