{"id":37701,"date":"2019-10-31T22:19:10","date_gmt":"2019-10-31T19:19:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh\/"},"modified":"2019-10-31T22:19:10","modified_gmt":"2019-10-31T19:19:10","slug":"monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","title":{"rendered":"Monitoreo de procesos ETL en un peque\u00f1o almac\u00e9n de datos","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Muchos utilizan herramientas especializadas para crear procedimientos de extracci\u00f3n, transformaci\u00f3n y carga de datos en bases de datos relacionales. El proceso de trabajo de las herramientas se registra y los errores se documentan.<\/p>\n

En caso de error, el registro contiene informaci\u00f3n sobre qu\u00e9 tarea el instrumento no pudo ejecutar y en qu\u00e9 m\u00f3dulos (frecuentemente es Java) se detuvieron. En las \u00faltimas l\u00edneas se puede encontrar el error de la base de datos, como una violaci\u00f3n de la clave \u00fanica de la tabla.<\/p>\n

Para responder a la pregunta sobre qu\u00e9 papel juega la informaci\u00f3n de errores de ETL, clasifiqu\u00e9 todos los problemas que ocurrieron en los \u00faltimos dos a\u00f1os en un gran almac\u00e9n de datos. <\/p>\n

\"Monitoreo<\/a><\/noindex><\/p>\n

Los errores de la base de datos incluyen aquellos como falta de espacio, desconexi\u00f3n, sesi\u00f3n bloqueada, etc.<\/p>\n

Los errores l\u00f3gicos incluyen aquellos como violaciones de claves de tabla, objetos no v\u00e1lidos, ausencia de acceso a objetos, etc.
\nEl programador puede no ejecutarse a tiempo, puede bloquearse, etc.<\/p>\n

Los errores simples no requieren mucho tiempo para corregirse. La mayor\u00eda de ellos pueden ser manejados por un buen ETL de forma aut\u00f3noma.<\/p>\n

Los errores complejos requieren abrir y revisar procedimientos de trabajo con datos, investigar fuentes de datos. A menudo llevan a la necesidad de probar cambios y despliegues.<\/p>\n

As\u00ed que, la mitad de todos los problemas est\u00e1n relacionados con la base de datos. El 48% de todos los errores son errores simples.
\nUn tercio de todos los problemas est\u00e1 relacionado con el cambio de l\u00f3gica o modelo del almac\u00e9n, m\u00e1s de la mitad de estos errores son complejos.<\/p>\n

Y menos de una cuarta parte de todos los problemas est\u00e1n relacionados con el programador de tareas, de los cuales el 18% son errores simples.<\/p>\n

En general, el 22% de todos los errores ocurridos son complejos, su correcci\u00f3n requiere la mayor atenci\u00f3n y tiempo. Ocurren aproximadamente una vez a la semana, mientras que los errores simples suceden casi todos los d\u00edas.<\/p>\n

Es evidente que el monitoreo de los procesos ETL ser\u00e1 efectivo cuando el registro indique con m\u00e1xima precisi\u00f3n el lugar del error y se requiera el m\u00ednimo tiempo para localizar la fuente del problema.<\/p>\n

Monitoreo efectivo<\/h4>\n

\n\u00bfQu\u00e9 me gustar\u00eda ver en el proceso de monitoreo de ETL?<\/p>\n

\"Monitoreo
\nInicio en \u2014 cu\u00e1ndo comenz\u00f3 a trabajar,
\nFuente \u2014 fuente de datos,
\nCapa \u2014 qu\u00e9 nivel del almac\u00e9n se est\u00e1 cargando,
\nNombre del trabajo ETL \u2014 procedimiento de carga que consiste en m\u00faltiples pasos peque\u00f1os,
\nN\u00famero de paso \u2014 n\u00famero del paso que se est\u00e1 llevando a cabo,
\nFilas afectadas \u2014 cu\u00e1ntos datos ya se han procesado.
\nDuraci\u00f3n en segundos \u2014 cu\u00e1nto tiempo ha estado en ejecuci\u00f3n.
\nEstado \u2014 si todo est\u00e1 bien o no: OK, ERROR, EN EJECUCI\u00d3N, BLOQUEADO.
\nMensaje \u2014 el \u00faltimo mensaje exitoso o la descripci\u00f3n del error.<\/p>\n

Con base en el estado de los registros, se puede enviar un correo electr\u00f3nico a otros participantes. Si no hay errores, el correo no es necesario.<\/p>\n

As\u00ed, en caso de error, se indica claramente el lugar del incidente.<\/p>\n

A veces ocurre que la propia herramienta de monitoreo no funciona. En tal caso, se puede llamar directamente en la base de datos a la vista utilizada para generar el informe.<\/p>\n

Tabla de monitoreo ETL.<\/h4>\n

\nPara implementar el monitoreo de procesos ETL, se necesita solo una tabla y una vista.<\/p>\n

Para ello, se puede volver a su peque\u00f1o almacenamiento.<\/a><\/noindex> y crear un prototipo en la base de datos SQLite.<\/p>\n

DDL de la tabla.<\/b><\/p>\n

CREATE TABLE UTL_JOB_STATUS (\n\/* Tabla para registrar el log de ejecuci\u00f3n del trabajo. Es importante que el trabajo tenga los pasos ETL_START y ETL_END o ETL_ERROR *\/\n  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,\n  SID               INTEGER NOT NULL DEFAULT -1, \/* Identificador de sesi\u00f3n. \u00danico para cada ejecuci\u00f3n del trabajo *\/\n  LOG_DT            INTEGER NOT NULL DEFAULT 0,  \/* Fecha y hora *\/\n  LOG_D             INTEGER NOT NULL DEFAULT 0,  \/* Fecha *\/\n  JOB_NAME          TEXT NOT NULL DEFAULT 'N\/A', \/* Nombre del trabajo como JOB_STG2DM_GEO *\/\n  STEP_NAME         TEXT NOT NULL DEFAULT 'N\/A', \/* ETL_START, ..., ETL_END\/ETL_ERROR *\/\n  STEP_DESCR        TEXT,                        \/* Descripci\u00f3n de la tarea o mensaje de error *\/\n  UNIQUE (SID, JOB_NAME, STEP_NAME)\n);\nINSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);<\/code><\/pre>\n
\nDDL de la vista\/informe.<\/b><\/p>\n
CREAR VISTA SI NO EXISTE UTL_JOB_STATUS_V\nCOMO \n\/* Contenido: Registro de Ejecuci\u00f3n del Paquete para los \u00faltimos 3 Meses. *\/\nCON SRC COMO (\n  SELECCIONAR LOG_D,\n    LOG_DT,\n    UTL_JOB_STATUS_ID,\n    SID,\n\tCASO CUANDO INSTR(JOB_NAME, 'FTP') ENTONCES 'TRANSFERENCIA' \/* transferencia de archivos *\/\n\t     CUANDO INSTR(JOB_NAME, 'STG') ENTONCES 'ETAPA' \/* etapa *\/\n\t     CUANDO INSTR(JOB_NAME, 'CLS') ENTONCES 'LIMPIEZA' \/* limpieza *\/\n\t     CUANDO INSTR(JOB_NAME, 'DIM') ENTONCES 'DIMENSI\u00d3N' \/* dimensi\u00f3n *\/\n\t     CUANDO INSTR(JOB_NAME, 'FCT') ENTONCES 'HECHO' \/* hecho *\/\n\t\t CUANDO INSTR(JOB_NAME, 'ETL') ENTONCES 'ETAPA-MART' \/* data mart *\/\n\t     CUANDO INSTR(JOB_NAME, 'RPT') ENTONCES 'INFORME' \/* informe *\/\n\t     OTRA 'N\/A' FIN COMO CAPA,\n\tCASO CUANDO INSTR(JOB_NAME, 'ACCESS') ENTONCES 'REGISTRO DE ACCESO' \/* fuente *\/\n\t     CUANDO INSTR(JOB_NAME, 'MASTER') ENTONCES 'DATOS MAESTROS' \/* fuente *\/\n\t     CUANDO INSTR(JOB_NAME, 'AD-HOC') ENTONCES 'AD-HOC' \/* fuente *\/\n\t     OTRA 'N\/A' FIN COMO FUENTE,\n    JOB_NAME,\n    STEP_NAME,\n    CASO CUANDO STEP_NAME='ETL_START' ENTONCES 1 OTRA 0 FIN COMO START_FLAG,\n    CASO CUANDO STEP_NAME='ETL_END' ENTONCES 1 OTRA 0 FIN COMO END_FLAG,\n    CASO CUANDO STEP_NAME='ETL_ERROR' ENTONCES 1 OTRA 0 FIN COMO ERROR_FLAG,\n    STEP_NAME || ' : ' || STEP_DESCR COMO STEP_LOG,\n\tSUBSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) COMO AFFECTED_ROWS\n  DE UTL_JOB_STATUS\n  DONDE datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')\n)\nSELECCIONAR JB.SID,\n  JB.MIN_LOG_DT COMO START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) COMO LOG_DT,\n  JB.SOURCE,\n  JB.LAYER,\n  JB.JOB_NAME,\n  CASO\n  CUANDO JB.ERROR_FLAG = 1 ENTONCES 'ERROR'\n  CUANDO JB.ERROR_FLAG = 0 Y JB.END_FLAG = 0 Y strftime('%s','ahora') - JB.MIN_LOG_DT > 0.5*60*60 ENTONCES 'EN ESPERA' \/* media hora *\/\n  CUANDO JB.ERROR_FLAG = 0 Y JB.END_FLAG = 0 ENTONCES 'EN EJECUCI\u00d3N'\n  OTRA 'OK'\n  FIN COMO ESTADO,\n  ERR.STEP_LOG     COMO STEP_LOG,\n  JB.CNT           COMO STEP_CNT,\n  JB.AFFECTED_ROWS COMO AFFECTED_ROWS,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) COMO JOB_START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) COMO JOB_END_DT,\n  JB.MAX_LOG_DT - JB.MIN_LOG_DT COMO JOB_DURATION_SEC\nDE\n  ( SELECCIONAR SID, SOURCE, LAYER, JOB_NAME,\n           MAX(UTL_JOB_STATUS_ID) COMO UTL_JOB_STATUS_ID,\n           MAX(START_FLAG)       COMO START_FLAG,\n           MAX(END_FLAG)         COMO END_FLAG,\n           MAX(ERROR_FLAG)       COMO ERROR_FLAG,\n           MIN(LOG_DT)           COMO MIN_LOG_DT,\n           MAX(LOG_DT)           COMO MAX_LOG_DT,\n           SUM(1)                COMO CNT,\n           SUM(IFNULL(AFFECTED_ROWS, 0)) COMO AFFECTED_ROWS\n    DE SRC\n    GROUP BY SID, SOURCE, LAYER, JOB_NAME\n  ) JB,\n  ( SELECCIONAR UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG\n    DE SRC\n    DONDE 1 = 1\n  ) ERR\nDONDE 1 = 1\n  Y JB.SID = ERR.SID\n  Y JB.JOB_NAME = ERR.JOB_NAME\n  Y JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID\nORDER BY JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;<\/code><\/pre>\n
\nVerificaci\u00f3n SQL de la posibilidad de obtener un nuevo n\u00famero de sesi\u00f3n<\/b><\/p>\n
SELECCIONAR SUMA (\n  CASO CUANDO start_job.JOB_NAME NO ES NULO Y end_job.JOB_NAME ES NULO \/* trabajo existente finalizado *\/\n\t    Y NO ( 'y' = 'n' ) \/* reinicio forzado PAR\u00c1METRO *\/\n       ENTONCES 1 OTRA 0\n  FIN ) COMO IS_RUNNING\n  DE\n    ( SELECCIONAR 1 COMO dummy DE UTL_JOB_STATUS DONDE sid = -1) d_job\n  UNIR EXTERNO A LA IZQUIERDA\n    ( SELECCIONAR JOB_NAME, SID, 1 COMO dummy\n      DE UTL_JOB_STATUS\n      DONDE JOB_NAME = 'RPT_ACCESS_LOG' \/* nombre del trabajo PAR\u00c1METRO *\/\n\t    Y STEP_NAME = 'ETL_START'\n      GROUP BY JOB_NAME, SID\n    ) start_job \/* inicios *\/\n  EN d_job.dummy = start_job.dummy\n  UNIR EXTERNO A LA IZQUIERDA\n    ( SELECCIONAR JOB_NAME, SID\n      DE UTL_JOB_STATUS\n      DONDE JOB_NAME = 'RPT_ACCESS_LOG'  \/* nombre del trabajo PAR\u00c1METRO *\/\n\t    Y STEP_NAME en ('ETL_END', 'ETL_ERROR') \/* estado de parada *\/\n      GROUP BY JOB_NAME, SID\n    ) end_job \/* finales *\/\n  EN start_job.JOB_NAME = end_job.JOB_NAME\n     Y start_job.SID = end_job.SID<\/code><\/pre>\n
\nCaracter\u00edsticas de la tabla:<\/p>\n