{"id":37701,"date":"2019-10-31T22:19:10","date_gmt":"2019-10-31T19:19:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh\/"},"modified":"2019-10-31T22:19:10","modified_gmt":"2019-10-31T19:19:10","slug":"monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","title":{"rendered":"Monitoraggio dei processi ETL in un piccolo data store","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Molti utilizzano strumenti specializzati per creare procedure di estrazione, trasformazione e caricamento dei dati in database relazionali. Il processo di lavoro degli strumenti viene registrato e gli errori vengono annotati.<\/p>\n

In caso di errore, il registro contiene informazioni sul fatto che lo strumento non \u00e8 riuscito a completare il compito e quali moduli (spesso \u00e8 java) si sono bloccati. Nelle ultime righe si pu\u00f2 trovare l'errore del database, ad esempio, violazione della chiave unica della tabella.<\/p>\n

Per rispondere alla domanda riguardo al ruolo delle informazioni sugli errori ETL, ho classificato tutti i problemi verificatisi negli ultimi due anni in un ampio data warehouse. <\/p>\n

\"Monitoraggio<\/a><\/noindex><\/p>\n

Tra gli errori del database ci sono quelli come mancanza di spazio, connessione interrotta, sessione bloccata, ecc.<\/p>\n

Gli errori logici includono quelli come violazione delle chiavi della tabella, oggetti non validi, mancanza di accesso agli oggetti, ecc.
\nLa pianificazione pu\u00f2 essere eseguita in ritardo, pu\u00f2 bloccarsi, ecc.<\/p>\n

Gli errori semplici non richiedono molto tempo per essere corretti. La maggior parte di essi pu\u00f2 essere gestita autonomamente da un buon ETL.<\/p>\n

Gli errori complessi richiedono di aprire e verificare le procedure di gestione dei dati, esaminare le fonti di dati. Spesso portano alla necessit\u00e0 di testare le modifiche e il deploy.<\/p>\n

Quindi, met\u00e0 di tutti i problemi \u00e8 legata al database. Il 48% di tutti gli errori sono errori semplici.
\nUn terzo di tutti i problemi \u00e8 associato a cambiamenti nella logica o nel modello del data warehouse, oltre met\u00e0 di questi errori sono complessi.<\/p>\n

Meno di un quarto di tutti i problemi \u00e8 legato al pianificatore delle attivit\u00e0, il 18% dei quali sono errori semplici.<\/p>\n

In generale, il 22% di tutti gli errori verificatisi \u00e8 complesso, la cui correzione richiede il massimo dell'attenzione e del tempo. Si verificano circa una volta alla settimana. Mentre gli errori semplici accadono quasi ogni giorno.<\/p>\n

\u00c8 evidente che il monitoraggio dei processi ETL \u00e8 efficace quando nel registro \u00e8 indicato il luogo dell'errore con la massima precisione e richiede il minimo tempo per trovare la fonte del problema.<\/p>\n

Monitoraggio efficace<\/h4>\n

\nCosa mi piacerebbe vedere nel processo di monitoraggio ETL?<\/p>\n

\"Monitoraggio
\nInizio alle \u2014 quando \u00e8 iniziato il lavoro,
\nFonte \u2014 fonte dei dati,
\nLivello \u2014 quale livello del data warehouse viene caricato,
\nNome del lavoro ETL \u2014 procedura di caricamento che consiste in molti piccoli passaggi,
\nNumero del passo \u2014 numero del passo in esecuzione,
\nRighe interessate \u2014 quanti dati sono gi\u00e0 stati elaborati,
\nDurata sec \u2014 quanto tempo ci vuole per completare,
\nStato \u2014 \u00e8 tutto ok o no: OK, ERRORE, IN CORSO, BLOCCATO
\nMessaggio \u2014 ultimo messaggio riuscito o descrizione dell'errore.<\/p>\n

In base allo stato delle registrazioni, \u00e8 possibile inviare un'e-mail ad altri partecipanti. Se non ci sono errori, l'email non \u00e8 necessaria.<\/p>\n

In questo modo, in caso di errore, \u00e8 indicato chiaramente il luogo dell'incidente.<\/p>\n

A volte pu\u00f2 capitare che lo strumento di monitoraggio non funzioni. In tal caso, \u00e8 possibile richiamare direttamente nella base di dati la vista sulla quale \u00e8 stato costruito il report.<\/p>\n

Tabella di monitoraggio ETL<\/h4>\n

\nPer monitorare i processi ETL \u00e8 sufficiente una tabella e una vista.<\/p>\n

Per questo, \u00e8 possibile tornare al tuo piccolo magazzino<\/a><\/noindex> e creare un prototipo nel database sqlite.<\/p>\n

DDL della tabella<\/b><\/p>\n

CREATE TABLE UTL_JOB_STATUS (\n\ntable for logging of job execution log. Important that the job has the steps ETL_START and ETL_END or ETL_ERROR\n  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,\n  SID               INTEGER NOT NULL DEFAULT -1, \/* Session Identificator. Unique for every Run of job *\/\n  LOG_DT            INTEGER NOT NULL DEFAULT 0,  \/* Date time *\/\n  LOG_D             INTEGER NOT NULL DEFAULT 0,  \/* Date *\/\n  JOB_NAME          TEXT NOT NULL DEFAULT 'N\/A', \/* Job name like JOB_STG2DM_GEO *\/\n  STEP_NAME         TEXT NOT NULL DEFAULT 'N\/A', \/* ETL_START, ... , ETL_END\/ETL_ERROR *\/\n  STEP_DESCR        TEXT,                        \/* Description of task or error message *\/\n  UNIQUE (SID, JOB_NAME, STEP_NAME)\n);\nINSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);<\/code><\/pre>\n
\nDDL vista\/report<\/b><\/p>\n
CREA VISUALIZZAZIONE SE NON ESISTE UTL_JOB_STATUS_V\nCOME \n\/* Contenuto: Registro di esecuzione del pacchetto per gli ultimi 3 mesi. *\/\nCON SRC AS (\n  SELECT LOG_D,\n    LOG_DT,\n    UTL_JOB_STATUS_ID,\n    SID,\n\tCASE WHEN INSTR(JOB_NAME, 'FTP') THEN 'TRASFERIMENTO' \/* trasferimento file *\/\n\t     WHEN INSTR(JOB_NAME, 'STG') THEN 'STADIO' \/* fase *\/\n\t     WHEN INSTR(JOB_NAME, 'CLS') THEN 'PULIZIA' \/* pulizia *\/\n\t     WHEN INSTR(JOB_NAME, 'DIM') THEN 'DIMENSIONE' \/* dimensione *\/\n\t     WHEN INSTR(JOB_NAME, 'FCT') THEN 'FATTO' \/* fatto *\/\n\t\t WHEN INSTR(JOB_NAME, 'ETL') THEN 'STAGE-MART' \/* data mart *\/\n\t     WHEN INSTR(JOB_NAME, 'RPT') THEN 'REPORT' \/* report *\/\n\t     ELSE 'N\/A' END AS LAYER,\n\tCASE WHEN INSTR(JOB_NAME, 'ACCESS') THEN 'LOG ACCESSO' \/* sorgente *\/\n\t     WHEN INSTR(JOB_NAME, 'MASTER') THEN 'DATI MASTER' \/* sorgente *\/\n\t     WHEN INSTR(JOB_NAME, 'AD-HOC') THEN 'AD-HOC' \/* sorgente *\/\n\t     ELSE 'N\/A' END AS SOURCE,\n    JOB_NAME,\n    STEP_NAME,\n    CASE WHEN STEP_NAME='ETL_START' THEN 1 ELSE 0 END AS START_FLAG,\n    CASE WHEN STEP_NAME='ETL_END' THEN 1 ELSE 0 END AS END_FLAG,\n    CASE WHEN STEP_NAME='ETL_ERROR' THEN 1 ELSE 0 END AS ERROR_FLAG,\n    STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,\n\tSUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS\n  FROM UTL_JOB_STATUS\n  WHERE datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')\n)\nSELECT JB.SID,\n  JB.MIN_LOG_DT AS START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS LOG_DT,\n  JB.SOURCE,\n  JB.LAYER,\n  JB.JOB_NAME,\n  CASE\n  WHEN JB.ERROR_FLAG = 1 THEN 'ERRORE'\n  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 AND strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 THEN 'IN FONDO' \/* mezz'ora *\/\n  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 THEN 'IN ESECUZIONE'\n  ELSE 'OK'\n  END AS STATUS,\n  ERR.STEP_LOG     AS STEP_LOG,\n  JB.CNT           AS STEP_CNT,\n  JB.AFFECTED_ROWS AS AFFECTED_ROWS,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS JOB_START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) AS JOB_END_DT,\n  JB.MAX_LOG_DT - JB.MIN_LOG_DT AS JOB_DURATION_SEC\nFROM\n  ( SELECT SID, SOURCE, LAYER, JOB_NAME,\n           MAX(UTL_JOB_STATUS_ID) AS UTL_JOB_STATUS_ID,\n           MAX(START_FLAG)       AS START_FLAG,\n           MAX(END_FLAG)         AS END_FLAG,\n           MAX(ERROR_FLAG)       AS ERROR_FLAG,\n           MIN(LOG_DT)           AS MIN_LOG_DT,\n           MAX(LOG_DT)           AS MAX_LOG_DT,\n           SUM(1)                AS CNT,\n           SUM(IFNULL(AFFECTED_ROWS, 0)) AS AFFECTED_ROWS\n    FROM SRC\n    GROUP BY SID, SOURCE, LAYER, JOB_NAME\n  ) JB,\n  ( SELECT UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG\n    FROM SRC\n    WHERE 1 = 1\n  ) ERR\nWHERE 1 = 1\n  AND JB.SID = ERR.SID\n  AND JB.JOB_NAME = ERR.JOB_NAME\n  AND JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID\nORDER BY JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;<\/code><\/pre>\n
\nControllo SQL della possibilit\u00e0 di ottenere un nuovo numero di sessione<\/b><\/p>\n
SELECT SUM (\n  CASE WHEN start_job.JOB_NAME IS NOT NULL AND end_job.JOB_NAME IS NULL \/* il lavoro esistente \u00e8 terminato *\/\n\t    AND NOT ( 'y' = 'n' ) \/* forzare il riavvio PARAMETRO *\/\n       THEN 1 ELSE 0\n  END ) AS IS_RUNNING\n  FROM\n    ( SELECT 1 AS dummy FROM UTL_JOB_STATUS WHERE sid = -1) d_job\n  LEFT OUTER JOIN\n    ( SELECT JOB_NAME, SID, 1 AS dummy\n      FROM UTL_JOB_STATUS\n      WHERE JOB_NAME = 'RPT_ACCESS_LOG' \/* nome lavoro PARAMETRO *\/\n\t    AND STEP_NAME = 'ETL_START'\n      GROUP BY JOB_NAME, SID\n    ) start_job \/* inizio *\/\n  ON d_job.dummy = start_job.dummy\n  LEFT OUTER JOIN\n    ( SELECT JOB_NAME, SID\n      FROM UTL_JOB_STATUS\n      WHERE JOB_NAME = 'RPT_ACCESS_LOG'  \/* nome lavoro PARAMETRO *\/\n\t    AND STEP_NAME in ('ETL_END', 'ETL_ERROR') \/* fermata stato *\/\n      GROUP BY JOB_NAME, SID\n    ) end_job \/* fine *\/\n  ON start_job.JOB_NAME = end_job.JOB_NAME\n     AND start_job.SID = end_job.SID<\/code><\/pre>\n
\nCaratteristiche della tabella:<\/p>\n