{"id":37701,"date":"2019-10-31T22:19:10","date_gmt":"2019-10-31T19:19:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh\/"},"modified":"2019-10-31T22:19:10","modified_gmt":"2019-10-31T19:19:10","slug":"monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","title":{"rendered":"\u00dcberwachung von ETL-Prozessen in einem kleinen Datenspeicher","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Viele nutzen spezialisierte Werkzeuge zur Erstellung von Prozessen zur Extraktion, Transformation und Speicherung von Daten in relationalen Datenbanken. Die Arbeitsabl\u00e4ufe der Werkzeuge werden protokolliert und Fehler festgehalten.<\/p>\n

Im Fehlerfall enth\u00e4lt das Protokoll Informationen dar\u00fcber, dass das Werkzeug die Aufgabe nicht ausf\u00fchren konnte und in welchen Modulen (h\u00e4ufig handelt es sich um Java) es zu einem Halt kam. In den letzten Zeilen l\u00e4sst sich der Datenbankfehler finden, beispielsweise ein Versto\u00df gegen den einzigartigen Schl\u00fcssel der Tabelle.<\/p>\n

Um die Rolle der Fehlermeldungen im ETL-Prozess zu erl\u00e4utern, habe ich alle Probleme, die in den letzten zwei Jahren in einem gro\u00dfen Speicher aufgetreten sind, klassifiziert. <\/p>\n

\"\u00dcberwachung<\/a><\/noindex><\/p>\n

Zu den Datenbankfehlern geh\u00f6ren Probleme wie nicht ausreichender Speicherplatz, unterbrochene Verbindungen, h\u00e4ngende Sessions usw.<\/p>\n

Logische Fehler umfassen Dinge wie Verletzungen von Tabellenschl\u00fcsseln, ung\u00fcltige Objekte, fehlender Zugriff auf Objekte usw.
\nDer Scheduler kann versp\u00e4tet gestartet werden, h\u00e4ngen bleiben usw.<\/p>\n

Einfache Fehler erfordern nicht viel Zeit zur Behebung. Mit den meisten kann ein gutes ETL-System selbstst\u00e4ndig umgehen.<\/p>\n

Komplexe Fehler erfordern das \u00d6ffnen und \u00dcberpr\u00fcfen von Datenverarbeitungsverfahren sowie die Analyse von Datenquellen. Dies f\u00fchrt h\u00e4ufig zu \u00c4nderungen und Tests von Deployments.<\/p>\n

So h\u00e4ngt die H\u00e4lfte aller Probleme mit der Datenbank zusammen. 48 % aller Fehler sind einfache Fehler.
\nEin Drittel aller Probleme ist auf Ver\u00e4nderungen in der Logik oder Struktur des Speichers zur\u00fcckzuf\u00fchren, wobei mehr als die H\u00e4lfte dieser Fehler komplex ist.<\/p>\n

Und weniger als ein Viertel aller Probleme betrifft den Aufgabenplaner, von denen 18 % einfache Fehler sind.<\/p>\n

Insgesamt sind 22 % aller aufgetretenen Fehler komplex, deren Behebung die meiste Aufmerksamkeit und Zeit erfordert. Sie treten etwa einmal pro Woche auf, w\u00e4hrend einfache Fehler fast t\u00e4glich vorkommen.<\/p>\n

Offensichtlich wird das Monitoring von ETL-Prozessen dann effektiv sein, wenn der Fehler im Protokoll so genau wie m\u00f6glich angegeben ist und die Suche nach der Problembquelle minimalen Aufwand erfordert.<\/p>\n

Effektives Monitoring<\/h4>\n

\nWas h\u00e4tte ich mir im ETL-Monitoring gew\u00fcnscht?<\/p>\n

\"\u00dcberwachung
\nStart at \u2014 wann der Prozess begonnen hat,
\nSource \u2014 Datenquelle,
\nLayer \u2014 welche Ebene des Speichers geladen wird,
\nETL-Job-Name \u2014 ein Ladeprozess, der aus vielen kleinen Schritten besteht,
\nSchritt Nummer \u2014 die Nummer des ausgef\u00fchrten Schrittes,
\nBetroffene Zeilen \u2014 wie viele Daten bereits verarbeitet wurden,
\nDauer in Sekunden \u2014 wie lange die Ausf\u00fchrung dauert,
\nStatus \u2014 ob alles in Ordnung ist oder nicht: OK, ERROR, RUNNING, HANGS
\nNachricht \u2014 die letzte erfolgreiche Mitteilung oder eine Fehlerbeschreibung.<\/p>\n

Basierend auf dem Status der Aufzeichnungen kann eine E-Mail an andere Teilnehmer gesendet werden. Wenn keine Fehler auftreten, ist die E-Mail nicht zwingend erforderlich.<\/p>\n

So ist im Falle eines Fehlers der genaue Ort des Vorfalls klar angegeben.<\/p>\n

Es kommt manchmal vor, dass das \u00dcberwachungstool selbst nicht funktioniert. In diesem Fall besteht die M\u00f6glichkeit, direkt in der Datenbank die Ansicht (View) aufzurufen, auf der der Bericht basiert.<\/p>\n

ETL-\u00dcberwachungstabelle<\/h4>\n

\nUm die ETL-Prozesse zu \u00fcberwachen, gen\u00fcgt eine Tabelle und eine Ansicht.<\/p>\n

Dazu kann man zur\u00fcckgehen zu seinem kleinen Speicher<\/a><\/noindex> und einen Prototyp in der SQLite-Datenbank erstellen.<\/p>\n

DDL-Tabelle<\/b><\/p>\n

ERSTELLEN SIE DIE TABELLE UTL_JOB_STATUS (\n\/* Tabelle zur Protokollierung der Jobausf\u00fchrung. Wichtig, dass der Job die Schritte ETL_START und ETL_END oder ETL_ERROR hat *\/\n  UTL_JOB_STATUS_ID INTEGER NICHT NULL PRIMARY KEY AUTOINCREMENT,\n  SID               INTEGER NICHT NULL STANDARD -1, \/* Sitzungsidentifikator. Einzigartig f\u00fcr jede Ausf\u00fchrung des Jobs *\/\n  LOG_DT            INTEGER NICHT NULL STANDARD 0,  \/* Datum und Uhrzeit *\/\n  LOG_D             INTEGER NICHT NULL STANDARD 0,  \/* Datum *\/\n  JOB_NAME          TEXT NICHT NULL STANDARD 'N\/A', \/* Jobname wie JOB_STG2DM_GEO *\/\n  STEP_NAME         TEXT NICHT NULL STANDARD 'N\/A', \/* ETL_START, ..., ETL_END\/ETL_ERROR *\/\n  STEP_DESCR        TEXT,                        \/* Beschreibung der Aufgabe oder Fehlermeldung *\/\n  EINDEUTIG (SID, JOB_NAME, STEP_NAME)\n);\nEINF\u00dcGEN IN UTL_JOB_STATUS (UTL_JOB_STATUS_ID) WERTE (-1);<\/code><\/pre>\n
\nDDL Ansicht\/Bericht<\/b><\/p>\n
ERSTELLEN SIE DIEANSICHT, WENN NICHT BEREITS VORHANDEN UTL_JOB_STATUS_V\nAS \/* Inhalt: Ausf\u00fchrungsprotokoll des Pakets f\u00fcr die letzten 3 Monate. *\/\nMIT SRC ALS (\n  W\u00c4HLEN SIE LOG_D,\n    LOG_DT,\n    UTL_JOB_STATUS_ID,\n    SID,\n\tFALLS INSTR(JOB_NAME, 'FTP') DANN '\u00dcBERTRAGUNG' \/* Datei\u00fcbertragung *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'STG') DANN 'STUFE' \/* Stufe *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'CLS') DANN 'REINIGUNG' \/* Reinigung *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'DIM') DANN 'DIMENSION' \/* Dimension *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'FCT') DANN 'FAKT' \/* Fakt *\/\n\t\t F\u00c4LLS INSTR(JOB_NAME, 'ETL') DANN 'STUFE-MART' \/* Datenmart *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'RPT') DANN 'BERICHT' \/* Bericht *\/\n\t     ANDERES 'N\/A' END AS LAYER,\n\tFALLS INSTR(JOB_NAME, 'ACCESS') DANN 'ZUGRIFFSPROTOKOLL' \/* Quelle *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'MASTER') DANN 'STAMMDATEN' \/* Quelle *\/\n\t     F\u00c4LLS INSTR(JOB_NAME, 'AD-HOC') DANN 'AD-HOC' \/* Quelle *\/\n\t     ANDERES 'N\/A' END AS SOURCE,\n    JOB_NAME,\n    STEP_NAME,\n    FALLS STEP_NAME='ETL_START' DANN 1 SONST 0 END AS START_FLAG,\n    FALLS STEP_NAME='ETL_END' DANN 1 SONST 0 END AS END_FLAG,\n    FALLS STEP_NAME='ETL_ERROR' DANN 1 SONST 0 END AS ERROR_FLAG,\n    STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,\n\tSUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS\n  VON UTL_JOB_STATUS\n  WO datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')\n)\nW\u00c4HLEN SIE JB.SID,\n  JB.MIN_LOG_DT ALS START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) ALS LOG_DT,\n  JB.SOURCE,\n  JB.LAYER,\n  JB.JOB_NAME,\n  FALLS\n  WENN JB.ERROR_FLAG = 1 DANN 'FEHLER'\n  WENN JB.ERROR_FLAG = 0 UND JB.END_FLAG = 0 UND strftime('%s','now') - JB.MIN_LOG_DT > 0,5*60*60 DANN 'BEH\u00c4NGT' \/* eine halbe Stunde *\/\n  WENN JB.ERROR_FLAG = 0 UND JB.END_FLAG = 0 DANN 'L\u00c4UFT'\n  ANDERES 'OK'\n  END ALS STATUS,\n  ERR.STEP_LOG     ALS STEP_LOG,\n  JB.CNT           ALS STEP_CNT,\n  JB.AFFECTED_ROWS ALS AFFECTED_ROWS,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) ALS JOB_START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) ALS JOB_END_DT,\n  JB.MAX_LOG_DT - JB.MIN_LOG_DT ALS JOB_DURATION_SEC\nVON\n  ( W\u00c4HLEN SID, SOURCE, LAYER, JOB_NAME,\n           MAX(UTL_JOB_STATUS_ID) ALS UTL_JOB_STATUS_ID,\n           MAX(START_FLAG)       ALS START_FLAG,\n           MAX(END_FLAG)         ALS END_FLAG,\n           MAX(ERROR_FLAG)       ALS ERROR_FLAG,\n           MIN(LOG_DT)           ALS MIN_LOG_DT,\n           MAX(LOG_DT)           ALS MAX_LOG_DT,\n           SUM(1)                ALS CNT,\n           SUM(IFNULL(AFFECTED_ROWS, 0)) ALS AFFECTED_ROWS\n    VON SRC\n    GRUPPIEREN NACH SID, SOURCE, LAYER, JOB_NAME\n  ) JB,\n  ( W\u00c4HLEN UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG\n    VON SRC\n    WO 1 = 1\n  ) ERR\nWO 1 = 1\n  UND JB.SID = ERR.SID\n  UND JB.JOB_NAME = ERR.JOB_NAME\n  UND JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID\nBESTELLEN NACH JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;<\/code><\/pre>\n
\nSQL \u00dcberpr\u00fcfung der M\u00f6glichkeit zur Erhaltung einer neuen Sitzungsnummer<\/b><\/p>\n
SELECT SUM (\n  CASE WHEN start_job.JOB_NAME IS NOT NULL AND end_job.JOB_NAME IS NULL \/* bereits ausgef\u00fchrter Job abgeschlossen *\/\n\t    AND NOT ( 'y' = 'n' ) \/* Parameter f\u00fcr Zwangsneustart *\/\n       THEN 1 ELSE 0\n  END ) AS IS_RUNNING\n  FROM\n    ( SELECT 1 AS dummy FROM UTL_JOB_STATUS WHERE sid = -1) d_job\n  LEFT OUTER JOIN\n    ( SELECT JOB_NAME, SID, 1 AS dummy\n      FROM UTL_JOB_STATUS\n      WHERE JOB_NAME = 'RPT_ACCESS_LOG' \/* Jobname-Parameter *\/\n\t    AND STEP_NAME = 'ETL_START'\n      GROUP BY JOB_NAME, SID\n    ) start_job \/* Beginn *\/\n  ON d_job.dummy = start_job.dummy\n  LEFT OUTER JOIN\n    ( SELECT JOB_NAME, SID\n      FROM UTL_JOB_STATUS\n      WHERE JOB_NAME = 'RPT_ACCESS_LOG'  \/* Jobname-Parameter *\/\n\t    AND STEP_NAME in ('ETL_END', 'ETL_ERROR') \/* Stopstatus *\/\n      GROUP BY JOB_NAME, SID\n    ) end_job \/* Ende *\/\n  ON start_job.JOB_NAME = end_job.JOB_NAME\n     AND start_job.SID = end_job.SID<\/code><\/pre>\n
\nBesonderheiten der Tabelle:<\/p>\n