{"id":37701,"date":"2019-10-31T22:19:10","date_gmt":"2019-10-31T19:19:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh\/"},"modified":"2019-10-31T22:19:10","modified_gmt":"2019-10-31T19:19:10","slug":"monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","title":{"rendered":"\u00d6vervakning av ETL-processer i ett litet datalager","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

M\u00e5nga anv\u00e4nder specialiserade verktyg f\u00f6r att skapa processer f\u00f6r extrahering, transformation och laddning av data i relationsdatabaser. Arbetsprocessen f\u00f6r verktygen loggas och fel registreras.<\/p>\n

I h\u00e4ndelse av ett fel inneh\u00e5ller loggen information om att verktyget misslyckades med att utf\u00f6ra uppgiften och vilka moduler (ofta Java) som stannade. I de sista raderna kan du hitta databaserelaterade fel, till exempel, \u00f6vertr\u00e4delse av den unika nyckeln i tabellen.<\/p>\n

F\u00f6r att besvara fr\u00e5gan om vilken roll information om ETL-fel spelar, klassificerade jag alla problem som intr\u00e4ffade under de senaste tv\u00e5 \u00e5ren i ett stort datalager. <\/p>\n

\"\u00d6vervakning<\/a><\/noindex><\/p>\n

Databasfel inkluderar s\u00e5dana som otillr\u00e4ckligt utrymme, avbrutet anslutning, h\u00e4ngande sessioner, etc.<\/p>\n

Logiska fel inkluderar s\u00e5dana som nyckel\u00f6vertr\u00e4delse i tabeller, ogiltiga objekt, brist p\u00e5 \u00e5tkomst till objekt, etc.
\nSchemal\u00e4ggaren kan startas vid fel tillf\u00e4lle, kan h\u00e4nga sig, etc.<\/p>\n

Enkla fel kr\u00e4ver inte mycket tid f\u00f6r att \u00e5tg\u00e4rda. De flesta av dem kan en bra ETL hantera p\u00e5 egen hand.<\/p>\n

Komplexa fel kr\u00e4ver att man \u00f6ppnar och kontrollerar procedurer f\u00f6r databehandling, unders\u00f6ker datak\u00e4llor. De leder ofta till tester av \u00e4ndringar och installation.<\/p>\n

S\u00e5ledes \u00e4r h\u00e4lften av alla problem relaterade till databasen. 48% av alla fel \u00e4r enkla fel.
\nEn tredjedel av alla problem \u00e4r relaterade till \u00e4ndringar av logik eller lagermodell, mer \u00e4n h\u00e4lften av dessa fel \u00e4r komplexa.<\/p>\n

Och mindre \u00e4n en fj\u00e4rdedel av alla problem \u00e4r relaterade till schemal\u00e4ggaren, d\u00e4r 18% \u00e4r enkla fel.<\/p>\n

\u00d6vergripande utg\u00f6r 22% av de intr\u00e4ffade felen komplexa fel, vars \u00e5tg\u00e4rd kr\u00e4ver mest uppm\u00e4rksamhet och tid. De intr\u00e4ffar cirka en g\u00e5ng i veckan, medan enkla fel intr\u00e4ffar n\u00e4stan varje dag.<\/p>\n

Det \u00e4r uppenbart att \u00f6vervakningen av ETL-processerna kommer att vara effektiv n\u00e4r loggen s\u00e5 exakt som m\u00f6jligt anger felplatsen och minimal tid kr\u00e4vs f\u00f6r att hitta problemk\u00e4llan.<\/p>\n

Effektiv \u00f6vervakning<\/h4>\n

\nVad skulle jag vilja se i \u00f6vervakningen av ETL?<\/p>\n

\"\u00d6vervakning
\nStarta vid \u2014 n\u00e4r arbetet b\u00f6rjade,
\nK\u00e4lla \u2014 datak\u00e4lla,
\nLager \u2014 vilket niv\u00e5 av lagret som laddas,
\nETL Job Name \u2014 laddningsproceduren som best\u00e5r av m\u00e5nga sm\u00e5 steg,
\nStegnummer \u2014 nummer p\u00e5 det aktuella steget,
\nP\u00e5verkade rader \u2014 hur mycket data som redan har bearbetats,
\nVaraktighet sek \u2014 hur l\u00e4nge det tar att utf\u00f6ra,
\nStatus \u2014 om allt \u00e4r bra eller inte: OK, ERROR, RUNNING, HANGS
\nMeddelande \u2014 den senaste framg\u00e5ngsrika meddelandet eller beskrivningen av felet.<\/p>\n

Baserat p\u00e5 statusen av poster kan ett e-postmeddelande skickas till andra deltagare. Om det inte finns n\u00e5gra fel \u00e4r inte e-postmeddelandet n\u00f6dv\u00e4ndigt.<\/p>\n

S\u00e5ledes, i h\u00e4ndelse av ett fel, anges tydligt platsen f\u00f6r h\u00e4ndelsen.<\/p>\n

Ibland h\u00e4nder det att sj\u00e4lva \u00f6vervakningsverktyget inte fungerar. I s\u00e5dana fall finns det m\u00f6jlighet att direkt i databasen anropa en vy, baserat p\u00e5 vilken rapporten har byggts.<\/p>\n

ETL \u00f6vervakningstabell<\/h4>\n

\nF\u00f6r att genomf\u00f6ra \u00f6vervakning av ETL-processer kr\u00e4vs endast en tabell och en vy.<\/p>\n

F\u00f6r detta kan man \u00e5terv\u00e4nda till ditt lilla lagringsutrymme<\/a><\/noindex> och skapa en prototyp i databasen sqlite.<\/p>\n

DDL-tabell<\/b><\/p>\n

CREATE TABLE UTL_JOB_STATUS (\n\n\/* Tabell f\u00f6r loggning av jobbets k\u00f6rlogg. Viktigt att jobbet har stegen ETL_START och ETL_END eller ETL_ERROR *\/\n  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,\n  SID               INTEGER NOT NULL DEFAULT -1, \/* Sessionsidentifierare. Unik f\u00f6r varje k\u00f6rning av jobbet *\/\n  LOG_DT            INTEGER NOT NULL DEFAULT 0,  \/* Datum och tid *\/\n  LOG_D             INTEGER NOT NULL DEFAULT 0,  \/* Datum *\/\n  JOB_NAME          TEXT NOT NULL DEFAULT 'N\/A', \/* Jobbnames som JOB_STG2DM_GEO *\/\n  STEP_NAME         TEXT NOT NULL DEFAULT 'N\/A', \/* ETL_START, ..., ETL_END\/ETL_ERROR *\/\n  STEP_DESCR        TEXT,                        \/* Beskrivning av uppgift eller felmeddelande *\/\n  UNIQUE (SID, JOB_NAME, STEP_NAME)\n);\nINSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);<\/code><\/pre>\n
\nDDL vy\/rapport<\/b><\/p>\n
SKAPA VISNING OM DEN INTE FINNS UTL_JOB_STATUS_V\nAS \/* Inneh\u00e5ll: Paketexekveringslogg f\u00f6r de senaste 3 m\u00e5naderna. *\/\nMED SRC SOM (\n  V\u00c4LJ LOG_D,\n    LOG_DT,\n    UTL_JOB_STATUS_ID,\n    SID,\n\tFALL N\u00c4R INSTR(JOB_NAME, 'FTP') D\u00c5 '\u00d6VERF\u00d6RING' \/* fil\u00f6verf\u00f6ring *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'STG') D\u00c5 'STEG' \/* steg *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'CLS') D\u00c5 'RENSE' \/* reng\u00f6ring *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'DIM') D\u00c5 'DIMENSION' \/* dimension *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'FCT') D\u00c5 'FAKT' \/* fakta *\/\n\t\t N\u00c4R INSTR(JOB_NAME, 'ETL') D\u00c5 'STEG-MART' \/* datamart *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'RPT') D\u00c5 'RAPPORT' \/* rapport *\/\n\t     ANNARS 'N\/A' SLUT SOM LAGER,\n\tFALL N\u00c4R INSTR(JOB_NAME, 'ACCESS') D\u00c5 '\u00c5TKOMSTLOGG' \/* k\u00e4lla *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'MASTER') D\u00c5 'MASTERDATA' \/* k\u00e4lla *\/\n\t     N\u00c4R INSTR(JOB_NAME, 'AD-HOC') D\u00c5 'AD-HOC' \/* k\u00e4lla *\/\n\t     ANNARS 'N\/A' SLUT SOM K\u00c4LLA,\n    JOB_NAME,\n    STEP_NAME,\n    FALL N\u00c4R STEP_NAME='ETL_START' D\u00c5 1 ANNARS 0 SLUT SOM START_FLAG,\n    FALL N\u00c4R STEP_NAME='ETL_END' D\u00c5 1 ANNARS 0 SLUT SOM SLUT_FLAG,\n    FALL N\u00c4R STEP_NAME='ETL_ERROR' D\u00c5 1 ANNARS 0 SLUT SOM FEL_FLAG,\n    STEP_NAME || ' : ' || STEP_DESCR SOM STEG_LOG,\n\tSUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) SOM P\u00c5VERKADE_RADER\n  FR\u00c5N UTL_JOB_STATUS\n  D\u00c4R datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')\n)\nV\u00c4LJ JB.SID,\n  JB.MIN_LOG_DT SOM START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) SOM LOG_DT,\n  JB.K\u00c4LLA,\n  JB.LAGER,\n  JB.JOB_NAME,\n  FALL\n  N\u00c4R JB.FEL_FLAG = 1 D\u00c5 'FEL'\n  N\u00c4R JB.FEL_FLAG = 0 OCH JB.SLUT_FLAG = 0 OCH strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 D\u00c5 'H\u00c4NGER' \/* en halv timme *\/\n  N\u00c4R JB.FEL_FLAG = 0 OCH JB.SLUT_FLAG = 0 D\u00c5 'K\u00d6R'\n  ANNARS 'OK'\n  SLUT SOM STATUS,\n  ERR.STEP_LOG     SOM STEG_LOG,\n  JB.CNT           SOM STEG_CNT,\n  JB.P\u00c5VERKADE_RADER SOM P\u00c5VERKADE_RADER,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) SOM JOB_START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) SOM JOB_END_DT,\n  JB.MAX_LOG_DT - JB.MIN_LOG_DT SOM JOB_DURATION_SEC\nFR\u00c5N\n  ( V\u00c4LJ SID, K\u00c4LLA, LAGER, JOB_NAME,\n           MAX(UTL_JOB_STATUS_ID) SOM UTL_JOB_STATUS_ID,\n           MAX(START_FLAG)       SOM START_FLAG,\n           MAX(END_FLAG)         SOM SLUT_FLAG,\n           MAX(FEL_FLAG)       SOM FEL_FLAG,\n           MIN(LOG_DT)           SOM MIN_LOG_DT,\n           MAX(LOG_DT)           SOM MAX_LOG_DT,\n           SUM(1)                SOM CNT,\n           SUM(IFNULL(P\u00c5VERKADE_RADER, 0)) SOM P\u00c5VERKADE_RADER\n    FR\u00c5N SRC\n    GRUPPERA EFTER SID, K\u00c4LLA, LAGER, JOB_NAME\n  ) JB,\n  ( V\u00c4LJ UTL_JOB_STATUS_ID, SID, JOB_NAME, STEG_LOG\n    FR\u00c5N SRC\n    D\u00c4R 1 = 1\n  ) ERR\nD\u00c4R 1 = 1\n  OCH JB.SID = ERR.SID\n  OCH JB.JOB_NAME = ERR.JOB_NAME\n  OCH JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID\nORDNA EFTER JB.MIN_LOG_DT DESC, JB.SID DESC, JB.K\u00c4LLA;<\/code><\/pre>\n
\nSQL Kontroll av m\u00f6jligheten att f\u00e5 ett nytt sessionsnummer<\/b><\/p>\n
V\u00c4LJ SUM (\n  FALL N\u00c4R start_job.JOB_NAME \u00c4R INTE NULL OCH end_job.JOB_NAME \u00c4R NULL \/* existerande jobb avslutat *\/\n\t    OCH INTE ( 'y' = 'n' ) \/* tvinga omstart PARAMETER *\/\n       D\u00c5 1 ANNARS 0\n  SLUT ) SOM IS_RUNNING\n  FR\u00c5N\n    ( V\u00c4LJ 1 SOM dummy FR\u00c5N UTL_JOB_STATUS D\u00c4R sid = -1) d_job\n  V\u00c4NSTER YTTERJOIN\n    ( V\u00c4LJ JOB_NAME, SID, 1 SOM dummy\n      FR\u00c5N UTL_JOB_STATUS\n      D\u00c4R JOB_NAME = 'RPT_ACCESS_LOG' \/* jobbnamn PARAMETER *\/\n\t    OCH STEP_NAME = 'ETL_START'\n      GRUPPERA EFTER JOB_NAME, SID\n    ) start_job \/* startar *\/\n  P\u00c5 d_job.dummy = start_job.dummy\n  V\u00c4NSTER YTTERJOIN\n    ( V\u00c4LJ JOB_NAME, SID\n      FR\u00c5N UTL_JOB_STATUS\n      D\u00c4R JOB_NAME = 'RPT_ACCESS_LOG'  \/* jobbnamn PARAMETER *\/\n\t    OCH STEP_NAME in ('ETL_END', 'ETL_ERROR') \/* stoppstatus *\/\n      GRUPPERA EFTER JOB_NAME, SID\n    ) end_job \/* avslutar *\/\n  P\u00c5 start_job.JOB_NAME = end_job.JOB_NAME\n     OCH start_job.SID = end_job.SID<\/code><\/pre>\n
\nEgenskaper hos tabellen:<\/p>\n