{"id":37701,"date":"2019-10-31T22:19:10","date_gmt":"2019-10-31T19:19:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh\/"},"modified":"2019-10-31T22:19:10","modified_gmt":"2019-10-31T19:19:10","slug":"monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/monitoring-etl-protsessov-v-malenkom-hranilishhe-dannyh","title":{"rendered":"ETL-protsesside j\u00e4lgimine v\u00e4ikeses andmehoidlas","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Paljud kasutavad spetsialiseeritud t\u00f6\u00f6riistu andmete eraldamise, t\u00f6\u00f6tlemise ja laadimise protseduuride loomiseks relatsioonilistes andmebaasides. T\u00f6\u00f6riistade t\u00f6\u00f6protsess logitakse ja vead registreeritakse.<\/p>\n

Veateate korral logis on teave selle kohta, et t\u00f6\u00f6riist ei suutnud \u00fclesannet t\u00e4ita ning millistes moodulites (tihti on need java) kus peatuti. Viimastest ridadest v\u00f5ib leida andmebaasi vea, n\u00e4iteks unikaalse v\u00f5tme rikkumise tabelis.<\/p>\n

K\u00fcsimusele, millist rolli m\u00e4ngib ETL veateave, vastamiseks klassifitseerisin k\u00f5ik probleemid, mis esinesid viimase kahe aasta jooksul m\u00e4rkimisv\u00e4\u00e4rses andmehoidlas. <\/p>\n

\"ETL-protsesside<\/a><\/noindex><\/p>\n

Andmebaasi vead h\u00f5lmavad n\u00e4iteks ruumi puudumist, \u00fchenduse katkemist, sessiooni hangumist jne.<\/p>\n

Loogilised vead h\u00f5lmavad n\u00e4iteks v\u00f5tmete rikkumisi tabelis, kehtetuks muutunud objekte, juurdep\u00e4\u00e4su puudumist objektidele jne.
\nPlaani t\u00e4itmine v\u00f5ib olla eba\u00f5ige, see v\u00f5ib hanguda jne.<\/p>\n

Lihtsad vead ei n\u00f5ua palju aega parandamiseks. Enamik neist vead suudab hea ETL lahendada iseseisvalt.<\/p>\n

Komplekssete vigade korral tuleb avada ja kontrollida andmete t\u00f6\u00f6tlemise protseduure, uurida andmeallikaid. Need toovad sageli kaasa vajaduse muudatuste testimise ja juurutamise j\u00e4rele.<\/p>\n

Nii on pool k\u00f5igist probleemidest seotud andmebaasiga. 48% k\u00f5ikidest vigadest on lihtsad vead.
\nKolmandik k\u00f5igist probleemidest on seotud andmehoidla loogika v\u00f5i mudeli muutumisega, neist rohkem kui pooled vead on keerulised.<\/p>\n

Ja v\u00e4hem kui veerand k\u00f5igist probleemidest on seotud \u00fclesannete planeerijaga, kus 18% on lihtsad vead.<\/p>\n

Kokkuv\u00f5ttes on 22% k\u00f5igist juhtunud vigadest keerulised, nende parandamiseks on vaja suurimat t\u00e4helepanu ja aega. Need esinevad umbes kord n\u00e4dalas, samas kui lihtsad vead ilmnevad peaaegu iga p\u00e4ev.<\/p>\n

On ilmne, et ETL-protsesside j\u00e4lgimine on t\u00f5hus siis, kui logis on maksimaalselt t\u00e4pselt n\u00e4idatud vea asukoht ja probleemiallika leidmiseks kulub minimaalselt aega.<\/p>\n

T\u00f5hus j\u00e4lgimine<\/h4>\n

\nMida ma sooviksin n\u00e4ha ETL j\u00e4lgimise protsessis?<\/p>\n

\"ETL-protsesside
\nStart at \u2014 millal t\u00f6\u00f6 algas,
\nSource \u2014 andmeallikas,
\nLayer \u2014 milline tasand andmehoidlas laaditakse,
\nETL Job Name \u2014 laadimisprotseduur, mis koosneb paljusid v\u00e4ikestest sammudest,
\nStep Number \u2014 t\u00e4idetava sammu number,
\nM\u00f5jutatud read \u2014 kui palju andmeid on juba t\u00f6\u00f6deldud,
\nKestus sec \u2014 kui kaua see kestab,
\nOleku \u2014 kas k\u00f5ik on korras v\u00f5i mitte: OK, ERROR, RUNNING, HANGS
\nS\u00f5num \u2014 viimane edukas s\u00f5num v\u00f5i veateade.<\/p>\n

Failide staatuse p\u00f5hjal on v\u00f5imalik saata e-kiri teistele osalejatele. Kui vigu pole, siis pole ka kirja saatmine vajalik.<\/p>\n

Nii on veateate korral selgelt n\u00e4idatud, kus probleem esines.<\/p>\n

M\u00f5nikord juhtub, et monitorimisriist ise ei t\u00f6\u00f6ta. Sel juhul on v\u00f5imalik otse andmebaasis kutsuda esile vaade (view), mille alusel raport on koostatud.<\/p>\n

ETL-monitooringu tabel<\/h4>\n

\nETL-protsesside j\u00e4lgimiseks piisab \u00fchest tabelist ja \u00fchest vaatest.<\/p>\n

Selleks v\u00f5ib naasta oma v\u00e4ikesse andmehoidlasse<\/a><\/noindex> ja luua andmebaasis sqlite protot\u00fc\u00fcp.<\/p>\n

DDL tabel<\/b><\/p>\n

CREATE TABLE UTL_JOB_STATUS (\n\n\/* Tabel t\u00f6\u00f6 t\u00e4itmise logimiseks. Oluline, et t\u00f6\u00f6l on etapid ETL_START ja ETL_END v\u00f5i ETL_ERROR *\/\n  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,\n  SID               INTEGER NOT NULL DEFAULT -1, \/* Sessiooni Identifikaator. Unikaalne iga t\u00f6\u00f6 k\u00e4ivitamise jaoks *\/\n  LOG_DT            INTEGER NOT NULL DEFAULT 0,  \/* Kuup\u00e4ev ja kellaaeg *\/\n  LOG_D             INTEGER NOT NULL DEFAULT 0,  \/* Kuup\u00e4ev *\/\n  JOB_NAME          TEXT NOT NULL DEFAULT 'N\/A', \/* T\u00f6\u00f6 nimi nagu JOB_STG2DM_GEO *\/\n  STEP_NAME         TEXT NOT NULL DEFAULT 'N\/A', \/* ETL_START, ... , ETL_END\/ETL_ERROR *\/\n  STEP_DESCR        TEXT,                        \/* \u00dclesande v\u00f5i veateate kirjeldus *\/\n  UNIQUE (SID, JOB_NAME, STEP_NAME)\n);\nINSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);<\/code><\/pre>\n
\nDDL vaade\/raport<\/b><\/p>\n
LOO KAA KUILE KUILE UTL_JOB_STATUS_V\nKUILE \\* Sisu: Paketi t\u00e4itmise logi viimase 3 kuu jooksul. \\*\nKOOS SRC KUIGA (\n  VALI LOG_D,\n    LOG_DT,\n    UTL_JOB_STATUS_ID,\n    SID,\n\tJUHUL KUI INSTR(JOB_NAME, 'FTP') SIIS '\u00dcLEKANNE' \\* failide edastamine \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'STG') SIIS 'ETAPPIK' \\* etapp \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'CLS') SIIS 'PUHTUS' \\* puhastamine \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'DIM') SIIS 'DIMENSIOON' \\* dimensioon \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'FCT') SIIS 'TEGUR' \\* tegur \\*\n\t\t JUHUL KUI INSTR(JOB_NAME, 'ETL') SIIS 'ETAPPIK-MART' \\* andmete turustamise etapp \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'RPT') SIIS 'ARUANNE' \\* aruanne \\*\n\t     MUUL JUHUL 'N\/A' L\u00f5PUNAS,\n\tJUHUL KUI INSTR(JOB_NAME, 'ACCESS') SIIS 'ACCESS LOG' \\* allikas \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'MASTER') SIIS 'MEISTERSISU' \\* allikas \\*\n\t     JUHUL KUI INSTR(JOB_NAME, 'AD-HOC') SIIS 'AD-HOC' \\* allikas \\*\n\t     MUUL JUHUL 'N\/A' L\u00f5PUNAS,\n    JOB_NAME,\n    STEP_NAME,\n    JUHUL KUI STEP_NAME='ETL_START' SIIS 1 MUUL JUHUL 0 L\u00f5PUNAS,\n    JUHUL KUI STEP_NAME='ETL_END' SIIS 1 MUUL JUHUL 0 L\u00f5PUNAS,\n    JUHUL KUI STEP_NAME='ETL_ERROR' SIIS 1 MUUL JUHUL 0 L\u00f5PUNAS,\n    STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,\n\tSUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS\n  KUST UTL_JOB_STATUS\n  KUHI datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')\n)\nVALI JB.SID,\n  JB.MIN_LOG_DT AS START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS LOG_DT,\n  JB.SOURCE,\n  JB.LAYER,\n  JB.JOB_NAME,\n  JUHUL\n  KUI JB.ERROR_FLAG = 1 SIIS 'ERROR'\n  KUI JB.ERROR_FLAG = 0 JA JB.END_FLAG = 0 JA strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 SIIS 'HANGS' \\* pool tundi \\*\n  KUI JB.ERROR_FLAG = 0 JA JB.END_FLAG = 0 SIIS 'K\u00c4IBES'\n  MUUL JUHUL 'OK'\n  L\u00d5PUNA AS STATUS,\n  ERR.STEP_LOG AS STEP_LOG,\n  JB.CNT AS STEP_CNT,\n  JB.AFFECTED_ROWS AS AFFECTED_ROWS,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS JOB_START_DT,\n  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) AS JOB_END_DT,\n  JB.MAX_LOG_DT - JB.MIN_LOG_DT AS JOB_DURATION_SEC\nKUST\n  ( VALI SID, SOURCE, LAYER, JOB_NAME,\n           MAX(UTL_JOB_STATUS_ID) AS UTL_JOB_STATUS_ID,\n           MAX(START_FLAG) AS START_FLAG,\n           MAX(END_FLAG) AS END_FLAG,\n           MAX(ERROR_FLAG) AS ERROR_FLAG,\n           MIN(LOG_DT) AS MIN_LOG_DT,\n           MAX(LOG_DT) AS MAX_LOG_DT,\n           SUM(1) AS CNT,\n           SUM(IFNULL(AFFECTED_ROWS, 0)) AS AFFECTED_ROWS\n    KUST SRC\n    GRUPPEERI SID, SOURCE, LAYER, JOB_NAME\n  ) JB,\n  ( VALI UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG\n    KUST SRC\n    KUHI 1 = 1\n  ) ERR\nKUHI 1 = 1\n  JA JB.SID = ERR.SID\n  JA JB.JOB_NAME = ERR.JOB_NAME\n  JA JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID\nKORRALDA JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;<\/code><\/pre>\n
\nSQL Kontrolli, kas on v\u00f5imalik saada uut sessiooni numbrit<\/b><\/p>\n
VALI SUM (\n  JUHUL KUI start_job.JOB_NAME EI OLE NULL JA end_job.JOB_NAME ON NULL \\* eksisteeriv t\u00f6\u00f6 l\u00f5ppes \\*\n\t    JA MITTE ( 'y' = 'n' ) \\* sunniviisiline taask\u00e4ivitamine PARAMEETER \\*\n       SIIS 1 MUUL JUHUL 0\n  L\u00d5PUNA ) AS IS_RUNNING\n  KUST\n    ( VALI 1 AS dummy KUST UTL_JOB_STATUS KUHI sid = -1) d_job\n  VASAKU V\u00c4LJAV\u00d5TT \n    ( VALI JOB_NAME, SID, 1 AS dummy\n      KUST UTL_JOB_STATUS\n      KUHI JOB_NAME = 'RPT_ACCESS_LOG' \\* t\u00f6\u00f6 nime PARAMEETER \\*\n\t    JA STEP_NAME = 'ETL_START'\n      GRUPPEERI JOB_NAME, SID\n    ) start_job \\* algused \\*\n  ON d_job.dummy = start_job.dummy\n  VASAKU V\u00c4LJAV\u00d5TT \n    ( VALI JOB_NAME, SID\n      KUST UTL_JOB_STATUS\n      KUHI JOB_NAME = 'RPT_ACCESS_LOG'  \\* t\u00f6\u00f6 nime PARAMEETER \\*\n\t    JA STEP_NAME in ('ETL_END', 'ETL_ERROR') \\* peatamise olek \\*\n      GRUPPEERI JOB_NAME, SID\n    ) end_job \\* l\u00f5peb \\*\n  ON start_job.JOB_NAME = end_job.JOB_NAME\n     JA start_job.SID = end_job.SID<\/code><\/pre>\n
\nTabeli omadused:<\/p>\n