Mnogi koriste specijalizovane alate za kreiranje procedura za izdvajanje, transformaciju i učitavanje podataka u relacione baze podataka. Proces rada alata se evidentira, greške su ispravljene.
U slučaju greške, dnevnik sadrži informacije da alat nije uspio da dovrši zadatak i koji su moduli (često java) gdje stali. U posljednjim redovima možete pronaći grešku baze podataka, na primjer, kršenje jedinstvenog ključa tabele.
Da bih odgovorio na pitanje kakvu ulogu igraju informacije o grešci ETL-a, klasifikovao sam sve probleme koji su se pojavili u protekle dvije godine u prilično veliko spremište.
Greške baze podataka uključuju nedovoljno prostora, izgubljenu vezu, prekid sesije itd.
Logičke greške uključuju kao što su kršenje ključeva tablice, nevažeći objekti, nedostatak pristupa objektima itd.
Planer se možda neće pokrenuti na vrijeme, može se zamrznuti itd.
Jednostavne greške ne treba dugo da se poprave. Dobar ETL može sam podnijeti većinu njih.
Složene greške čine neophodnim otkrivanje i testiranje procedura za rad sa podacima, istraživanje izvora podataka. Često dovode do potrebe za testiranjem i implementacijom promjena.
Dakle, polovina svih problema odnosi se na bazu podataka. 48% svih grešaka su jednostavne greške.
Trećina svih problema odnosi se na promjenu logike ili modela skladištenja, više od polovine ovih grešaka je složeno.
A manje od četvrtine svih problema odnosi se na planer zadataka, od kojih su 18% jednostavne greške.
Generalno, 22% svih grešaka koje se javljaju su složene, a njihovo ispravljanje zahteva najviše pažnje i vremena. Događaju se otprilike jednom sedmično. Dok se jednostavne greške dešavaju skoro svaki dan.
Očigledno, praćenje ETL procesa će biti efikasno kada je lokacija greške naznačena u dnevniku što je preciznije moguće i kada je potrebno minimalno vrijeme da se pronađe izvor problema.
Efikasno praćenje
Šta sam želio vidjeti u procesu praćenja ETL-a?
Počni u - kada je počeo sa radom,
Izvor - izvor podataka,
Sloj - koji nivo pohrane se učitava,
ETL Job Name - postupak upload-a koji se sastoji od mnogo malih koraka,
Broj koraka - broj koraka koji se izvodi,
Zahvaćeni redovi - koliko podataka je već obrađeno,
Trajanje sek - koliko traje,
Status - da li je sve u redu ili ne: OK, GREŠKA, RADI, ZAKASI
Poruka - Posljednja uspješna poruka ili opis greške.
Na osnovu statusa unosa, možete poslati e-poštu. pismo ostalim članovima. Ako nema grešaka, onda pismo nije potrebno.
Tako je u slučaju greške jasno naznačena lokacija incidenta.
Ponekad se desi da sam alat za praćenje ne radi. U ovom slučaju moguće je pozvati pogled (view) direktno u bazi podataka, na osnovu kojeg se gradi izvještaj.
ETL monitoring tablica
Za implementaciju praćenja ETL procesa dovoljna je jedna tabela i jedan pogled.
Da biste to učinili, možete se vratiti na
DDL tabele
CREATE TABLE UTL_JOB_STATUS (
/* Table for logging of job execution log. Important that the job has the steps ETL_START and ETL_END or ETL_ERROR */
UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
SID INTEGER NOT NULL DEFAULT -1, /* Session Identificator. Unique for every Run of job */
LOG_DT INTEGER NOT NULL DEFAULT 0, /* Date time */
LOG_D INTEGER NOT NULL DEFAULT 0, /* Date */
JOB_NAME TEXT NOT NULL DEFAULT 'N/A', /* Job name like JOB_STG2DM_GEO */
STEP_NAME TEXT NOT NULL DEFAULT 'N/A', /* ETL_START, ... , ETL_END/ETL_ERROR */
STEP_DESCR TEXT, /* Description of task or error message */
UNIQUE (SID, JOB_NAME, STEP_NAME)
);
INSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);
Prikaži/prijavi DDL
CREATE VIEW IF NOT EXISTS UTL_JOB_STATUS_V
AS /* Content: Package Execution Log for last 3 Months. */
WITH SRC AS (
SELECT LOG_D,
LOG_DT,
UTL_JOB_STATUS_ID,
SID,
CASE WHEN INSTR(JOB_NAME, 'FTP') THEN 'TRANSFER' /* file transfer */
WHEN INSTR(JOB_NAME, 'STG') THEN 'STAGE' /* stage */
WHEN INSTR(JOB_NAME, 'CLS') THEN 'CLEANSING' /* cleansing */
WHEN INSTR(JOB_NAME, 'DIM') THEN 'DIMENSION' /* dimension */
WHEN INSTR(JOB_NAME, 'FCT') THEN 'FACT' /* fact */
WHEN INSTR(JOB_NAME, 'ETL') THEN 'STAGE-MART' /* data mart */
WHEN INSTR(JOB_NAME, 'RPT') THEN 'REPORT' /* report */
ELSE 'N/A' END AS LAYER,
CASE WHEN INSTR(JOB_NAME, 'ACCESS') THEN 'ACCESS LOG' /* source */
WHEN INSTR(JOB_NAME, 'MASTER') THEN 'MASTER DATA' /* source */
WHEN INSTR(JOB_NAME, 'AD-HOC') THEN 'AD-HOC' /* source */
ELSE 'N/A' END AS SOURCE,
JOB_NAME,
STEP_NAME,
CASE WHEN STEP_NAME='ETL_START' THEN 1 ELSE 0 END AS START_FLAG,
CASE WHEN STEP_NAME='ETL_END' THEN 1 ELSE 0 END AS END_FLAG,
CASE WHEN STEP_NAME='ETL_ERROR' THEN 1 ELSE 0 END AS ERROR_FLAG,
STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,
SUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS
FROM UTL_JOB_STATUS
WHERE datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')
)
SELECT JB.SID,
JB.MIN_LOG_DT AS START_DT,
strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS LOG_DT,
JB.SOURCE,
JB.LAYER,
JB.JOB_NAME,
CASE
WHEN JB.ERROR_FLAG = 1 THEN 'ERROR'
WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 AND strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 THEN 'HANGS' /* half an hour */
WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 THEN 'RUNNING'
ELSE 'OK'
END AS STATUS,
ERR.STEP_LOG AS STEP_LOG,
JB.CNT AS STEP_CNT,
JB.AFFECTED_ROWS AS AFFECTED_ROWS,
strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS JOB_START_DT,
strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) AS JOB_END_DT,
JB.MAX_LOG_DT - JB.MIN_LOG_DT AS JOB_DURATION_SEC
FROM
( SELECT SID, SOURCE, LAYER, JOB_NAME,
MAX(UTL_JOB_STATUS_ID) AS UTL_JOB_STATUS_ID,
MAX(START_FLAG) AS START_FLAG,
MAX(END_FLAG) AS END_FLAG,
MAX(ERROR_FLAG) AS ERROR_FLAG,
MIN(LOG_DT) AS MIN_LOG_DT,
MAX(LOG_DT) AS MAX_LOG_DT,
SUM(1) AS CNT,
SUM(IFNULL(AFFECTED_ROWS, 0)) AS AFFECTED_ROWS
FROM SRC
GROUP BY SID, SOURCE, LAYER, JOB_NAME
) JB,
( SELECT UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG
FROM SRC
WHERE 1 = 1
) ERR
WHERE 1 = 1
AND JB.SID = ERR.SID
AND JB.JOB_NAME = ERR.JOB_NAME
AND JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID
ORDER BY JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;
SQL Provjera da li je moguće dobiti novi broj sesije
SELECT SUM (
CASE WHEN start_job.JOB_NAME IS NOT NULL AND end_job.JOB_NAME IS NULL /* existed job finished */
AND NOT ( 'y' = 'n' ) /* force restart PARAMETER */
THEN 1 ELSE 0
END ) AS IS_RUNNING
FROM
( SELECT 1 AS dummy FROM UTL_JOB_STATUS WHERE sid = -1) d_job
LEFT OUTER JOIN
( SELECT JOB_NAME, SID, 1 AS dummy
FROM UTL_JOB_STATUS
WHERE JOB_NAME = 'RPT_ACCESS_LOG' /* job name PARAMETER */
AND STEP_NAME = 'ETL_START'
GROUP BY JOB_NAME, SID
) start_job /* starts */
ON d_job.dummy = start_job.dummy
LEFT OUTER JOIN
( SELECT JOB_NAME, SID
FROM UTL_JOB_STATUS
WHERE JOB_NAME = 'RPT_ACCESS_LOG' /* job name PARAMETER */
AND STEP_NAME in ('ETL_END', 'ETL_ERROR') /* stop status */
GROUP BY JOB_NAME, SID
) end_job /* ends */
ON start_job.JOB_NAME = end_job.JOB_NAME
AND start_job.SID = end_job.SID
Karakteristike stola:
- početak i kraj postupka obrade podataka moraju biti praćeni koracima ETL_START i ETL_END
- u slučaju greške treba kreirati korak ETL_ERROR sa njegovim opisom
- količinu obrađenih podataka treba označiti, na primjer, zvjezdicama
- ista procedura se može pokrenuti u isto vrijeme sa parametrom force_restart=y, bez toga se broj sesije izdaje samo završenoj proceduri
- u normalnom načinu rada, ne možete pokrenuti istu proceduru obrade podataka paralelno
Potrebne operacije za rad sa stolom su sljedeće:
- dobivanje broja sesije pokrenute ETL procedure
- ubaciti unos dnevnika u tabelu
- dobivanje posljednje uspješne evidencije ETL procedure
U bazama podataka kao što su Oracle ili Postgres, ove operacije se mogu implementirati kao ugrađene funkcije. sqlite zahtijeva vanjski mehanizam, au ovom slučaju i njega
zaključak
Dakle, poruke o greškama u alatima za obradu podataka igraju megavažnu ulogu. Ali teško ih je nazvati optimalnim za brzo pronalaženje uzroka problema. Kada se broj procedura približi stotini, onda se praćenje procesa pretvara u složen projekat.
Članak daje primjer mogućeg rješenja problema u obliku prototipa. Cijeli prototip malog spremišta dostupan je u gitlabu
izvor: www.habr.com