ການຕິດຕາມຂະບວນການ ETL ໃນຄັງຂໍ້ມູນຂະຫນາດນ້ອຍ

ຫຼາຍຄົນໃຊ້ເຄື່ອງມືພິເສດເພື່ອສ້າງຂັ້ນຕອນການສະກັດ, ການຫັນປ່ຽນ, ແລະການໂຫຼດຂໍ້ມູນເຂົ້າໄປໃນຖານຂໍ້ມູນທີ່ກ່ຽວຂ້ອງ. ຂະບວນການເຮັດວຽກຂອງເຄື່ອງມືຖືກບັນທຶກ, ຂໍ້ຜິດພາດຈະຖືກແກ້ໄຂ.

ໃນກໍລະນີທີ່ມີຂໍ້ຜິດພາດ, ບັນທຶກມີຂໍ້ມູນທີ່ບໍ່ສາມາດເຮັດສໍາເລັດຫນ້າວຽກແລະໂມດູນໃດ (ມັກ java) ຢຸດຢູ່ບ່ອນໃດ. ໃນແຖວສຸດທ້າຍ, ທ່ານສາມາດຊອກຫາຂໍ້ຜິດພາດຂອງຖານຂໍ້ມູນ, ຕົວຢ່າງ, ການລະເມີດລະຫັດທີ່ເປັນເອກະລັກຂອງຕາຕະລາງ.

ເພື່ອຕອບຄໍາຖາມກ່ຽວກັບບົດບາດຂອງຂໍ້ມູນຄວາມຜິດພາດ ETL, ຂ້າພະເຈົ້າໄດ້ຈັດປະເພດບັນຫາທັງຫມົດທີ່ເກີດຂື້ນໃນສອງປີທີ່ຜ່ານມາຢູ່ໃນບ່ອນເກັບມ້ຽນທີ່ໃຫຍ່ກວ່າ.

ຂໍ້​ຜິດ​ພາດ​ຂອງ​ຖານ​ຂໍ້​ມູນ​ລວມ​ມີ​ພື້ນ​ທີ່​ບໍ່​ພຽງ​ພໍ​, ການ​ເຊື່ອມ​ຕໍ່​ທີ່​ສູນ​ເສຍ​ໄປ​, ກອງ​ປະ​ຊຸມ hang​, ແລະ​ອື່ນໆ​.

ຄວາມຜິດພາດທາງເຫດຜົນປະກອບມີເຊັ່ນ: ການລະເມີດກະແຈຕາຕະລາງ, ວັດຖຸທີ່ບໍ່ຖືກຕ້ອງ, ການຂາດການເຂົ້າເຖິງວັດຖຸ, ແລະອື່ນໆ.
ຕົວກໍານົດເວລາອາດຈະບໍ່ເລີ່ມຕົ້ນຕາມເວລາ, ມັນອາດຈະຄ້າງ, ແລະອື່ນໆ.

ຄວາມຜິດພາດງ່າຍໆບໍ່ໃຊ້ເວລາດົນໃນການແກ້ໄຂ. ETL ທີ່ດີສາມາດຈັດການກັບພວກມັນສ່ວນໃຫຍ່ດ້ວຍຕົວມັນເອງ.

ຂໍ້ບົກຜ່ອງທີ່ສັບສົນເຮັດໃຫ້ມັນຈໍາເປັນຕ້ອງຄົ້ນພົບແລະທົດສອບຂັ້ນຕອນການເຮັດວຽກກັບຂໍ້ມູນ, ເພື່ອຄົ້ນຫາແຫຼ່ງຂໍ້ມູນ. ມັກຈະນໍາໄປສູ່ຄວາມຕ້ອງການສໍາລັບການທົດສອບການປ່ຽນແປງແລະການນໍາໃຊ້.

ດັ່ງນັ້ນ, ເຄິ່ງຫນຶ່ງຂອງບັນຫາທັງຫມົດແມ່ນກ່ຽວຂ້ອງກັບຖານຂໍ້ມູນ. 48% ຂອງຄວາມຜິດພາດທັງຫມົດແມ່ນຄວາມຜິດພາດທີ່ງ່າຍດາຍ.
ຫນຶ່ງໃນສາມຂອງບັນຫາທັງຫມົດແມ່ນກ່ຽວຂ້ອງກັບການປ່ຽນແປງ logic ການເກັບຮັກສາຫຼືຮູບແບບ, ຫຼາຍກວ່າເຄິ່ງຫນຶ່ງຂອງຄວາມຜິດພາດເຫຼົ່ານີ້ແມ່ນສະລັບສັບຊ້ອນ.

ແລະຫນ້ອຍກວ່າຫນຶ່ງສ່ວນສີ່ຂອງບັນຫາທັງຫມົດແມ່ນກ່ຽວຂ້ອງກັບຕາຕະລາງວຽກ, 18% ແມ່ນຄວາມຜິດພາດທີ່ງ່າຍດາຍ.

ໂດຍທົ່ວໄປ, 22% ຂອງຄວາມຜິດພາດທັງຫມົດທີ່ເກີດຂື້ນແມ່ນສັບສົນ, ແລະການແກ້ໄຂຂອງພວກເຂົາຕ້ອງການຄວາມສົນໃຈແລະເວລາຫຼາຍທີ່ສຸດ. ພວກເຂົາເຈົ້າເກີດຂຶ້ນປະມານຫນຶ່ງຄັ້ງຕໍ່ອາທິດ. ໃນຂະນະທີ່ຄວາມຜິດພາດທີ່ງ່າຍດາຍເກີດຂຶ້ນເກືອບທຸກໆມື້.

ແນ່ນອນ, ການກວດສອບຂະບວນການ ETL ຈະມີປະສິດຕິຜົນເມື່ອສະຖານທີ່ຂໍ້ຜິດພາດຖືກລະບຸໄວ້ໃນບັນທຶກຢ່າງຖືກຕ້ອງເທົ່າທີ່ເປັນໄປໄດ້ແລະໃຊ້ເວລາຕໍາ່ສຸດທີ່ຕ້ອງຊອກຫາແຫຼ່ງຂອງບັນຫາ.

ການຕິດຕາມປະສິດທິພາບ

ຂ້ອຍຕ້ອງການເບິ່ງຫຍັງໃນຂະບວນການກວດສອບ ETL?

ເລີ່ມ​ຕົ້ນ​ໃນ​ເວ​ລາ​ທີ່​ເຂົາ​ໄດ້​ເລີ່ມ​ຕົ້ນ​ການ​ເຮັດ​ວຽກ​,
ແຫຼ່ງຂໍ້ມູນ - ແຫຼ່ງຂໍ້ມູນ,
ຊັ້ນ - ລະດັບຂອງການເກັບຮັກສາກໍາລັງໂຫລດ,
ຊື່ວຽກ ETL - ຂັ້ນຕອນການອັບໂຫລດ, ເຊິ່ງປະກອບດ້ວຍຫຼາຍຂັ້ນຕອນນ້ອຍໆ,
ຈໍານວນຂັ້ນຕອນ - ຈໍານວນຂັ້ນຕອນທີ່ກໍາລັງປະຕິບັດ,
ແຖວທີ່ໄດ້ຮັບຜົນກະທົບ - ຂໍ້ມູນຫຼາຍປານໃດໄດ້ຖືກປະມວນຜົນແລ້ວ,
ໄລຍະເວລາວິນາທີ - ມັນໃຊ້ເວລາດົນປານໃດ,
ສະ​ຖາ​ນະ - ບໍ່​ວ່າ​ທຸກ​ສິ່ງ​ທຸກ​ຢ່າງ​ແມ່ນ​ດີ​ຫຼື​ບໍ່​: OK​, ຜິດ​ພາດ​, ການ​ແລ່ນ​, hangs​
ຂໍ້ຄວາມ - ຂໍ້ຄວາມທີ່ປະສົບຜົນສໍາເລັດຫຼ້າສຸດຫຼືຄໍາອະທິບາຍຂໍ້ຜິດພາດ.

ອີງຕາມສະຖານະພາບຂອງລາຍການ, ທ່ານສາມາດສົ່ງອີເມວໄດ້. ຈົດໝາຍເຖິງສະມາຊິກຄົນອື່ນໆ. ຖ້າບໍ່ມີຂໍ້ຜິດພາດ, ຫຼັງຈາກນັ້ນ, ຈົດຫມາຍແມ່ນບໍ່ຈໍາເປັນ.

ດັ່ງນັ້ນ, ໃນກໍລະນີທີ່ມີຄວາມຜິດພາດ, ສະຖານທີ່ຂອງເຫດການແມ່ນຊີ້ໃຫ້ເຫັນຢ່າງຊັດເຈນ.

ບາງຄັ້ງມັນກໍ່ເກີດຂື້ນວ່າເຄື່ອງມືຕິດຕາມຕົວມັນເອງບໍ່ເຮັດວຽກ. ໃນກໍລະນີນີ້, ມັນເປັນໄປໄດ້ທີ່ຈະໂທຫາມຸມເບິ່ງ (ເບິ່ງ) ໂດຍກົງໃນຖານຂໍ້ມູນ, ບົນພື້ນຖານຂອງບົດລາຍງານທີ່ຖືກສ້າງຂຶ້ນ.

ຕາຕະລາງຕິດຕາມກວດກາ ETL

ເພື່ອປະຕິບັດການຕິດຕາມຂະບວນການ ETL, ຕາຕະລາງຫນຶ່ງແລະຫນຶ່ງເບິ່ງແມ່ນພຽງພໍ.

ເພື່ອເຮັດສິ່ງນີ້, ທ່ານສາມາດກັບຄືນໄປ ການເກັບຮັກສາພຽງເລັກນ້ອຍຂອງທ່ານ ແລະສ້າງຕົວແບບໃນຖານຂໍ້ມູນ sqlite.

ຕາຕະລາງ DDL

CREATE TABLE UTL_JOB_STATUS (
/* Table for logging of job execution log. Important that the job has the steps ETL_START and ETL_END or ETL_ERROR */
  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
  SID               INTEGER NOT NULL DEFAULT -1, /* Session Identificator. Unique for every Run of job */
  LOG_DT            INTEGER NOT NULL DEFAULT 0,  /* Date time */
  LOG_D             INTEGER NOT NULL DEFAULT 0,  /* Date */
  JOB_NAME          TEXT NOT NULL DEFAULT 'N/A', /* Job name like JOB_STG2DM_GEO */
  STEP_NAME         TEXT NOT NULL DEFAULT 'N/A', /* ETL_START, ... , ETL_END/ETL_ERROR */
  STEP_DESCR        TEXT,                        /* Description of task or error message */
  UNIQUE (SID, JOB_NAME, STEP_NAME)
);
INSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);

ເບິ່ງ/ລາຍງານ DDL

CREATE VIEW IF NOT EXISTS UTL_JOB_STATUS_V
AS /* Content: Package Execution Log for last 3 Months. */
WITH SRC AS (
  SELECT LOG_D,
    LOG_DT,
    UTL_JOB_STATUS_ID,
    SID,
	CASE WHEN INSTR(JOB_NAME, 'FTP') THEN 'TRANSFER' /* file transfer */
	     WHEN INSTR(JOB_NAME, 'STG') THEN 'STAGE' /* stage */
	     WHEN INSTR(JOB_NAME, 'CLS') THEN 'CLEANSING' /* cleansing */
	     WHEN INSTR(JOB_NAME, 'DIM') THEN 'DIMENSION' /* dimension */
	     WHEN INSTR(JOB_NAME, 'FCT') THEN 'FACT' /* fact */
		 WHEN INSTR(JOB_NAME, 'ETL') THEN 'STAGE-MART' /* data mart */
	     WHEN INSTR(JOB_NAME, 'RPT') THEN 'REPORT' /* report */
	     ELSE 'N/A' END AS LAYER,
	CASE WHEN INSTR(JOB_NAME, 'ACCESS') THEN 'ACCESS LOG' /* source */
	     WHEN INSTR(JOB_NAME, 'MASTER') THEN 'MASTER DATA' /* source */
	     WHEN INSTR(JOB_NAME, 'AD-HOC') THEN 'AD-HOC' /* source */
	     ELSE 'N/A' END AS SOURCE,
    JOB_NAME,
    STEP_NAME,
    CASE WHEN STEP_NAME='ETL_START' THEN 1 ELSE 0 END AS START_FLAG,
    CASE WHEN STEP_NAME='ETL_END' THEN 1 ELSE 0 END AS END_FLAG,
    CASE WHEN STEP_NAME='ETL_ERROR' THEN 1 ELSE 0 END AS ERROR_FLAG,
    STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,
	SUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS
  FROM UTL_JOB_STATUS
  WHERE datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')
)
SELECT JB.SID,
  JB.MIN_LOG_DT AS START_DT,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS LOG_DT,
  JB.SOURCE,
  JB.LAYER,
  JB.JOB_NAME,
  CASE
  WHEN JB.ERROR_FLAG = 1 THEN 'ERROR'
  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 AND strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 THEN 'HANGS' /* half an hour */
  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 THEN 'RUNNING'
  ELSE 'OK'
  END AS STATUS,
  ERR.STEP_LOG     AS STEP_LOG,
  JB.CNT           AS STEP_CNT,
  JB.AFFECTED_ROWS AS AFFECTED_ROWS,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS JOB_START_DT,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) AS JOB_END_DT,
  JB.MAX_LOG_DT - JB.MIN_LOG_DT AS JOB_DURATION_SEC
FROM
  ( SELECT SID, SOURCE, LAYER, JOB_NAME,
           MAX(UTL_JOB_STATUS_ID) AS UTL_JOB_STATUS_ID,
           MAX(START_FLAG)       AS START_FLAG,
           MAX(END_FLAG)         AS END_FLAG,
           MAX(ERROR_FLAG)       AS ERROR_FLAG,
           MIN(LOG_DT)           AS MIN_LOG_DT,
           MAX(LOG_DT)           AS MAX_LOG_DT,
           SUM(1)                AS CNT,
           SUM(IFNULL(AFFECTED_ROWS, 0)) AS AFFECTED_ROWS
    FROM SRC
    GROUP BY SID, SOURCE, LAYER, JOB_NAME
  ) JB,
  ( SELECT UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG
    FROM SRC
    WHERE 1 = 1
  ) ERR
WHERE 1 = 1
  AND JB.SID = ERR.SID
  AND JB.JOB_NAME = ERR.JOB_NAME
  AND JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID
ORDER BY JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;

SQL ກວດສອບວ່າສາມາດໄດ້ຮັບຈໍານວນເຊດຊັນໃຫມ່

SELECT SUM (
  CASE WHEN start_job.JOB_NAME IS NOT NULL AND end_job.JOB_NAME IS NULL /* existed job finished */
	    AND NOT ( 'y' = 'n' ) /* force restart PARAMETER */
       THEN 1 ELSE 0
  END ) AS IS_RUNNING
  FROM
    ( SELECT 1 AS dummy FROM UTL_JOB_STATUS WHERE sid = -1) d_job
  LEFT OUTER JOIN
    ( SELECT JOB_NAME, SID, 1 AS dummy
      FROM UTL_JOB_STATUS
      WHERE JOB_NAME = 'RPT_ACCESS_LOG' /* job name PARAMETER */
	    AND STEP_NAME = 'ETL_START'
      GROUP BY JOB_NAME, SID
    ) start_job /* starts */
  ON d_job.dummy = start_job.dummy
  LEFT OUTER JOIN
    ( SELECT JOB_NAME, SID
      FROM UTL_JOB_STATUS
      WHERE JOB_NAME = 'RPT_ACCESS_LOG'  /* job name PARAMETER */
	    AND STEP_NAME in ('ETL_END', 'ETL_ERROR') /* stop status */
      GROUP BY JOB_NAME, SID
    ) end_job /* ends */
  ON start_job.JOB_NAME = end_job.JOB_NAME
     AND start_job.SID = end_job.SID

ຄຸນ​ນະ​ສົມ​ບັດ​ຕາ​ຕະ​ລາງ​:

• ການເລີ່ມຕົ້ນ ແລະສິ້ນສຸດຂັ້ນຕອນການປະມວນຜົນຂໍ້ມູນຈະຕ້ອງປະຕິບັດຕາມຂັ້ນຕອນ ETL_START ແລະ ETL_END
• ໃນກໍລະນີຂອງຄວາມຜິດພາດ, ຂັ້ນຕອນ ETL_ERROR ທີ່ມີຄໍາອະທິບາຍຂອງມັນຄວນຈະຖືກສ້າງຂື້ນ
• ຈໍານວນຂໍ້ມູນທີ່ຖືກປຸງແຕ່ງຄວນຈະຖືກເນັ້ນໃສ່, ຕົວຢ່າງ, ມີຮູບດາວ
• ຂັ້ນຕອນດຽວກັນສາມາດເລີ່ມຕົ້ນໄດ້ໃນເວລາດຽວກັນກັບພາລາມິເຕີ force_restart=y, ໂດຍບໍ່ມີມັນ, ຈໍານວນກອງປະຊຸມແມ່ນອອກພຽງແຕ່ຂັ້ນຕອນທີ່ສໍາເລັດ.
• ໃນຮູບແບບປົກກະຕິ, ທ່ານບໍ່ສາມາດດໍາເນີນການຂະບວນການຂໍ້ມູນດຽວກັນໃນຂະຫນານ

ການດໍາເນີນງານທີ່ຈໍາເປັນສໍາລັບການເຮັດວຽກກັບຕາຕະລາງມີດັ່ງນີ້:

• ໄດ້ຮັບຈໍານວນເຊດຊັນຂອງຂັ້ນຕອນ ETL ທີ່ແລ່ນ
• ໃສ່ຂໍ້ມູນບັນທຶກເຂົ້າໃນຕາຕະລາງ
• ໄດ້ຮັບການບັນທຶກຜົນສໍາເລັດສຸດທ້າຍຂອງຂັ້ນຕອນ ETL

ໃນຖານຂໍ້ມູນເຊັ່ນ Oracle ຫຼື Postgres, ການດໍາເນີນງານເຫຼົ່ານີ້ສາມາດຖືກປະຕິບັດເປັນຫນ້າທີ່ກໍ່ສ້າງໃນ. sqlite ຮຽກຮ້ອງໃຫ້ມີກົນໄກພາຍນອກ, ແລະໃນກໍລະນີນີ້ມັນ ຕົ້ນແບບໃນ PHP.

ສະຫລຸບ

ດັ່ງນັ້ນ, ຂໍ້ຄວາມສະແດງຂໍ້ຜິດພາດໃນເຄື່ອງມືປະມວນຜົນຂໍ້ມູນມີບົດບາດສໍາຄັນຫຼາຍ. ແຕ່ມັນເປັນການຍາກທີ່ຈະໂທຫາພວກເຂົາທີ່ດີທີ່ສຸດສໍາລັບການຊອກຫາສາເຫດຂອງບັນຫາຢ່າງໄວວາ. ເມື່ອຈໍານວນຂັ້ນຕອນເຂົ້າໃກ້ຮ້ອຍ, ຫຼັງຈາກນັ້ນ, ການກວດສອບຂະບວນການປ່ຽນເປັນໂຄງການທີ່ສັບສົນ.

ບົດຄວາມສະຫນອງຕົວຢ່າງຂອງການແກ້ໄຂບັນຫາທີ່ເປັນໄປໄດ້ໃນຮູບແບບຂອງຕົ້ນແບບ. ຕົ້ນແບບບ່ອນເກັບມ້ຽນຂະຫນາດນ້ອຍທັງໝົດແມ່ນມີຢູ່ໃນ gitlab SQLite PHP ETL Utilities.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com