ការត្រួតពិនិត្យដំណើរការ ETL នៅក្នុងឃ្លាំងទិន្នន័យតូចមួយ

មនុស្សជាច្រើនប្រើឧបករណ៍ឯកទេសដើម្បីបង្កើតនីតិវិធីសម្រាប់ការស្រង់ចេញ បំប្លែង និងផ្ទុកទិន្នន័យទៅក្នុងមូលដ្ឋានទិន្នន័យទំនាក់ទំនង។ ដំណើរការនៃឧបករណ៍ធ្វើការត្រូវបានកត់ត្រាកំហុសត្រូវបានជួសជុល។

ក្នុង​ករណី​មាន​កំហុស កំណត់ហេតុ​មាន​ព័ត៌មាន​ដែល​ឧបករណ៍​បាន​បរាជ័យ​ក្នុង​ការ​បំពេញ​កិច្ចការ ហើយ​ម៉ូឌុល​ណា​ខ្លះ (ជា​ញឹកញាប់ java) បាន​ឈប់​នៅ​កន្លែង​ណា។ នៅក្នុងបន្ទាត់ចុងក្រោយ អ្នកអាចរកឃើញកំហុសមូលដ្ឋានទិន្នន័យ ឧទាហរណ៍ ការរំលោភលើគន្លឹះតែមួយគត់របស់តារាង។

ដើម្បីឆ្លើយសំណួរថាតើព័ត៌មានកំហុស ETL មានតួនាទីអ្វី ខ្ញុំបានចាត់ថ្នាក់បញ្ហាទាំងអស់ដែលបានកើតឡើងក្នុងរយៈពេលពីរឆ្នាំកន្លងមកនេះនៅក្នុងឃ្លាំងធំជាង។

កំហុស​មូលដ្ឋាន​ទិន្នន័យ​រួម​មាន​ទំហំ​មិន​គ្រប់​គ្រាន់ ការ​បាត់​បង់​ការ​តភ្ជាប់ ការ​ព្យួរ​សម័យ​ជាដើម។

កំហុស​ឡូជីខល​រួម​មាន​ដូច​ជា​ការ​រំលោភ​លើ​គ្រាប់ចុច​តារាង វត្ថុ​មិន​ត្រឹមត្រូវ កង្វះ​ការ​ចូល​ប្រើ​វត្ថុ​ជាដើម។
កម្មវិធីកំណត់ពេលប្រហែលជាមិនចាប់ផ្តើមទាន់ពេលទេ វាអាចបង្កក។ល។

កំហុសសាមញ្ញមិនចំណាយពេលយូរដើម្បីជួសជុល។ ETL ល្អអាចគ្រប់គ្រងពួកវាភាគច្រើនដោយខ្លួនឯង។

កំហុសស្មុគស្មាញធ្វើឱ្យវាចាំបាច់ក្នុងការស្វែងរក និងសាកល្បងនីតិវិធីសម្រាប់ធ្វើការជាមួយទិន្នន័យ ដើម្បីស្វែងរកប្រភពទិន្នន័យ។ ជារឿយៗនាំឱ្យមានតម្រូវការសម្រាប់ការផ្លាស់ប្តូរការធ្វើតេស្តនិងការដាក់ពង្រាយ។

ដូច្នេះពាក់កណ្តាលនៃបញ្ហាទាំងអស់គឺទាក់ទងទៅនឹងមូលដ្ឋានទិន្នន័យ។ 48% នៃកំហុសទាំងអស់គឺជាកំហុសសាមញ្ញ។
មួយភាគបីនៃបញ្ហាទាំងអស់គឺទាក់ទងទៅនឹងការផ្លាស់ប្តូរតក្កវិជ្ជាការផ្ទុកឬគំរូ ជាងពាក់កណ្តាលនៃកំហុសទាំងនេះគឺស្មុគស្មាញ។

ហើយតិចជាងមួយភាគបួននៃបញ្ហាទាំងអស់គឺទាក់ទងទៅនឹងកម្មវិធីកំណត់ពេលភារកិច្ច ដែល 18% គឺជាកំហុសសាមញ្ញ។

ជាទូទៅ 22% នៃកំហុសទាំងអស់ដែលកើតឡើងគឺស្មុគស្មាញ ហើយការកែតម្រូវរបស់ពួកគេទាមទារការយកចិត្តទុកដាក់ និងពេលវេលាច្រើនបំផុត។ ពួកវាកើតឡើងប្រហែលម្តងក្នុងមួយសប្តាហ៍។ ចំណែក​ឯ​កំហុស​សាមញ្ញ​កើត​ឡើង​ស្ទើរ​រាល់​ថ្ងៃ។

ជាក់ស្តែង ការត្រួតពិនិត្យដំណើរការ ETL នឹងមានប្រសិទ្ធភាពនៅពេលដែលទីតាំងកំហុសត្រូវបានចង្អុលបង្ហាញនៅក្នុងកំណត់ហេតុឱ្យបានត្រឹមត្រូវតាមដែលអាចធ្វើបាន ហើយត្រូវការពេលវេលាអប្បបរមាដើម្បីស្វែងរកប្រភពនៃបញ្ហា។

ការត្រួតពិនិត្យប្រកបដោយប្រសិទ្ធភាព

តើខ្ញុំចង់ឃើញអ្វីខ្លះនៅក្នុងដំណើរការត្រួតពិនិត្យ ETL?

ចាប់ផ្តើម - នៅពេលគាត់ចាប់ផ្តើមការងារ។
ប្រភព - ប្រភពទិន្នន័យ,
ស្រទាប់ - តើកម្រិតនៃការផ្ទុកត្រូវបានផ្ទុក,
ឈ្មោះការងារ ETL - ដំណើរការផ្ទុកឡើងដែលមានជំហានតូចៗជាច្រើន
លេខជំហាន - ចំនួនជំហានដែលកំពុងត្រូវបានអនុវត្ត
ជួរដែលរងផលប៉ះពាល់ - តើទិន្នន័យប៉ុន្មានត្រូវបានដំណើរការរួចហើយ
រយៈពេលវិនាទី - តើវាត្រូវចំណាយពេលប៉ុន្មាន,
ស្ថានភាព - ថាតើអ្វីគ្រប់យ៉ាងល្អឬអត់៖ យល់ព្រម, កំហុស, ដំណើរការ, ព្យួរ
សារ - សារជោគជ័យចុងក្រោយ ឬការពិពណ៌នាអំពីកំហុស។

ដោយផ្អែកលើស្ថានភាពនៃកំណត់ត្រា អ្នកអាចផ្ញើអ៊ីមែល។ សំបុត្រទៅសមាជិកផ្សេងទៀត។ ប្រសិនបើមិនមានកំហុសទេនោះលិខិតមិនចាំបាច់ទេ។

ដូច្នេះក្នុងករណីមានកំហុស ទីតាំងនៃឧប្បត្តិហេតុត្រូវបានចង្អុលបង្ហាញយ៉ាងច្បាស់។

ជួនកាលវាកើតឡើងថាឧបករណ៍ត្រួតពិនិត្យខ្លួនឯងមិនដំណើរការទេ។ ក្នុងករណីនេះ គេអាចហៅទិដ្ឋភាព (មើល) ដោយផ្ទាល់នៅក្នុងមូលដ្ឋានទិន្នន័យ ដោយឈរលើមូលដ្ឋានដែលរបាយការណ៍ត្រូវបានបង្កើតឡើង។

តារាងត្រួតពិនិត្យ ETL

ដើម្បីអនុវត្តការត្រួតពិនិត្យដំណើរការ ETL តារាងមួយ និងទិដ្ឋភាពមួយគឺគ្រប់គ្រាន់ហើយ។

ដើម្បីធ្វើដូចនេះអ្នកអាចត្រឡប់ទៅ ការផ្ទុកតិចតួចរបស់អ្នក។ និងបង្កើតគំរូដើមនៅក្នុងមូលដ្ឋានទិន្នន័យ sqlite ។

តារាង DDL

CREATE TABLE UTL_JOB_STATUS (
/* Table for logging of job execution log. Important that the job has the steps ETL_START and ETL_END or ETL_ERROR */
  UTL_JOB_STATUS_ID INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
  SID               INTEGER NOT NULL DEFAULT -1, /* Session Identificator. Unique for every Run of job */
  LOG_DT            INTEGER NOT NULL DEFAULT 0,  /* Date time */
  LOG_D             INTEGER NOT NULL DEFAULT 0,  /* Date */
  JOB_NAME          TEXT NOT NULL DEFAULT 'N/A', /* Job name like JOB_STG2DM_GEO */
  STEP_NAME         TEXT NOT NULL DEFAULT 'N/A', /* ETL_START, ... , ETL_END/ETL_ERROR */
  STEP_DESCR        TEXT,                        /* Description of task or error message */
  UNIQUE (SID, JOB_NAME, STEP_NAME)
);
INSERT INTO UTL_JOB_STATUS (UTL_JOB_STATUS_ID) VALUES (-1);

មើល/រាយការណ៍ DDL

CREATE VIEW IF NOT EXISTS UTL_JOB_STATUS_V
AS /* Content: Package Execution Log for last 3 Months. */
WITH SRC AS (
  SELECT LOG_D,
    LOG_DT,
    UTL_JOB_STATUS_ID,
    SID,
	CASE WHEN INSTR(JOB_NAME, 'FTP') THEN 'TRANSFER' /* file transfer */
	     WHEN INSTR(JOB_NAME, 'STG') THEN 'STAGE' /* stage */
	     WHEN INSTR(JOB_NAME, 'CLS') THEN 'CLEANSING' /* cleansing */
	     WHEN INSTR(JOB_NAME, 'DIM') THEN 'DIMENSION' /* dimension */
	     WHEN INSTR(JOB_NAME, 'FCT') THEN 'FACT' /* fact */
		 WHEN INSTR(JOB_NAME, 'ETL') THEN 'STAGE-MART' /* data mart */
	     WHEN INSTR(JOB_NAME, 'RPT') THEN 'REPORT' /* report */
	     ELSE 'N/A' END AS LAYER,
	CASE WHEN INSTR(JOB_NAME, 'ACCESS') THEN 'ACCESS LOG' /* source */
	     WHEN INSTR(JOB_NAME, 'MASTER') THEN 'MASTER DATA' /* source */
	     WHEN INSTR(JOB_NAME, 'AD-HOC') THEN 'AD-HOC' /* source */
	     ELSE 'N/A' END AS SOURCE,
    JOB_NAME,
    STEP_NAME,
    CASE WHEN STEP_NAME='ETL_START' THEN 1 ELSE 0 END AS START_FLAG,
    CASE WHEN STEP_NAME='ETL_END' THEN 1 ELSE 0 END AS END_FLAG,
    CASE WHEN STEP_NAME='ETL_ERROR' THEN 1 ELSE 0 END AS ERROR_FLAG,
    STEP_NAME || ' : ' || STEP_DESCR AS STEP_LOG,
	SUBSTR( SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), 1, INSTR(SUBSTR(STEP_DESCR, INSTR(STEP_DESCR, '***')+4), '***')-2 ) AS AFFECTED_ROWS
  FROM UTL_JOB_STATUS
  WHERE datetime(LOG_D, 'unixepoch') >= date('now', 'start of month', '-3 month')
)
SELECT JB.SID,
  JB.MIN_LOG_DT AS START_DT,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS LOG_DT,
  JB.SOURCE,
  JB.LAYER,
  JB.JOB_NAME,
  CASE
  WHEN JB.ERROR_FLAG = 1 THEN 'ERROR'
  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 AND strftime('%s','now') - JB.MIN_LOG_DT > 0.5*60*60 THEN 'HANGS' /* half an hour */
  WHEN JB.ERROR_FLAG = 0 AND JB.END_FLAG = 0 THEN 'RUNNING'
  ELSE 'OK'
  END AS STATUS,
  ERR.STEP_LOG     AS STEP_LOG,
  JB.CNT           AS STEP_CNT,
  JB.AFFECTED_ROWS AS AFFECTED_ROWS,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MIN_LOG_DT, 'unixepoch')) AS JOB_START_DT,
  strftime('%d.%m.%Y %H:%M', datetime(JB.MAX_LOG_DT, 'unixepoch')) AS JOB_END_DT,
  JB.MAX_LOG_DT - JB.MIN_LOG_DT AS JOB_DURATION_SEC
FROM
  ( SELECT SID, SOURCE, LAYER, JOB_NAME,
           MAX(UTL_JOB_STATUS_ID) AS UTL_JOB_STATUS_ID,
           MAX(START_FLAG)       AS START_FLAG,
           MAX(END_FLAG)         AS END_FLAG,
           MAX(ERROR_FLAG)       AS ERROR_FLAG,
           MIN(LOG_DT)           AS MIN_LOG_DT,
           MAX(LOG_DT)           AS MAX_LOG_DT,
           SUM(1)                AS CNT,
           SUM(IFNULL(AFFECTED_ROWS, 0)) AS AFFECTED_ROWS
    FROM SRC
    GROUP BY SID, SOURCE, LAYER, JOB_NAME
  ) JB,
  ( SELECT UTL_JOB_STATUS_ID, SID, JOB_NAME, STEP_LOG
    FROM SRC
    WHERE 1 = 1
  ) ERR
WHERE 1 = 1
  AND JB.SID = ERR.SID
  AND JB.JOB_NAME = ERR.JOB_NAME
  AND JB.UTL_JOB_STATUS_ID = ERR.UTL_JOB_STATUS_ID
ORDER BY JB.MIN_LOG_DT DESC, JB.SID DESC, JB.SOURCE;

SQL កំពុងពិនិត្យមើលថាតើវាអាចទៅរួចដើម្បីទទួលបានលេខសម័យថ្មី។

SELECT SUM (
  CASE WHEN start_job.JOB_NAME IS NOT NULL AND end_job.JOB_NAME IS NULL /* existed job finished */
	    AND NOT ( 'y' = 'n' ) /* force restart PARAMETER */
       THEN 1 ELSE 0
  END ) AS IS_RUNNING
  FROM
    ( SELECT 1 AS dummy FROM UTL_JOB_STATUS WHERE sid = -1) d_job
  LEFT OUTER JOIN
    ( SELECT JOB_NAME, SID, 1 AS dummy
      FROM UTL_JOB_STATUS
      WHERE JOB_NAME = 'RPT_ACCESS_LOG' /* job name PARAMETER */
	    AND STEP_NAME = 'ETL_START'
      GROUP BY JOB_NAME, SID
    ) start_job /* starts */
  ON d_job.dummy = start_job.dummy
  LEFT OUTER JOIN
    ( SELECT JOB_NAME, SID
      FROM UTL_JOB_STATUS
      WHERE JOB_NAME = 'RPT_ACCESS_LOG'  /* job name PARAMETER */
	    AND STEP_NAME in ('ETL_END', 'ETL_ERROR') /* stop status */
      GROUP BY JOB_NAME, SID
    ) end_job /* ends */
  ON start_job.JOB_NAME = end_job.JOB_NAME
     AND start_job.SID = end_job.SID

លក្ខណៈពិសេសនៃតារាង៖

• ការចាប់ផ្តើម និងបញ្ចប់នៃនីតិវិធីដំណើរការទិន្នន័យត្រូវតែអនុវត្តតាមជំហាន ETL_START និង ETL_END
• ក្នុងករណីមានកំហុស ជំហាន ETL_ERROR ជាមួយនឹងការពិពណ៌នារបស់វាគួរតែត្រូវបានបង្កើត
• ចំនួននៃទិន្នន័យដែលបានដំណើរការគួរតែត្រូវបានបន្លិច ឧទាហរណ៍ជាមួយនឹងសញ្ញាផ្កាយ
• នីតិវិធីដូចគ្នាអាចត្រូវបានចាប់ផ្តើមក្នុងពេលតែមួយជាមួយប៉ារ៉ាម៉ែត្រ force_restart=y ដោយគ្មានវាលេខសម័យត្រូវបានចេញសម្រាប់តែនីតិវិធីដែលបានបញ្ចប់
• ក្នុង​របៀប​ធម្មតា អ្នក​មិន​អាច​ដំណើរ​ការ​ដំណើរ​ការ​ទិន្នន័យ​ដូច​គ្នា​ស្រប​គ្នា​បាន​ទេ។

ប្រតិបត្តិការចាំបាច់សម្រាប់ធ្វើការជាមួយតារាងមានដូចខាងក្រោម៖

• ទទួលបានលេខវគ្គនៃនីតិវិធី ETL ដែលដំណើរការ
• បញ្ចូលកំណត់ហេតុទៅក្នុងតារាង
• ទទួលបានកំណត់ត្រាជោគជ័យចុងក្រោយនៃនីតិវិធី ETL

នៅក្នុងមូលដ្ឋានទិន្នន័យដូចជា Oracle ឬ Postgres ប្រតិបត្តិការទាំងនេះអាចត្រូវបានអនុវត្តជាមុខងារដែលភ្ជាប់មកជាមួយ។ sqlite ទាមទារយន្តការខាងក្រៅ ហើយក្នុងករណីនេះ គំរូដើមនៅក្នុង PHP.

សេចក្តីសន្និដ្ឋាន

ដូច្នេះ សារកំហុសនៅក្នុងឧបករណ៍ដំណើរការទិន្នន័យដើរតួនាទីយ៉ាងសំខាន់។ ប៉ុន្តែវាពិបាកក្នុងការហៅពួកគេថាល្អបំផុតសម្រាប់ការស្វែងរកមូលហេតុនៃបញ្ហាបានយ៉ាងឆាប់រហ័ស។ នៅពេលដែលចំនួននីតិវិធីឈានដល់មួយរយ ការត្រួតពិនិត្យដំណើរការប្រែទៅជាគម្រោងស្មុគស្មាញ។

អត្ថបទផ្តល់នូវឧទាហរណ៍នៃដំណោះស្រាយដែលអាចកើតមានចំពោះបញ្ហាក្នុងទម្រង់ជាគំរូ។ គំរូឃ្លាំងតូចទាំងមូលមាននៅក្នុង gitlab ឧបករណ៍ប្រើប្រាស់ SQLite PHP ETL.

ប្រភព: www.habr.com