ຄຸນນະພາບຂໍ້ມູນໃນສາງ

ຄຸນະພາບຂອງຂໍ້ມູນໃນສາງແມ່ນເງື່ອນໄຂສໍາຄັນສໍາລັບການໄດ້ຮັບຂໍ້ມູນທີ່ມີຄຸນຄ່າ. ຄຸນນະພາບທີ່ບໍ່ດີເຮັດໃຫ້ຕ່ອງໂສ້ປະຕິກິລິຍາທາງລົບໃນໄລຍະຍາວ.
ທໍາອິດ, ຄວາມໄວ້ວາງໃຈໃນຂໍ້ມູນທີ່ສະຫນອງໃຫ້ແມ່ນສູນເສຍໄປ. ຜູ້ຄົນເລີ່ມນຳໃຊ້ແອັບພລິເຄຊັນ Business Intelligence ໜ້ອຍລົງ; ທ່າແຮງຂອງແອັບພລິເຄຊັນຍັງບໍ່ໄດ້ຮັບການອ້າງສິດ.
ດັ່ງນັ້ນ, ການລົງທຶນຕື່ມອີກໃນໂຄງການການວິເຄາະແມ່ນເອີ້ນວ່າຄໍາຖາມ.

ຄວາມຮັບຜິດຊອບສໍາລັບຄຸນນະພາບຂໍ້ມູນ

ລັກສະນະທີ່ກ່ຽວຂ້ອງກັບການປັບປຸງຄຸນນະພາບຂໍ້ມູນແມ່ນມີຄວາມສໍາຄັນຂະຫນາດໃຫຍ່ໃນໂຄງການ BI. ຢ່າງໃດກໍ່ຕາມ, ມັນບໍ່ແມ່ນສິດທິພິເສດຂອງຜູ້ຊ່ຽວຊານດ້ານວິຊາການເທົ່ານັ້ນ.
ຄຸນ​ນະ​ພາບ​ຂໍ້​ມູນ​ຍັງ​ມີ​ອິດ​ທິ​ພົນ​ໂດຍ​ລັກ​ສະ​ນະ​ດັ່ງ​ກ່າວ​ເປັນ​

ວັດທະນະທໍາອົງກອນ

• ຄົນງານເອງມີຄວາມສົນໃຈໃນການຜະລິດທີ່ມີຄຸນນະພາບບໍ?
• ຖ້າບໍ່ແມ່ນ, ເປັນຫຍັງບໍ່? ອາດ​ຈະ​ມີ​ຄວາມ​ຂັດ​ແຍ່ງ​ກັນ.
• ບາງທີອາດມີກົດລະບຽບຂອງບໍລິສັດທີ່ກໍານົດວ່າໃຜເປັນຜູ້ຮັບຜິດຊອບຕໍ່ຄຸນນະພາບ?

ຂະບວນການຕ່າງໆ

• ຂໍ້ມູນໃດທີ່ຖືກສ້າງຂື້ນໃນຕອນທ້າຍຂອງຕ່ອງໂສ້ເຫຼົ່ານີ້?
• ບາງທີລະບົບປະຕິບັດການຖືກຕັ້ງຄ່າໃນລັກສະນະທີ່ທ່ານຈໍາເປັນຕ້ອງ "ບິດ" ເພື່ອສະທ້ອນເຖິງສະຖານະການນີ້ຫຼືວ່າໃນຄວາມເປັນຈິງ.
• ລະບົບປະຕິບັດການປະຕິບັດການກວດສອບຂໍ້ມູນແລະການຄືນໃຫມ່ດ້ວຍຕົນເອງບໍ?

ທຸກໆຄົນໃນອົງການແມ່ນຮັບຜິດຊອບຕໍ່ຄຸນນະພາບຂອງຂໍ້ມູນໃນລະບົບການລາຍງານ.

ຄໍານິຍາມແລະຄວາມຫມາຍ

ຄຸນນະພາບແມ່ນການພິສູດຄວາມພໍໃຈຂອງຄວາມຄາດຫວັງຂອງລູກຄ້າ.

ແຕ່ຄຸນນະພາບຂໍ້ມູນບໍ່ມີຄໍານິຍາມ. ມັນສະເຫມີສະທ້ອນໃຫ້ເຫັນເຖິງສະພາບການຂອງການນໍາໃຊ້. ຄັງເກັບຂໍ້ມູນແລະລະບົບ BI ໃຫ້ບໍລິການຈຸດປະສົງທີ່ແຕກຕ່າງກັນກ່ວາລະບົບປະຕິບັດການທີ່ຂໍ້ມູນມາຈາກ.

ຕົວຢ່າງ, ໃນລະບົບປະຕິບັດການ, ຄຸນລັກສະນະຂອງລູກຄ້າອາດຈະເປັນພາກສະຫນາມທາງເລືອກ. ໃນບ່ອນເກັບມ້ຽນ, ຄຸນລັກສະນະນີ້ສາມາດຖືກນໍາໃຊ້ເປັນມິຕິແລະການຕື່ມຂໍ້ມູນຂອງມັນ. ເຊິ່ງ, ໃນທາງກັບກັນ, ແນະນໍາຄວາມຕ້ອງການທີ່ຈະຕື່ມຂໍ້ມູນໃສ່ໃນຄ່າເລີ່ມຕົ້ນ.

ຂໍ້ກໍານົດການເກັບຮັກສາຂໍ້ມູນມີການປ່ຽນແປງຢ່າງຕໍ່ເນື່ອງແລະພວກມັນມັກຈະສູງກວ່າສໍາລັບລະບົບປະຕິບັດການ. ແຕ່ມັນຍັງສາມາດເປັນວິທີອື່ນ, ເມື່ອບໍ່ຈໍາເປັນຕ້ອງເກັບຂໍ້ມູນລາຍລະອຽດຈາກລະບົບປະຕິບັດການໃນການເກັບຮັກສາ.

ເພື່ອເຮັດໃຫ້ຄຸນນະພາບຂໍ້ມູນສາມາດວັດແທກໄດ້, ມາດຕະຖານຂອງມັນຕ້ອງໄດ້ຮັບການອະທິບາຍ. ຜູ້ທີ່ໃຊ້ຂໍ້ມູນແລະຕົວເລກສໍາລັບການເຮັດວຽກຂອງພວກເຂົາຕ້ອງມີສ່ວນຮ່ວມໃນຂະບວນການຄໍາອະທິບາຍ. ຜົນໄດ້ຮັບຂອງການມີສ່ວນຮ່ວມນີ້ອາດຈະເປັນກົດລະບຽບ, ປະຕິບັດຕາມທີ່ຄົນເຮົາສາມາດບອກໄດ້ທັນທີໃນຕາຕະລາງວ່າມີຄວາມຜິດພາດຫຼືບໍ່. ກົດ​ລະ​ບຽບ​ນີ້​ຈະ​ຕ້ອງ​ໄດ້​ຮັບ​ການ​ຈັດ​ຮູບ​ແບບ​ເປັນ script / ລະ​ຫັດ​ສໍາ​ລັບ​ການ​ກວດ​ສອບ​ຕໍ່​ໄປ​.

ການປັບປຸງຄຸນນະພາບຂໍ້ມູນ

ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະເຮັດຄວາມສະອາດແລະແກ້ໄຂຂໍ້ຜິດພາດສົມມຸດຕິຖານທັງຫມົດໃນລະຫວ່າງຂະບວນການໂຫລດຂໍ້ມູນເຂົ້າໄປໃນສາງ. ຄຸນນະພາບຂໍ້ມູນທີ່ດີສາມາດເຮັດໄດ້ພຽງແຕ່ຜ່ານການຮ່ວມມືຢ່າງໃກ້ຊິດລະຫວ່າງຜູ້ເຂົ້າຮ່ວມທັງຫມົດ. ຄົນທີ່ປ້ອນຂໍ້ມູນເຂົ້າໄປໃນລະບົບປະຕິບັດການຕ້ອງຮຽນຮູ້ສິ່ງທີ່ການກະທໍາທີ່ນໍາໄປສູ່ຄວາມຜິດພາດ.

ຄຸນນະພາບຂໍ້ມູນແມ່ນຂະບວນການ. ແຕ່ຫນ້າເສຍດາຍ, ອົງການຈັດຕັ້ງຈໍານວນຫຼາຍບໍ່ມີຍຸດທະສາດສໍາລັບການປັບປຸງຢ່າງຕໍ່ເນື່ອງ. ຫຼາຍຄົນຈໍາກັດຕົວເອງພຽງແຕ່ເກັບຮັກສາຂໍ້ມູນແລະບໍ່ໃຊ້ທ່າແຮງອັນເຕັມທີ່ຂອງລະບົບການວິເຄາະ. ໂດຍປົກກະຕິ, ເມື່ອພັດທະນາຄັງຂໍ້ມູນ, 70-80% ຂອງງົບປະມານແມ່ນໃຊ້ໃນການປະຕິບັດການເຊື່ອມໂຍງຂໍ້ມູນ. ຂະ​ບວນ​ການ​ຕິດ​ຕາມ​ກວດ​ກາ​ແລະ​ການ​ປັບ​ປຸງ​ຍັງ​ບໍ່​ຄົບ​ຖ້ວນ, ຖ້າ​ຫາກ​ວ່າ​ທັງ​ຫມົດ.

ເຄື່ອງມື

ການນໍາໃຊ້ເຄື່ອງມືຊອຟແວສາມາດຊ່ວຍໃນຂະບວນການຂອງການປັບປຸງຄຸນນະພາບຂໍ້ມູນອັດຕະໂນມັດແລະການຕິດຕາມ. ຕົວຢ່າງ, ພວກເຂົາສາມາດອັດຕະໂນມັດຢ່າງເຕັມສ່ວນໃນການກວດສອບດ້ານວິຊາການຂອງໂຄງສ້າງການເກັບຮັກສາ: ຮູບແບບພາກສະຫນາມ, ການມີຄ່າເລີ່ມຕົ້ນ, ການປະຕິບັດຕາມຊື່ພາກສະຫນາມຕາຕະລາງ.

ມັນອາດຈະເປັນການຍາກທີ່ຈະກວດສອບເນື້ອຫາ. ເນື່ອງຈາກຄວາມຕ້ອງການການເກັບຮັກສາມີການປ່ຽນແປງ, ການຕີຄວາມຂອງຂໍ້ມູນອາດຈະມີການປ່ຽນແປງ. ເຄື່ອງມືຕົວມັນເອງສາມາດກາຍເປັນໂຄງການຂະຫນາດໃຫຍ່ທີ່ຕ້ອງການການສະຫນັບສະຫນູນ.

ຄໍາແນະນໍາ

ຖານຂໍ້ມູນທີ່ກ່ຽວຂ້ອງ, ໃນຮ້ານທີ່ຖືກອອກແບບໂດຍປົກກະຕິ, ມີຄວາມສາມາດໃນການສ້າງມຸມເບິ່ງທີ່ໂດດເດັ່ນ. ພວກເຂົາສາມາດຖືກນໍາໃຊ້ເພື່ອກວດສອບຂໍ້ມູນຢ່າງໄວວາຖ້າທ່ານຮູ້ສະເພາະຂອງເນື້ອຫາ. ແຕ່ລະກໍລະນີຂອງການຊອກຫາຂໍ້ຜິດພາດຫຼືບັນຫາໃນຂໍ້ມູນສາມາດຖືກບັນທຶກໄວ້ໃນຮູບແບບການສອບຖາມຖານຂໍ້ມູນ.

ດ້ວຍວິທີນີ້, ພື້ນຖານຄວາມຮູ້ກ່ຽວກັບເນື້ອຫາຈະຖືກສ້າງຕັ້ງຂຶ້ນ. ແນ່ນອນ, ການຮ້ອງຂໍດັ່ງກ່າວຕ້ອງໄວ. ໂດຍທົ່ວໄປແລ້ວການເບິ່ງຕ້ອງການເວລາຂອງມະນຸດໜ້ອຍກວ່າໃນການຮັກສາຫຼາຍກວ່າເຄື່ອງມືທີ່ອີງໃສ່ຕາຕະລາງ. ທັດສະນະແມ່ນສະເຫມີພ້ອມທີ່ຈະສະແດງຜົນຂອງການທົດສອບ.
ໃນກໍລະນີຂອງບົດລາຍງານທີ່ສໍາຄັນ, ມຸມເບິ່ງອາດມີຄໍລໍາທີ່ມີຜູ້ຮັບ. ມັນເຮັດໃຫ້ຄວາມຮູ້ສຶກທີ່ຈະໃຊ້ເຄື່ອງມື BI ດຽວກັນເພື່ອລາຍງານກ່ຽວກັບສະຖານະຂອງຂໍ້ມູນທີ່ມີຄຸນນະພາບໃນສາງ.

ຕົວຢ່າງ:

ຄໍາຖາມຖືກຂຽນສໍາລັບຖານຂໍ້ມູນ Oracle. ໃນຕົວຢ່າງນີ້, ການທົດສອບສົ່ງຄືນຄ່າຕົວເລກທີ່ສາມາດຕີຄວາມໄດ້ຕາມຄວາມຕ້ອງການ. ສາມາດໃຊ້ຄ່າ T_MIN ແລະ T_MAX ເພື່ອປັບລະດັບສັນຍານເຕືອນ. ພາກສະຫນາມ REPORT ເຄີຍຖືກນໍາໃຊ້ເປັນຂໍ້ຄວາມໃນຜະລິດຕະພັນ ETL ການຄ້າທີ່ບໍ່ຮູ້ວິທີການສົ່ງອີເມວຢ່າງຖືກຕ້ອງ, ດັ່ງນັ້ນ rpad ແມ່ນ "crutch".

ໃນກໍລະນີຂອງຕາຕະລາງຂະຫນາດໃຫຍ່, ທ່ານສາມາດເພີ່ມ, ສໍາລັບການຍົກຕົວຢ່າງ, AND ROWNUM <= 10, i.e. ຖ້າມີ 10 ຂໍ້ຜິດພາດ, ນີ້ແມ່ນພຽງພໍທີ່ຈະເຮັດໃຫ້ເກີດການເຕືອນ.

CREATE OR REPLACE VIEW V_QC_DIM_PRODUCT_01 AS
SELECT
  CASE WHEN OUTPUT>=T_MIN AND OUTPUT<=T_MAX
  THEN 'OK' ELSE 'ERROR' END AS RESULT,
  DESCRIPTION,
  TABLE_NAME, 
  OUTPUT, 
  T_MIN,
  T_MAX,
  rpad(DESCRIPTION,60,' ') || rpad(OUTPUT,8,' ') || rpad(T_MIN,8,' ') || rpad(T_MAX,8,' ') AS REPORT
FROM (-- Test itself
  SELECT
    'DIM_PRODUCT' AS TABLE_NAME,
    'Count of blanks' AS DESCRIPTION,
    COUNT(*) AS OUTPUT,
    0 AS T_MIN,
    10 AS T_MAX
  FROM DIM_PRODUCT
  WHERE DIM_PRODUCT_ID != -1 -- not default value
  AND ATTRIBUTE IS NULL ); -- count blanks

ສື່ສິ່ງພິມໃຊ້ວັດສະດຸຈາກປຶ້ມ
Ronald Bachmann, ທ່ານດຣ. Guido Kemper
Raus aus der BI-Falle
Wie Business Intelligence zum Erfolg wird

ແຫຼ່ງຂໍ້ມູນ: www.habr.com