ຊອກຫາການເພິ່ງພາອາໄສທີ່ເປັນປະໂຫຍດໃນຖານຂໍ້ມູນຢ່າງມີປະສິດທິພາບ

ຊອກຫາການເພິ່ງພາອາໄສທີ່ເປັນປະໂຫຍດໃນຂໍ້ມູນແມ່ນໃຊ້ໃນດ້ານຕ່າງໆຂອງການວິເຄາະຂໍ້ມູນ: ການຄຸ້ມຄອງຖານຂໍ້ມູນ, ການທໍາຄວາມສະອາດຂໍ້ມູນ, ວິສະວະກໍາດ້ານຫລັງຂອງຖານຂໍ້ມູນແລະການຂຸດຄົ້ນຂໍ້ມູນ. ພວກເຮົາໄດ້ເຜີຍແຜ່ແລ້ວກ່ຽວກັບການເພິ່ງພາອາໄສຂອງຕົນເອງ ບົດຄວາມ Anastasia Birillo ແລະ Nikita Bobrov. ເວລານີ້, Anastasia, ຈົບການສຶກສາຂອງສູນວິທະຍາສາດຄອມພິວເຕີປີນີ້, ແບ່ງປັນການພັດທະນາຂອງວຽກງານນີ້ເປັນສ່ວນຫນຶ່ງຂອງວຽກງານການຄົ້ນຄວ້າທີ່ນາງປ້ອງກັນຢູ່ໃນສູນ.

ການເລືອກໜ້າວຽກ

ໃນຂະນະທີ່ສຶກສາຢູ່ໃນສູນ CS, ຂ້າພະເຈົ້າໄດ້ເລີ່ມຕົ້ນສຶກສາຖານຂໍ້ມູນໃນຄວາມເລິກ, ຄື, ການຄົ້ນຫາສໍາລັບຫນ້າທີ່ແລະຄວາມແຕກຕ່າງທີ່ຂຶ້ນກັບ. ຫົວຂໍ້ນີ້ແມ່ນກ່ຽວຂ້ອງກັບຫົວຂໍ້ຂອງຫຼັກສູດຂອງຂ້ອຍຢູ່ໃນມະຫາວິທະຍາໄລ, ດັ່ງນັ້ນໃນຂະນະທີ່ເຮັດວຽກໃນຫຼັກສູດ, ຂ້ອຍເລີ່ມອ່ານບົດຄວາມກ່ຽວກັບການເພິ່ງພາອາໄສຕ່າງໆໃນຖານຂໍ້ມູນ. ຂ້າພະເຈົ້າໄດ້ຂຽນບົດທົບທວນກ່ຽວກັບພື້ນທີ່ນີ້ - ຫນຶ່ງໃນຄັ້ງທໍາອິດຂອງຂ້ອຍ ບົດຄວາມ ເປັນພາສາອັງກິດ ແລະສົ່ງໃຫ້ກອງປະຊຸມ SEIM-2017. ຂ້ອຍດີໃຈຫຼາຍເມື່ອພົບວ່ານາງໄດ້ຮັບການຍອມຮັບ, ແລະຕັດສິນໃຈເຈາະເລິກໃນຫົວຂໍ້. ແນວຄວາມຄິດຂອງຕົວມັນເອງບໍ່ແມ່ນໃຫມ່ - ມັນໄດ້ເລີ່ມຕົ້ນທີ່ຈະຖືກນໍາໃຊ້ກັບຄືນໄປບ່ອນໃນ 90s, ແຕ່ເຖິງແມ່ນວ່າໃນປັດຈຸບັນມັນຖືກນໍາໃຊ້ໃນຫຼາຍຂົງເຂດ.

ໃນລະຫວ່າງພາກຮຽນທີ 2 ຂອງຂ້ອຍຢູ່ໃນສູນ, ຂ້ອຍໄດ້ເລີ່ມຕົ້ນໂຄງການຄົ້ນຄ້ວາເພື່ອປັບປຸງສູດການຄິດໄລ່ສໍາລັບການຊອກຫາການເພິ່ງພາອາໄສທີ່ເປັນປະໂຫຍດ. ນາງໄດ້ເຮັດວຽກຮ່ວມກັນກັບ St. Petersburg State University ນັກສຶກສາຈົບການສຶກສາ Nikita Bobrov ຢູ່ JetBrains Research.

ຄວາມຊັບຊ້ອນທາງດ້ານການຄິດໄລ່ຂອງການຊອກຫາການເພິ່ງພາອາໄສທີ່ເປັນປະໂຫຍດ

ບັນຫາຕົ້ນຕໍແມ່ນຄວາມສັບສົນຂອງຄອມພິວເຕີ້. ຈໍາ​ນວນ​ຂອງ​ການ​ເພິ່ງ​ພາ​ອາ​ໄສ​ຫນ້ອຍ​ທີ່​ເປັນ​ໄປ​ໄດ້​ແລະ​ບໍ່​ແມ່ນ trivial ຖືກ​ຈໍາ​ກັດ​ຂ້າງ​ເທິງ​ໂດຍ​ມູນ​ຄ່າ​ ບ່ອນທີ່ - ຈໍາ​ນວນ​ຂອງ​ຄຸນ​ລັກ​ສະ​ນະ​ຕາ​ຕະ​ລາງ​. ເວລາປະຕິບັດງານຂອງ algorithms ບໍ່ພຽງແຕ່ຂຶ້ນກັບຈໍານວນຂອງຄຸນລັກສະນະ, ແຕ່ຍັງຢູ່ໃນຈໍານວນແຖວ. ໃນຊຸມປີ 90, ສູດການຄິດໄລ່ການຄົ້ນຫາກົດຫມາຍຂອງລັດຖະບານກາງໃນ desktop PC ປົກກະຕິສາມາດປະມວນຜົນຊຸດຂໍ້ມູນທີ່ມີເຖິງ 20 ຄຸນລັກສະນະແລະຫຼາຍສິບພັນແຖວໃນຫຼາຍຊົ່ວໂມງ. ສູດການຄິດໄລ່ທີ່ທັນສະໄຫມທີ່ເຮັດວຽກຢູ່ໃນໂປເຊດເຊີຫຼາຍແກນກວດພົບຄວາມເພິ່ງພາອາໄສຂອງຊຸດຂໍ້ມູນທີ່ປະກອບດ້ວຍຫຼາຍຮ້ອຍຄຸນລັກສະນະ (ເຖິງ 200) ແລະຫຼາຍຮ້ອຍພັນແຖວໃນປະມານເວລາດຽວກັນ. ຢ່າງໃດກໍ່ຕາມ, ນີ້ບໍ່ພຽງພໍ: ເວລາດັ່ງກ່າວແມ່ນບໍ່ສາມາດຍອມຮັບໄດ້ສໍາລັບຄໍາຮ້ອງສະຫມັກໃນໂລກທີ່ແທ້ຈິງສ່ວນໃຫຍ່. ດັ່ງນັ້ນ, ພວກເຮົາພັດທະນາວິທີການເລັ່ງລະບົບ algorithms ທີ່ມີຢູ່ແລ້ວ.

ໂຄງ​ການ​ຖານ​ຄວາມ​ຈໍາ​ສໍາ​ລັບ​ການ​ຕັດ​ກັນ​ການ​ແບ່ງ​ປັນ​

ໃນສ່ວນທໍາອິດຂອງການເຮັດວຽກ, ພວກເຮົາໄດ້ພັດທະນາໂຄງການຖານຄວາມຈໍາສໍາລັບຫ້ອງຮຽນຂອງສູດການຄິດໄລ່ທີ່ນໍາໃຊ້ວິທີການຕັດແບ່ງສ່ວນ. ການແບ່ງພາຕິຊັນສໍາລັບຄຸນລັກສະນະແມ່ນຊຸດຂອງລາຍການ, ເຊິ່ງແຕ່ລະລາຍການປະກອບດ້ວຍຕົວເລກແຖວທີ່ມີຄ່າດຽວກັນສໍາລັບຄຸນລັກສະນະທີ່ໃຫ້. ແຕ່ລະບັນຊີລາຍຊື່ດັ່ງກ່າວເອີ້ນວ່າກຸ່ມ. ສູດການຄິດໄລ່ທີ່ທັນສະ ໄໝ ຫຼາຍໆອັນໃຊ້ການແບ່ງສ່ວນເພື່ອ ກຳ ນົດວ່າການເພິ່ງພາອາໄສຖືກຍຶດ ໝັ້ນ ຫຼືບໍ່, ຄື, ພວກມັນຍຶດ ໝັ້ນ ກັບ lemma: ການເພິ່ງພາອາໄສ. ຈັດຂຶ້ນຖ້າ . ທີ່ນີ້ ການແບ່ງສ່ວນແມ່ນຖືກກໍານົດແລະແນວຄວາມຄິດຂອງຂະຫນາດພາທິຊັນຖືກນໍາໃຊ້ - ຈໍານວນຂອງກຸ່ມຢູ່ໃນນັ້ນ. ສູດການຄິດໄລ່ທີ່ໃຊ້ພາທິຊັນ, ເມື່ອການເພິ່ງພາອາໄສຖືກລະເມີດ, ເພີ່ມຄຸນລັກສະນະເພີ່ມເຕີມໃນດ້ານຊ້າຍຂອງການເພິ່ງພາອາໄສ, ແລະຫຼັງຈາກນັ້ນຄິດໄລ່ມັນຄືນໃຫມ່, ປະຕິບັດການດໍາເນີນງານຂອງການຕັດແຍກຂອງພາທິຊັນ. ການດໍາເນີນງານນີ້ເອີ້ນວ່າພິເສດໃນບົດຄວາມ. ແຕ່ພວກເຮົາສັງເກດເຫັນວ່າພາທິຊັນສໍາລັບການເພິ່ງພາອາໄສທີ່ຈະຮັກສາໄວ້ພຽງແຕ່ຫຼັງຈາກສອງສາມຮອບຂອງຄວາມຊ່ຽວຊານສາມາດຖືກນໍາໃຊ້ຄືນໃຫມ່ຢ່າງຈິງຈັງ, ເຊິ່ງສາມາດຫຼຸດຜ່ອນເວລາແລ່ນຂອງສູດການຄິດໄລ່ຢ່າງຫຼວງຫຼາຍ, ນັບຕັ້ງແຕ່ການດໍາເນີນງານຂອງທາງຕັດແມ່ນລາຄາແພງ.

ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ສະເຫນີ heuristic ໂດຍອີງໃສ່ Shannon Entropy ແລະ Ginny Uncertainty, ເຊັ່ນດຽວກັນກັບ metric ຂອງພວກເຮົາ, ທີ່ພວກເຮົາເອີ້ນວ່າ Reverse Entropy. ມັນເປັນການດັດແກ້ເລັກນ້ອຍຂອງ Shannon Entropy ແລະເພີ່ມຂຶ້ນຍ້ອນວ່າຄວາມເປັນເອກະລັກຂອງຊຸດຂໍ້ມູນເພີ່ມຂຶ້ນ. heuristic ທີ່​ສະ​ເຫນີ​ແມ່ນ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

ມັນເປັນ — ລະ​ດັບ​ຄວາມ​ເປັນ​ເອ​ກະ​ລັກ​ຂອງ​ການ​ແບ່ງ​ປັນ​ການ​ຄິດ​ໄລ່​ບໍ່​ດົນ​ມາ​ນີ້​ ແລະ ແມ່ນຄ່າສະເລ່ຍຂອງລະດັບຄວາມເປັນເອກະລັກຂອງຄຸນລັກສະນະສ່ວນບຸກຄົນ. ທັງສາມຕົວວັດແທກທີ່ອະທິບາຍຂ້າງເທິງນີ້ໄດ້ຖືກທົດສອບເປັນຕົວວັດແທກຄວາມເປັນເອກະລັກ. ນອກນັ້ນທ່ານຍັງສາມາດສັງເກດເຫັນວ່າມີສອງຕົວດັດແປງໃນ heuristic. ທໍາອິດຊີ້ບອກວ່າການແບ່ງສ່ວນປະຈຸບັນຢູ່ໃກ້ກັບກະແຈຫຼັກແລະຊ່ວຍໃຫ້ທ່ານສາມາດ cache ໃນຂອບເຂດທີ່ໃຫຍ່ກວ່າຂອງພາທິຊັນເຫຼົ່ານັ້ນທີ່ຢູ່ໄກຈາກກະແຈທີ່ເປັນໄປໄດ້. ຕົວແກ້ໄຂທີສອງຊ່ວຍໃຫ້ທ່ານສາມາດຕິດຕາມການຄອບຄອງ cache ແລະດັ່ງນັ້ນຈຶ່ງຊຸກຍູ້ໃຫ້ເພີ່ມພາທິຊັນເພີ່ມເຕີມໃສ່ແຄດຖ້າພື້ນທີ່ຫວ່າງ. ການແກ້ໄຂທີ່ປະສົບຜົນສໍາເລັດຂອງບັນຫານີ້ຊ່ວຍໃຫ້ພວກເຮົາເລັ່ງລະບົບ PYRO algorithm ໂດຍ 10-40%, ຂຶ້ນກັບຊຸດຂໍ້ມູນ. ມັນເປັນມູນຄ່າທີ່ສັງເກດວ່າ PYRO algorithm ແມ່ນປະສົບຜົນສໍາເລັດຫຼາຍທີ່ສຸດໃນຂົງເຂດນີ້.

ໃນຮູບຂ້າງລຸ່ມນີ້ທ່ານສາມາດເບິ່ງຜົນໄດ້ຮັບຂອງການນໍາໃຊ້ heuristic ທີ່ສະເຫນີເມື່ອທຽບກັບວິທີການຖານຄວາມຈໍາຂອງ coin-flip ພື້ນຖານ. ແກນ X ເປັນ logarithmic.

ເປັນວິທີທາງເລືອກໃນການເກັບຮັກສາ partitions

ຫຼັງຈາກນັ້ນ, ພວກເຮົາສະເຫນີທາງເລືອກໃນການເກັບຮັກສາ partitions. Partitions ແມ່ນຊຸດຂອງ clusters, ແຕ່ລະທີ່ເກັບຮັກສາຈໍານວນຂອງ tuples ທີ່ມີຄ່າດຽວກັນສໍາລັບຄຸນລັກສະນະສະເພາະໃດຫນຶ່ງ. ກຸ່ມເຫຼົ່ານີ້ອາດຈະປະກອບດ້ວຍລໍາດັບຍາວຂອງຕົວເລກ tuple, ຕົວຢ່າງ, ຖ້າຂໍ້ມູນໃນຕາຕະລາງຖືກຈັດລໍາດັບ. ດັ່ງນັ້ນ, ພວກເຮົາສະເຫນີຮູບແບບການບີບອັດສໍາລັບການເກັບຮັກສາພາທິຊັນ, ຄືການເກັບຮັກສາໄລຍະຫ່າງຂອງຄ່າໃນກຸ່ມຂອງພາທິຊັນ:

$$display$$pi(X) = {{underbrace{1, 2, 3, 4, 5}_{First interval}, underbrace{7, 8}_{Second interval}, 10}}\ downarrow{ Compression} \ pi(X) = {{underbrace{$, 1, 5}_{First~interval}, underbrace{7, 8}_{Second~interval}, 10}}$$display$$

ວິ​ທີ​ການ​ນີ້​ສາ​ມາດ​ຫຼຸດ​ຜ່ອນ​ການ​ບໍ​ລິ​ໂພກ​ຫນ່ວຍ​ຄວາມ​ຈໍາ​ໃນ​ລະ​ຫວ່າງ​ການ​ດໍາ​ເນີນ​ງານ​ຂອງ TANE algorithm ຈາກ 1 ຫາ 25​%​. ສູດການຄິດໄລ່ TANE ເປັນສູດການຄິດໄລ່ຄລາສສິກສໍາລັບການຊອກຫາກົດຫມາຍຂອງລັດຖະບານກາງມັນໃຊ້ການແບ່ງສ່ວນໃນລະຫວ່າງການເຮັດວຽກຂອງມັນ. ເປັນສ່ວນຫນຶ່ງຂອງການປະຕິບັດ, ສູດການຄິດໄລ່ TANE ໄດ້ຖືກເລືອກ, ເນື່ອງຈາກວ່າມັນງ່າຍຂຶ້ນຫຼາຍທີ່ຈະປະຕິບັດການເກັບຮັກສາໄລຍະຫ່າງໃນມັນກ່ວາ, ສໍາລັບຕົວຢ່າງ, ໃນ PYRO ເພື່ອປະເມີນວ່າວິທີການທີ່ສະເຫນີເຮັດວຽກ. ຜົນໄດ້ຮັບທີ່ໄດ້ຮັບແມ່ນນໍາສະເຫນີຢູ່ໃນຮູບຂ້າງລຸ່ມນີ້. ແກນ X ເປັນ logarithmic.

ກອງປະຊຸມ ADBIS-2019

ອີງຕາມຜົນຂອງການຄົ້ນຄວ້າ, ໃນເດືອນກັນຍາ 2019 ຂ້າພະເຈົ້າໄດ້ຈັດພີມມາບົດຄວາມ Smart Caching ສໍາລັບການຄົ້ນພົບການເພິ່ງພາອາໄສທີ່ມີປະສິດທິພາບທີ່ມີປະສິດທິພາບ ທີ່ກອງປະຊຸມເອີຣົບຄັ້ງທີ 23 ກ່ຽວກັບຄວາມກ້າວຫນ້າໃນຖານຂໍ້ມູນ ແລະລະບົບຂໍ້ມູນຂ່າວສານ (ADBIS-2019). ໃນລະຫວ່າງການນໍາສະເຫນີ, ການເຮັດວຽກໄດ້ຖືກສັງເກດເຫັນໂດຍ Bernhard Thalheim, ບຸກຄົນທີ່ສໍາຄັນໃນດ້ານຖານຂໍ້ມູນ. ຜົນໄດ້ຮັບການຄົ້ນຄວ້າໄດ້ສ້າງພື້ນຖານຂອງ dissertation ຂອງຂ້າພະເຈົ້າໃນລະດັບປະລິນຍາໂທໃນຄະນິດສາດແລະກົນຈັກທີ່ St. Petersburg State University, ໃນໄລຍະທີ່ທັງສອງວິທີການສະເຫນີ (caching ແລະ compression) ໄດ້ຖືກປະຕິບັດໃນທັງສອງ algorithms: TANE ແລະ PYRO. ຍິ່ງໄປກວ່ານັ້ນ, ຜົນໄດ້ຮັບສະແດງໃຫ້ເຫັນວ່າວິທີການທີ່ສະເຫນີແມ່ນເປັນສາກົນ, ນັບຕັ້ງແຕ່ທັງສອງ algorithms, ດ້ວຍທັງສອງວິທີການ, ການຫຼຸດຜ່ອນການບໍລິໂພກຫນ່ວຍຄວາມຈໍາໄດ້ຖືກສັງເກດເຫັນ, ເຊັ່ນດຽວກັນກັບການຫຼຸດຜ່ອນເວລາປະຕິບັດງານຂອງ algorithms ຢ່າງຫຼວງຫຼາຍ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com