ວິທີການບີບອັດເຮັດວຽກໃນສະຖາປັດຕະຍະກໍາຫນ່ວຍຄວາມຈໍາແບບ Object-Oriented

ທີມງານວິສະວະກອນຢູ່ MIT ໄດ້ພັດທະນາລະບົບຄວາມຊົງຈຳແບບວັດຖຸເພື່ອເຮັດວຽກກັບຂໍ້ມູນຢ່າງມີປະສິດທິພາບຫຼາຍຂຶ້ນ. ໃນບົດຄວາມພວກເຮົາເຂົ້າໃຈວິທີການຈັດລຽງ.

/ ຫຸ້ນ /PD

ຕາມທີ່ທ່ານຮູ້, ການຂະຫຍາຍຕົວປະສິດທິພາບຂອງ CPUs ທີ່ທັນສະໄຫມບໍ່ໄດ້ມາພ້ອມກັບການຫຼຸດລົງທີ່ສອດຄ້ອງກັນຂອງ latency ໃນເວລາທີ່ເຂົ້າເຖິງຫນ່ວຍຄວາມຈໍາ. ຄວາມແຕກຕ່າງຂອງການປ່ຽນແປງຕົວຊີ້ວັດຈາກປີຕໍ່ປີສາມາດບັນລຸເຖິງ 10 ເທື່ອ (PDF, ໜ້າ 3). ດັ່ງນັ້ນ, ຄໍຂວດຈະປາກົດ, ເຊິ່ງບໍ່ອະນຸຍາດໃຫ້ນໍາໃຊ້ຊັບພະຍາກອນທີ່ມີຢູ່ຢ່າງເຕັມທີ່ແລະຊ້າລົງການປະມວນຜົນຂໍ້ມູນ.

ການລົງໂທດການປະຕິບັດແມ່ນອັນທີ່ເອີ້ນວ່າການຊັກຊ້າ decompression. ໃນບາງກໍລະນີ, ການບີບອັດຂໍ້ມູນການກະກຽມສາມາດໃຊ້ເວລາເຖິງ 64 ຮອບຂອງໂປເຊດເຊີ.

ສໍາລັບການປຽບທຽບ: ການບວກແລະການຄູນຂອງຕົວເລກຈຸດລອຍ ຄອບຄອງ ບໍ່ເກີນສິບຮອບ. ບັນຫາແມ່ນວ່າຫນ່ວຍຄວາມຈໍາເຮັດວຽກກັບບລັອກຂໍ້ມູນທີ່ມີຂະຫນາດຄົງທີ່, ໃນຂະນະທີ່ແອັບພລິເຄຊັນເຮັດວຽກກັບວັດຖຸທີ່ສາມາດບັນຈຸຂໍ້ມູນປະເພດຕ່າງໆແລະແຕກຕ່າງກັນໃນຂະຫນາດ. ເພື່ອແກ້ໄຂບັນຫາ, ວິສະວະກອນ MIT ພັດທະນາລະບົບຄວາມຊົງຈໍາແບບວັດຖຸທີ່ປັບປຸງການປະມວນຜົນຂໍ້ມູນ.

ເຕັກໂນໂລຊີເຮັດວຽກແນວໃດ

ການແກ້ໄຂແມ່ນອີງໃສ່ສາມເຕັກໂນໂລຢີ: Hotpads, Zippads ແລະສູດການບີບອັດ COCO.

Hotpads ແມ່ນລໍາດັບຊັ້ນຂອງຊອບແວທີ່ຂັບເຄື່ອນໂດຍຫນ່ວຍຄວາມຈໍາ scratchpad (ຮອຍຂີດຂ່ວນ). ທະບຽນເຫຼົ່ານີ້ເອີ້ນວ່າ pads (pads) ແລະມີສາມຂອງພວກເຂົາ - ຈາກ L1 ຫາ L3. ພວກເຂົາເຈົ້າເກັບຮັກສາວັດຖຸທີ່ມີຂະຫນາດທີ່ແຕກຕ່າງກັນ, metadata, ແລະ array ຂອງ pointers.

ໂດຍເນື້ອແທ້ແລ້ວ, ສະຖາປັດຕະຍະກໍາແມ່ນລະບົບ cache, ແຕ່ sharpened ເພື່ອເຮັດວຽກກັບວັດຖຸ. ລະດັບຂອງແຜ່ນທີ່ວັດຖຸຕັ້ງຢູ່ແມ່ນຂຶ້ນກັບວ່າມັນຖືກໃຊ້ເລື້ອຍໆສໍ່າໃດ. ຖ້າລະດັບຫນຶ່ງ "ລົ້ນ", ລະບົບກະຕຸ້ນກົນໄກທີ່ຄ້າຍຄືກັນກັບ "ຜູ້ເກັບຂີ້ເຫຍື້ອ" ໃນ Java ຫຼື Go. ມັນວິເຄາະວ່າວັດຖຸໃດຖືກໃຊ້ໜ້ອຍກວ່າສິ່ງອື່ນ ແລະ ຍ້າຍພວກມັນໂດຍອັດຕະໂນມັດລະຫວ່າງລະດັບ.

Zippads ເຮັດວຽກບົນພື້ນຖານຂອງ Hotpads - ການເກັບຂໍ້ມູນແລະ unzips ທີ່ເຂົ້າໄປໃນຫຼືອອກຈາກສອງລະດັບສຸດທ້າຍຂອງລໍາດັບຊັ້ນ - ແຜ່ນ L3 ແລະຫນ່ວຍຄວາມຈໍາຕົ້ນຕໍ. ໃນ pads ທໍາອິດແລະທີສອງ, ຂໍ້ມູນຖືກເກັບຮັກສາໄວ້ບໍ່ປ່ຽນແປງ.

Zippads ບີບອັດວັດຖຸສູງສຸດ 128 bytes. ວັດຖຸຂະຫນາດໃຫຍ່ໄດ້ຖືກແບ່ງອອກເປັນພາກສ່ວນ, ເຊິ່ງຫຼັງຈາກນັ້ນໄດ້ຖືກຈັດໃສ່ໃນພື້ນທີ່ທີ່ແຕກຕ່າງກັນຂອງຄວາມຊົງຈໍາ. ໃນຂະນະທີ່ນັກພັດທະນາຂຽນ, ວິທີການນີ້ຈະເພີ່ມຄ່າສໍາປະສິດຂອງຫນ່ວຍຄວາມຈໍາທີ່ໃຊ້ໄດ້ຢ່າງມີປະສິດທິພາບ.

ເພື່ອບີບອັດວັດຖຸ, ສູດການຄິດໄລ່ COCO (Cross-Object COmpression) ຖືກນໍາໃຊ້, ເຊິ່ງພວກເຮົາຈະປຶກສາຫາລືຕໍ່ມາ, ເຖິງແມ່ນວ່າລະບົບສາມາດເຮັດວຽກກັບ. Base-Delta-ທັນທີ ຫຼື FPC. ສູດການຄິດໄລ່ COCO ແມ່ນການປ່ຽນແປງຂອງການບີບອັດທີ່ແຕກຕ່າງ (ການບີບອັດຄວາມແຕກຕ່າງ). ມັນປຽບທຽບວັດຖຸກັບ "ພື້ນຖານ" ແລະເອົາບິດທີ່ຊ້ໍາກັນ - ເບິ່ງແຜນວາດຂ້າງລຸ່ມນີ້:

ອີງຕາມວິສະວະກອນ MIT, ການຈັດລໍາດັບຄວາມຊົງຈໍາທີ່ແນໃສ່ວັດຖຸຂອງພວກເຂົາແມ່ນ 17% ໄວກວ່າວິທີການຄລາສສິກ. ມັນມີຄວາມໃກ້ຊິດຫຼາຍໃນໂຄງສ້າງຂອງມັນກັບສະຖາປັດຕະຍະກໍາຂອງຄໍາຮ້ອງສະຫມັກທີ່ທັນສະໄຫມ, ດັ່ງນັ້ນວິທີການໃຫມ່ມີທ່າແຮງ.

ຄາດວ່າ, ກ່ອນອື່ນ ໝົດ, ບໍລິສັດທີ່ເຮັດວຽກກັບຂໍ້ມູນໃຫຍ່ແລະລະບົບການຮຽນຮູ້ເຄື່ອງຈັກສາມາດເລີ່ມຕົ້ນໃຊ້ເຕັກໂນໂລຢີ. ທິດທາງທີ່ມີທ່າແຮງອີກອັນຫນຶ່ງແມ່ນເວທີຟັງ. ຜູ້ໃຫ້ບໍລິການ IaaS ຈະສາມາດເຮັດວຽກໄດ້ມີປະສິດທິພາບຫຼາຍຂຶ້ນກັບ virtualization, ລະບົບການເກັບຮັກສາ ແລະຊັບພະຍາກອນຄອມພິວເຕີ.

ຊັບພະຍາກອນ ແລະຊັບພະຍາກອນເພີ່ມເຕີມຂອງພວກເຮົາ:

"ວິທີທີ່ພວກເຮົາສ້າງ IaaS": ວັດສະດຸກ່ຽວກັບການເຮັດວຽກຂອງ 1cloud

ວິວັດທະນາການຂອງສະຖາປັດຕະຍະກໍາຄລາວ 1cloud
ບໍລິການເກັບຮັກສາວັດຖຸໃນ 1cloud

ການໂຈມຕີທີ່ມີທ່າແຮງໃນ HTTPS ແລະວິທີການປົກປ້ອງພວກເຂົາ
ຄວາມຄ້າຍຄືກັນແລະຄວາມແຕກຕ່າງລະຫວ່າງວິທີການຈັດສົ່ງຢ່າງຕໍ່ເນື່ອງແລະການເຊື່ອມໂຍງຢ່າງຕໍ່ເນື່ອງແມ່ນຫຍັງ
ວິທີປົກປ້ອງເຊີບເວີໃນອິນເຕີເນັດ: ປະສົບການ 1cloud

ແຫຼ່ງຂໍ້ມູນ: www.habr.com