ການບີບອັດຄວາມລົ້ມເຫລວຄວາມໄວສູງ (ຕໍ່ເນື່ອງ)

ບົດຄວາມນີ້ແມ່ນແລ້ວທີສອງໃນຫົວຂໍ້ຂອງການບີບອັດຂໍ້ມູນຄວາມໄວສູງ. ບົດ​ຄວາມ​ທໍາ​ອິດ​ໄດ້​ອະ​ທິ​ບາຍ​ວ່າ​ອັດ​ຕະ​ໂນ​ມັດ​ປະ​ຕິ​ບັດ​ໃນ​ຄວາມ​ໄວ 10 GB / ວິ​ນາ​ທີ​. ຕໍ່ຫຼັກຂອງໂປເຊດເຊີ (ການບີບອັດຕ່ໍາສຸດ, RTT-Min).

ຜ້າອັດດັງນີ້ໄດ້ຖືກປະຕິບັດແລ້ວໃນອຸປະກອນຂອງ duplicators forensic ສໍາລັບການບີບອັດຄວາມໄວສູງຂອງບ່ອນເກັບມ້ຽນສື່ແລະການເພີ່ມຄວາມເຂັ້ມແຂງຂອງ cryptography; ມັນຍັງສາມາດຖືກນໍາໃຊ້ເພື່ອບີບອັດຮູບພາບຂອງເຄື່ອງ virtual ແລະໄຟລ໌ແລກປ່ຽນ RAM ເມື່ອປະຫຍັດພວກມັນດ້ວຍຄວາມໄວສູງ. ໄດ SSD.

ບົດຄວາມທໍາອິດຍັງໄດ້ປະກາດການພັດທະນາລະບົບການບີບອັດສໍາລັບການບີບອັດສໍາເນົາສໍາຮອງຂອງ HDD ແລະ SSD disk drive (ການບີບອັດຂະຫນາດກາງ, RTT-Mid) ທີ່ມີຕົວກໍານົດການບີບອັດຂໍ້ມູນທີ່ຖືກປັບປຸງຢ່າງຫຼວງຫຼາຍ. ໂດຍໃນປັດຈຸບັນ, ເຄື່ອງອັດນີ້ພ້ອມແລ້ວແລະບົດຄວາມນີ້ແມ່ນກ່ຽວກັບມັນ.

ເຄື່ອງອັດທີ່ປະຕິບັດລະບົບ RTT-Mid algorithm ໃຫ້ອັດຕາສ່ວນການບີບອັດທຽບກັບ archivers ມາດຕະຖານເຊັ່ນ WinRar, 7-Zip, ເຮັດວຽກໃນໂຫມດຄວາມໄວສູງ. ໃນຂະນະດຽວກັນ, ຄວາມໄວໃນການດໍາເນີນງານຂອງມັນແມ່ນຢ່າງຫນ້ອຍຄໍາສັ່ງຂອງຂະຫນາດທີ່ສູງຂຶ້ນ.

ຄວາມ​ໄວ​ຂອງ​ການ​ຫຸ້ມ​ຫໍ່​ຂໍ້​ມູນ / unpacking ເປັນ​ຕົວ​ກໍາ​ນົດ​ການ​ທີ່​ສໍາ​ຄັນ​ທີ່​ກໍາ​ນົດ​ຂອບ​ເຂດ​ຂອງ​ການ​ນໍາ​ໃຊ້​ເຕັກ​ໂນ​ໂລ​ຊີ​ການ​ບີບ​ອັດ​. ມັນບໍ່ຫນ້າຈະເປັນໄປໄດ້ວ່າໃຜຈະຄິດວ່າການບີບອັດ terabyte ຂອງຂໍ້ມູນດ້ວຍຄວາມໄວ 10-15 MegaBytes ຕໍ່ວິນາທີ (ນີ້ແມ່ນແທ້ຄວາມໄວຂອງ archivers ໃນຮູບແບບການບີບອັດມາດຕະຖານ), ເນື່ອງຈາກວ່າມັນຈະໃຊ້ເວລາເກືອບຊາວຊົ່ວໂມງກັບການໂຫຼດຂອງໂປເຊດເຊີເຕັມ.. .

ໃນທາງກົງກັນຂ້າມ, terabyte ດຽວກັນສາມາດຖືກຄັດລອກດ້ວຍຄວາມໄວຂອງຄໍາສັ່ງ 2-3Gigabytes ຕໍ່ວິນາທີໃນເວລາປະມານສິບນາທີ.

ດັ່ງນັ້ນ, ການບີບອັດຂໍ້ມູນທີ່ມີປະລິມານຂະຫນາດໃຫຍ່ແມ່ນມີຄວາມສໍາຄັນຖ້າມັນຖືກປະຕິບັດດ້ວຍຄວາມໄວບໍ່ຕໍ່າກວ່າຄວາມໄວຂອງວັດສະດຸປ້ອນ / ຜົນຜະລິດທີ່ແທ້ຈິງ. ສໍາລັບລະບົບທີ່ທັນສະໄຫມນີ້ແມ່ນຢ່າງຫນ້ອຍ 100 Megabytes ຕໍ່ວິນາທີ.

ເຄື່ອງອັດທີ່ທັນສະ ໄໝ ສາມາດຜະລິດຄວາມໄວດັ່ງກ່າວໃນໂຫມດ "ໄວ" ເທົ່ານັ້ນ. ມັນແມ່ນຢູ່ໃນໂຫມດປະຈຸບັນນີ້ທີ່ພວກເຮົາຈະປຽບທຽບ algorithm RTT-Mid ກັບເຄື່ອງອັດແບບດັ້ງເດີມ.

ການທົດສອບປຽບທຽບຂອງວິທີການບີບອັດໃຫມ່

ເຄື່ອງອັດ RTT-Mid ເຮັດວຽກເປັນສ່ວນຫນຶ່ງຂອງໂຄງການທົດສອບ. ໃນຄໍາຮ້ອງສະຫມັກ "ເຮັດວຽກ" ທີ່ແທ້ຈິງມັນເຮັດວຽກໄວຫຼາຍ, ມັນໃຊ້ multithreading ສະຫລາດແລະໃຊ້ compiler "ປົກກະຕິ", ບໍ່ແມ່ນ C #.

ເນື່ອງຈາກເຄື່ອງອັດທີ່ຖືກນໍາໃຊ້ໃນການທົດສອບປຽບທຽບແມ່ນສ້າງຂຶ້ນໃນຫຼັກການທີ່ແຕກຕ່າງກັນແລະປະເພດຂອງຂໍ້ມູນທີ່ແຕກຕ່າງກັນ, ສໍາລັບຈຸດປະສົງຂອງການທົດສອບ, ວິທີການວັດແທກ "ອຸນຫະພູມສະເລ່ຍໃນໂຮງຫມໍ" ໄດ້ຖືກນໍາໃຊ້ ...

ໄຟລ໌ dump ແຕ່ລະຂະແຫນງການຂອງ logical disk ທີ່ມີລະບົບປະຕິບັດການ Windows 10 ໄດ້ຖືກສ້າງຂື້ນ; ນີ້ແມ່ນການປະສົມທໍາມະຊາດທີ່ສຸດຂອງໂຄງສ້າງຂໍ້ມູນຕ່າງໆທີ່ມີຢູ່ໃນທຸກຄອມພິວເຕີ. ການບີບອັດໄຟລ໌ນີ້ຈະຊ່ວຍໃຫ້ທ່ານສາມາດປຽບທຽບຄວາມໄວແລະລະດັບຂອງການບີບອັດຂອງ algorithm ໃຫມ່ກັບເຄື່ອງອັດທີ່ກ້າວຫນ້າທີ່ສຸດທີ່ໃຊ້ໃນ archivers ທີ່ທັນສະໄຫມ.

ນີ້ແມ່ນໄຟລ໌ dump:

ໄຟລ໌ dump ໄດ້ຖືກບີບອັດໂດຍໃຊ້ PTT-Mid, 7-zip, ແລະ WinRar compressors. ເຄື່ອງອັດ WinRar ແລະ 7-zip ຖືກຕັ້ງເປັນຄວາມໄວສູງສຸດ.

Compressor ແລ່ນ 7-zip:

ມັນໂຫຼດໂປເຊດເຊີໂດຍ 100%, ໃນຂະນະທີ່ຄວາມໄວສະເລ່ຍຂອງການອ່ານ dump ຕົ້ນສະບັບແມ່ນປະມານ 60 MegaBytes / ວິນາທີ.

Compressor ແລ່ນ Winrar:

ສະຖານະການແມ່ນຄ້າຍຄືກັນ, ການໂຫຼດຂອງໂປເຊດເຊີແມ່ນເກືອບ 100%, ຄວາມໄວໃນການອ່ານຂີ້ເຫຍື້ອສະເລ່ຍແມ່ນປະມານ 125 Megabytes / ວິນາທີ.

ເຊັ່ນດຽວກັນກັບກໍລະນີທີ່ຜ່ານມາ, ຄວາມໄວຂອງ archiver ໄດ້ຖືກຈໍາກັດໂດຍຄວາມສາມາດຂອງໂປເຊດເຊີ.

ຕອນນີ້ໂປຣແກມທົດສອບເຄື່ອງອັດເອກະສານກຳລັງແລ່ນຢູ່ RTT-ກາງ:

ພາບຫນ້າຈໍສະແດງໃຫ້ເຫັນວ່າໂປເຊດເຊີຖືກໂຫລດຢູ່ທີ່ 50% ແລະບໍ່ໄດ້ເຮັດວຽກໃນສ່ວນທີ່ເຫຼືອຂອງເວລາ, ເພາະວ່າບໍ່ມີບ່ອນໃດທີ່ຈະອັບໂຫລດຂໍ້ມູນທີ່ຖືກບີບອັດ. ແຜ່ນອັບໂຫລດຂໍ້ມູນ (Disk 0) ເກືອບເຕັມແລ້ວ. ຄວາມ​ໄວ​ການ​ອ່ານ​ຂໍ້​ມູນ (Disk 1​) ແມ່ນ​ແຕກ​ຕ່າງ​ກັນ​ຫຼາຍ​, ແຕ່​ໂດຍ​ສະ​ເລ່ຍ​ຫຼາຍ​ກ​່​ວາ 200 MegaBytes / ວິ​ນາ​ທີ​.

ຄວາມໄວຂອງ compressor ໄດ້ຖືກຈໍາກັດໃນກໍລະນີນີ້ໂດຍຄວາມສາມາດໃນການຂຽນຂໍ້ມູນທີ່ຖືກບີບອັດໃສ່ Disk 0.

ໃນປັດຈຸບັນອັດຕາສ່ວນການບີບອັດຂອງການເກັບຜົນໄດ້ຮັບ:

ມັນສາມາດເຫັນໄດ້ວ່າເຄື່ອງອັດ RTT-Mid ໄດ້ເຮັດວຽກທີ່ດີທີ່ສຸດຂອງການບີບອັດ; ແຟ້ມທີ່ມັນສ້າງຂຶ້ນແມ່ນ 1,3 GigaBytes ຂະຫນາດນ້ອຍກວ່າ WinRar archive ແລະ 2,1 GigaBytes ຂະຫນາດນ້ອຍກວ່າ 7z archive.

ເວລາທີ່ໃຊ້ໃນການສ້າງແຟ້ມຈັດເກັບ:

• 7-zip – 26 ນາທີ 10 ວິນາທີ;
• WinRar – 17 ນາທີ 40 ວິນາທີ;
• RTT-Mid – 7 ນາທີ 30 ວິນາທີ.

ດັ່ງນັ້ນ, ເຖິງແມ່ນວ່າການທົດສອບ, ໂຄງການທີ່ບໍ່ມີການເພີ່ມປະສິດທິພາບ, ໂດຍໃຊ້ RTT-Mid algorithm, ກໍ່ສາມາດສ້າງແຟ້ມຈັດເກັບໄດ້ໄວກວ່າສອງເທົ່າເຄິ່ງ, ໃນຂະນະທີ່ການເກັບມ້ຽນມີຂະຫນາດນ້ອຍກວ່າຄູ່ແຂ່ງຂອງມັນຢ່າງຫຼວງຫຼາຍ ...

ຜູ້ທີ່ບໍ່ເຊື່ອພາບຫນ້າຈໍສາມາດກວດສອບຄວາມຖືກຕ້ອງຂອງຕົນເອງໄດ້. ໂຄງການທົດສອບແມ່ນມີຢູ່ ການເຊື່ອມຕໍ່, ດາວນ໌ໂຫລດແລະກວດສອບ.

ແຕ່ໃນໂປເຊດເຊີທີ່ສະຫນັບສະຫນູນ AVX-2 ເທົ່ານັ້ນ, ໂດຍບໍ່ມີການສະຫນັບສະຫນູນຄໍາແນະນໍາເຫຼົ່ານີ້, ອັດບໍ່ເຮັດວຽກ, ແລະບໍ່ໄດ້ທົດສອບ algorithm ໃນໂປເຊດເຊີ AMD ເກົ່າ, ພວກມັນຊ້າໃນການປະຕິບັດຄໍາແນະນໍາ AVX ...

ໃຊ້ວິທີການບີບອັດ

ສູດການຄິດໄລ່ໃຊ້ວິທີການດັດສະນີ fragments ຊໍ້າຄືນໃນ granularity byte. ວິທີການບີບອັດນີ້ເປັນທີ່ຮູ້ຈັກເປັນເວລາດົນນານ, ແຕ່ບໍ່ໄດ້ຖືກນໍາໃຊ້ເພາະວ່າການປະຕິບັດການຈັບຄູ່ແມ່ນມີລາຄາແພງຫຼາຍໃນເງື່ອນໄຂຂອງຊັບພະຍາກອນທີ່ຈໍາເປັນແລະຕ້ອງການເວລາຫຼາຍກ່ວາການສ້າງວັດຈະນານຸກົມ. ດັ່ງນັ້ນ algorithm RTT-Mid ແມ່ນຕົວຢ່າງຄລາສສິກຂອງການເຄື່ອນຍ້າຍ "ກັບຄືນສູ່ອະນາຄົດ" ...

ເຄື່ອງອັດ PTT ໃຊ້ເຄື່ອງສະແກນຄົ້ນຫາການແຂ່ງຂັນທີ່ມີຄວາມໄວສູງທີ່ເປັນເອກະລັກ, ເຊິ່ງຊ່ວຍໃຫ້ພວກເຮົາເລັ່ງຂະບວນການບີບອັດ. ເຄື່ອງສະແກນທີ່ເຮັດເອງ, ນີ້ແມ່ນ "ສະເຫນ່ຂອງຂ້ອຍ ... ", "ມັນຂ້ອນຂ້າງແພງ, ເພາະວ່າມັນເຮັດດ້ວຍມືຢ່າງສົມບູນ" (ຂຽນໃນຕົວປະກອບ).

ເຄື່ອງສະແກນຄົ້ນຫາການຈັບຄູ່ແມ່ນເຮັດຕາມໂຄງການຄວາມເປັນໄປໄດ້ສອງລະດັບ: ທໍາອິດ, ການປະກົດຕົວຂອງ "ເຄື່ອງຫມາຍ" ຂອງການແຂ່ງຂັນໄດ້ຖືກສະແກນ, ແລະພຽງແຕ່ຫຼັງຈາກ "ເຄື່ອງຫມາຍ" ໄດ້ຖືກລະບຸຢູ່ໃນສະຖານທີ່ນີ້, ຂັ້ນຕອນການກວດສອບການຈັບຄູ່ທີ່ແທ້ຈິງ. ແມ່ນເລີ່ມຕົ້ນ.

ປ່ອງ​ຢ້ຽມ​ຊອກ​ຫາ​ທີ່​ກົງ​ກັນ​ມີ​ຂະ​ຫນາດ​ທີ່​ບໍ່​ໄດ້​ຄາດ​ຄະ​ເນ​, ຂຶ້ນ​ກັບ​ລະ​ດັບ​ຂອງ entropy ໃນ​ການ​ຂະ​ບວນ​ການ​ຂໍ້​ມູນ​ຂອງ​ຕັນ​. ສໍາລັບຂໍ້ມູນແບບສຸ່ມຢ່າງສົມບູນ (ບໍ່ສາມາດບີບອັດໄດ້) ມັນມີຂະຫນາດຂອງເມກະໄບ, ສໍາລັບຂໍ້ມູນທີ່ມີການຊໍ້າຊ້ອນ, ມັນມີຂະຫນາດໃຫຍ່ກວ່າ megabytes ສະເຫມີ.

ແຕ່ຮູບແບບຂໍ້ມູນທີ່ທັນສະໄຫມຈໍານວນຫຼາຍແມ່ນບໍ່ສາມາດບີບອັດໄດ້ ແລະການແລ່ນເຄື່ອງສະແກນຊັບພະຍາກອນຫຼາຍໂດຍຜ່ານພວກມັນແມ່ນບໍ່ມີປະໂຫຍດແລະສິ່ງເສດເຫຼືອ, ດັ່ງນັ້ນເຄື່ອງສະແກນໃຊ້ສອງໂຫມດປະຕິບັດການ. ຫນ້າທໍາອິດ, ພາກສ່ວນຂອງຂໍ້ຄວາມຕົ້ນສະບັບທີ່ມີການຊໍ້າຄືນທີ່ເປັນໄປໄດ້ແມ່ນໄດ້ຖືກຄົ້ນຫາ; ການດໍາເນີນງານນີ້ຍັງດໍາເນີນໂດຍວິທີການທີ່ເປັນໄປໄດ້ແລະຖືກປະຕິບັດຢ່າງໄວວາ (ໃນຄວາມໄວ 4-6 GigaBytes / ວິນາທີ). ຫຼັງຈາກນັ້ນ, ພື້ນທີ່ທີ່ມີການຈັບຄູ່ທີ່ເປັນໄປໄດ້ໄດ້ຖືກປຸງແຕ່ງໂດຍເຄື່ອງສະແກນຕົ້ນຕໍ.

ການບີບອັດດັດຊະນີບໍ່ມີປະສິດທິພາບຫຼາຍ, ທ່ານຕ້ອງທົດແທນຊິ້ນສ່ວນທີ່ຊ້ໍາກັນດ້ວຍດັດຊະນີ, ແລະ array ດັດຊະນີຫຼຸດລົງອັດຕາສ່ວນການບີບອັດຢ່າງຫຼວງຫຼາຍ.

ເພື່ອເພີ່ມອັດຕາສ່ວນການບີບອັດ, ບໍ່ພຽງແຕ່ການຈັບຄູ່ທີ່ສົມບູນຂອງສະຕຣິງ byte ຖືກດັດສະນີ, ແຕ່ຍັງເປັນບາງສ່ວນ, ເມື່ອສະຕຣິງມີໄບຕ໌ທີ່ກົງກັນແລະບໍ່ກົງກັນ. ເພື່ອເຮັດສິ່ງນີ້, ຮູບແບບດັດສະນີປະກອບມີພາກສະຫນາມຫນ້າກາກທີ່ກົງກັນທີ່ຊີ້ໃຫ້ເຫັນ bytes ທີ່ກົງກັນຂອງສອງຕັນ. ສໍາລັບການບີບອັດຫຼາຍກວ່າເກົ່າ, ການສ້າງດັດສະນີແມ່ນໃຊ້ເພື່ອ superimpose ຕັນທີ່ກົງກັນບາງສ່ວນໃສ່ກັບຕັນໃນປະຈຸບັນ.

ທັງຫມົດນີ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະໄດ້ຮັບໃນເຄື່ອງອັດ PTT-Mid ອັດຕາສ່ວນການບີບອັດທຽບກັບເຄື່ອງອັດທີ່ເຮັດໂດຍໃຊ້ວິທີການວັດຈະນານຸກົມ, ແຕ່ເຮັດວຽກໄວກວ່າຫຼາຍ.

ຄວາມໄວຂອງວິທີການບີບອັດໃຫມ່

ຖ້າເຄື່ອງບີບອັດເຮັດວຽກດ້ວຍການໃຊ້ຫນ່ວຍຄວາມຈໍາແຄດສະເພາະ (ຕ້ອງການ 4 Megabytes ຕໍ່ກະທູ້), ຫຼັງຈາກນັ້ນ, ຄວາມໄວໃນການເຮັດວຽກຢູ່ລະຫວ່າງ 700-2000 Megabytes / ວິນາທີ. ຕໍ່ຫຼັກຂອງໂປເຊດເຊີ, ຂຶ້ນກັບປະເພດຂອງຂໍ້ມູນທີ່ຖືກບີບອັດແລະຂຶ້ນກັບຄວາມຖີ່ຂອງການເຮັດວຽກຂອງໂປເຊດເຊີເລັກນ້ອຍ.

ດ້ວຍການປະຕິບັດຫຼາຍກະທູ້ຂອງເຄື່ອງອັດ, ການຂະຫຍາຍປະສິດທິພາບແມ່ນຖືກກໍານົດໂດຍຂະຫນາດຂອງ cache ລະດັບທີສາມ. ສໍາລັບຕົວຢ່າງ, ມີ 9 MegaBytes ຂອງຫນ່ວຍຄວາມຈໍາ cache "ຢູ່ໃນກະດານ", ບໍ່ມີຈຸດໃດທີ່ຈະເປີດຕົວຫຼາຍກ່ວາສອງກະທູ້ compression; ຄວາມໄວຈະບໍ່ເພີ່ມຂຶ້ນຈາກນີ້. ແຕ່ດ້ວຍ cache ຂອງ 20 Megabytes, ທ່ານສາມາດດໍາເນີນການໄດ້ຫ້າກະທູ້ compression ແລ້ວ.

ນອກຈາກນີ້, latency ຂອງ RAM ກາຍເປັນຕົວກໍານົດການທີ່ສໍາຄັນທີ່ກໍານົດຄວາມໄວຂອງ compressor ໄດ້. algorithm ໃຊ້ການເຂົ້າເຖິງແບບສຸ່ມກັບ OP, ບາງຢ່າງທີ່ບໍ່ໄດ້ເຂົ້າໄປໃນຫນ່ວຍຄວາມຈໍາ cache (ປະມານ 10%) ແລະມັນຕ້ອງ idle, ລໍຖ້າຂໍ້ມູນຈາກ OP, ເຊິ່ງເຮັດໃຫ້ຄວາມໄວຂອງການດໍາເນີນງານຫຼຸດລົງ.

ມີຜົນກະທົບຢ່າງຫຼວງຫຼາຍຕໍ່ຄວາມໄວຂອງເຄື່ອງອັດແລະການເຮັດວຽກຂອງລະບົບການປ້ອນຂໍ້ມູນ / ຜົນຜະລິດ. ການຮ້ອງຂໍຕໍ່ OP ຈາກ I/O block ການຮ້ອງຂໍຂໍ້ມູນຈາກ CPU, ເຊິ່ງຊ່ວຍຫຼຸດຜ່ອນຄວາມໄວການບີບອັດ. ບັນຫານີ້ແມ່ນສໍາຄັນສໍາລັບແລັບທັອບ ແລະເດັສທັອບ; ສໍາລັບເຊີບເວີມັນບໍ່ສໍາຄັນເນື່ອງຈາກຫນ່ວຍຄວບຄຸມການເຂົ້າເຖິງລະບົບລົດເມທີ່ກ້າວຫນ້າແລະ RAM ຫຼາຍຊ່ອງ.

ຕະຫຼອດຂໍ້ຄວາມໃນບົດຄວາມພວກເຮົາເວົ້າກ່ຽວກັບການບີບອັດ; ການບີບອັດຍັງຢູ່ນອກຂອບເຂດຂອງບົດຄວາມນີ້ນັບຕັ້ງແຕ່ "ທຸກສິ່ງທຸກຢ່າງແມ່ນກວມເອົາໃນຊັອກໂກແລັດ". ການບີບອັດແມ່ນໄວຂຶ້ນຫຼາຍ ແລະຖືກຈຳກັດດ້ວຍຄວາມໄວ I/O. ແກນທາງກາຍະພາບອັນດຽວໃນກະທູ້ດຽວໃຫ້ຄວາມໄວໃນການຫຸ້ມຫໍ່ 3-4 GB / ວິນາທີໄດ້ຢ່າງງ່າຍດາຍ.

ນີ້ແມ່ນເນື່ອງມາຈາກບໍ່ມີການດໍາເນີນການຄົ້ນຫາການແຂ່ງຂັນໃນລະຫວ່າງຂະບວນການບີບອັດ, ເຊິ່ງ "ກິນເຖິງ" ຊັບພະຍາກອນຕົ້ນຕໍຂອງໂປເຊດເຊີແລະຫນ່ວຍຄວາມຈໍາ cache ໃນລະຫວ່າງການບີບອັດ.

ຄວາມຫນ້າເຊື່ອຖືຂອງການເກັບຮັກສາຂໍ້ມູນທີ່ຖືກບີບອັດ

ໃນຖານະເປັນຊື່ຂອງຊັ້ນທັງຫມົດຂອງຊອບແວທີ່ໃຊ້ການບີບອັດຂໍ້ມູນ (archivers) ແນະນໍາ, ພວກເຂົາຖືກອອກແບບມາສໍາລັບການເກັບຮັກສາຂໍ້ມູນໃນໄລຍະຍາວ, ບໍ່ແມ່ນສໍາລັບປີ, ແຕ່ສໍາລັບສັດຕະວັດແລະພັນປີ ...

ໃນ​ລະ​ຫວ່າງ​ການ​ເກັບ​ຮັກ​ສາ​, ມີ​ເດຍ​ການ​ເກັບ​ຮັກ​ສາ​ສູນ​ເສຍ​ບາງ​ຂໍ້​ມູນ​, ນີ້​ແມ່ນ​ຕົວ​ຢ່າງ​:

ຜູ້ໃຫ້ບໍລິການຂໍ້ມູນ "ອະນາລັອກ" ນີ້ມີອາຍຸຫຼາຍພັນປີ, ບາງຊິ້ນໄດ້ສູນເສຍໄປ, ແຕ່ໂດຍທົ່ວໄປແລ້ວຂໍ້ມູນແມ່ນ "ອ່ານໄດ້" ...

ບໍ່ມີຜູ້ຜະລິດທີ່ຮັບຜິດຊອບຂອງລະບົບການເກັບຮັກສາຂໍ້ມູນດິຈິຕອນທີ່ທັນສະໄຫມແລະສື່ດິຈິຕອນສໍາລັບພວກເຂົາສະຫນອງການຮັບປະກັນຄວາມປອດໄພຂອງຂໍ້ມູນທີ່ສົມບູນແບບຫຼາຍກວ່າ 75 ປີ.
ແລະ​ນີ້​ແມ່ນ​ບັນ​ຫາ​, ແຕ່​ບັນ​ຫາ​ທີ່​ເລື່ອນ​ເວ​ລາ​, ລູກ​ຫລານ​ຂອງ​ພວກ​ເຮົາ​ຈະ​ແກ້​ໄຂ​ມັນ ...

ລະບົບການເກັບຮັກສາຂໍ້ມູນດິຈິຕອນສາມາດສູນເສຍຂໍ້ມູນບໍ່ພຽງແຕ່ຫຼັງຈາກ 75 ປີ, ຂໍ້ຜິດພາດຂອງຂໍ້ມູນສາມາດປາກົດໄດ້ທຸກເວລາ, ເຖິງແມ່ນວ່າໃນລະຫວ່າງການບັນທຶກຂອງພວກເຂົາ, ພວກເຂົາພະຍາຍາມຫຼຸດຜ່ອນການບິດເບືອນເຫຼົ່ານີ້ໂດຍການນໍາໃຊ້ຊ້ໍາຊ້ອນແລະແກ້ໄຂດ້ວຍລະບົບການແກ້ໄຂຂໍ້ຜິດພາດ. ລະບົບການຊໍ້າຊ້ອນ ແລະການແກ້ໄຂບໍ່ສາມາດຟື້ນຟູຂໍ້ມູນທີ່ສູນຫາຍໄດ້ສະເໝີ, ແລະຖ້າພວກເຂົາເຮັດ, ບໍ່ມີການຮັບປະກັນວ່າການດໍາເນີນງານການຟື້ນຟູໄດ້ສໍາເລັດຢ່າງຖືກຕ້ອງ.

ແລະນີ້ຍັງເປັນບັນຫາໃຫຍ່, ແຕ່ບໍ່ແມ່ນການເລື່ອນເວລາ, ແຕ່ເປັນປັດຈຸບັນ.

ເຄື່ອງອັດທີ່ທັນສະ ໄໝ ທີ່ໃຊ້ໃນການເກັບຂໍ້ມູນດິຈິຕອລແມ່ນສ້າງຂຶ້ນໂດຍການດັດແກ້ຕ່າງໆຂອງວິທີການວັດຈະນານຸກົມ, ແລະ ສຳ ລັບການເກັບຂໍ້ມູນດັ່ງກ່າວ, ການສູນເສຍຂໍ້ມູນຈະເປັນເຫດການທີ່ເປັນອັນຕະລາຍ; ຍັງມີ ຄຳ ສັບທີ່ຕັ້ງຂື້ນ ສຳ ລັບສະຖານະການດັ່ງກ່າວ - ການເກັບ "ຫັກ" ...

ຄວາມຫນ້າເຊື່ອຖືຕ່ໍາຂອງການເກັບຮັກສາຂໍ້ມູນໃນຮວບຮວມກັບການບີບອັດວັດຈະນານຸກົມແມ່ນກ່ຽວຂ້ອງກັບໂຄງສ້າງຂອງຂໍ້ມູນທີ່ຖືກບີບອັດ. ຂໍ້ມູນຢູ່ໃນບ່ອນເກັບມ້ຽນດັ່ງກ່າວບໍ່ມີຂໍ້ຄວາມແຫຼ່ງ, ຕົວເລກຂອງລາຍການໃນວັດຈະນານຸກົມຖືກເກັບໄວ້ຢູ່ທີ່ນັ້ນ, ແລະວັດຈະນານຸກົມຕົວມັນເອງຖືກດັດແກ້ແບບເຄື່ອນໄຫວໂດຍຂໍ້ຄວາມທີ່ຖືກບີບອັດໃນປັດຈຸບັນ. ຖ້າຊິ້ນສ່ວນການເກັບມ້ຽນຖືກສູນເສຍໄປຫຼືເສຍຫາຍ, ທຸກໆລາຍການທີ່ເກັບໄວ້ຕໍ່ໄປບໍ່ສາມາດລະບຸໄດ້ໂດຍເນື້ອຫາຫຼືຄວາມຍາວຂອງລາຍການໃນວັດຈະນານຸກົມ, ເພາະວ່າມັນບໍ່ຊັດເຈນວ່າເລກເຂົ້າວັດຈະນານຸກົມກົງກັບຫຍັງ.

ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະຟື້ນຟູຂໍ້ມູນຈາກບ່ອນເກັບມ້ຽນ "ຫັກ" ດັ່ງກ່າວ.

ສູດການຄິດໄລ່ RTT ແມ່ນອີງໃສ່ວິທີການເກັບຮັກສາຂໍ້ມູນທີ່ຖືກບີບອັດທີ່ເຊື່ອຖືໄດ້ຫຼາຍຂຶ້ນ. ມັນໃຊ້ວິທີການດັດສະນີບັນຊີສໍາລັບການເຮັດຊ້ໍາຊິ້ນ. ວິທີການບີບອັດນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດຫຼຸດຜ່ອນຜົນສະທ້ອນຂອງການບິດເບືອນຂອງຂໍ້ມູນໃນສື່ການເກັບຮັກສາ, ແລະໃນຫຼາຍໆກໍລະນີອັດຕະໂນມັດແກ້ໄຂການບິດເບືອນທີ່ເກີດຂຶ້ນໃນລະຫວ່າງການເກັບຮັກສາຂໍ້ມູນ.
ນີ້ແມ່ນເນື່ອງມາຈາກຄວາມຈິງທີ່ວ່າແຟ້ມຈັດເກັບໃນກໍລະນີຂອງການບີບອັດດັດຊະນີມີສອງຊ່ອງຂໍ້ມູນ:

• ຊ່ອງຂໍ້ຄວາມແຫຼ່ງທີ່ມີພາກສ່ວນຊໍ້າຄືນອອກຈາກມັນ;
• ພາກສະຫນາມດັດສະນີ.

ພາກສະຫນາມດັດສະນີ, ເຊິ່ງເປັນສິ່ງສໍາຄັນສໍາລັບການຟື້ນຕົວຂໍ້ມູນ, ບໍ່ມີຂະຫນາດໃຫຍ່ໃນຂະຫນາດແລະສາມາດຊ້ໍາກັນສໍາລັບການເກັບຮັກສາຂໍ້ມູນທີ່ເຊື່ອຖືໄດ້. ດັ່ງນັ້ນ, ເຖິງແມ່ນວ່າຊິ້ນສ່ວນຂອງຂໍ້ຄວາມຕົ້ນສະບັບຫຼື array ດັດຊະນີຈະສູນເສຍ, ຂໍ້ມູນອື່ນໆທັງຫມົດຈະຖືກຟື້ນຟູໂດຍບໍ່ມີບັນຫາ, ເຊັ່ນດຽວກັບຢູ່ໃນຮູບທີ່ມີ "ອະນາລັອກ".

ຂໍ້ເສຍຂອງ algorithm

ບໍ່ມີຂໍ້ດີທີ່ບໍ່ມີຂໍ້ເສຍ. ວິທີການບີບອັດດັດຊະນີບໍ່ໄດ້ບີບອັດລໍາດັບການຊໍ້າຄືນສັ້ນໆ. ນີ້ແມ່ນເນື່ອງມາຈາກຂໍ້ຈໍາກັດຂອງວິທີການດັດສະນີ. ດັດຊະນີມີຂະໜາດຢ່າງໜ້ອຍ 3 ໄບຕ໌ ແລະສາມາດມີຂະໜາດໄດ້ເຖິງ 12 ໄບຕ໌. ຖ້າການຊໍ້າຊ້ອນພົບກັບຂະຫນາດທີ່ນ້ອຍກວ່າດັດຊະນີທີ່ອະທິບາຍມັນ, ຫຼັງຈາກນັ້ນມັນບໍ່ໄດ້ຖືກພິຈາລະນາ, ບໍ່ວ່າການຄ້າງຄືນດັ່ງກ່າວຈະຖືກກວດພົບເລື້ອຍໆໃນໄຟລ໌ທີ່ຖືກບີບອັດ.

ວິທີການບີບອັດວັດຈະນານຸກົມແບບດັ້ງເດີມມີປະສິດທິພາບບີບອັດການຊໍ້າຄືນຫຼາຍຄັ້ງຂອງຄວາມຍາວສັ້ນ ແລະດັ່ງນັ້ນຈຶ່ງບັນລຸອັດຕາສ່ວນການບີບອັດສູງກວ່າການບີບອັດດັດຊະນີ. ແທ້ຈິງແລ້ວ, ນີ້ແມ່ນບັນລຸໄດ້ເນື່ອງຈາກການໂຫຼດສູງໃນໂປເຊດເຊີສູນກາງ; ເພື່ອໃຫ້ວິທີການວັດຈະນານຸກົມເລີ່ມຕົ້ນການບີບອັດຂໍ້ມູນທີ່ມີປະສິດທິພາບຫຼາຍກ່ວາວິທີການດັດສະນີ, ມັນຕ້ອງຫຼຸດຜ່ອນຄວາມໄວການປຸງແຕ່ງຂໍ້ມູນລົງເປັນ 10-20 megabytes ຕໍ່ວິນາທີ. ການຕິດຕັ້ງຄອມພິວເຕີດ້ວຍການໂຫຼດ CPU ເຕັມ.

ຄວາມໄວທີ່ຕໍ່າດັ່ງກ່າວແມ່ນບໍ່ສາມາດຍອມຮັບໄດ້ສໍາລັບລະບົບການເກັບຮັກສາຂໍ້ມູນທີ່ທັນສະໄຫມແລະມີຄວາມສົນໃຈ "ທາງວິຊາການ" ຫຼາຍກວ່າການປະຕິບັດ.

ລະດັບການບີບອັດຂໍ້ມູນຈະເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍໃນການດັດແກ້ຕໍ່ໄປຂອງ RTT algorithm (RTT-Max), ເຊິ່ງຢູ່ໃນການພັດທະນາແລ້ວ.

ດັ່ງນັ້ນ, ດັ່ງທີ່ສະເຫມີ, ຈະສືບຕໍ່ ...

ແຫຼ່ງຂໍ້ມູນ: www.habr.com