ການປ່ອຍ DBMS libmdbx 0.10.4 ແລະ libfpta 0.3.9 ທີ່ມີປະສິດຕິພາບສູງ

ຫ້ອງສະໝຸດ libmdbx 0.10.4 (MDBX) ໄດ້ຖືກປ່ອຍອອກມາດ້ວຍການຈັດຕັ້ງປະຕິບັດຖານຂໍ້ມູນຄີ-ຄ່າທີ່ຝັງຕົວທີ່ປະສິດທິພາບສູງ, ແລະຫ້ອງສະໝຸດ libfpta 0.3.9 (FPTA) ທີ່ກ່ຽວຂ້ອງ, ເຊິ່ງປະຕິບັດການເປັນຕົວແທນຂອງຕາຕະລາງຂອງຂໍ້ມູນທີ່ມີດັດຊະນີຂັ້ນສອງ ແລະປະສົມ. ຢູ່ເທິງສຸດຂອງ MDBX. ຫ້ອງສະຫມຸດທັງສອງໄດ້ຖືກແຈກຢາຍພາຍໃຕ້ໃບອະນຸຍາດທີ່ໄດ້ຮັບອະນຸມັດ OSI. ລະບົບປະຕິບັດການແລະສະຖາປັດຕະຍະກໍາໃນປະຈຸບັນທັງຫມົດແມ່ນສະຫນັບສະຫນູນ, ເຊັ່ນດຽວກັນກັບລັດເຊຍ Elbrus 2000.

ໃນປະຫວັດສາດ, libmdbx ແມ່ນການເຮັດວຽກຄືນໃຫມ່ຢ່າງເລິກເຊິ່ງຂອງ LMDB DBMS ແລະດີກວ່າບັນພະບຸລຸດຂອງຕົນໃນຄວາມຫນ້າເຊື່ອຖື, ຄຸນສົມບັດແລະການປະຕິບັດ. ເມື່ອປຽບທຽບກັບ LMDB, libmdbx ເນັ້ນຫນັກຫຼາຍກ່ຽວກັບຄຸນນະພາບລະຫັດ, ຄວາມຫມັ້ນຄົງ API, ການທົດສອບແລະການກວດສອບອັດຕະໂນມັດ. ຜົນປະໂຫຍດສໍາລັບການກວດສອບຄວາມສົມບູນຂອງໂຄງສ້າງຖານຂໍ້ມູນທີ່ມີຄວາມສາມາດໃນການຟື້ນຕົວບາງຢ່າງແມ່ນສະຫນອງໃຫ້.

ທາງດ້ານເທກໂນໂລຍີ, libmdbx ສະຫນອງ ACID, ການປ່ຽນແປງ serialization ທີ່ເຂັ້ມແຂງ, ແລະການອ່ານທີ່ບໍ່ມີການຂັດຂວາງດ້ວຍການຂະຫຍາຍເສັ້ນຜ່ານແກນ CPU. ການບີບອັດອັດຕະໂນມັດ, ການຈັດການຂະຫນາດຖານຂໍ້ມູນອັດຕະໂນມັດ, ແລະການຄາດຄະເນການສອບຖາມໄລຍະແມ່ນສະຫນັບສະຫນູນ. ນັບຕັ້ງແຕ່ 2016, ໂຄງການຕ່າງໆໄດ້ຮັບທຶນຈາກເຕັກໂນໂລຢີດ້ານບວກແລະນັບຕັ້ງແຕ່ 2017 ໄດ້ຖືກນໍາໃຊ້ໃນຜະລິດຕະພັນຂອງມັນ.

libmdbx ສະຫນອງ C++ API, ເຊັ່ນດຽວກັນກັບການຜູກມັດພາສາທີ່ສະຫນັບສະຫນູນສໍາລັບ Rust, Haskell, Python, NodeJS, Ruby, Go, ແລະ Nim. ສໍາລັບ libfpta, ພຽງແຕ່ຄໍາອະທິບາຍ API ແມ່ນມີຢູ່ໃນສາທາລະນະໃນຮູບແບບຂອງໄຟລ໌ສ່ວນຫົວ C/C++.

ນະວັດຕະກໍາ, ການປັບປຸງ ແລະ ການແກ້ໄຂຕົ້ນຕໍທີ່ເພີ່ມເຂົ້າມາຕັ້ງແຕ່ຂ່າວທີ່ຜ່ານມາໃນວັນທີ 9 ພຶດສະພາ:

• ເປີດໃຊ້ການສ້າງທີ່ຜະລິດຄືນໄດ້.
• ແກ້ໄຂຂໍ້ບົກພ່ອງອັນເນື່ອງມາຈາກ, ໃນສະຖານະການທີ່ຫາຍາກຫຼາຍ, loop / freeze ສາມາດເກີດຂຶ້ນໃນລະຫວ່າງການເຮັດທຸລະກໍາ. ບັນຫາດັ່ງກ່າວໄດ້ຖືກກໍານົດໂດຍຜູ້ຊ່ຽວຊານດ້ານເທກໂນໂລຍີໃນທາງບວກໃນລະຫວ່າງການທົດສອບພາຍໃນຂອງຜະລິດຕະພັນຂອງຕົນເອງ.
• ການທົດສອບໄດ້ຖືກປັບປຸງແລະສະຖານະການທົດສອບໄດ້ຖືກຂະຫຍາຍອອກເພື່ອກວດເບິ່ງສະຖານະທີ່ບໍ່ແມ່ນ isomorphic ທີ່ສາມາດບັນລຸໄດ້ທັງຫມົດຂອງຫນ້າຕົ້ນໄມ້ແລະເນື້ອຫາ GC ພາຍໃນຖານຂໍ້ມູນ.
• ໃນ C ++ API, "ບໍ່ມີຂໍ້ຍົກເວັ້ນ" ເພີ່ມເຕີມໄດ້ຖືກແກ້ໄຂ, ການໂຫຼດເກີນເພີ່ມເຕີມໄດ້ຖືກເພີ່ມສໍາລັບ "ຕົວກະພິບ:: erase()" ວິທີການ, ການປະຕິບັດຂອງ buffers ໄດ້ຖືກຍົກເວັ້ນການນໍາໃຊ້ "std:: string" ເພື່ອຮັບປະກັນການຈັດຕໍາແຫນ່ງ. (ກ່ຽວຂ້ອງກັບ CLANG libstdc++).
• ການຖົດຖອຍໃນລະບົບການຮົ່ວໄຫຼຂອງຫນ້າເປື້ອນ (ການຄັດລອກຫນ້າຖານຂໍ້ມູນທີ່ມີການປ່ຽນແປງ) ທີ່ສະແດງອອກໂດຍຄວາມຜິດພາດທີ່ບໍ່ຄາດຄິດທີ່ຫາຍາກ MDBX_PROBLEM ເມື່ອການປ່ຽນແປງຂໍ້ມູນໃນທຸລະກໍາອັນໃຫຍ່ຫຼວງໄດ້ຖືກລົບລ້າງ.
• ການທົດສອບໄລຍະໄດ້ຖືກປະຕິບັດດ້ວຍການເພີ່ມຈໍານວນການກວດສອບເພື່ອຮັບປະກັນຄວາມຫມັ້ນຄົງໃນກໍລະນີຂອງຄວາມເສຍຫາຍໂດຍເຈດຕະນາກັບຖານຂໍ້ມູນ.
• ແກ້ໄຂການເຕືອນໄພເລັກນ້ອຍທີ່ບໍ່ໄດ້ກຳນົດໄວ້ວ່າ BehaviorSanitizer ແລະ Coverity Scan.
• ແກ້ໄຂການກວດສອບທີ່ລ້າສະໄຫມ ແລະບໍ່ໄດ້ໃຊ້ທຸງພາຍໃນ “P_DIRTY” ຢູ່ໃນຫນ້າທີ່ຊ້ອນກັນພາຍໃນຮູບພາບຖານຂໍ້ມູນທີ່ສ້າງໂດຍຫ້ອງສະໝຸດເວີຊັນເກົ່າ.
• ໃນ CMake scripts, ການຄົ້ນຫາອົງປະກອບ compiler ທີ່ຕ້ອງການສໍາລັບ LTO (link-time optimization) ໄດ້ຖືກປັບປຸງ.
• ຈໍານວນສູງສຸດຂອງຜູ້ອ່ານພ້ອມໆກັນໄດ້ເພີ່ມຂຶ້ນເປັນ 32767.
• ປັບປຸງປະສິດທິພາບເມື່ອໃຊ້ Valgrind ແລະ AddressSanitizer.
• ໃນ Windows, ການນໍາໃຊ້ recursive ຂອງ SRW-lock ໃນເວລາທີ່ເຮັດວຽກຢູ່ໃນໂຫມດ MDBX_NOTLS (ໂດຍບໍ່ມີການນໍາໃຊ້ thread local storage) ໄດ້ຖືກລົບລ້າງ, ການຜະລິດ bootid ໄດ້ຖືກແກ້ໄຂຖ້າຫາກວ່າເວລາຂອງລະບົບມີການປ່ຽນແປງ, ການກວດພົບ WSL1 ແລະ WSL2 ໄດ້ຖືກປັບປຸງ, ແລະຄວາມສາມາດໃນການ ເປີດຖານຂໍ້ມູນໃນແຜນ 9 ຕິດຕັ້ງຜ່ານ DrvFS ໄດ້ຖືກເພີ່ມ.
• ໃນ​ຈໍາ​ນວນ​ທັງ​ຫມົດ​, ຫຼາຍ​ກ​່​ວາ 160 ການ​ປ່ຽນ​ແປງ​ໄດ້​ຖືກ​ເຮັດ​ໃຫ້ 57 ໄຟລ​໌​, ~ 5000 ເສັ້ນ​ໄດ້​ຖືກ​ເພີ່ມ​, ~ 2500 ຖືກ​ລົບ​.

ຂ້າພະເຈົ້າຂໍຂອບໃຈເປັນພິເສດກັບທີມງານໂຄງການ Erigon (ລະບົບນິເວດ Ethereum) ສໍາລັບການຊ່ວຍເຫຼືອຂອງພວກເຂົາໃນການທົດສອບໃນສະຖານະການການນໍາໃຊ້ທີ່ຮຸນແຮງ. ມັນເປັນສິ່ງສໍາຄັນໃນຫ້າເດືອນນັບຕັ້ງແຕ່ການປ່ອຍ libmdbx v0.10.0, ດ້ວຍປະລິມານຖານຂໍ້ມູນ 1-2 TB ໃນແຕ່ລະການຕິດຕັ້ງ Erigon (ໃຊ້ໃນ 7% ຂອງ Ethereum nodes), ພຽງແຕ່ສາມບົດລາຍງານການສໍ້ລາດບັງຫຼວງຂອງຖານຂໍ້ມູນທີ່ໄດ້ຮັບ, ທັງຫມົດຂອງ ທີ່ເກີດຂື້ນຍ້ອນເຫດຜົນພາຍນອກ, ແລະບໍ່ແມ່ນຄວາມຜິດພາດຂອງຊອບແວ: ໃນສອງກໍລະນີ, ສາເຫດແມ່ນຄວາມລົ້ມເຫຼວຂອງ RAM, ໃນທີສາມ, ຄວາມຜິດພາດໃນການຕັ້ງຂໍ້ມູນໃຫມ່ໃນການຕັ້ງຄ່າສະເພາະຂອງລະບົບຍ່ອຍການເກັບຮັກສາໂດຍໃຊ້ BTRFS.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru