Micron Open Code HSE Storage Engine Optimized ສໍາລັບ SSDs

Micron Technology, ບໍລິສັດທີ່ຊ່ຽວຊານໃນການຜະລິດ DRAM ແລະ flash memory, ນຳ ສະ ເໜີ ເຄື່ອງຈັກການເກັບຮັກສາໃຫມ່ HSE (Heterogeneous-memory Storage Engine), ອອກແບບມາເພື່ອໃຊ້ໃນ SSDs ໂດຍອີງໃສ່ NAND flash (X100, TLC, QLC 3D NAND) ຫຼືຫນ່ວຍຄວາມຈໍາຖາວອນ (NVDIMM). ເຄື່ອງຈັກແມ່ນເຮັດໃນຮູບແບບຂອງຫ້ອງສະຫມຸດສໍາລັບການຝັງເຂົ້າໄປໃນຄໍາຮ້ອງສະຫມັກອື່ນໆແລະສະຫນັບສະຫນູນການປະມວນຜົນຂໍ້ມູນໃນຮູບແບບທີ່ສໍາຄັນ. ລະຫັດ HSE ແມ່ນຂຽນເປັນພາສາ C ແລະ ແຈກຢາຍໂດຍ ອະນຸຍາດພາຍໃຕ້ Apache 2.0.

ຂອງພື້ນທີ່ຂອງຄໍາຮ້ອງສະຫມັກຂອງເຄື່ອງຈັກ, ມັນຖືກນໍາໃຊ້ສໍາລັບການເກັບຮັກສາຂໍ້ມູນລະດັບຕ່ໍາໃນ NoSQL DBMS, ການເກັບຮັກສາຊອບແວ (SDS, Software-Defined Storage) ເຊັ່ນ Ceph ແລະ Scality RING, ເວທີການປະມວນຜົນຂໍ້ມູນຂະຫນາດໃຫຍ່ (Big Data) , ຄອມພິວເຕີ້ທີ່ມີປະສິດທິພາບສູງ (HPC), ອຸປະກອນອິນເຕີເນັດຂອງສິ່ງຕ່າງໆ (IoT) ແລະວິທີແກ້ໄຂສໍາລັບລະບົບການຮຽນຮູ້ເຄື່ອງຈັກ.

HSE ໄດ້ຖືກປັບປຸງບໍ່ພຽງແຕ່ສໍາລັບການປະຕິບັດສູງສຸດ, ແຕ່ຍັງສໍາລັບອາຍຸຍືນໃນທົ່ວຫ້ອງຮຽນທີ່ແຕກຕ່າງກັນຂອງ SSDs. ຄວາມໄວສູງແມ່ນບັນລຸໄດ້ໂດຍຜ່ານຮູບແບບການເກັບຮັກສາແບບປະສົມ - ຂໍ້ມູນທີ່ທັນສະໄຫມທີ່ສຸດແມ່ນຖືກເກັບໄວ້ໃນ RAM, ເຊິ່ງຊ່ວຍຫຼຸດຜ່ອນຈໍານວນການເຂົ້າເຖິງໄດ. ເປັນຕົວຢ່າງຂອງການລວມເຄື່ອງຈັກໃຫມ່ເຂົ້າໄປໃນໂຄງການຂອງພາກສ່ວນທີສາມ ກະກຽມ ຕົວແປຂອງ DBMS MongoDB ທີ່ເນັ້ນເອກະສານ, ແປເພື່ອໃຊ້ HSE.

ທາງດ້ານເຕັກໂນໂລຢີ, HSE ອີງໃສ່ໂມດູນແກ່ນເພີ່ມເຕີມ mpool, ເຊິ່ງປະຕິບັດການໂຕ້ຕອບການເກັບຮັກສາວັດຖຸພິເສດສໍາລັບການຂັບແຂງ, ​​ການຄໍານຶງເຖິງຄວາມສາມາດແລະຄຸນນະສົມບັດຂອງເຂົາເຈົ້າ, ເຊິ່ງອະນຸຍາດໃຫ້ທ່ານເພື່ອໃຫ້ໄດ້ຮັບປະສິດທິພາບທີ່ແຕກຕ່າງກັນພື້ນຖານແລະຄວາມທົນທານ. Mpool ຍັງເປັນການພັດທະນາຂອງ Micron Technology, ເປີດໃນເວລາດຽວກັນກັບ HSE, ແຕ່ແຍກອອກເປັນໂຄງການພື້ນຖານໂຄງລ່າງເອກະລາດ. Mpool ຖືວ່າການນໍາໃຊ້ ຄວາມຊົງຈໍາຄົງທີ່ и ການເກັບຮັກສາເຂດ, ແຕ່ພຽງແຕ່ SSDs ແບບດັ້ງເດີມທີ່ສະຫນັບສະຫນູນໃນປັດຈຸບັນ.

ການທົດສອບປະສິດທິພາບດ້ວຍຊຸດ YCSB (Yahoo Cloud Serving Benchmark) ສະແດງໃຫ້ເຫັນເຖິງປະສິດທິພາບອັນໃຫຍ່ຫຼວງເມື່ອໃຊ້ບ່ອນຈັດເກັບຂໍ້ມູນ 2TB ດ້ວຍການປະມວນຜົນບລັອກ 1KB. ການເພີ່ມຂື້ນຢ່າງຫຼວງຫຼາຍໃນການປະຕິບັດແມ່ນສັງເກດເຫັນໃນການທົດສອບດ້ວຍການແຈກຢາຍແບບດຽວກັນຂອງການປະຕິບັດການອ່ານແລະຂຽນ (ການທົດສອບ "A" ໃນກາຟ).

ຕົວຢ່າງ, MongoDB ກັບເຄື່ອງຈັກ HSE ຫັນອອກເປັນປະມານ 8 ເທົ່າໄວກ່ວາຮຸ່ນທີ່ມີເຄື່ອງຈັກ WiredTiger ມາດຕະຖານ, ແລະເຄື່ອງຈັກ HSE ໄດ້ເອົາຊະນະ RocksDB DBMS ຫຼາຍກວ່າ 6 ເທົ່າ. ການປະຕິບັດທີ່ດີເລີດຍັງເຫັນໄດ້ໃນການທົດສອບທີ່ກ່ຽວຂ້ອງກັບ 95% ຂອງການອ່ານແລະ 5% ຂອງການປ່ຽນແປງຫຼືການເພີ່ມເຕີມ (ການທົດສອບ "B" ແລະ "D" ໃນກາຟ). ການທົດສອບ "C", ເຊິ່ງສົມມຸດພຽງແຕ່ການອ່ານການດໍາເນີນງານ, ສະແດງໃຫ້ເຫັນເຖິງການເພີ່ມຂຶ້ນປະມານ 40%. ການເພີ່ມຂຶ້ນຂອງການຢູ່ລອດຂອງ SSD drives ໃນລະຫວ່າງການດໍາເນີນການຂຽນທຽບກັບການແກ້ໄຂໂດຍອີງໃສ່ RocksDB ແມ່ນຄາດຄະເນຢູ່ທີ່ 7 ເທົ່າ.

ຄຸນ​ນະ​ສົມ​ບັດ​ທີ່​ສໍາ​ຄັນ​ຂອງ HSE​:

• ສະຫນັບສະຫນູນຜູ້ປະຕິບັດການທົ່ວໄປແລະຂະຫຍາຍສໍາລັບການຈັດການຂໍ້ມູນໃນຮູບແບບທີ່ສໍາຄັນ / ມູນຄ່າ;
• ການສະຫນັບສະຫນູນຢ່າງເຕັມທີ່ສໍາລັບການເຮັດທຸລະກໍາແລະມີຄວາມສາມາດໃນການແຍກຊິ້ນສ່ວນການເກັບຮັກສາໂດຍຜ່ານການສ້າງພາບຖ່າຍ (ພາບຖ່າຍຍັງສາມາດຖືກນໍາໃຊ້ເພື່ອຮັກສາການເກັບກໍາເອກະລາດໃນບ່ອນເກັບຂໍ້ມູນດຽວ);
• ຄວາມສາມາດໃນການໃຊ້ຕົວກະພິບເພື່ອຂ້າມຂໍ້ມູນໃນມຸມເບິ່ງທີ່ອີງໃສ່ snapshot;
• ຮູບແບບຂໍ້ມູນຖືກປັບໃຫ້ເໝາະສົມສຳລັບປະເພດການໂຫຼດປະສົມຢູ່ໃນບ່ອນເກັບມ້ຽນອັນດຽວ;
• ກົນໄກການຈັດການຄວາມຫນ້າເຊື່ອຖືຂອງການເກັບຮັກສາທີ່ມີຄວາມຍືດຫຍຸ່ນ;
• ໂຄງ​ການ orchestration ຂໍ້​ມູນ​ປັບ​ແຕ່ງ (ການ​ແຜ່​ກະ​ຈາຍ​ໃນ​ທົ່ວ​ປະ​ເພດ​ທີ່​ແຕກ​ຕ່າງ​ກັນ​ຂອງ​ຄວາມ​ຊົງ​ຈໍາ​ທີ່​ມີ​ຢູ່​ໃນ​ການ​ເກັບ​ຮັກ​ສາ​)​;
• ຫ້ອງສະຫມຸດທີ່ມີ C API ທີ່ສາມາດເຊື່ອມຕໍ່ແບບເຄື່ອນໄຫວກັບແອັບພລິເຄຊັນຕ່າງໆ;
• ຄວາມສາມາດໃນການຂະຫຍາຍຂໍ້ມູນເຖິງ terabytes ຂອງຂໍ້ມູນແລະຫຼາຍຮ້ອຍລ້ານກະແຈໃນການເກັບຮັກສາ;
• ການປຸງແຕ່ງທີ່ມີປະສິດທິພາບຫຼາຍພັນການດໍາເນີນງານຂະຫນານ;
• ເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍໃນ throughput, latency ຕ່ໍາແລະການເພີ່ມຂຶ້ນຂອງການຂຽນ / ອ່ານສໍາລັບປະເພດຕ່າງໆຂອງການໂຫຼດທຽບກັບວິທີແກ້ໄຂທາງເລືອກປົກກະຕິ;
• ຄວາມສາມາດໃນການນໍາໃຊ້ຫ້ອງຮຽນ SSD ທີ່ແຕກຕ່າງກັນໃນການເກັບຮັກສາດຽວກັນເພື່ອເພີ່ມປະສິດທິພາບແລະຄວາມທົນທານ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru