Microsoft open sourced the vector search library ທີ່ໃຊ້ໃນ Bing

ບໍລິສັດ Microsoft ຈັດພີມມາ ລະຫັດແຫຼ່ງຫ້ອງສະໝຸດການຮຽນຮູ້ເຄື່ອງຈັກ SPTAG (Space Partition Tree And Graph) ດ້ວຍການຈັດຕັ້ງປະຕິບັດ algorithm ປະມານ ຄົ້ນຫາເພື່ອນບ້ານທີ່ໃກ້ທີ່ສຸດ. ຫໍສະໝຸດ ພັດທະນາ ໃນພະແນກການຄົ້ນຄວ້າຂອງ Microsoft Research ແລະສູນພັດທະນາເຕັກໂນໂລຢີຄົ້ນຫາ (Microsoft Search Technology Center). ໃນການປະຕິບັດ, SPTAG ຖືກນໍາໃຊ້ໂດຍເຄື່ອງຈັກຊອກຫາ Bing ເພື່ອກໍານົດຜົນໄດ້ຮັບທີ່ກ່ຽວຂ້ອງທີ່ສຸດໂດຍອີງໃສ່ສະພາບການຂອງຄໍາຖາມຄົ້ນຫາ. ລະຫັດຖືກຂຽນໄວ້ໃນ C ++ ແລະ ແຈກຢາຍໂດຍ ພາຍໃຕ້ໃບອະນຸຍາດ MIT. ການກໍ່ສ້າງສໍາລັບ Linux ແລະ Windows ແມ່ນສະຫນັບສະຫນູນ. ມີການຜູກມັດສໍາລັບພາສາ Python.

ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າແນວຄວາມຄິດຂອງການນໍາໃຊ້ການເກັບຮັກສາ vector ໃນເຄື່ອງຈັກຊອກຫາໄດ້ເລື່ອນປະມານເປັນເວລາດົນນານ, ໃນທາງປະຕິບັດ, ການປະຕິບັດຂອງພວກເຂົາຖືກຂັດຂວາງໂດຍຄວາມເຂັ້ມຂົ້ນຂອງຊັບພະຍາກອນສູງຂອງການດໍາເນີນງານທີ່ມີ vectors ແລະຂໍ້ຈໍາກັດ scalability. ການລວມເອົາວິທີການຮຽນຮູ້ເຄື່ອງຈັກຢ່າງເລິກເຊິ່ງກັບວິທີການຄົ້ນຫາໃກ້ຄຽງທີ່ໃກ້ຄຽງທີ່ສຸດໄດ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະນໍາເອົາການປະຕິບັດແລະການຂະຫຍາຍຂອງລະບົບ vector ໃນລະດັບທີ່ຍອມຮັບໄດ້ສໍາລັບເຄື່ອງຈັກຊອກຫາຂະຫນາດໃຫຍ່. ຕົວຢ່າງ, ໃນ Bing, ສໍາລັບດັດສະນີ vector ຫຼາຍກວ່າ 150 ຕື້ vectors, ເວລາທີ່ຈະເອົາຜົນໄດ້ຮັບທີ່ກ່ຽວຂ້ອງທີ່ສຸດແມ່ນພາຍໃນ 8 ms.

ຫ້ອງສະຫມຸດປະກອບມີເຄື່ອງມືໃນການກໍ່ສ້າງດັດສະນີແລະການຈັດລໍາດັບການຊອກຫາ vectors, ເຊັ່ນດຽວກັນກັບຊຸດຂອງເຄື່ອງມືໃນການຮັກສາລະບົບການຄົ້ນຫາອອນໄລນ໌ທີ່ແຈກຢາຍກວມເອົາການເກັບກໍາ vectors ຂະຫນາດໃຫຍ່ຫຼາຍ. ສະເໜີໃຫ້ ໂມດູນຕໍ່ໄປນີ້: ຕົວສ້າງດັດສະນີສໍາລັບດັດສະນີ, ຜູ້ຄົ້ນຫາສໍາລັບການຄົ້ນຫາໂດຍໃຊ້ດັດຊະນີທີ່ແຈກຢາຍຢູ່ໃນກຸ່ມຂອງຫຼາຍໂຫນດ, ເຄື່ອງແມ່ຂ່າຍສໍາລັບການແລ່ນຕົວຈັດການໃນ nodes, Aggregator ສໍາລັບການລວມເຄື່ອງແມ່ຂ່າຍຈໍານວນຫນຶ່ງເຂົ້າໄປໃນຫນຶ່ງ, ແລະລູກຄ້າສໍາລັບການສົ່ງຄໍາຖາມ. ການລວມເອົາ vectors ໃຫມ່ເຂົ້າໃນດັດຊະນີແລະການລຶບ vectors ໃນ fly ແມ່ນສະຫນັບສະຫນູນ.

ຫໍສະມຸດ ໝາຍ ຄວາມວ່າຂໍ້ມູນທີ່ປຸງແຕ່ງແລະ ນຳ ສະ ເໜີ ໃນການເກັບ ກຳ ແມ່ນຖືກຈັດໃສ່ໃນຮູບແບບຂອງ vectors ທີ່ກ່ຽວຂ້ອງທີ່ສາມາດປຽບທຽບໄດ້ໂດຍອີງໃສ່ Euclidean (L2) ຫຼື ໂຄຊິນ ໄລຍະທາງ ຄໍາຖາມຄົ້ນຫາສົ່ງຄືນ vectors ທີ່ມີໄລຍະຫ່າງລະຫວ່າງພວກມັນແລະ vector ຕົ້ນສະບັບແມ່ນຫນ້ອຍ. SPTAG ໃຫ້​ສອງ​ວິ​ທີ​ການ​ຈັດ​ວາງ vector space: SPTAG-KDT (K-dimensional tree (kd-ຕົ້ນໄມ້) ແລະ ເສັ້ນສະແດງທີ່ໃກ້ຄຽງ) ແລະ SPTAG-BKT (k-means tree (k ຫມາຍຄວາມວ່າຕົ້ນໄມ້ ແລະເສັ້ນສະແດງທີ່ໃກ້ຄຽງ). ວິທີການທໍາອິດຮຽກຮ້ອງໃຫ້ມີຊັບພະຍາກອນຫນ້ອຍໃນເວລາທີ່ເຮັດວຽກກັບດັດສະນີ, ແລະທີສອງສະແດງໃຫ້ເຫັນຄວາມຖືກຕ້ອງຂອງຜົນການຄົ້ນຫາສໍາລັບການລວບລວມ vectors ຂະຫນາດໃຫຍ່ຫຼາຍ.

ໃນເວລາດຽວກັນ, ການຄົ້ນຫາ vector ບໍ່ຈໍາກັດຂໍ້ຄວາມແລະສາມາດນໍາໃຊ້ກັບຂໍ້ມູນມັນຕິມີເດຍແລະຮູບພາບ, ເຊັ່ນດຽວກັນກັບລະບົບສໍາລັບການສ້າງຄໍາແນະນໍາອັດຕະໂນມັດ. ຕົວຢ່າງ, ຫນຶ່ງໃນຕົວແບບທີ່ອີງໃສ່ກອບ PyTorch ໄດ້ປະຕິບັດລະບົບ vector ສໍາລັບການຄົ້ນຫາໂດຍອີງໃສ່ຄວາມຄ້າຍຄືກັນຂອງວັດຖຸໃນຮູບພາບ, ສ້າງຂຶ້ນໂດຍນໍາໃຊ້ຂໍ້ມູນຈາກການລວບລວມຂໍ້ມູນອ້າງອີງຫຼາຍກັບຮູບພາບຂອງສັດ, ແມວແລະຫມາ, ເຊິ່ງຖືກປ່ຽນເປັນ vectors. . ເມື່ອຮູບພາບທີ່ເຂົ້າມາແມ່ນໄດ້ຮັບສໍາລັບການຊອກຫາ, ມັນຖືກປ່ຽນໂດຍໃຊ້ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກເປັນ vector, ໂດຍອີງໃສ່ vectors ທີ່ຄ້າຍຄືກັນທີ່ສຸດຖືກເລືອກຈາກດັດຊະນີໂດຍໃຊ້ SPTAG algorithm ແລະຮູບພາບທີ່ກ່ຽວຂ້ອງຖືກສົ່ງຄືນເປັນຜົນໄດ້ຮັບ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru