ລະ​ຫັດ​ສໍາ​ລັບ​ລະ​ບົບ​ການ​ຮັບ​ຮູ້​ແລະ​ການ​ແປ​ພາ​ສາ Whisper ໄດ້​ຖືກ​ເປີດ​

ໂຄງການ OpenAI, ເຊິ່ງພັດທະນາໂຄງການສາທາລະນະໃນຂົງເຂດຂອງປັນຍາປະດິດ, ໄດ້ເຜີຍແຜ່ການພັດທະນາທີ່ກ່ຽວຂ້ອງກັບລະບົບການຮັບຮູ້ສຽງຂອງ Whisper. ມັນໄດ້ຖືກອ້າງວ່າສໍາລັບການປາກເວົ້າໃນພາສາອັງກິດລະບົບສະຫນອງລະດັບຄວາມຫນ້າເຊື່ອຖືແລະຄວາມຖືກຕ້ອງຂອງການຮັບຮູ້ອັດຕະໂນມັດໃກ້ຊິດກັບການຮັບຮູ້ຂອງມະນຸດ. ລະຫັດສໍາລັບການປະຕິບັດການອ້າງອີງໂດຍອີງໃສ່ກອບ PyTorch ແລະຊຸດຂອງແບບຈໍາລອງທີ່ໄດ້ຮັບການຝຶກອົບຮົມແລ້ວ, ກຽມພ້ອມສໍາລັບການນໍາໃຊ້, ໄດ້ຖືກເປີດ. ລະຫັດເປີດພາຍໃຕ້ໃບອະນຸຍາດ MIT.

ເພື່ອຝຶກອົບຮົມແບບຈໍາລອງ, 680 ພັນຊົ່ວໂມງຂອງຂໍ້ມູນການປາກເວົ້າໄດ້ຖືກນໍາໃຊ້, ເກັບກໍາຂໍ້ມູນຈາກການເກັບກໍາຈໍານວນຫນຶ່ງທີ່ກວມເອົາພາສາແລະສາຂາວິຊາທີ່ແຕກຕ່າງກັນ. ປະມານ 1/3 ຂອງຂໍ້ມູນການປາກເວົ້າທີ່ມີສ່ວນຮ່ວມໃນການຝຶກອົບຮົມແມ່ນເປັນພາສາອື່ນທີ່ບໍ່ແມ່ນພາສາອັງກິດ. ລະ​ບົບ​ທີ່​ສະ​ເຫນີ​ໄດ້​ຢ່າງ​ຖືກ​ຕ້ອງ​ຈັດ​ການ​ສະ​ຖາ​ນະ​ການ​ເຊັ່ນ​: ການ​ອອກ​ສຽງ​ສໍາ​ນ​ຽງ​, ສິ່ງ​ລົບ​ກວນ​ພື້ນ​ຖານ​, ແລະ​ການ​ນໍາ​ໃຊ້​ພາ​ສາ​ທາງ​ດ້ານ​ວິ​ຊາ​ການ​. ນອກຈາກການຖອດຂໍ້ຄວາມສຽງເວົ້າເປັນຂໍ້ຄວາມແລ້ວ, ລະບົບຍັງສາມາດແປຄຳເວົ້າຈາກພາສາໃດກໍໄດ້ເປັນພາສາອັງກິດ ແລະກວດຫາລັກສະນະຂອງສຽງເວົ້າໃນກະແສສຽງໄດ້.

ແບບຈໍາລອງໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນໃນສອງຕົວສະແດງ: ແບບຈໍາລອງສໍາລັບພາສາອັງກິດແລະຮູບແບບຫຼາຍພາສາ, ເຊິ່ງຍັງສະຫນັບສະຫນູນພາສາລັດເຊຍ, ອູແກຣນແລະເບລາຣູດ. ໃນທາງກັບກັນ, ແຕ່ລະຕົວແທນແບ່ງອອກເປັນ 5 ທາງເລືອກ, ແຕກຕ່າງກັນໃນຂະຫນາດແລະຈໍານວນຕົວກໍານົດການກວມເອົາໃນແບບຈໍາລອງ. ຂະຫນາດທີ່ໃຫຍ່ກວ່າ, ຄວາມຖືກຕ້ອງແລະຄຸນນະພາບຂອງການຮັບຮູ້ຫຼາຍກວ່າເກົ່າ, ແຕ່ຍັງຄວາມຕ້ອງການທີ່ສູງກວ່າສໍາລັບຂະຫນາດຂອງຫນ່ວຍຄວາມຈໍາວິດີໂອ GPU ແລະປະສິດທິພາບຕ່ໍາ. ຕົວຢ່າງ, ທາງເລືອກຂັ້ນຕ່ໍາປະກອບມີ 39 ລ້ານພາລາມິເຕີແລະຕ້ອງການ 1 GB ຂອງຫນ່ວຍຄວາມຈໍາວິດີໂອ, ແລະສູງສຸດປະກອບມີ 1550 ລ້ານພາລາມິເຕີແລະຕ້ອງການ 10 GB ຂອງຫນ່ວຍຄວາມຈໍາວິດີໂອ. ທາງເລືອກຂັ້ນຕ່ໍາແມ່ນ 32 ເທົ່າໄວກ່ວາສູງສຸດ.

ລະບົບໃຊ້ສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍ neural ຂອງ Transformer, ເຊິ່ງປະກອບມີຕົວເຂົ້າລະຫັດແລະຕົວຖອດລະຫັດທີ່ພົວພັນກັບກັນແລະກັນ. ສຽງຖືກແບ່ງອອກເປັນຕ່ອນ 30 ວິນາທີ, ເຊິ່ງຖືກປ່ຽນເປັນ log-Mel spectrogram ແລະຖືກສົ່ງໄປຫາຕົວເຂົ້າລະຫັດ. ຜົນຜະລິດຂອງຕົວເຂົ້າລະຫັດແມ່ນຖືກສົ່ງໄປຫາຕົວຖອດລະຫັດ, ເຊິ່ງຄາດຄະເນການເປັນຕົວແທນຂອງຂໍ້ຄວາມປະສົມກັບ tokens ພິເສດທີ່ອະນຸຍາດໃຫ້, ໃນຮູບແບບທົ່ວໄປຫນຶ່ງ, ເພື່ອແກ້ໄຂບັນຫາເຊັ່ນ: ການກວດສອບພາສາ, ບັນຊີສໍາລັບ chronology ຂອງການອອກສຽງຂອງປະໂຫຍກ, ການຖອດຂໍ້ຄວາມສຽງເວົ້າໃນ. ພາສາທີ່ແຕກຕ່າງກັນ, ແລະການແປເປັນພາສາອັງກິດ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru