DeepMind AI Masters Team ຫຼິ້ນແລະປະຕິບັດມະນຸດໄດ້ດີກວ່າໃນ Quake III

ການຈັບທຸງແມ່ນຮູບແບບການແຂ່ງຂັນທີ່ງ່າຍດາຍພໍສົມຄວນທີ່ພົບເຫັນຢູ່ໃນນັກຍິງຍອດນິຍົມຫຼາຍຄົນ. ແຕ່ລະທີມມີເຄື່ອງຫມາຍທີ່ຕັ້ງຢູ່ໃນຖານຂອງຕົນ, ແລະເປົ້າຫມາຍແມ່ນເພື່ອເກັບກໍາເຄື່ອງຫມາຍຂອງທີມກົງກັນຂ້າມແລະປະສົບຜົນສໍາເລັດນໍາມັນມາສູ່ຕົວມັນເອງ. ຢ່າງໃດກໍ່ຕາມ, ສິ່ງທີ່ງ່າຍສໍາລັບມະນຸດທີ່ຈະເຂົ້າໃຈບໍ່ແມ່ນເລື່ອງງ່າຍສໍາລັບເຄື່ອງຈັກ. ເພື່ອບັນທຶກທຸງ, ຕົວອັກສອນທີ່ບໍ່ແມ່ນຜູ້ຫຼິ້ນ (bots) ແມ່ນໂຄງການແບບດັ້ງເດີມໂດຍໃຊ້ heuristics ແລະ algorithms ງ່າຍໆທີ່ໃຫ້ສິດເສລີພາບໃນການເລືອກທີ່ຈໍາກັດແລະຕ່ໍາກວ່າມະນຸດ. ແຕ່ປັນຍາປະດິດແລະການຮຽນຮູ້ເຄື່ອງຈັກສັນຍາວ່າຈະປ່ຽນແປງສະຖານະການນີ້ຢ່າງສົມບູນ.

В ບົດຄວາມ, ຈັດພີມມາໃນອາທິດນີ້ໃນວາລະສານວິທະຍາສາດປະມານຫນຶ່ງປີຫຼັງຈາກນັ້ນ ພິມລ່ວງໜ້າເຊັ່ນດຽວກັນກັບໃນ ບລັອກຂອງເຈົ້າ, ນັກຄົ້ນຄວ້າຈາກ DeepMind, ບໍລິສັດຍ່ອຍຂອງ Alphabet ຢູ່ໃນລອນດອນ, ອະທິບາຍລະບົບທີ່ບໍ່ພຽງແຕ່ສາມາດຮຽນຮູ້ທີ່ຈະຫຼິ້ນ capture flag ໃນແຜນທີ່ id Software's Quake III Arena, ແຕ່ຍັງພັດທະນາຍຸດທະສາດທີມງານໃຫມ່ທັງຫມົດ, ໃນທາງທີ່ບໍ່ມີ inferior ກັບມະນຸດ.

"ບໍ່ມີໃຜບອກ AI ວິທີການຫຼິ້ນເກມນີ້, ມັນມີພຽງແຕ່ຜົນໄດ້ຮັບ - ບໍ່ວ່າຈະເປັນ AI ເອົາຊະນະ opponent ຂອງຕົນຫຼືບໍ່. ຄວາມງາມຂອງການນໍາໃຊ້ວິທີການນີ້ແມ່ນວ່າທ່ານບໍ່ເຄີຍຮູ້ວ່າພຶດຕິກໍາໃດທີ່ຈະເກີດຂຶ້ນໃນເວລາທີ່ທ່ານຝຶກອົບຮົມຕົວແທນ, "Max Jaderberg, ນັກວິທະຍາສາດຄົ້ນຄ້ວາຂອງ DeepMind ຜູ້ທີ່ເຄີຍເຮັດວຽກກ່ຽວກັບລະບົບການຮຽນຮູ້ເຄື່ອງຈັກ AlphaStar (ຫວ່າງມໍ່ໆມານີ້. ລື່ນກາຍ ທີມງານຜູ້ຊ່ຽວຊານໃນ StarCraft II). ລາວໄດ້ອະທິບາຍຕື່ມອີກວ່າວິທີການທີ່ສໍາຄັນຂອງການເຮັດວຽກໃຫມ່ຂອງພວກເຂົາແມ່ນ, ທໍາອິດ, ການຮຽນຮູ້ເສີມ, ເຊິ່ງນໍາໃຊ້ປະເພດຂອງລະບົບລາງວັນເພື່ອຊຸກຍູ້ຕົວແທນຊອບແວເພື່ອບັນລຸເປົ້າຫມາຍທີ່ກໍານົດໄວ້, ແລະລະບົບລາງວັນເຮັດວຽກໂດຍບໍ່ຄໍານຶງເຖິງວ່າທີມງານ AI ໄດ້ຊະນະຫຼືບໍ່. , ແຕ່ໃນອັນທີສອງ, ຕົວແທນໄດ້ຮັບການຝຶກອົບຮົມເປັນກຸ່ມ, ເຊິ່ງບັງຄັບໃຫ້ AI ຄວບຄຸມການໂຕ້ຕອບຂອງທີມງານຕັ້ງແຕ່ເລີ່ມຕົ້ນ.

"ຈາກທັດສະນະຂອງການຄົ້ນຄວ້າ, ນີ້ແມ່ນຄວາມແປກໃຫມ່ສໍາລັບວິທີການ algorithmic ທີ່ຫນ້າຕື່ນເຕັ້ນແທ້ໆ," Max ເວົ້າຕື່ມ. "ວິທີທີ່ພວກເຮົາຝຶກອົບຮົມ AI ຂອງພວກເຮົາສະແດງໃຫ້ເຫັນເຖິງວິທີການຂະຫຍາຍແລະປະຕິບັດບາງແນວຄວາມຄິດວິວັດທະນາການຄລາສສິກ."

ທີ່ມີຊື່ວ່າ For The Win (FTW), ຕົວແທນຂອງ DeepMind ຮຽນຮູ້ໂດຍກົງຈາກ pixels ຫນ້າຈໍໂດຍນໍາໃຊ້ເຄືອຂ່າຍ neural convolutional, ຊຸດຂອງຫນ້າທີ່ທາງຄະນິດສາດ (neurons) ຈັດລຽງເປັນຊັ້ນຮຽນແບບຈາກ cortex ສາຍຕາຂອງມະນຸດ. ຂໍ້ມູນທີ່ໄດ້ຮັບແມ່ນຖືກສົ່ງໄປຫາສອງເຄືອຂ່າຍທີ່ມີຄວາມຊົງຈໍາໄລຍະສັ້ນຫຼາຍ (ຄວາມຊົງຈໍາໄລຍະສັ້ນພາສາອັງກິດ - LSTM), ຄວາມສາມາດໃນການຮັບຮູ້ການເພິ່ງພາອາໄສໃນໄລຍະຍາວ. ຫນຶ່ງໃນນັ້ນຈັດການຂໍ້ມູນການດໍາເນີນງານທີ່ມີຄວາມໄວຕອບສະຫນອງໄວ, ໃນຂະນະທີ່ອີກອັນຫນຶ່ງເຮັດວຽກຊ້າໆໃນການວິເຄາະແລະສ້າງຍຸດທະສາດ. ທັງສອງມີຄວາມກ່ຽວພັນກັບຄວາມຊົງຈຳທີ່ປ່ຽນແປງໄດ້, ເຊິ່ງພວກມັນໃຊ້ຮ່ວມກັນເພື່ອຄາດຄະເນການປ່ຽນແປງໃນໂລກເກມ ແລະ ດຳເນີນການຜ່ານຕົວຄວບຄຸມເກມທີ່ເຮັດຕາມແບບຢ່າງ.

ໃນຈໍານວນທັງຫມົດ, DeepMind ຝຶກອົບຮົມ 30 ຕົວແທນ, ໃຫ້ພວກເຂົາມີລະດັບຂອງເພື່ອນຮ່ວມທີມແລະ opponents ທີ່ຈະຫລິ້ນກັບ, ແລະເລືອກບັດເກມແບບສຸ່ມເພື່ອປ້ອງກັນບໍ່ໃຫ້ AI ຈື່ພວກເຂົາ. ຕົວແທນແຕ່ລະຄົນມີສັນຍານລາງວັນຂອງຕົນເອງ, ໃຫ້ມັນສ້າງເປົ້າຫມາຍພາຍໃນຂອງຕົນເອງ, ເຊັ່ນ: ຈັບທຸງຊາດ. AI ແຕ່ລະບຸກຄົນໄດ້ຫຼິ້ນປະມານ 450 ພັນເກມຂອງການຈັບທຸງ, ເຊິ່ງເທົ່າກັບປະສົບການເກມປະມານສີ່ປີ.

ຕົວແທນ FTW ທີ່ໄດ້ຮັບການຝຶກອົບຮົມຢ່າງເຕັມທີ່ໄດ້ຮຽນຮູ້ທີ່ຈະນໍາໃຊ້ຍຸດທະສາດທົ່ວໄປກັບແຜນທີ່, ບັນຊີລາຍຊື່ທີມ, ແລະຂະຫນາດຂອງທີມ. ພວກເຂົາເຈົ້າໄດ້ຮຽນຮູ້ພຶດຕິກໍາຂອງມະນຸດເຊັ່ນການຕິດຕາມເພື່ອນຮ່ວມທີມ, ຕັ້ງແຄ້ມຢູ່ໃນຖານສັດຕູ, ແລະປ້ອງກັນຖານຂອງພວກເຂົາຈາກຜູ້ໂຈມຕີ, ແລະພວກເຂົາຄ່ອຍໆສູນເສຍຮູບແບບທີ່ເປັນປະໂຫຍດຫນ້ອຍເຊັ່ນການສັງເກດເບິ່ງພັນທະມິດຢ່າງໃກ້ຊິດເກີນໄປ.

ດັ່ງນັ້ນຜົນໄດ້ຮັບແມ່ນຫຍັງ? ໃນການແຂ່ງຂັນ 40 ຄົນທີ່ມະນຸດແລະຕົວແທນໄດ້ສຸ່ມຫຼິ້ນທັງສອງຮ່ວມກັນແລະຕໍ່ກັນແລະກັນ, ຕົວແທນ FTW ປະຕິບັດອັດຕາໄຊຊະນະຂອງຜູ້ຫຼິ້ນຂອງມະນຸດຢ່າງຫຼວງຫຼາຍ. ຄະແນນ Elo ຂອງ AI, ເຊິ່ງເປັນຄວາມເປັນໄປໄດ້ຂອງການຊະນະ, ແມ່ນ 1600, ເມື່ອທຽບກັບ 1300 ສໍາລັບຜູ້ນມະນຸດ "ທີ່ເຂັ້ມແຂງ" ແລະ 1050 ສໍາລັບຜູ້ນຂອງມະນຸດ "ສະເລ່ຍ".

ນີ້ບໍ່ແປກໃຈ, ເພາະວ່າຄວາມໄວປະຕິກິລິຍາຂອງ AI ແມ່ນສູງກວ່າຂອງມະນຸດຢ່າງຫຼວງຫຼາຍ, ເຊິ່ງເຮັດໃຫ້ອະດີດມີປະໂຫຍດທີ່ສໍາຄັນໃນການທົດລອງເບື້ອງຕົ້ນ. ແຕ່ເຖິງແມ່ນວ່າໃນເວລາທີ່ຄວາມຖືກຕ້ອງຂອງຕົວແທນໄດ້ຖືກຫຼຸດລົງແລະເວລາຕິກິຣິຍາເພີ່ມຂຶ້ນຍ້ອນການ latency 257 millisecond ທີ່ສ້າງຂຶ້ນໃນ, AI ​​ຍັງ outperformed ມະນຸດ. ຜູ້ຫຼິ້ນແບບພິເສດແລະແບບສະບາຍໆຊະນະພຽງແຕ່ 21% ແລະ 12% ຂອງເກມທັງຫມົດ, ຕາມລໍາດັບ.

ຍິ່ງໄປກວ່ານັ້ນ, ຫຼັງຈາກການພິມເຜີຍແຜ່ຂອງການສຶກສາ, ນັກວິທະຍາສາດໄດ້ຕັດສິນໃຈທົດສອບຕົວແທນໃນແຜນທີ່ Quake III Arena ເຕັມຮູບແບບທີ່ມີສະຖາປັດຕະຍະກໍາລະດັບສະລັບສັບຊ້ອນແລະວັດຖຸເພີ່ມເຕີມ, ເຊັ່ນ Future Crossings ແລະ Ironwood, ບ່ອນທີ່ AI ໄດ້ເລີ່ມປະສົບຜົນສໍາເລັດທ້າທາຍມະນຸດໃນການແຂ່ງຂັນການທົດສອບ. . ໃນເວລາທີ່ນັກຄົ້ນຄວ້າເບິ່ງຮູບແບບການກະຕຸ້ນເຄືອຂ່າຍ neural ຂອງຕົວແທນ, ນັ້ນແມ່ນ, ຫນ້າທີ່ຂອງ neurons ທີ່ຮັບຜິດຊອບໃນການກໍານົດຜົນຜະລິດໂດຍອີງໃສ່ຂໍ້ມູນຂາເຂົ້າ, ພວກເຂົາພົບເຫັນກຸ່ມທີ່ເປັນຕົວແທນຂອງຫ້ອງ, ສະຖານະຂອງທຸງ, ການເບິ່ງເຫັນຂອງເພື່ອນຮ່ວມທີມແລະ opponents, ແລະ. ການ​ມີ​ຫຼື​ບໍ່​ມີ​ຕົວ​ແທນ​ຢູ່​ໃນ​ຖານ​ຂອງ​ສັດ​ຕູ​. ຕົວແທນທີ່ໄດ້ຮັບການຝຶກອົບຮົມເຖິງແມ່ນວ່າມີ neurons ທີ່ເຂົ້າລະຫັດສະຖານະການສະເພາະໂດຍກົງ, ເຊັ່ນ: ເມື່ອທຸງຖືກເອົາໂດຍຕົວແທນຫຼືໃນເວລາທີ່ພັນທະມິດຖືມັນ.

"ຂ້າພະເຈົ້າຄິດວ່າຫນຶ່ງໃນສິ່ງທີ່ຕ້ອງເບິ່ງແມ່ນວ່າທີມງານຫຼາຍຕົວແທນເຫຼົ່ານີ້ແມ່ນມີອໍານາດທີ່ສຸດ, ແລະການສຶກສາຂອງພວກເຮົາສະແດງໃຫ້ເຫັນວ່າ," Jaderberg ເວົ້າ. "ນັ້ນແມ່ນສິ່ງທີ່ພວກເຮົາໄດ້ຮຽນຮູ້ທີ່ຈະເຮັດໄດ້ດີກວ່າແລະດີກວ່າໃນສອງສາມປີຜ່ານມາ - ວິທີການແກ້ໄຂບັນຫາການຮຽນຮູ້ເສີມ." ແລະ​ການ​ຝຶກ​ອົບ​ຮົມ​ທີ່​ໄດ້​ຮັບ​ການ​ປັບ​ປຸງ​ກໍ່​ໄດ້​ຮັບ​ຜົນ​ດີ​ເລີດ.”

Thore Graepel, ອາຈານສອນວິທະຍາສາດຄອມພິວເຕີຢູ່ມະຫາວິທະຍາໄລວິທະຍາໄລລອນດອນແລະນັກວິທະຍາສາດ DeepMind, ເຊື່ອວ່າວຽກງານຂອງພວກເຂົາຊີ້ໃຫ້ເຫັນທ່າແຮງຂອງການຮຽນຮູ້ຫຼາຍຕົວແທນສໍາລັບອະນາຄົດຂອງ AI. ມັນຍັງສາມາດເປັນພື້ນຖານສໍາລັບການຄົ້ນຄວ້າກ່ຽວກັບການໂຕ້ຕອບຂອງມະນຸດກັບເຄື່ອງຈັກແລະລະບົບທີ່ເສີມເຊິ່ງກັນແລະກັນຫຼືເຮັດວຽກຮ່ວມກັນ.

"ຜົນໄດ້ຮັບຂອງພວກເຮົາສະແດງໃຫ້ເຫັນວ່າການຮຽນຮູ້ການເສີມສ້າງຕົວແທນຫຼາຍຕົວສາມາດເປັນເຈົ້າການເກມທີ່ສັບສົນຢ່າງສໍາເລັດຜົນເຖິງຈຸດທີ່ຜູ້ຫຼິ້ນຂອງມະນຸດເຊື່ອວ່າຜູ້ຫຼິ້ນຄອມພິວເຕີເຮັດໃຫ້ເພື່ອນຮ່ວມທີມດີຂຶ້ນ. ການສຶກສາຍັງໃຫ້ການວິເຄາະໃນຄວາມເລິກທີ່ຫນ້າສົນໃຈຫຼາຍກ່ຽວກັບວິທີທີ່ຕົວແທນທີ່ໄດ້ຮັບການຝຶກອົບຮົມປະຕິບັດຕົວແລະເຮັດວຽກຮ່ວມກັນ, Grapel ເວົ້າ. "ສິ່ງທີ່ເຮັດໃຫ້ຜົນໄດ້ຮັບເຫຼົ່ານີ້ຫນ້າຕື່ນເຕັ້ນຫຼາຍແມ່ນວ່າຕົວແທນເຫຼົ່ານີ້ຮັບຮູ້ສະພາບແວດລ້ອມຂອງເຂົາເຈົ້າໃນບຸກຄົນທໍາອິດ, [ນັ້ນແມ່ນ] ຄືກັນກັບຜູ້ນຂອງມະນຸດ. ເພື່ອຮຽນຮູ້ວິທີການຫຼິ້ນຢ່າງມີກົນລະຍຸດແລະຮ່ວມມືກັບເພື່ອນຮ່ວມທີມ, ຕົວແທນເຫຼົ່ານີ້ຕ້ອງອີງໃສ່ຄໍາຄຶດຄໍາເຫັນຈາກຜົນໄດ້ຮັບຂອງເກມ, ໂດຍບໍ່ມີຄູສອນຫຼືຄູຝຶກສອນໃຫ້ພວກເຂົາຮູ້ວ່າຈະເຮັດແນວໃດ."

ແຫຼ່ງຂໍ້ມູນ: 3dnews.ru