OpenAI ສອນການເຮັດວຽກເປັນທີມຂອງ AI ໃນເກມເຊື່ອງ ແລະ ຊອກຫາ

ເກມຊ່ອນ ແລະສະແຫວງຫາໃນຍຸກເກົ່າທີ່ດີສາມາດເປັນການທົດສອບອັນດີສຳລັບບອທ໌ປັນຍາປະດິດ (AI) ເພື່ອສະແດງໃຫ້ເຫັນວ່າເຂົາເຈົ້າຕັດສິນໃຈ ແລະພົວພັນກັບກັນແລະກັນ ແລະສິ່ງຂອງຕ່າງໆທີ່ຢູ່ອ້ອມຕົວເຂົາເຈົ້າແນວໃດ.

ໃນລາວ ບົດ​ຄວາມ​ໃຫມ່, ຈັດພີມມາໂດຍນັກຄົ້ນຄວ້າຈາກ OpenAI, ອົງການຄົ້ນຄ້ວາປັນຍາປະດິດທີ່ບໍ່ຫວັງຜົນກໍາໄລທີ່ໄດ້ກາຍເປັນຊື່ສຽງ ໄຊຊະນະເໜືອແຊ້ມໂລກ ໃນເກມຄອມພິວເຕີ Dota 2, ນັກວິທະຍາສາດພັນລະນາວິທີການຕົວແທນທີ່ຄວບຄຸມໂດຍປັນຍາປະດິດໄດ້ຖືກຝຶກອົບຮົມໃຫ້ມີຄວາມຊັບຊ້ອນຫຼາຍຂຶ້ນໃນການຄົ້ນຫາແລະເຊື່ອງຈາກກັນແລະກັນໃນສະພາບແວດລ້ອມ virtual. ຜົນໄດ້ຮັບຂອງການສຶກສາໄດ້ສະແດງໃຫ້ເຫັນວ່າທີມງານຂອງສອງ bots ຮຽນຮູ້ປະສິດທິຜົນແລະໄວກວ່າຕົວແທນດຽວທີ່ບໍ່ມີພັນທະມິດ.

ນັກວິທະຍາສາດໄດ້ໃຊ້ວິທີການທີ່ຊະນະຊື່ສຽງຂອງມັນມາດົນນານ ການຮຽນຮູ້ເຄື່ອງຈັກດ້ວຍການເສີມສ້າງ, ໃນທີ່ປັນຍາປະດິດໄດ້ຖືກຈັດໃສ່ໃນສະພາບແວດລ້ອມທີ່ບໍ່ຮູ້ຈັກກັບມັນ, ໃນຂະນະທີ່ມີວິທີການບາງຢ່າງທີ່ຈະພົວພັນກັບມັນ, ເຊັ່ນດຽວກັນກັບລະບົບຂອງລາງວັນແລະການປັບໄຫມສໍາລັບຜົນຫນຶ່ງຫຼືອື່ນຂອງການກະທໍາຂອງມັນ. ວິທີການນີ້ແມ່ນຂ້ອນຂ້າງມີປະສິດຕິຜົນເນື່ອງຈາກຄວາມສາມາດຂອງ AI ເພື່ອປະຕິບັດການປະຕິບັດຕ່າງໆໃນສະພາບແວດລ້ອມ virtual ດ້ວຍຄວາມໄວອັນໃຫຍ່ຫຼວງ, ຫຼາຍລ້ານເທື່ອໄວກວ່າທີ່ຄົນສາມາດຈິນຕະນາການໄດ້. ນີ້ອະນຸຍາດໃຫ້ການທົດລອງແລະຄວາມຜິດພາດເພື່ອຊອກຫາກົນລະຍຸດທີ່ມີປະສິດທິພາບທີ່ສຸດສໍາລັບການແກ້ໄຂບັນຫາທີ່ໃຫ້. ແຕ່ວິທີການນີ້ຍັງມີຂໍ້ຈໍາກັດບາງຢ່າງ, ສໍາລັບການຍົກຕົວຢ່າງ, ການສ້າງສະພາບແວດລ້ອມແລະການດໍາເນີນຮອບວຽນການຝຶກອົບຮົມຈໍານວນຫລາຍຮຽກຮ້ອງໃຫ້ມີຊັບພະຍາກອນຄອມພິວເຕີ້ໃຫຍ່, ແລະຂະບວນການຂອງມັນເອງຮຽກຮ້ອງໃຫ້ມີລະບົບທີ່ຖືກຕ້ອງສໍາລັບການປຽບທຽບຜົນໄດ້ຮັບຂອງການປະຕິບັດ AI ກັບເປົ້າຫມາຍຂອງມັນ. ນອກຈາກນັ້ນ, ທັກສະທີ່ໄດ້ຮັບໂດຍຕົວແທນໃນລັກສະນະນີ້ແມ່ນຈໍາກັດໃນຫນ້າວຽກທີ່ໄດ້ອະທິບາຍແລະ, ທັນທີທີ່ AI ຮຽນຮູ້ເພື່ອຮັບມືກັບມັນ, ຈະບໍ່ມີການປັບປຸງຕື່ມອີກ.

ເພື່ອຝຶກ AI ເພື່ອຫຼິ້ນຊ່ອນແລະສະແຫວງຫາ, ນັກວິທະຍາສາດໄດ້ໃຊ້ວິທີການທີ່ເອີ້ນວ່າ "ການຂຸດຄົ້ນແບບບໍ່ມີທິດທາງ", ເຊິ່ງແມ່ນບ່ອນທີ່ຕົວແທນມີສິດເສລີພາບຢ່າງສົມບູນໃນການພັດທະນາຄວາມເຂົ້າໃຈຂອງພວກເຂົາໃນໂລກເກມແລະພັດທະນາຍຸດທະສາດການຊະນະ. ນີ້ແມ່ນຄ້າຍຄືກັນກັບວິທີການຮຽນຮູ້ຫຼາຍຕົວແທນທີ່ນັກຄົ້ນຄວ້າຢູ່ DeepMind ໃຊ້ໃນເວລາທີ່ລະບົບປັນຍາປະດິດຫຼາຍ ໄດ້​ຮັບ​ການ​ຝຶກ​ອົບ​ຮົມ​ເພື່ອ​ຫຼິ້ນ capture ຮູບ​ແບບ​ທຸງ​ຊາດ​ໃນ Quake III Arena​. ເຊັ່ນດຽວກັບໃນກໍລະນີນີ້, ຕົວແທນ AI ບໍ່ໄດ້ຖືກຝຶກອົບຮົມກ່ອນຫນ້ານີ້ໃນກົດລະບຽບຂອງເກມ, ແຕ່ເມື່ອເວລາຜ່ານໄປພວກເຂົາເຈົ້າໄດ້ຮຽນຮູ້ຍຸດທະສາດພື້ນຖານແລະແມ້ກະທັ້ງສາມາດ surprise ນັກຄົ້ນຄວ້າກັບວິທີແກ້ໄຂທີ່ບໍ່ແມ່ນ trivial.

ໃນເກມທີ່ເຊື່ອງ ແລະສະແຫວງຫາ, ຕົວແທນຫຼາຍຄົນທີ່ມີວຽກເຮັດເພື່ອຊ່ອນແມ່ນຕ້ອງການເພື່ອຫຼີກລ່ຽງສາຍສາຍຕາຂອງຝ່າຍກົງກັນຂ້າມ ຫຼັງຈາກເລີ່ມແຕ່ຫົວເລັກນ້ອຍ ໃນຂະນະທີ່ທີມຊອກຫາຕົວແທນຖືກກັກຕົວໄວ້. ຍິ່ງໄປກວ່ານັ້ນ, "ເສັ້ນສາຍຕາ" ໃນສະພາບການນີ້ແມ່ນໂກນ 135 ອົງສາຢູ່ທາງຫນ້າຂອງ bot ສ່ວນບຸກຄົນ. ຕົວແທນບໍ່ສາມາດອອກໄປໄກເກີນໄປນອກພື້ນທີ່ຫຼີ້ນແລະຖືກບັງຄັບໃຫ້ທ່ອງໄປຫາຫ້ອງທີ່ສ້າງຂຶ້ນແບບສຸ່ມທີ່ມີຄວາມສາມາດໃນການນໍາໃຊ້ວັດຖຸພາຍນອກບາງຢ່າງ (ກ່ອງ, ກໍາແພງຫີນທີ່ສາມາດເຄື່ອນຍ້າຍໄດ້, ທາງລາດພິເສດ) ກະແຈກກະຈາຍຢູ່ທົ່ວທີ່ສາມາດນໍາໃຊ້ໄດ້ທັງການສ້າງຜ້າຄຸມແລະການແຊກຊຶມເຂົ້າໄປໃນພວກມັນ. .

ໂດຍຜ່ານຂະບວນການຮຽນຮູ້ທີ່ຍາວນານ, ຕົວແທນ AI ໄດ້ຮຽນຮູ້ຫົກຍຸດທະສາດທີ່ເປັນເອກະລັກ, ແຕ່ລະຄົນຊ່ວຍໃຫ້ພວກເຂົາກ້າວໄປສູ່ຂັ້ນຕອນຕໍ່ໄປຂອງເກມ. ໃນຕອນ ທຳ ອິດ, ທີມຊອກຫາແລະຜູ້ລີ້ໄພພຽງແຕ່ແລ່ນ ໜີ ແລະແລ່ນໄລ່ກັນ, ແຕ່ຫຼັງຈາກການແຂ່ງຂັນປະມານ 25 ລ້ານ, ທີມເຊື່ອງໄດ້ຮຽນຮູ້ທີ່ຈະຕັນທາງຜ່ານດ້ວຍກ່ອງແລະສ້າງທີ່ພັກອາໄສອອກຈາກພວກມັນ. ຫຼັງຈາກການແຂ່ງຂັນອີກ 75 ລ້ານນັດ, ທີມງານໄດ້ຄົ້ນພົບວິທີທີ່ຈະໃຊ້ທາງລາດເພື່ອເຂົ້າໄປໃນບ່ອນລີ້ໄພເຫຼົ່ານີ້. ຫຼັງຈາກອີກ 10 ລ້ານຮອບ, ຜູ້ເຊື່ອງໄດ້ຮຽນຮູ້ທີ່ຈະລາກທາງຍ່າງໄປຫາຂອບຂອງພື້ນທີ່ຫຼີ້ນແລະລັອກພວກມັນໄວ້ເພື່ອປ້ອງກັນບໍ່ໃຫ້ opponents ໃຊ້ພວກມັນ.

ຫຼັງຈາກ 388 ລ້ານກົງກັນ, ຜູ້ຊອກຫາໄດ້ຮຽນຮູ້ທີ່ຈະໃຊ້ທາງຍ່າງທີ່ຖືກສະກັດເພື່ອປີນຂຶ້ນເທິງ crates ທີ່ນໍາເອົາໄປຫາພວກເຂົາ, ແລະຫຼັງຈາກນັ້ນ, ການເຄື່ອນຍ້າຍໂດຍກົງໃສ່ພວກມັນ, ເຈາະເຂົ້າໄປໃນບ່ອນລີ້ໄພຂອງສັດຕູທີ່ສ້າງຂຶ້ນຈາກຝາເຄື່ອນທີ່. ແລະສຸດທ້າຍ, ຫຼັງຈາກການແຂ່ງຂັນ 458 ລ້ານ, ທີມງານທີ່ເຊື່ອງໄວ້ໄດ້ສະຫຼຸບວ່າພວກເຂົາຕ້ອງການສະກັດວັດຖຸທັງຫມົດແລະຫຼັງຈາກນັ້ນກໍ່ສ້າງທີ່ພັກອາໄສ, ເຊິ່ງປາກົດຂື້ນວ່ານໍາໄປສູ່ໄຊຊະນະສຸດທ້າຍຂອງພວກເຂົາ.

ສິ່ງທີ່ຫນ້າປະທັບໃຈໂດຍສະເພາະແມ່ນຫຼັງຈາກ 22 ລ້ານການແຂ່ງຂັນ, ຕົວແທນໄດ້ຮຽນຮູ້ການປະສານງານການປະຕິບັດແລະປະສິດທິພາບຂອງການຮ່ວມມືຂອງພວກເຂົາພຽງແຕ່ເພີ່ມຂຶ້ນໃນອະນາຄົດ, ຕົວຢ່າງ, ແຕ່ລະຄົນໄດ້ນໍາເອົາກ່ອງຫຼືຝາຂອງຕົນເອງເພື່ອສ້າງທີ່ພັກອາໄສແລະເລືອກສ່ວນແບ່ງຂອງວັດຖຸຂອງລາວ. ຕັນ, ເພື່ອສັບສົນເກມຄວາມຫຍຸ້ງຍາກກັບ opponents.

ນັກວິທະຍາສາດຍັງໄດ້ສັງເກດເຫັນຈຸດສໍາຄັນທີ່ກ່ຽວຂ້ອງກັບອິດທິພົນຂອງຈໍານວນຂອງວັດຖຸການຝຶກອົບຮົມ (ຈໍານວນຂໍ້ມູນທີ່ຜ່ານເຄືອຂ່າຍ neural - "Batch Size") ກ່ຽວກັບຄວາມໄວການຮຽນຮູ້. ຮູບແບບເລີ່ມຕົ້ນຕ້ອງການ 132,3 ລ້ານການແຂ່ງຂັນໃນໄລຍະ 34 ຊົ່ວໂມງຂອງການຝຶກອົບຮົມເພື່ອບັນລຸຈຸດທີ່ທີມງານເຊື່ອງໄດ້ຮຽນຮູ້ທີ່ຈະຕັນທາງລາດ, ໃນຂະນະທີ່ຂໍ້ມູນເພີ່ມເຕີມເຮັດໃຫ້ເວລາການຝຶກອົບຮົມຫຼຸດລົງຢ່າງຫຼວງຫຼາຍ. ຕົວຢ່າງ, ການເພີ່ມຈໍານວນພາລາມິເຕີ (ສ່ວນຫນຶ່ງຂອງຂໍ້ມູນທີ່ໄດ້ຮັບໃນລະຫວ່າງຂະບວນການຝຶກອົບຮົມທັງຫມົດ) ຈາກ 0,5 ລ້ານເປັນ 5,8 ລ້ານເພີ່ມປະສິດທິພາບການເກັບຕົວຢ່າງ 2,2 ເທົ່າ, ແລະການເພີ່ມຂະຫນາດຂອງຂໍ້ມູນການປ້ອນຂໍ້ມູນຈາກ 64 KB ເປັນ 128 KB ການຝຶກອົບຮົມຫຼຸດລົງ. ເວລາເກືອບຫນຶ່ງເທື່ອເຄິ່ງ.

ໃນຕອນທ້າຍຂອງການເຮັດວຽກຂອງເຂົາເຈົ້າ, ນັກຄົ້ນຄວ້າໄດ້ຕັດສິນໃຈທີ່ຈະທົດສອບວິທີການຫຼາຍການຝຶກອົບຮົມໃນເກມສາມາດຊ່ວຍໃຫ້ຕົວແທນຮັບມືກັບວຽກງານທີ່ຄ້າຍຄືກັນຢູ່ນອກເກມ. ທັງໝົດມີ 4 ການທົດສອບຄື: ຄວາມຮັບຮູ້ຂອງຈຳນວນວັດຖຸ (ເຂົ້າໃຈວ່າວັດຖຸຍັງຄົງມີຢູ່ ເຖິງແມ່ນວ່າຈະເບິ່ງບໍ່ເຫັນ ແລະບໍ່ໄດ້ນຳໃຊ້); "ລັອກແລະກັບຄືນ" - ຄວາມສາມາດໃນການຈື່ຈໍາຕໍາແຫນ່ງຕົ້ນສະບັບແລະກັບຄືນໄປຫາມັນຫຼັງຈາກສໍາເລັດວຽກງານເພີ່ມເຕີມບາງຢ່າງ; "ການຂັດຂວາງຕາມລໍາດັບ" - XNUMX ກ່ອງຖືກຕັ້ງຢູ່ໃນສາມຫ້ອງທີ່ບໍ່ມີປະຕູ, ແຕ່ມີທາງຍ່າງເພື່ອເຂົ້າໄປພາຍໃນ, ຕົວແທນຈໍາເປັນຕ້ອງຊອກຫາແລະສະກັດພວກເຂົາທັງຫມົດ; ການຈັດວາງຂອງກ່ອງຢູ່ໃນສະຖານທີ່ທີ່ກໍານົດໄວ້ລ່ວງຫນ້າ; ການສ້າງທີ່ພັກອາໄສອ້ອມຮອບວັດຖຸໃນຮູບແບບຂອງກະບອກ.

ດັ່ງນັ້ນ, ໃນສາມໃນຫ້າວຽກງານ, bots ທີ່ຜ່ານການຝຶກອົບຮົມເບື້ອງຕົ້ນໃນເກມໄດ້ຮຽນຮູ້ໄວຂຶ້ນແລະສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບທີ່ດີກວ່າ AI ທີ່ໄດ້ຮັບການຝຶກອົບຮົມເພື່ອແກ້ໄຂບັນຫາຈາກ scratch. ພວກເຂົາເຈົ້າປະຕິບັດໄດ້ດີກວ່າເລັກນ້ອຍໃນການສໍາເລັດຫນ້າວຽກແລະກັບຄືນສູ່ຕໍາແຫນ່ງເລີ່ມຕົ້ນ, ຕິດຕາມກ່ອງຢູ່ໃນຫ້ອງປິດ, ແລະວາງກ່ອງຢູ່ໃນພື້ນທີ່ທີ່ກໍານົດໄວ້, ແຕ່ປະຕິບັດຫນ້ອຍລົງເລັກນ້ອຍໃນການຮັບຮູ້ຈໍານວນວັດຖຸແລະການສ້າງຝາປິດຮອບວັດຖຸອື່ນ.

ນັກຄົ້ນຄວ້າປະເມີນຜົນໄດ້ຮັບແບບປະສົມກັບວິທີທີ່ AI ຮຽນຮູ້ແລະຈື່ຈໍາທັກສະບາງຢ່າງ. "ພວກເຮົາຄິດວ່າວຽກງານທີ່ການຝຶກອົບຮົມກ່ອນເກມປະຕິບັດໄດ້ດີທີ່ສຸດແມ່ນກ່ຽວຂ້ອງກັບການນໍາໃຊ້ທັກສະທີ່ໄດ້ຮຽນຮູ້ໃນເມື່ອກ່ອນໃນແບບທີ່ຄຸ້ນເຄີຍ, ໃນຂະນະທີ່ປະຕິບັດຫນ້າວຽກທີ່ຍັງເຫຼືອດີກວ່າ AI ທີ່ໄດ້ຮັບການຝຶກອົບຮົມຈາກຈຸດເລີ່ມຕົ້ນຈະຕ້ອງໃຊ້ພວກມັນໃນທາງທີ່ແຕກຕ່າງກັນ, ເຊິ່ງຫຼາຍ. ຍາກກວ່າ,” ຂຽນຜູ້ຂຽນຮ່ວມຂອງວຽກງານ. "ຜົນໄດ້ຮັບນີ້ຊີ້ໃຫ້ເຫັນເຖິງຄວາມຈໍາເປັນໃນການພັດທະນາວິທີການສໍາລັບການນໍາໃຊ້ທັກສະທີ່ໄດ້ມາໂດຍຜ່ານການຝຶກອົບຮົມຢ່າງມີປະສິດທິຜົນໃນເວລາໂອນພວກເຂົາຈາກສະພາບແວດລ້ອມຫນຶ່ງໄປຫາອີກ."

ວຽກງານທີ່ເຮັດແມ່ນປະທັບໃຈແທ້ໆ, ເພາະວ່າຄວາມສົດໃສດ້ານຂອງການນໍາໃຊ້ວິທີການສອນນີ້ແມ່ນຢູ່ໄກເກີນຂອບເຂດຈໍາກັດຂອງເກມໃດໆ. ນັກຄົ້ນຄວ້າກ່າວວ່າວຽກງານຂອງພວກເຂົາແມ່ນບາດກ້າວທີ່ສໍາຄັນຕໍ່ການສ້າງ AI ທີ່ມີພຶດຕິກໍາ "ອີງໃສ່ຟີຊິກ" ແລະ "ຄ້າຍຄືມະນຸດ" ທີ່ສາມາດວິນິດໄສພະຍາດ, ຄາດຄະເນໂຄງສ້າງຂອງໂມເລກຸນທາດໂປຼຕີນທີ່ສັບສົນແລະວິເຄາະ CT scans.

ໃນວິດີໂອຂ້າງລຸ່ມນີ້ທ່ານສາມາດເບິ່ງເຫັນໄດ້ຊັດເຈນວ່າຂະບວນການຮຽນຮູ້ທັງຫມົດເກີດຂຶ້ນແນວໃດ, AI ໄດ້ຮຽນຮູ້ການເຮັດວຽກເປັນທີມ, ແລະຍຸດທະສາດຂອງມັນໄດ້ກາຍເປັນ cunning ແລະສະລັບສັບຊ້ອນຫຼາຍ.

ແຫຼ່ງຂໍ້ມູນ: 3dnews.ru