ການຮຽນຮູ້ເສີມ ຫຼືກົນລະຍຸດວິວັດທະນາການ? - ທັງສອງ

Hey Habr!

ພວກເຮົາບໍ່ມັກຕັດສິນໃຈທີ່ຈະປະກາດການແປບົດເລື່ອງທີ່ມີອາຍຸສອງປີຢູ່ທີ່ນີ້, ໂດຍບໍ່ມີລະຫັດແລະຊັດເຈນຂອງລັກສະນະທາງວິຊາການ - ແຕ່ມື້ນີ້ພວກເຮົາຈະມີຂໍ້ຍົກເວັ້ນ. ພວກເຮົາຫວັງວ່າບັນຫາທີ່ເກີດຂື້ນໃນຫົວຂໍ້ຂອງບົດຄວາມເຮັດໃຫ້ຜູ້ອ່ານຂອງພວກເຮົາກັງວົນຫລາຍ, ແລະທ່ານໄດ້ອ່ານວຽກງານພື້ນຖານກ່ຽວກັບຍຸດທະສາດການ evolutionary ທີ່ບົດຂຽນນີ້ໂຕ້ຖຽງຢູ່ໃນຕົ້ນສະບັບຫຼືຈະອ່ານມັນໃນປັດຈຸບັນ. ຍິນດີຕ້ອນຮັບ cat!

ໃນເດືອນມີນາ 2017, OpenAI ໄດ້ສ້າງຄື້ນຟອງໃນຊຸມຊົນການຮຽນຮູ້ເລິກດ້ວຍເອກະສານ "ຍຸດທະສາດວິວັດທະນາການເປັນທາງເລືອກທີ່ສາມາດປັບຂະໜາດໄດ້ເພື່ອເສີມສ້າງການຮຽນຮູ້" ວຽກງານນີ້ໄດ້ອະທິບາຍເຖິງຜົນໄດ້ຮັບທີ່ຫນ້າປະທັບໃຈໃນຄວາມໂປດປານຂອງຄວາມຈິງທີ່ວ່າການຮຽນຮູ້ເສີມ (RL) ບໍ່ໄດ້ກາຍເປັນ wedge, ແລະໃນເວລາທີ່ການຝຶກອົບຮົມເຄືອຂ່າຍ neural ສະລັບສັບຊ້ອນ, ຄວນແນະນໍາໃຫ້ພະຍາຍາມວິທີການອື່ນໆ. ການໂຕ້ວາທີຫຼັງຈາກນັ້ນໄດ້ລະເບີດຂຶ້ນກ່ຽວກັບຄວາມສໍາຄັນຂອງການຮຽນຮູ້ເສີມແລະວິທີການທີ່ສົມຄວນໄດ້ຮັບສະຖານະພາບຂອງຕົນເປັນເຕັກໂນໂລຢີ "ຕ້ອງມີ" ສໍາລັບການສອນການແກ້ໄຂບັນຫາ. ໃນທີ່ນີ້ຂ້າພະເຈົ້າຕ້ອງການທີ່ຈະເວົ້າວ່າທັງສອງເຕັກໂນໂລຢີນີ້ບໍ່ຄວນຖືວ່າເປັນການແຂ່ງຂັນ, ຫນຶ່ງໃນນັ້ນແມ່ນດີກວ່າອີກຢ່າງຫນຶ່ງຢ່າງຊັດເຈນ; ໃນທາງກົງກັນຂ້າມ, ໃນທີ່ສຸດພວກເຂົາເສີມເຊິ່ງກັນແລະກັນ. ແທ້ຈິງແລ້ວ, ຖ້າທ່ານຄິດເລັກນ້ອຍກ່ຽວກັບສິ່ງທີ່ມັນໃຊ້ເພື່ອສ້າງ AI ທົ່ວໄປ ແລະລະບົບດັ່ງກ່າວ, ເຊິ່ງຕະຫຼອດການທີ່ມີຢູ່ແລ້ວຂອງເຂົາເຈົ້າຈະສາມາດຮຽນຮູ້, ການຕັດສິນແລະການວາງແຜນ, ຫຼັງຈາກນັ້ນພວກເຮົາເກືອບແນ່ນອນຈະມາສະຫລຸບວ່ານີ້ຫຼືວ່າການແກ້ໄຂລວມຈະໄດ້ຮັບການຮຽກຮ້ອງໃຫ້ມີ. ໂດຍວິທີທາງການ, ມັນແມ່ນການແກ້ໄຂລວມກັນຢ່າງແນ່ນອນທີ່ທໍາມະຊາດໄດ້ມາ, ເຊິ່ງເຮັດໃຫ້ສັດລ້ຽງລູກດ້ວຍນົມແລະສັດຊັ້ນສູງອື່ນໆທີ່ມີຄວາມສະຫຼາດສະລັບສັບຊ້ອນໃນໄລຍະວິວັດທະນາການ.

ຍຸດທະສາດວິວັດທະນາການ

ທິດສະດີຕົ້ນຕໍຂອງກະດາດ OpenAI ແມ່ນວ່າ, ແທນທີ່ຈະໃຊ້ການຮຽນຮູ້ການເສີມສ້າງປະສົມປະສານກັບການແຜ່ພັນແບບດັ້ງເດີມ, ພວກເຂົາເຈົ້າໄດ້ປະສົບຜົນສໍາເລັດການຝຶກອົບຮົມເຄືອຂ່າຍ neural ເພື່ອແກ້ໄຂບັນຫາທີ່ສັບສົນໂດຍໃຊ້ສິ່ງທີ່ພວກເຂົາເອີ້ນວ່າ "ຍຸດທະສາດວິວັດທະນາການ" (ES). ວິທີການ ES ນີ້ປະກອບດ້ວຍການຮັກສາການແຈກຢາຍນ້ໍາຫນັກໃນເຄືອຂ່າຍ, ກ່ຽວຂ້ອງກັບຕົວແທນຫຼາຍໆຄົນເຮັດວຽກຂະຫນານແລະນໍາໃຊ້ຕົວກໍານົດການທີ່ເລືອກຈາກການແຈກຢາຍນີ້. ຕົວແທນແຕ່ລະຄົນດໍາເນີນການໃນສະພາບແວດລ້ອມຂອງຕົນເອງ, ແລະເມື່ອສໍາເລັດຈໍານວນຕອນຫຼືຂັ້ນຕອນຂອງຕອນ, ສູດການຄິດໄລ່ຈະສົ່ງຄືນລາງວັນສະສົມ, ສະແດງເປັນຄະແນນຄວາມສອດຄ່ອງ. ການພິຈາລະນາມູນຄ່ານີ້, ການແຜ່ກະຈາຍຂອງຕົວກໍານົດການສາມາດຖືກປ່ຽນໄປສູ່ຕົວແທນທີ່ປະສົບຜົນສໍາເລັດຫຼາຍຂຶ້ນ, ຂັດຂວາງຜູ້ທີ່ປະສົບຜົນສໍາເລັດຫນ້ອຍລົງ. ໂດຍການເຮັດຊ້ໍາການດໍາເນີນງານດັ່ງກ່າວຫຼາຍລ້ານຄັ້ງດ້ວຍການເຂົ້າຮ່ວມຂອງຕົວແທນຫຼາຍຮ້ອຍຄົນ, ມັນເປັນໄປໄດ້ທີ່ຈະຍ້າຍການແຈກຢາຍນ້ໍາຫນັກໄປສູ່ຊ່ອງຫວ່າງທີ່ຈະຊ່ວຍໃຫ້ຕົວແທນສາມາດສ້າງນະໂຍບາຍທີ່ມີຄຸນນະພາບສູງເພື່ອແກ້ໄຂວຽກງານທີ່ຖືກມອບຫມາຍ. ແທ້ຈິງແລ້ວ, ຜົນໄດ້ຮັບທີ່ນໍາສະເຫນີໃນບົດຄວາມແມ່ນຫນ້າປະທັບໃຈ: ມັນໄດ້ສະແດງໃຫ້ເຫັນວ່າຖ້າທ່ານດໍາເນີນການຫນຶ່ງພັນຕົວແທນໃນຂະຫນານ, ຫຼັງຈາກນັ້ນ, ການເຄື່ອນໄຫວ anthropomorphic ໃນສອງຂາສາມາດຮຽນຮູ້ໄດ້ໃນເວລາຫນ້ອຍກວ່າເຄິ່ງຫນຶ່ງຊົ່ວໂມງ (ເຖິງແມ່ນວ່າວິທີການ RL ກ້າວຫນ້າທາງດ້ານຫຼາຍທີ່ສຸດຕ້ອງການການໃຊ້ຈ່າຍຫຼາຍ. ຫຼາຍກວ່າຫນຶ່ງຊົ່ວໂມງໃນເລື່ອງນີ້). ສໍາລັບລາຍລະອຽດເພີ່ມເຕີມ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ອ່ານທີ່ດີເລີດ ໂພດ ຈາກຜູ້ຂຽນຂອງການທົດລອງ, ເຊັ່ນດຽວກັນກັບ ບົດ​ຄວາມ​ວິ​ທະ​ຍາ​ສາດ​.

ຍຸດທະສາດທີ່ແຕກຕ່າງກັນສໍາລັບການສອນການຍ່າງກົງ anthropomorphic, ໄດ້ສຶກສາໂດຍໃຊ້ວິທີການ ES ຈາກ OpenAI.

ກ່ອງດຳ

ຜົນປະໂຫຍດອັນໃຫຍ່ຫຼວງຂອງວິທີການນີ້ແມ່ນວ່າມັນສາມາດໄດ້ຮັບການຂະຫນານໄດ້ຢ່າງງ່າຍດາຍ. ໃນຂະນະທີ່ວິທີການ RL, ເຊັ່ນ A3C, ຮຽກຮ້ອງໃຫ້ມີການແລກປ່ຽນຂໍ້ມູນລະຫວ່າງກະທູ້ຂອງພະນັກງານແລະເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີ, ES ພຽງແຕ່ຕ້ອງການການຄາດຄະເນຄວາມສອດຄ່ອງແລະຂໍ້ມູນການແຈກຢາຍພາລາມິເຕີທົ່ວໄປ. ມັນແມ່ນຍ້ອນຄວາມງ່າຍດາຍທີ່ວິທີການນີ້ແມ່ນຢູ່ໄກກວ່າວິທີການ RL ທີ່ທັນສະໄຫມໃນແງ່ຂອງຄວາມສາມາດໃນການປັບຂະຫນາດ. ຢ່າງໃດກໍຕາມ, ທັງຫມົດນີ້ບໍ່ໄດ້ມາໃນ vain: ທ່ານຕ້ອງໄດ້ optimize ເຄືອຂ່າຍຕາມຫຼັກການກ່ອງສີດໍາ. ໃນກໍລະນີນີ້, "ກ່ອງດໍາ" ຫມາຍຄວາມວ່າໃນລະຫວ່າງການຝຶກອົບຮົມໂຄງສ້າງພາຍໃນຂອງເຄືອຂ່າຍຖືກລະເລີຍຢ່າງສົມບູນ, ແລະພຽງແຕ່ຜົນໄດ້ຮັບລວມ (ລາງວັນສໍາລັບຕອນ) ເທົ່ານັ້ນທີ່ຖືກນໍາໃຊ້, ແລະມັນຂຶ້ນກັບມັນວ່ານ້ໍາຫນັກຂອງເຄືອຂ່າຍສະເພາະໃດຫນຶ່ງຈະ. ໄດ້​ຮັບ​ການ​ສືບ​ທອດ​ໂດຍ​ລຸ້ນ​ຕໍ່​ໄປ​. ໃນສະຖານະການທີ່ພວກເຮົາບໍ່ໄດ້ຮັບການຕິຊົມຫຼາຍຈາກສະພາບແວດລ້ອມ - ແລະໃນຫຼາຍບັນຫາ RL ແບບດັ້ງເດີມການໄຫຼວຽນຂອງລາງວັນແມ່ນເບົາບາງຫຼາຍ - ບັນຫາແມ່ນມາຈາກ "ກ່ອງສີດໍາບາງສ່ວນ" ໄປເປັນ "ກ່ອງສີດໍາຢ່າງສົມບູນ." ໃນກໍລະນີນີ້, ທ່ານສາມາດເພີ່ມຜົນຜະລິດຢ່າງຫຼວງຫຼາຍ, ດັ່ງນັ້ນ, ແນ່ນອນ, ການປະນີປະນອມດັ່ງກ່າວແມ່ນສົມເຫດສົມຜົນ. "ໃຜຕ້ອງການ gradients ຖ້າພວກເຂົາບໍ່ມີສຽງດັງຢ່າງສິ້ນຫວັງ?" - ນີ້ແມ່ນຄວາມຄິດເຫັນທົ່ວໄປ.

ຢ່າງໃດກໍຕາມ, ໃນສະຖານະການທີ່ຄໍາຄຶດຄໍາເຫັນມີການເຄື່ອນໄຫວຫຼາຍ, ສິ່ງຕ່າງໆເລີ່ມຜິດພາດສໍາລັບ ES. ທີມງານ OpenAI ອະທິບາຍວິທີການຝຶກອົບຮົມເຄືອຂ່າຍການຈັດປະເພດ MNIST ແບບງ່າຍດາຍໂດຍໃຊ້ ES, ແລະໃນຄັ້ງນີ້ການຝຶກອົບຮົມແມ່ນຊ້າກວ່າ 1000 ເທື່ອ. ຄວາມຈິງແລ້ວແມ່ນວ່າສັນຍານ gradient ໃນການຈັດປະເພດຮູບພາບແມ່ນມີຂໍ້ມູນຫຼາຍກ່ຽວກັບວິທີການສອນການຈັດປະເພດເຄືອຂ່າຍທີ່ດີກວ່າ. ດັ່ງນັ້ນ, ບັນຫາແມ່ນຫນ້ອຍລົງກັບເຕັກນິກ RL ແລະຫຼາຍຂື້ນກັບລາງວັນເລັກນ້ອຍໃນສະພາບແວດລ້ອມທີ່ຜະລິດ gradients ທີ່ບໍ່ມີສຽງ.

ການແກ້ໄຂທໍາມະຊາດ

ຖ້າພວກເຮົາພະຍາຍາມຮຽນຮູ້ຈາກຕົວຢ່າງຂອງທໍາມະຊາດ, ຄິດກ່ຽວກັບວິທີທີ່ຈະພັດທະນາ AI, ຫຼັງຈາກນັ້ນໃນບາງກໍລະນີ AI ສາມາດຄິດວ່າເປັນ. ວິ​ທີ​ການ​ແກ້​ໄຂ​ບັນ​ຫາ​. ຫຼັງຈາກທີ່ທັງຫມົດ, ທໍາມະຊາດດໍາເນີນການພາຍໃນຂໍ້ຈໍາກັດທີ່ນັກວິທະຍາສາດຄອມພິວເຕີບໍ່ມີ. ມີຄວາມຄິດເຫັນວ່າວິທີການທາງທິດສະດີອັນບໍລິສຸດສໍາລັບການແກ້ໄຂບັນຫາສະເພາະໃດຫນຶ່ງສາມາດສະຫນອງການແກ້ໄຂທີ່ມີປະສິດທິພາບຫຼາຍກ່ວາທາງເລືອກທີ່ເປັນປະຈັກພະຍານ. ເຖິງຢ່າງໃດກໍ່ຕາມ, ຂ້າພະເຈົ້າຍັງຄິດວ່າມັນຄຸ້ມຄ່າທີ່ຈະທົດສອບວິທີການທີ່ລະບົບເຄື່ອນໄຫວພາຍໃຕ້ຂໍ້ຈໍາກັດບາງຢ່າງ (ໂລກ) ໄດ້ສ້າງຕົວແທນ (ສັດ, ໂດຍສະເພາະແມ່ນສັດລ້ຽງລູກດ້ວຍນົມ) ທີ່ມີຄວາມສາມາດປ່ຽນແປງໄດ້ແລະສັບສົນ. ໃນຂະນະທີ່ບາງຂໍ້ຈໍາກັດເຫຼົ່ານີ້ບໍ່ໄດ້ນໍາໃຊ້ໃນໂລກວິທະຍາສາດຂໍ້ມູນແບບຈໍາລອງ, ແຕ່ບາງອັນກໍ່ດີ.

ໂດຍໄດ້ກວດເບິ່ງພຶດຕິກໍາທາງປັນຍາຂອງສັດລ້ຽງລູກດ້ວຍນົມ, ພວກເຮົາເຫັນວ່າມັນຖືກສ້າງຕັ້ງຂຶ້ນຍ້ອນອິດທິພົນເຊິ່ງກັນແລະກັນທີ່ສັບສົນຂອງສອງຂະບວນການທີ່ກ່ຽວຂ້ອງກັນຢ່າງໃກ້ຊິດ: ການຮຽນຮູ້ຈາກປະສົບການຂອງຄົນອື່ນ и ການຮຽນຮູ້ໂດຍການເຮັດ. ອະດີດມັກຈະສົມຜົນກັບການວິວັດທະນາການຂັບເຄື່ອນໂດຍການຄັດເລືອກທໍາມະຊາດ, ແຕ່ໃນທີ່ນີ້ຂ້າພະເຈົ້າໃຊ້ຄໍາທີ່ກວ້າງກວ່າເພື່ອຄໍານຶງເຖິງ epigenetics, microbiomes, ແລະກົນໄກອື່ນໆທີ່ຊ່ວຍໃຫ້ການແລກປ່ຽນປະສົບການລະຫວ່າງສິ່ງມີຊີວິດທີ່ບໍ່ກ່ຽວຂ້ອງກັບພັນທຸກໍາ. ຂະບວນການທີສອງ, ການຮຽນຮູ້ຈາກປະສົບການ, ແມ່ນຂໍ້ມູນທັງຫມົດທີ່ສັດສາມາດຮຽນຮູ້ຕະຫຼອດຊີວິດຂອງມັນ, ແລະຂໍ້ມູນນີ້ຖືກກໍານົດໂດຍກົງໂດຍການພົວພັນຂອງສັດນີ້ກັບໂລກພາຍນອກ. ໝວດໝູ່ນີ້ລວມມີທຸກຢ່າງຕັ້ງແຕ່ການຮຽນຮູ້ເພື່ອຮັບຮູ້ວັດຖຸ ຈົນເຖິງການຊຳນານການສື່ສານທີ່ມີຢູ່ໃນຂະບວນການຮຽນຮູ້.

ເວົ້າປະມານ, ທັງສອງຂະບວນການທີ່ເກີດຂື້ນໃນທໍາມະຊາດສາມາດຖືກປຽບທຽບກັບສອງທາງເລືອກສໍາລັບການເພີ່ມປະສິດທິພາບເຄືອຂ່າຍ neural. ຍຸດທະສາດວິວັດທະນາການ, ບ່ອນທີ່ຂໍ້ມູນກ່ຽວກັບ gradients ຖືກນໍາໃຊ້ເພື່ອປັບປຸງຂໍ້ມູນກ່ຽວກັບອົງການຈັດຕັ້ງ, ມາໃກ້ກັບການຮຽນຮູ້ຈາກປະສົບການຂອງຄົນອື່ນ. ເຊັ່ນດຽວກັນ, ວິທີການ gradient, ບ່ອນທີ່ໄດ້ຮັບປະສົບການຫນຶ່ງຫຼືອື່ນນໍາໄປສູ່ການປ່ຽນແປງຫນຶ່ງຫຼືອື່ນໃນພຶດຕິກໍາຂອງຕົວແທນ, ແມ່ນປຽບທຽບກັບການຮຽນຮູ້ຈາກປະສົບການຂອງຕົນເອງ. ຖ້າພວກເຮົາຄິດກ່ຽວກັບປະເພດຂອງພຶດຕິກໍາທີ່ສະຫຼາດຫຼືຄວາມສາມາດທີ່ແຕ່ລະວິທີການເຫຼົ່ານີ້ພັດທະນາຢູ່ໃນສັດ, ການປຽບທຽບຈະຊັດເຈນຫຼາຍຂຶ້ນ. ໃນທັງສອງກໍລະນີ, "ວິທີການ evolutionary" ສົ່ງເສີມການສຶກສາຂອງພຶດຕິກໍາ reactive ທີ່ອະນຸຍາດໃຫ້ຫນຶ່ງເພື່ອພັດທະນາການສອດຄ່ອງສະເພາະໃດຫນຶ່ງ (ພຽງພໍທີ່ຈະມີຊີວິດຢູ່). ການຮຽນຮູ້ທີ່ຈະຍ່າງຫຼືຫນີຈາກການເປັນຊະເລີຍຢູ່ໃນຫຼາຍໆກໍລະນີເທົ່າກັບພຶດຕິກໍາ " instinctive" ເພີ່ມເຕີມທີ່ "ສາຍແຂງ" ໃນສັດຈໍານວນຫຼາຍໃນລະດັບພັນທຸກໍາ. ນອກຈາກນັ້ນ, ຕົວຢ່າງນີ້ຢືນຢັນວ່າວິທີການ evolutionary ແມ່ນໃຊ້ໄດ້ໃນກໍລະນີທີ່ສັນຍານລາງວັນແມ່ນຫາຍາກທີ່ສຸດ (ຕົວຢ່າງ, ຄວາມເປັນຈິງຂອງການລ້ຽງລູກທີ່ປະສົບຜົນສໍາເລັດ). ໃນກໍລະນີດັ່ງກ່າວ, ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະ correlated ລາງວັນກັບຊຸດການປະຕິບັດສະເພາະໃດຫນຶ່ງທີ່ອາດຈະໄດ້ຮັບການປະຕິບັດຫຼາຍປີກ່ອນທີ່ຈະເກີດຂຶ້ນຂອງຄວາມເປັນຈິງນີ້. ໃນທາງກົງກັນຂ້າມ, ຖ້າພວກເຮົາພິຈາລະນາກໍລະນີທີ່ ES ລົ້ມເຫລວ, ຄືການຈັດປະເພດຮູບພາບ, ຜົນໄດ້ຮັບແມ່ນປຽບທຽບກັບຜົນໄດ້ຮັບຂອງການຮຽນຮູ້ສັດທີ່ບັນລຸໄດ້ໃນການທົດລອງທາງດ້ານຈິດໃຈທາງດ້ານພຶດຕິກໍາທີ່ນັບບໍ່ຖ້ວນທີ່ດໍາເນີນໃນໄລຍະ 100 ບວກກັບປີ.

ການຮຽນຮູ້ຈາກສັດ

ວິທີການທີ່ໃຊ້ໃນການຮຽນຮູ້ເສີມແມ່ນຢູ່ໃນຫຼາຍໆກໍລະນີທີ່ເອົາໂດຍກົງຈາກວັນນະຄະດີທາງດ້ານຈິດໃຈ ການ​ປັບ​ປຸງ​ການ​ດໍາ​ເນີນ​ງານ​, ແລະການປັບສະພາບການປະຕິບັດໄດ້ຖືກສຶກສາໂດຍໃຊ້ຈິດຕະວິທະຍາສັດ. ໂດຍວິທີທາງການ, Richard Sutton, ຫນຶ່ງໃນສອງຜູ້ກໍ່ຕັ້ງຂອງການຮຽນຮູ້ເສີມ, ມີລະດັບປະລິນຍາຕີທາງດ້ານຈິດໃຈ. ໃນສະພາບການຂອງການປະຕິບັດ, ສັດຮຽນຮູ້ທີ່ຈະສົມທົບລາງວັນຫຼືການລົງໂທດກັບຮູບແບບພຶດຕິກໍາສະເພາະ. ຄູຝຶກ ແລະນັກຄົ້ນຄວ້າສາມາດໝູນໃຊ້ສະມາຄົມລາງວັນນີ້ດ້ວຍວິທີໜຶ່ງ ຫຼືທາງອື່ນ, ກະຕຸ້ນສັດໃຫ້ສະແດງສະຕິປັນຍາ ຫຼືພຶດຕິກໍາບາງຢ່າງ. ຢ່າງໃດກໍ່ຕາມ, ການປັບສະພາບແບບປະຕິບັດການ, ດັ່ງທີ່ຖືກນໍາໃຊ້ໃນການຄົ້ນຄວ້າສັດ, ບໍ່ມີຫຍັງນອກ ເໜືອ ຈາກຮູບແບບທີ່ຊັດເຈນກວ່າຂອງເງື່ອນໄຂດຽວກັນບົນພື້ນຖານທີ່ສັດຮຽນຮູ້ຕະຫຼອດຊີວິດ. ພວກ​ເຮົາ​ໄດ້​ຮັບ​ສັນ​ຍານ​ຂອງ​ການ​ເສີມ​ຂະ​ຫຍາຍ​ທາງ​ບວກ​ຢູ່​ສະ​ເຫມີ​ຈາກ​ສະ​ພາບ​ແວດ​ລ້ອມ​ແລະ​ປັບ​ພຶດ​ຕິ​ກໍາ​ຂອງ​ພວກ​ເຮົາ​ຕາມ​ຄວາມ​ເຫມາະ​ສົມ. ໃນຄວາມເປັນຈິງ, ນັກວິທະຍາສາດ neuroscientists ຫຼາຍຄົນແລະນັກວິທະຍາສາດມັນສະຫມອງເຊື່ອວ່າມະນຸດແລະສັດອື່ນໆປະຕິບັດຕົວຈິງໃນລະດັບທີ່ສູງກວ່າແລະສືບຕໍ່ຮຽນຮູ້ທີ່ຈະຄາດຄະເນຜົນໄດ້ຮັບຂອງພຶດຕິກໍາຂອງພວກເຂົາໃນສະຖານະການໃນອະນາຄົດໂດຍອີງໃສ່ລາງວັນທີ່ມີທ່າແຮງ.

ບົດບາດໃຈກາງຂອງການຄາດຄະເນໃນການຮຽນຮູ້ຈາກປະສົບການປ່ຽນແປງນະໂຍບາຍດ້ານທີ່ອະທິບາຍຂ້າງເທິງນີ້ໃນທາງທີ່ສໍາຄັນ. ສັນຍານທີ່ໄດ້ຖືກພິຈາລະນາກ່ອນຫນ້ານີ້ sparse ຫຼາຍ (ລາງວັນ episodic) ຫັນອອກມີຄວາມຫນາແຫນ້ນຫຼາຍ. ໃນທາງທິດສະດີ, ສະຖານະການແມ່ນບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້: ໃນເວລາໃດກໍ່ຕາມ, ສະຫມອງຂອງສັດລ້ຽງລູກດ້ວຍນົມກໍາລັງຄິດໄລ່ຜົນໄດ້ຮັບໂດຍອີງໃສ່ການກະຕຸ້ນຂອງຄວາມຮູ້ສຶກແລະການກະທໍາທີ່ສັບສົນ, ໃນຂະນະທີ່ສັດພຽງແຕ່ຢູ່ໃນສາຍນ້ໍານີ້. ໃນກໍລະນີນີ້, ພຶດຕິກໍາສຸດທ້າຍຂອງສັດໃຫ້ສັນຍານທີ່ເຂັ້ມແຂງທີ່ຕ້ອງຖືກນໍາໃຊ້ເພື່ອນໍາພາການປັບຕົວຂອງການຄາດຄະເນແລະການພັດທະນາພຶດຕິກໍາ. ສະຫມອງໃຊ້ສັນຍານທັງຫມົດເຫຼົ່ານີ້ເພື່ອເພີ່ມປະສິດທິພາບການຄາດຄະເນ (ແລະ, ຕາມຄວາມເຫມາະສົມ, ຄຸນນະພາບຂອງການປະຕິບັດ) ໃນອະນາຄົດ. ພາບລວມຂອງວິທີການນີ້ແມ່ນຢູ່ໃນປື້ມທີ່ດີເລີດ "Surfing ຄວາມບໍ່ແນ່ນອນ” ນັກວິທະຍາສາດທາງດ້ານສະຕິປັນຍາ ແລະນັກປັດຊະຍາ Andy Clark. ຖ້າພວກເຮົາ extrapolate ເຫດຜົນດັ່ງກ່າວກັບການຝຶກອົບຮົມຂອງຕົວແທນປອມ, ຫຼັງຈາກນັ້ນຂໍ້ບົກພ່ອງພື້ນຖານໃນການຮຽນຮູ້ການເສີມກໍາລັງຈະເປີດເຜີຍ: ສັນຍານທີ່ໃຊ້ໃນ paradigm ນີ້ແມ່ນຄວາມສິ້ນຫວັງທີ່ອ່ອນແອເມື່ອທຽບກັບສິ່ງທີ່ມັນອາດຈະເປັນ (ຫຼືຄວນຈະເປັນ). ໃນກໍລະນີທີ່ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະເພີ່ມຄວາມອີ່ມຕົວຂອງສັນຍານ (ບາງທີເນື່ອງຈາກວ່າມັນອ່ອນແອຫຼືກ່ຽວຂ້ອງກັບປະຕິກິລິຍາໃນລະດັບຕ່ໍາ), ມັນອາດຈະດີກວ່າທີ່ຈະມັກວິທີການຝຶກອົບຮົມທີ່ມີຂະຫນານກັນດີ, ສໍາລັບຕົວຢ່າງ, ES.

ການຝຶກອົບຮົມທີ່ອຸດົມສົມບູນຂອງເຄືອຂ່າຍ neural

ການກໍ່ສ້າງກ່ຽວກັບຫຼັກການຂອງກິດຈະກໍາທາງ neural ທີ່ສູງຂຶ້ນປະກົດຂຶ້ນຢູ່ໃນສະຫມອງຂອງ mammalian, ການເຮັດວຽກຢ່າງຕໍ່ເນື່ອງເຮັດໃຫ້ການຄາດຄະເນ, ຄວາມກ້າວຫນ້າທີ່ຜ່ານມາໄດ້ຖືກດໍາເນີນໃນການຮຽນຮູ້ເສີມ, ເຊິ່ງໃນປັດຈຸບັນຄໍານຶງເຖິງຄວາມສໍາຄັນຂອງການຄາດຄະເນດັ່ງກ່າວ. ຂ້ອຍສາມາດແນະນໍາສອງວຽກງານທີ່ຄ້າຍຄືກັນກັບທ່ານທັນທີ:

• ການຮຽນຮູ້ທີ່ຈະປະຕິບັດໂດຍການຄາດເດົາອະນາຄົດ
• ການເສີມສ້າງການຮຽນຮູ້ດ້ວຍວຽກເສີມທີ່ບໍ່ມີການເບິ່ງແຍງ

ໃນທັງສອງເອກະສານເຫຼົ່ານີ້, ຜູ້ຂຽນໄດ້ເສີມນະໂຍບາຍເລີ່ມຕົ້ນປົກກະຕິຂອງເຄືອຂ່າຍ neural ຂອງເຂົາເຈົ້າດ້ວຍຜົນໄດ້ຮັບການຄາດຄະເນກ່ຽວກັບສະພາບຂອງສະພາບແວດລ້ອມໃນອະນາຄົດ. ໃນບົດຄວາມທໍາອິດ, ການພະຍາກອນແມ່ນໃຊ້ກັບຕົວແປການວັດແທກທີ່ຫຼາກຫຼາຍ, ແລະໃນທີສອງ, ການພະຍາກອນແມ່ນໃຊ້ກັບການປ່ຽນແປງຂອງສະພາບແວດລ້ອມແລະພຶດຕິກໍາຂອງຕົວແທນດັ່ງກ່າວ. ໃນທັງສອງກໍລະນີ, ສັນຍານທີ່ກະແຈກກະຈາຍທີ່ກ່ຽວຂ້ອງກັບການເສີມສ້າງທາງບວກກາຍເປັນຫຼາຍແລະໃຫ້ຂໍ້ມູນຫຼາຍ, ຊ່ວຍໃຫ້ການຮຽນຮູ້ໄວຂຶ້ນແລະໄດ້ຮັບພຶດຕິກໍາທີ່ສັບສົນຫຼາຍ. ການປັບປຸງດັ່ງກ່າວແມ່ນມີພຽງແຕ່ວິທີການທີ່ໃຊ້ສັນຍານ gradient ເທົ່ານັ້ນ, ແລະບໍ່ແມ່ນວິທີການທີ່ເຮັດວຽກຢູ່ໃນຫຼັກການ "ກ່ອງດໍາ", ເຊັ່ນ ES.

ນອກຈາກນັ້ນ, ການຮຽນຮູ້ຈາກປະສົບການແລະວິທີການ gradient ແມ່ນມີປະສິດທິພາບຫຼາຍ. ເຖິງແມ່ນວ່າໃນກໍລະນີທີ່ສາມາດສຶກສາບັນຫາສະເພາະໃດຫນຶ່ງໂດຍໃຊ້ວິທີການ ES ໄດ້ໄວກວ່າການນໍາໃຊ້ການຮຽນຮູ້ການເສີມ, ຜົນໄດ້ຮັບແມ່ນບັນລຸໄດ້ເນື່ອງຈາກຄວາມຈິງທີ່ວ່າຍຸດທະສາດ ES ມີສ່ວນຮ່ວມກັບຂໍ້ມູນຫຼາຍກວ່າ RL ຫຼາຍເທົ່າ. ການສະທ້ອນໃນກໍລະນີນີ້ກ່ຽວກັບຫຼັກການຂອງການຮຽນຮູ້ໃນສັດ, ພວກເຮົາສັງເກດວ່າຜົນຂອງການຮຽນຮູ້ຈາກຕົວຢ່າງຂອງຄົນອື່ນປະກົດຕົວມັນເອງຫຼັງຈາກຫຼາຍລຸ້ນຄົນ, ໃນຂະນະທີ່ບາງຄັ້ງເຫດການດຽວທີ່ປະສົບກັບຕົວມັນເອງກໍ່ພຽງພໍສໍາລັບສັດທີ່ຈະຮຽນຮູ້ບົດຮຽນຕະຫຼອດໄປ. ໃນຂະນະທີ່ມັກ ການຝຶກອົບຮົມໂດຍບໍ່ມີຕົວຢ່າງ ໃນຂະນະທີ່ມັນບໍ່ເຫມາະສົມກັບວິທີການ gradient ແບບດັ້ງເດີມ, ມັນມີຄວາມສະຫລາດຫຼາຍກ່ວາ ES. ມີ, ສໍາລັບການຍົກຕົວຢ່າງ, ວິທີການເຊັ່ນ: ການຄວບຄຸມ episodic neural, ບ່ອນທີ່ Q-values ​​​​ແມ່ນເກັບຮັກສາໄວ້ໃນລະຫວ່າງຂະບວນການຝຶກອົບຮົມ, ຫຼັງຈາກນັ້ນໂຄງການກວດສອບໃຫ້ເຂົາເຈົ້າກ່ອນທີ່ຈະດໍາເນີນການ. ຜົນໄດ້ຮັບແມ່ນວິທີການ gradient ທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດຮຽນຮູ້ວິທີການແກ້ໄຂບັນຫາໄດ້ໄວກວ່າແຕ່ກ່ອນ. ໃນບົດຄວາມກ່ຽວກັບການຄວບຄຸມ neural episodic, ຜູ້ຂຽນໄດ້ກ່າວເຖິງ hippocampus ຂອງມະນຸດ, ເຊິ່ງສາມາດເກັບຮັກສາຂໍ້ມູນກ່ຽວກັບເຫດການໃດຫນຶ່ງເຖິງແມ່ນວ່າຫຼັງຈາກປະສົບການດຽວແລະ, ດັ່ງນັ້ນ, ການຫຼິ້ນ. ບົດບາດສໍາຄັນ ໃນ​ຂະ​ບວນ​ການ​ຂອງ​ການ​ຈື່​ຈໍາ​. ກົນໄກດັ່ງກ່າວຮຽກຮ້ອງໃຫ້ມີການເຂົ້າເຖິງອົງການຈັດຕັ້ງພາຍໃນຂອງຕົວແທນ, ເຊິ່ງແມ່ນ, ຕາມຄໍານິຍາມ, ເປັນໄປບໍ່ໄດ້ໃນ ES paradigm.

ດັ່ງນັ້ນ, ເປັນຫຍັງຈຶ່ງບໍ່ລວມພວກມັນ?

ມັນເປັນໄປໄດ້ວ່າຫຼາຍຂອງບົດຄວາມນີ້ອາດຈະເຮັດໃຫ້ປະທັບໃຈທີ່ຂ້າພະເຈົ້າສະຫນັບສະຫນູນວິທີການ RL. ຢ່າງໃດກໍ່ຕາມ, ຕົວຈິງແລ້ວ, ຂ້າພະເຈົ້າຄິດວ່າໃນໄລຍະຍາວການແກ້ໄຂທີ່ດີທີ່ສຸດແມ່ນການສົມທົບທັງສອງວິທີ, ດັ່ງນັ້ນແຕ່ລະຄົນຖືກນໍາໃຊ້ໃນສະຖານະການທີ່ເຫມາະສົມທີ່ສຸດ. ແນ່ນອນ, ໃນກໍລະນີຂອງນະໂຍບາຍປະຕິກິລິຢາຫຼາຍຫຼືໃນສະຖານະການທີ່ມີສັນຍານທີ່ກວ້າງຂວາງຂອງການເສີມສ້າງໃນທາງບວກ, ES ຊະນະ, ໂດຍສະເພາະຖ້າທ່ານມີພະລັງງານຄອມພິວເຕີ້ໃນການກໍາຈັດຂອງທ່ານທີ່ທ່ານສາມາດດໍາເນີນການຝຶກອົບຮົມຂະຫນານຢ່າງຫຼວງຫຼາຍ. ໃນທາງກົງກັນຂ້າມ, ວິທີການ gradient ໂດຍໃຊ້ການຮຽນຮູ້ເສີມຫຼືການຮຽນຮູ້ແບບຄວບຄຸມຈະເປັນປະໂຫຍດເມື່ອພວກເຮົາເຂົ້າເຖິງຄໍາຕິຊົມຢ່າງກວ້າງຂວາງແລະຕ້ອງການຮຽນຮູ້ວິທີການແກ້ໄຂບັນຫາຢ່າງໄວວາແລະມີຂໍ້ມູນຫນ້ອຍ.

ການຫັນໄປສູ່ທໍາມະຊາດ, ພວກເຮົາພົບວ່າວິທີການທໍາອິດ, ໂດຍເນື້ອແທ້ແລ້ວ, ວາງພື້ນຖານສໍາລັບທີສອງ. ດ້ວຍເຫດນີ້, ໃນໄລຍະວິວັດທະນາການ, ສັດລ້ຽງລູກດ້ວຍນົມໄດ້ພັດທະນາສະໝອງທີ່ຊ່ວຍໃຫ້ພວກເຂົາຮຽນຮູ້ໄດ້ຢ່າງມີປະສິດທິພາບຈາກສັນຍານທີ່ສັບສົນທີ່ມາຈາກສະພາບແວດລ້ອມ. ດັ່ງນັ້ນ, ຄໍາຖາມຍັງຄົງເປີດຢູ່. ບາງທີກົນລະຍຸດວິວັດທະນາການຈະຊ່ວຍໃຫ້ພວກເຮົາປະດິດສ້າງສະຖາປັດຕະຍະກຳການຮຽນຮູ້ທີ່ມີປະສິດທິຜົນເຊິ່ງຈະເປັນປະໂຫຍດສຳລັບວິທີການຮຽນແບບສີລະປະ. ຫຼັງຈາກທີ່ທັງຫມົດ, ການແກ້ໄຂທີ່ພົບໂດຍທໍາມະຊາດແມ່ນປະສົບຜົນສໍາເລັດຫຼາຍ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com