ການຈັດປະເພດຂອງຮູບແຕ້ມທີ່ຂຽນດ້ວຍມື. ລາຍງານໃນ Yandex

ສອງສາມເດືອນກ່ອນຫນ້ານີ້, ເພື່ອນຮ່ວມງານຂອງພວກເຮົາຈາກ Google ໃຊ້ຈ່າຍ ສຸດ Kaggle ການແຂ່ງຂັນເພື່ອສ້າງການຈັດປະເພດສໍາລັບຮູບພາບທີ່ໄດ້ຮັບໃນ sensational ໄດ້ ເກມ "ດ່ວນ, ແຕ້ມ!" ທີມງານ, ເຊິ່ງລວມມີຜູ້ພັດທະນາ Yandex Roman Vlasov, ໄດ້ອັນດັບສີ່ໃນການແຂ່ງຂັນ. ໃນການຝຶກອົບຮົມການຮຽນຮູ້ເຄື່ອງຈັກເດືອນມັງກອນ, Roman ໄດ້ແບ່ງປັນແນວຄວາມຄິດຂອງທີມງານຂອງລາວ, ການປະຕິບັດສຸດທ້າຍຂອງການຈັດປະເພດ, ແລະການປະຕິບັດທີ່ຫນ້າສົນໃຈຂອງ opponents ລາວ.

- ສະບາຍດີທຸກຄົນ! ຂ້ອຍຊື່ Roma Vlasov, ມື້ນີ້ຂ້ອຍຈະບອກທ່ານກ່ຽວກັບ Quick, Draw! ສິ່ງທ້າທາຍການຮັບຮູ້ Doodle.



ທີມງານຂອງພວກເຮົາມີຫ້າຄົນ. ຂ້າພະເຈົ້າໄດ້ເຂົ້າຮ່ວມທີ່ຖືກຕ້ອງກ່ອນກໍານົດເວລາລວມ. ພວກເຮົາໂຊກບໍ່ດີ, ພວກເຮົາຖືກສັ່ນສະເທືອນເລັກນ້ອຍ, ແຕ່ພວກເຮົາຖືກສັ່ນສະເທືອນຈາກຕໍາແຫນ່ງເງິນ, ແລະພວກເຂົາຖືກສັ່ນສະເທືອນຈາກຕໍາແຫນ່ງເງິນ. ແລະ​ພວກ​ເຮົາ​ໄດ້​ເປັນ​ສະ​ຖານ​ທີ່​ສີ່​ທີ່​ມີ​ກຽດ.

(ໃນລະຫວ່າງການແຂ່ງຂັນ, ທີມງານໄດ້ສັງເກດເຫັນຕົວເອງໃນການຈັດອັນດັບ, ເຊິ່ງໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນໂດຍອີງໃສ່ຜົນໄດ້ຮັບທີ່ສະແດງຢູ່ໃນສ່ວນຫນຶ່ງຂອງຊຸດຂໍ້ມູນທີ່ສະເຫນີ. ການຈັດອັນດັບສຸດທ້າຍ, ໄດ້ຖືກສ້າງຕັ້ງຂື້ນໃນສ່ວນອື່ນຂອງຊຸດຂໍ້ມູນ. ນີ້ແມ່ນເຮັດດັ່ງນັ້ນ. ວ່າຜູ້ເຂົ້າຮ່ວມການແຂ່ງຂັນບໍ່ໄດ້ປັບ algorithms ຂອງເຂົາເຈົ້າກັບຂໍ້ມູນສະເພາະ, ດັ່ງນັ້ນ, ໃນຮອບສຸດທ້າຍ, ເມື່ອປ່ຽນລະຫວ່າງການຈັດອັນດັບ, ຕໍາແຫນ່ງ shake up ເລັກນ້ອຍ (ຈາກພາສາອັງກິດ shake up - to mix): ໃນຂໍ້ມູນອື່ນໆ, ຜົນໄດ້ຮັບອາດຈະອອກມາ. ແຕກຕ່າງກັນ, ທີມຂອງ Roman ໄດ້ອັນດັບທໍາອິດໃນສາມອັນນີ້, ສາມອັນດັບທໍາອິດແມ່ນເງິນ, ເຂດການຈັດອັນດັບການເງິນ, ເນື່ອງຈາກວ່າພຽງແຕ່ສາມອັນດັບທໍາອິດໄດ້ຮັບລາງວັນເງິນສົດ, ຫຼັງຈາກສັ່ນສະເທືອນ, ທີມງານໄດ້ເຂົ້າໄປໃນ ອັນດັບທີສີ່. ເຊັ່ນດຽວກັນ, ທີມອື່ນໄດ້ສູນເສຍໄຊຊະນະ, ຕໍາແຫນ່ງຄໍາ. - Ed.)

ການແຂ່ງຂັນຍັງມີຄວາມສໍາຄັນໃນທີ່ Evgeniy Babakhnin ໄດ້ຮັບ grandmaster, Ivan Sosin ໄດ້ຮັບຕົ້ນສະບັບ, Roman Soloviev ຍັງຄົງເປັນ grandmaster, Alex Parinov ໄດ້ຮັບຕົ້ນສະບັບ, ຂ້າພະເຈົ້າໄດ້ກາຍເປັນຜູ້ຊ່ຽວຊານ, ແລະໃນປັດຈຸບັນຂ້າພະເຈົ້າເປັນແມ່ບົດ.

ນີ້​ແມ່ນ​ຫຍັງ Quick, Draw? ນີ້ແມ່ນການບໍລິການຈາກ Google. Google ມີເປົ້າຫມາຍທີ່ຈະນິຍົມ AI ແລະການບໍລິການນີ້ຕ້ອງການສະແດງໃຫ້ເຫັນວ່າເຄືອຂ່າຍ neural ເຮັດວຽກແນວໃດ. ທ່ານໄປທີ່ນັ້ນ, ຄລິກ Let's draw, ແລະຫນ້າໃຫມ່ຈະປາກົດຂຶ້ນບ່ອນທີ່ທ່ານຖືກບອກ: ແຕ້ມ zigzag, ທ່ານມີ 20 ວິນາທີເພື່ອເຮັດສິ່ງນີ້. ທ່ານກໍາລັງພະຍາຍາມແຕ້ມ zigzag ໃນ 20 ວິນາທີ, ເຊັ່ນນີ້, ຕົວຢ່າງ. ຖ້າທ່ານປະສົບຜົນສໍາເລັດ, ເຄືອຂ່າຍເວົ້າວ່າມັນເປັນ zigzag ແລະທ່ານກ້າວຕໍ່ໄປ. ມີພຽງແຕ່ຫົກຮູບດັ່ງກ່າວ.

ຖ້າເຄືອຂ່າຍຂອງ Google ລົ້ມເຫລວໃນການຮັບຮູ້ສິ່ງທີ່ທ່ານແຕ້ມ, ໄມ້ກາງແຂນຖືກຈັດໃສ່ໃນຫນ້າວຽກ. ຕໍ່ມາຂ້າພະເຈົ້າຈະບອກທ່ານວ່າມັນຈະຫມາຍຄວາມວ່າແນວໃດໃນອະນາຄົດວ່າຮູບແຕ້ມໄດ້ຖືກຮັບຮູ້ໂດຍເຄືອຂ່າຍຫຼືບໍ່.

ການບໍລິການນີ້ໄດ້ລວບລວມຜູ້ໃຊ້ຈໍານວນຫຼວງຫຼາຍ, ແລະຮູບພາບທັງຫມົດທີ່ຜູ້ໃຊ້ແຕ້ມໄດ້ຖືກບັນທຶກ.

ພວກ​ເຮົາ​ໄດ້​ຈັດ​ການ​ເກັບ​ກໍາ​ເກືອບ 50 ລ້ານ​ຮູບ​ພາບ​. ຈາກນີ້, ການຝຶກອົບຮົມແລະວັນທີທົດສອບສໍາລັບການແຂ່ງຂັນຂອງພວກເຮົາໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນ. ໂດຍວິທີທາງການ, ຈໍານວນຂໍ້ມູນໃນການທົດສອບແລະຈໍານວນຫ້ອງຮຽນແມ່ນເນັ້ນໃສ່ຢ່າງກ້າຫານສໍາລັບເຫດຜົນ. ຂ້າພະເຈົ້າຈະບອກທ່ານກ່ຽວກັບພວກເຂົາເລັກນ້ອຍຕໍ່ມາ.

ຮູບແບບຂໍ້ມູນມີດັ່ງນີ້. ເຫຼົ່ານີ້ແມ່ນບໍ່ພຽງແຕ່ຮູບພາບ RGB, ແຕ່, ເວົ້າປະມານ, ບັນທຶກຂອງທຸກສິ່ງທຸກຢ່າງທີ່ຜູ້ໃຊ້ໄດ້ເຮັດ. Word ແມ່ນເປົ້າຫມາຍຂອງພວກເຮົາ, ລະຫັດປະເທດແມ່ນບ່ອນທີ່ຜູ້ຂຽນຂອງ doodle ມາຈາກ, ເວລາແມ່ນເວລາ. ປ້າຍທີ່ຮັບຮູ້ພຽງແຕ່ສະແດງໃຫ້ເຫັນວ່າເຄືອຂ່າຍຮັບຮູ້ຮູບພາບຈາກ Google ຫຼືບໍ່. ແລະຮູບແຕ້ມຕົວມັນເອງແມ່ນລໍາດັບ, ປະມານຂອງເສັ້ນໂຄ້ງທີ່ຜູ້ໃຊ້ແຕ້ມດ້ວຍຈຸດ. ແລະເວລາ. ນີ້ແມ່ນເວລາຈາກການເລີ່ມຕົ້ນຂອງການແຕ້ມຮູບ.

ຂໍ້ມູນໄດ້ຖືກນໍາສະເຫນີໃນສອງຮູບແບບ. ນີ້ແມ່ນຮູບແບບທໍາອິດ, ແລະອັນທີສອງແມ່ນງ່າຍດາຍ. ພວກເຂົາຕັດເວລາອອກຈາກບ່ອນນັ້ນ ແລະປະມານຈຸດນີ້ດ້ວຍຈຸດທີ່ນ້ອຍກວ່າ. ສໍາລັບການນີ້ພວກເຂົາໃຊ້ Douglas-Pecker algorithm. ທ່ານມີຈຸດໃຫຍ່ທີ່ພຽງແຕ່ປະມານເສັ້ນຊື່, ແຕ່ຄວາມຈິງແລ້ວທ່ານສາມາດປະມານເສັ້ນນີ້ພຽງແຕ່ສອງຈຸດ. ນີ້ແມ່ນຄວາມຄິດຂອງ algorithm.

ຂໍ້ມູນໄດ້ຖືກແຈກຢາຍດັ່ງຕໍ່ໄປນີ້. ທຸກສິ່ງທຸກຢ່າງແມ່ນເປັນເອກະພາບ, ແຕ່ມີບາງ outliers. ເມື່ອພວກເຮົາແກ້ໄຂບັນຫາ, ພວກເຮົາບໍ່ໄດ້ເບິ່ງມັນ. ສິ່ງທີ່ ສຳ ຄັນແມ່ນບໍ່ມີຫ້ອງຮຽນທີ່ມີຈໍານວນຫນ້ອຍແທ້ໆ, ພວກເຮົາບໍ່ ຈຳ ເປັນຕ້ອງເຮັດຕົວຢ່າງທີ່ມີນ້ ຳ ໜັກ ແລະການເກັບຕົວຢ່າງຂໍ້ມູນ.

ຮູບ​ພາບ​ເປັນ​ແນວ​ໃດ​? ນີ້ແມ່ນຫ້ອງຮຽນ "ເຮືອບິນ" ແລະຕົວຢ່າງຈາກມັນກັບປ້າຍທີ່ຮັບຮູ້ແລະບໍ່ໄດ້ຮັບການຮັບຮູ້. ອັດຕາສ່ວນຂອງພວກເຂົາແມ່ນຢູ່ບ່ອນໃດຫນຶ່ງປະມານ 1 ຫາ 9. ດັ່ງທີ່ເຈົ້າສາມາດເຫັນໄດ້, ຂໍ້ມູນແມ່ນຂ້ອນຂ້າງບໍ່ມີສຽງ. ຂ້ອຍຈະເດົາວ່າມັນເປັນຍົນ. ຖ້າທ່ານເບິ່ງບໍ່ຮັບຮູ້, ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ມັນເປັນພຽງແຕ່ສິ່ງລົບກວນ. ບາງຄົນກໍ່ພະຍາຍາມຂຽນ "ເຮືອບິນ," ແຕ່ເບິ່ງຄືວ່າເປັນພາສາຝຣັ່ງ.

ຜູ້ເຂົ້າຮ່ວມສ່ວນໃຫຍ່ພຽງແຕ່ເອົາຕາຂ່າຍໄຟຟ້າ, ດຶງຂໍ້ມູນຈາກລໍາດັບຂອງເສັ້ນນີ້ເປັນຮູບພາບ RGB, ແລະໂຍນມັນເຂົ້າໄປໃນເຄືອຂ່າຍ. ຂ້ອຍແຕ້ມໃນລັກສະນະດຽວກັນ: ຂ້ອຍເອົາສີ palette, ແຕ້ມເສັ້ນທໍາອິດດ້ວຍສີຫນຶ່ງ, ເຊິ່ງຢູ່ໃນຕອນຕົ້ນຂອງ palette ນີ້, ເສັ້ນສຸດທ້າຍກັບອີກ, ເຊິ່ງຢູ່ໃນຕອນທ້າຍຂອງ palette, ແລະລະຫວ່າງພວກມັນ. ຂ້າພະເຈົ້າ interpolated ຢູ່ທົ່ວທຸກແຫ່ງໂດຍໃຊ້ palette ນີ້. ໂດຍວິທີທາງການ, ນີ້ເຮັດໃຫ້ຜົນໄດ້ຮັບທີ່ດີກ່ວາຖ້າທ່ານແຕ້ມຢູ່ໃນສະໄລ້ທໍາອິດ - ພຽງແຕ່ໃນສີດໍາ.

ສະມາຊິກທີມອື່ນໆ, ເຊັ່ນ Ivan Sosin, ໄດ້ພະຍາຍາມວິທີການແຕ້ມຮູບທີ່ແຕກຕ່າງກັນເລັກນ້ອຍ. ມີຊ່ອງທາງຫນຶ່ງລາວພຽງແຕ່ແຕ້ມຮູບສີຂີ້ເຖົ່າ, ກັບຊ່ອງອື່ນທີ່ລາວແຕ້ມແຕ່ລະເສັ້ນດ້ວຍ gradient ຈາກຕົ້ນຫາທ້າຍ, ຈາກ 32 ຫາ 255, ແລະຊ່ອງທີສາມລາວໄດ້ແຕ້ມ gradient ໃນໄລຍະທັງຫມົດ strokes ຈາກ 32 ຫາ 255.

ສິ່ງທີ່ຫນ້າສົນໃຈອີກອັນຫນຶ່ງແມ່ນວ່າ Alex Parinov ອັບໂຫລດຂໍ້ມູນໃສ່ເຄືອຂ່າຍໂດຍໃຊ້ລະຫັດປະເທດ.

metric ທີ່ໃຊ້ໃນການແຂ່ງຂັນແມ່ນ Mean Average Precision. ຄວາມສໍາຄັນຂອງ metric ນີ້ສໍາລັບການແຂ່ງຂັນແມ່ນຫຍັງ? ທ່ານສາມາດໃຫ້ສາມ predic, ແລະຖ້າຫາກວ່າບໍ່ມີ predic ທີ່ຖືກຕ້ອງໃນສາມເຫຼົ່ານີ້, ຫຼັງຈາກນັ້ນທ່ານໄດ້ຮັບ 0. ຖ້າມີຫນຶ່ງທີ່ຖືກຕ້ອງ, ຫຼັງຈາກນັ້ນຄໍາສັ່ງຂອງມັນຖືກພິຈາລະນາ. ແລະຜົນໄດ້ຮັບເປົ້າຫມາຍຈະຖືກນັບເປັນ 1 ແບ່ງຕາມລໍາດັບຂອງການຄາດຄະເນຂອງທ່ານ. ຕົວຢ່າງ, ເຈົ້າເຮັດຕົວພະຍາກອນສາມຕົວ, ແລະອັນທີ່ຖືກຕ້ອງແມ່ນອັນທຳອິດ, ຈາກນັ້ນເຈົ້າຫານ 1 ຄູນ 1 ແລະໄດ້ 1. ຖ້າຜູ້ຄາດຄະເນຖືກຕ້ອງ ແລະ ລຳດັບຂອງມັນແມ່ນ 2, ຈາກນັ້ນໃຫ້ຫານ 1 ຄູນ 2, ທ່ານຈະໄດ້ຮັບ 0,5. ດີ, ແລະອື່ນໆ.

ດ້ວຍການປຸງແຕ່ງຂໍ້ມູນ - ວິທີການແຕ້ມຮູບແລະອື່ນໆ - ພວກເຮົາໄດ້ຕັດສິນໃຈເລັກນ້ອຍ. ພວກເຮົາໃຊ້ສະຖາປັດຕະຍະກໍາອັນໃດ? ພວກເຮົາໄດ້ພະຍາຍາມໃຊ້ສະຖາປັດຕະຍະກໍາໄຂມັນເຊັ່ນ PNASNet, SENet, ແລະສະຖາປັດຕະຍະກໍາຄລາສສິກເຊັ່ນ SE-Res-NeXt, ພວກເຂົາກໍາລັງເຂົ້າສູ່ການແຂ່ງຂັນໃຫມ່. ນອກນັ້ນຍັງມີ ResNet ແລະ DenseNet.

ພວກເຮົາສອນເລື່ອງນີ້ແນວໃດ? ທຸກໆແບບທີ່ພວກເຮົາເອົາມາແມ່ນໄດ້ຮັບການຝຶກອົບຮົມລ່ວງໜ້າໃນ imagenet. ເຖິງແມ່ນວ່າມີຂໍ້ມູນຫຼາຍ, 50 ລ້ານຮູບພາບ, ແຕ່ຍັງຄົງ, ຖ້າທ່ານໃຊ້ເຄືອຂ່າຍການຝຶກອົບຮົມລ່ວງຫນ້າໃນ imagenet, ມັນສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບທີ່ດີກວ່າຖ້າທ່ານພຽງແຕ່ຝຶກອົບຮົມມັນຈາກ scratch.

ພວກເຮົາໃຊ້ເຕັກນິກການສອນອັນໃດແດ່? ນີ້ແມ່ນ Cosing Annealing ກັບ Warm Restarts, ເຊິ່ງຂ້າພະເຈົ້າຈະເວົ້າກ່ຽວກັບເລັກນ້ອຍຕໍ່ມາ. ນີ້ແມ່ນເຕັກນິກທີ່ຂ້ອຍໃຊ້ໃນເກືອບທັງຫມົດຂອງການແຂ່ງຂັນທີ່ຜ່ານມາຂອງຂ້ອຍ, ແລະກັບພວກເຂົາມັນຫັນອອກການຝຶກອົບຮົມຕາຂ່າຍໄຟຟ້າຂ້ອນຂ້າງດີ, ເພື່ອບັນລຸຕໍາ່ສຸດທີ່ທີ່ດີ.

ຕໍ່ໄປ ຫຼຸດຜ່ອນອັດຕາການຮຽນຮູ້ຢູ່ໃນພູພຽງ. ທ່ານເລີ່ມຕົ້ນການຝຶກອົບຮົມເຄືອຂ່າຍ, ກໍານົດອັດຕາການຮຽນຮູ້ທີ່ແນ່ນອນ, ສືບຕໍ່ສອນມັນ, ແລະການສູນເສຍຂອງທ່ານຄ່ອຍໆ converges ກັບມູນຄ່າທີ່ແນ່ນອນ. ທ່ານກວດເບິ່ງນີ້, ສໍາລັບການຍົກຕົວຢ່າງ, ສໍາລັບສິບ epochs ການສູນເສຍບໍ່ໄດ້ມີການປ່ຽນແປງທັງຫມົດ. ເຈົ້າຫຼຸດອັດຕາການຮຽນຮູ້ຂອງເຈົ້າໂດຍຄ່າບາງຢ່າງ ແລະສືບຕໍ່ການຮຽນຮູ້. ມັນຫຼຸດລົງເລັກນ້ອຍອີກເທື່ອຫນຶ່ງ, converges ໃນບາງຕໍາ່ສຸດທີ່, ແລະທ່ານອີກເທື່ອຫນຶ່ງຫຼຸດລົງອັດຕາການຮຽນຮູ້, ແລະອື່ນໆ, ຈົນກ່ວາເຄືອຂ່າຍຂອງທ່ານສຸດທ້າຍ converges.

ຕໍ່ໄປແມ່ນເຕັກນິກທີ່ຫນ້າສົນໃຈ: ຢ່າທໍາລາຍອັດຕາການຮຽນຮູ້, ເພີ່ມຂະຫນາດ batch. ມີບົດຄວາມທີ່ມີຊື່ດຽວກັນ. ໃນເວລາທີ່ທ່ານຝຶກອົບຮົມເຄືອຂ່າຍ, ທ່ານບໍ່ຈໍາເປັນຕ້ອງຫຼຸດຜ່ອນອັດຕາການຮຽນຮູ້, ທ່ານພຽງແຕ່ສາມາດເພີ່ມຂະຫນາດ batch.

ໂດຍວິທີທາງການ, ເຕັກນິກນີ້ຖືກນໍາໃຊ້ໂດຍ Alex Parinov. ລາວເລີ່ມຕົ້ນດ້ວຍ batch ເທົ່າກັບ 408, ແລະເມື່ອເຄືອຂ່າຍຂອງລາວມາຮອດພູພຽງບາງ, ລາວພຽງແຕ່ເພີ່ມຂະຫນາດ batch ເປັນສອງເທົ່າ, ແລະອື່ນໆ.

ໃນຄວາມເປັນຈິງ, ຂ້າພະເຈົ້າບໍ່ຈື່ວ່າຂະຫນາດ batch ຂອງລາວບັນລຸໄດ້ຄຸນຄ່າເທົ່າໃດ, ແຕ່ສິ່ງທີ່ຫນ້າສົນໃຈກໍ່ຄືວ່າມີທີມງານຢູ່ໃນ Kaggle ທີ່ໃຊ້ເຕັກນິກດຽວກັນ, ຂະຫນາດ batch ຂອງພວກເຂົາແມ່ນປະມານ 10000. ໂດຍວິທີທາງການ, ກອບທີ່ທັນສະໄຫມສໍາລັບການຮຽນຮູ້ເລິກ, ເຊັ່ນ: ສໍາລັບຕົວຢ່າງ, PyTorch ອະນຸຍາດໃຫ້ທ່ານເຮັດສິ່ງນີ້ໄດ້ງ່າຍທີ່ສຸດ. ທ່ານສ້າງ batch ຂອງທ່ານແລະສົ່ງກັບເຄືອຂ່າຍບໍ່ແມ່ນຍ້ອນວ່າມັນທັງຫມົດ, ແຕ່ແບ່ງອອກເປັນ chunks ເພື່ອໃຫ້ມັນເຫມາະກັບບັດວິດີໂອຂອງທ່ານ, ຄິດໄລ່ gradients, ແລະຫຼັງຈາກທີ່ທ່ານໄດ້ຄິດໄລ່ gradient ສໍາລັບ batch ທັງຫມົດ, ປັບປຸງ. ນ້ຳໜັກ.

ໂດຍວິທີທາງການ, ຂະຫນາດ batch ຂະຫນາດໃຫຍ່ຍັງຖືກລວມເຂົ້າໃນການແຂ່ງຂັນນີ້, ເພາະວ່າຂໍ້ມູນແມ່ນຂ້ອນຂ້າງບໍ່ມີສຽງ, ແລະຂະຫນາດ batch ໃຫຍ່ຊ່ວຍໃຫ້ທ່ານສາມາດປະມານການ gradient ໄດ້ຢ່າງຖືກຕ້ອງ.

Pseudo-labeling ຍັງຖືກນໍາໃຊ້, ສ່ວນຫຼາຍແມ່ນໃຊ້ໂດຍ Roman Soloviev. ລາວໄດ້ເກັບຕົວຢ່າງປະມານເຄິ່ງຫນຶ່ງຂອງຂໍ້ມູນຈາກການທົດສອບໃນ batches, ແລະຝຶກອົບຮົມຕາຂ່າຍໄຟຟ້າໃນ batches ດັ່ງກ່າວ.

ຂະຫນາດຂອງຮູບພາບແມ່ນສໍາຄັນ, ແຕ່ຄວາມຈິງແລ້ວແມ່ນວ່າທ່ານມີຂໍ້ມູນຫຼາຍ, ທ່ານຈໍາເປັນຕ້ອງຝຶກອົບຮົມເປັນເວລາດົນນານ, ແລະຖ້າຂະຫນາດຮູບພາບຂອງທ່ານຂ້ອນຂ້າງໃຫຍ່, ຫຼັງຈາກນັ້ນທ່ານຈະຝຶກອົບຮົມເປັນເວລາດົນຫຼາຍ. ແຕ່ນີ້ບໍ່ໄດ້ເພີ່ມຫຼາຍກັບຄຸນນະພາບຂອງການຈັດປະເພດສຸດທ້າຍຂອງທ່ານ, ສະນັ້ນມັນຄຸ້ມຄ່າທີ່ຈະນໍາໃຊ້ບາງປະເພດຂອງການຄ້າ. ແລະພວກເຮົາພຽງແຕ່ພະຍາຍາມຮູບພາບທີ່ບໍ່ມີຂະຫນາດໃຫຍ່ຫຼາຍ.

ມັນຮຽນຮູ້ທັງຫມົດແນວໃດ? ຫນ້າທໍາອິດ, ຮູບພາບຂະຫນາດນ້ອຍໄດ້ຖືກປະຕິບັດ, ຫຼາຍຄັ້ງໄດ້ຖືກດໍາເນີນການກ່ຽວກັບພວກເຂົາ, ນີ້ໃຊ້ເວລາຫຼາຍ. ຫຼັງຈາກນັ້ນ, ຮູບພາບຂະຫນາດໃຫຍ່ໄດ້ຖືກມອບໃຫ້, ເຄືອຂ່າຍໄດ້ຮັບການຝຶກອົບຮົມ, ຫຼັງຈາກນັ້ນ, ຫຼາຍກວ່ານັ້ນ, ຫຼາຍກວ່ານັ້ນ, ເພື່ອບໍ່ໃຫ້ມັນຝຶກອົບຮົມຈາກ scratch ແລະບໍ່ເສຍເວລາຫຼາຍ.

ກ່ຽວກັບ optimizers. ພວກເຮົາໃຊ້ SGD ແລະ Adam. ດ້ວຍວິທີນີ້ມັນເປັນໄປໄດ້ທີ່ຈະໄດ້ຮັບຮູບແບບດຽວ, ເຊິ່ງເຮັດໃຫ້ຄວາມໄວຂອງ 0,941-0,946 ໃນກະດານຈັດອັນດັບສາທາລະນະ, ເຊິ່ງຂ້ອນຂ້າງດີ.

ຖ້າທ່ານປະກອບແບບຈໍາລອງໃນບາງທາງ, ທ່ານຈະໄດ້ຮັບບາງບ່ອນປະມານ 0,951. ຖ້າທ່ານໃຊ້ອີກຫນຶ່ງເຕັກນິກ, ທ່ານຈະໄດ້ຮັບຄະແນນສຸດທ້າຍຂອງ 0,954 ໃນກະດານສາທາລະນະ, ຄືກັນກັບທີ່ພວກເຮົາໄດ້ຮັບ. ແຕ່ເພີ່ມເຕີມກ່ຽວກັບວ່າຕໍ່ມາ. ຕໍ່ໄປຂ້າພະເຈົ້າຈະບອກທ່ານວ່າພວກເຮົາປະກອບແບບຈໍາລອງແນວໃດ, ແລະພວກເຮົາຈັດການແນວໃດເພື່ອບັນລຸຄວາມໄວສຸດທ້າຍ.

ຕໍ່ໄປຂ້ອຍຢາກເວົ້າກ່ຽວກັບ Cosing Annealing ດ້ວຍການເລີ່ມຕົ້ນທີ່ອົບອຸ່ນຫຼື Stochastic Gradient Descent ດ້ວຍການເລີ່ມຕົ້ນທີ່ອົບອຸ່ນ. ເວົ້າປະມານ, ໃນຫຼັກການ, ທ່ານສາມາດນໍາໃຊ້ optimizer ໃດ, ແຕ່ຈຸດນີ້ແມ່ນ: ຖ້າທ່ານພຽງແຕ່ຝຶກອົບຮົມເຄືອຂ່າຍຫນຶ່ງແລະຄ່ອຍໆມັນ converges ກັບບາງຕໍາ່ສຸດທີ່, ຫຼັງຈາກນັ້ນ, ທຸກສິ່ງທຸກຢ່າງແມ່ນດີ, ທ່ານຈະໄດ້ຮັບເຄືອຂ່າຍດຽວ, ມັນເຮັດໃຫ້ຄວາມຜິດພາດທີ່ແນ່ນອນ, ແຕ່ວ່າທ່ານ. ສາມາດຝຶກອົບຮົມມັນແຕກຕ່າງກັນເລັກນ້ອຍ. ທ່ານຈະກໍານົດອັດຕາການຮຽນຮູ້ເບື້ອງຕົ້ນບາງຢ່າງ, ແລະຄ່ອຍໆຫຼຸດລົງຕາມສູດນີ້. ທ່ານຫຼຸດລົງມັນ, ເຄືອຂ່າຍຂອງທ່ານມາຮອດຕໍາ່ສຸດທີ່, ຫຼັງຈາກນັ້ນທ່ານປະຫຍັດນ້ໍາຫນັກ, ແລະອີກເທື່ອຫນຶ່ງກໍານົດອັດຕາການຮຽນຮູ້ທີ່ຢູ່ໃນຕອນຕົ້ນຂອງການຝຶກອົບຮົມ, ດັ່ງນັ້ນການໄປບ່ອນໃດຫນຶ່ງເພີ່ມຂຶ້ນຈາກຕໍາ່ສຸດທີ່ນີ້, ແລະອີກເທື່ອຫນຶ່ງຫຼຸດລົງອັດຕາການຮຽນຮູ້ຂອງທ່ານ.

ດັ່ງນັ້ນ, ທ່ານສາມາດໄປຢ້ຽມຢາມຕໍາ່ສຸດທີ່ຫຼາຍຄັ້ງ, ເຊິ່ງການສູນເສຍຂອງທ່ານຈະເປັນ, ບວກຫຼືລົບ, ດຽວກັນ. ແຕ່ຄວາມຈິງແລ້ວແມ່ນວ່າເຄືອຂ່າຍທີ່ມີນ້ໍາຫນັກເຫຼົ່ານີ້ຈະໃຫ້ຄວາມຜິດພາດທີ່ແຕກຕ່າງກັນໃນວັນທີຂອງທ່ານ. ໂດຍສະເລ່ຍໃຫ້ເຂົາເຈົ້າ, ທ່ານຈະໄດ້ຮັບປະເພດຂອງປະມານ, ແລະຄວາມໄວຂອງທ່ານຈະສູງຂຶ້ນ.

ກ່ຽວກັບວິທີທີ່ພວກເຮົາປະກອບຕົວແບບຂອງພວກເຮົາ. ໃນຕອນເລີ່ມຕົ້ນຂອງການນໍາສະເຫນີ, ຂ້າພະເຈົ້າໄດ້ເວົ້າວ່າໃຫ້ເອົາໃຈໃສ່ກັບຈໍານວນຂໍ້ມູນໃນການທົດສອບແລະຈໍານວນຫ້ອງຮຽນ. ຖ້າທ່ານເພີ່ມ 1 ກັບຈໍານວນເປົ້າຫມາຍໃນການທົດສອບທີ່ກໍານົດໄວ້ແລະແບ່ງດ້ວຍຈໍານວນຫ້ອງຮຽນ, ທ່ານຈະໄດ້ຮັບຈໍານວນ 330, ແລະນີ້ໄດ້ຖືກຂຽນໄວ້ໃນເວທີ - ວ່າຊັ້ນຮຽນໃນການທົດສອບມີຄວາມສົມດູນ. ນີ້ສາມາດຖືກນໍາໃຊ້.

ອີງຕາມການນີ້, Roman Soloviev ມາພ້ອມກັບຕົວຊີ້ວັດ, ພວກເຮົາເອີ້ນວ່າ Proxy Score, ເຊິ່ງມີຄວາມສໍາພັນດີກັບກະດານຈັດອັນດັບ. ຈຸດແມ່ນ: ທ່ານເຮັດການຄາດເດົາ, ເອົາອັນດັບ 1 ຂອງຜູ້ຄາດຄະເນຂອງທ່ານແລະນັບຈໍານວນວັດຖຸສໍາລັບແຕ່ລະຊັ້ນຮຽນ. ຕໍ່ໄປ, ລົບ 330 ຈາກແຕ່ລະຄ່າ ແລະເພີ່ມຄ່າຢ່າງແທ້ຈິງທີ່ເປັນຜົນ.

ຄຸນຄ່າຕໍ່ໄປນີ້ແມ່ນໄດ້ຮັບ. ອັນນີ້ຊ່ວຍພວກເຮົາບໍ່ໃຫ້ສ້າງກະດານຈັດອັນດັບການສືບສວນ, ແຕ່ເພື່ອກວດສອບຄວາມຖືກຕ້ອງໃນທ້ອງຖິ່ນ ແລະເລືອກຄ່າສໍາປະສິດສໍາລັບກຸ່ມຂອງພວກເຮົາ.

ມີກຸ່ມທີ່ເຈົ້າສາມາດໄດ້ຮັບຄວາມໄວດັ່ງກ່າວ. ຂ້ອຍສາມາດເຮັດຫຍັງໄດ້ອີກ? ສົມມຸດວ່າທ່ານໄດ້ໃຊ້ຂໍ້ມູນທີ່ຫ້ອງຮຽນໃນການທົດສອບຂອງທ່ານມີຄວາມສົມດູນ.

ການດຸ່ນດ່ຽງແມ່ນແຕກຕ່າງກັນ. ຕົວຢ່າງຫນຶ່ງຂອງພວກເຂົາ — ການດຸ່ນດ່ຽງຈາກຜູ້ຊາຍທີ່ເອົາອັນດັບທໍາອິດ.

ພວກເຮົາໄດ້ເຮັດຫຍັງ? ການດຸ່ນດ່ຽງຂອງພວກເຮົາແມ່ນຂ້ອນຂ້າງງ່າຍດາຍ, ມັນຖືກແນະນໍາໂດຍ Evgeny Babakhnin. ພວກເຮົາຈັດຮຽງການຄາດເດົາຂອງພວກເຮົາໂດຍອັນດັບ 1 ແລະຜູ້ສະຫມັກທີ່ເລືອກຈາກພວກເຂົາ - ດັ່ງນັ້ນຈໍານວນຫ້ອງຮຽນບໍ່ເກີນ 330. ແຕ່ສໍາລັບບາງຊັ້ນຮຽນ, ທ່ານມີຜູ້ຄາດຄະເນຫນ້ອຍກວ່າ 330 ຄົນ. ຕົກລົງ, ໃຫ້ຈັດຮຽງຕາມອັນດັບ 2 ແລະ 3 ອັນດັບທໍາອິດ. , ແລະພວກເຮົາຍັງຈະເລືອກເອົາຜູ້ສະຫມັກ.

ການດຸ່ນດ່ຽງຂອງພວກເຮົາແຕກຕ່າງຈາກການດຸ່ນດ່ຽງຂອງສະຖານທີ່ທໍາອິດແນວໃດ? ເຂົາເຈົ້າໃຊ້ວິທີການແບບຊ້ຳໆ, ເອົາຫ້ອງຮຽນທີ່ນິຍົມຫຼາຍທີ່ສຸດ ແລະ ຫຼຸດຄວາມເປັນໄປໄດ້ຂອງຊັ້ນຮຽນນັ້ນລົງເປັນຈໍານວນໜ້ອຍຈົນວ່າຊັ້ນຮຽນນັ້ນບໍ່ມີຄວາມນິຍົມທີ່ສຸດອີກຕໍ່ໄປ. ພວກເຮົາເອົາຫ້ອງຮຽນທີ່ນິຍົມຫຼາຍທີ່ສຸດຕໍ່ໄປ. ດັ່ງ​ນັ້ນ​ເຂົາ​ເຈົ້າ​ຈຶ່ງ​ໄດ້​ຫຼຸດ​ລົງ​ຕໍ່​ໄປ​ຈົນ​ກວ່າ​ຈຳ​ນວນ​ທຸກ​ຊັ້ນ​ຮຽນ​ຈະ​ເທົ່າ​ທຽມ​ກັນ.

ທຸກຄົນໃຊ້ວິທີການບວກ ຫຼື ລົບໜຶ່ງໃນການຝຶກອົບຮົມເຄືອຂ່າຍ, ແຕ່ບໍ່ແມ່ນທຸກຄົນໃຊ້ການດຸ່ນດ່ຽງ. ການນໍາໃຊ້ການດຸ່ນດ່ຽງ, ທ່ານສາມາດເຂົ້າໄປໃນຄໍາ, ແລະຖ້າທ່ານໂຊກດີ, ຫຼັງຈາກນັ້ນເຂົ້າໄປໃນເງິນ.

ວິທີການປຸງແຕ່ງວັນທີກ່ອນ? ບຸກຄົນທຸກຄົນ preprocessed ວັນທີ, ບວກຫຼືລົບ, ໃນລັກສະນະດຽວກັນ - ລັກສະນະທີ່ເຮັດດ້ວຍມື, ພະຍາຍາມເຂົ້າລະຫັດເວລາທີ່ມີສີ stroke ທີ່ແຕກຕ່າງກັນ, ແລະອື່ນໆ, ນີ້ແມ່ນສິ່ງທີ່ Alexey Nozdrin-Plotnitsky, ຜູ້ທີ່ໄດ້ອັນດັບທີ 8, ເວົ້າກ່ຽວກັບ.

ລາວເຮັດມັນແຕກຕ່າງກັນ. ລາວບອກວ່າຄຸນລັກສະນະທີ່ເຮັດດ້ວຍມືຂອງເຈົ້າໃຊ້ບໍ່ໄດ້, ເຈົ້າບໍ່ ຈຳ ເປັນຕ້ອງເຮັດແນວນັ້ນ, ເຄືອຂ່າຍຂອງເຈົ້າຄວນຮຽນຮູ້ທັງ ໝົດ ນີ້ດ້ວຍຕົວມັນເອງ. ແລະແທນທີ່ຈະ, ລາວມາພ້ອມກັບໂມດູນການຮຽນຮູ້ທີ່ປຸງແຕ່ງຂໍ້ມູນຂອງທ່ານກ່ອນ. ລາວໄດ້ຖິ້ມຂໍ້ມູນຕົ້ນສະບັບເຂົ້າໄປໃນພວກມັນໂດຍບໍ່ມີການປຸງແຕ່ງກ່ອນ - ຈຸດປະສານງານແລະເວລາ.

ຫຼັງຈາກນັ້ນ, ລາວໄດ້ເອົາຄວາມແຕກຕ່າງໂດຍອີງໃສ່ຈຸດປະສານງານ, ແລະສະເລ່ຍມັນທັງຫມົດໂດຍອີງໃສ່ເວລາ. ແລະລາວໄດ້ມາກັບຕາຕະລາງທີ່ຂ້ອນຂ້າງຍາວ. ລາວໄດ້ນໍາໃຊ້ 1D convolution ກັບມັນຫຼາຍຄັ້ງເພື່ອໃຫ້ໄດ້ matrix ຂອງຂະຫນາດ 64xn, ບ່ອນທີ່ n ເປັນຈໍານວນຈຸດທັງຫມົດ, ແລະ 64 ແມ່ນເຮັດເພື່ອອາຫານ matrix ຜົນໄດ້ຮັບກັບ layer ຂອງເຄືອຂ່າຍ convolutional ໃດ, ເຊິ່ງຍອມຮັບຈໍານວນຂອງຊ່ອງທາງ. - 64. ລາວໄດ້ຮັບມາຕຣິກເບື້ອງ 64xn, ຈາກນີ້ມັນຈໍາເປັນຕ້ອງສ້າງ tensor ຂອງບາງຂະຫນາດເພື່ອໃຫ້ຈໍານວນຊ່ອງເທົ່າກັບ 64. ລາວ normalized ທຸກຈຸດ X, Y ໃນລະດັບຈາກ 0 ຫາ 32 ເພື່ອສ້າງເປັນ. tensor ຂະຫນາດ 32x32. ຂ້ອຍບໍ່ຮູ້ວ່າເປັນຫຍັງລາວຕ້ອງການ 32x32, ມັນເກີດຂຶ້ນແບບນັ້ນ. ແລະຢູ່ໃນຈຸດປະສານງານນີ້, ລາວໄດ້ວາງຊິ້ນສ່ວນຂອງ matrix ນີ້ຂະຫນາດ 64xn. ສະນັ້ນມັນຈົບລົງດ້ວຍ tensor 32x32x64 ທີ່ທ່ານສາມາດໃສ່ຕື່ມອີກໃນເຄືອຂ່າຍ neural convolutional ຂອງທ່ານ. ນັ້ນແມ່ນສິ່ງທີ່ຂ້ອຍຢາກເວົ້າ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com