ເຮັດວຽກກັບເຄືອຂ່າຍ neural: ບັນຊີລາຍການກວດສອບສໍາລັບການ debugging

ລະຫັດຂອງຜະລິດຕະພັນຊອບແວການຮຽນຮູ້ເຄື່ອງຈັກແມ່ນມັກຈະສັບສົນແລະຂ້ອນຂ້າງສັບສົນ. ການກວດຫາ ແລະກຳຈັດແມງໄມ້ຢູ່ໃນນັ້ນແມ່ນເປັນວຽກທີ່ຕ້ອງໃຊ້ຊັບພະຍາກອນຫຼາຍ. ເຖິງແມ່ນວ່າງ່າຍດາຍທີ່ສຸດ ເຄືອຂ່າຍ neural feedforward ຮຽກຮ້ອງໃຫ້ມີວິທີການທີ່ຈິງຈັງກັບຖາປັດຕະຍະເຄືອຂ່າຍ, ການເລີ່ມຕົ້ນຂອງນ້ໍາຫນັກ, ແລະການເພີ່ມປະສິດທິພາບເຄືອຂ່າຍ. ຄວາມຜິດພາດເລັກນ້ອຍສາມາດນໍາໄປສູ່ບັນຫາທີ່ບໍ່ຫນ້າພໍໃຈ.

ບົດຄວາມນີ້ແມ່ນກ່ຽວກັບສູດການຄິດໄລ່ສໍາລັບການ debugging ເຄືອຂ່າຍ neural ຂອງທ່ານ.

Skillbox ແນະນໍາ: ຫຼັກສູດພາກປະຕິບັດ ນັກພັດທະນາ Python ຕັ້ງແຕ່ເລີ່ມຕົ້ນ.

ພວກເຮົາເຕືອນ: ສໍາລັບຜູ້ອ່ານທັງຫມົດຂອງ "Habr" - ສ່ວນຫຼຸດ 10 rubles ເມື່ອລົງທະບຽນໃນຫຼັກສູດ Skillbox ໂດຍໃຊ້ລະຫັດສົ່ງເສີມ "Habr".

ສູດການຄິດໄລ່ປະກອບດ້ວຍຫ້າຂັ້ນຕອນ:

• ເລີ່ມຕົ້ນງ່າຍ;
• ການຢືນຢັນການສູນເສຍ;
• ການກວດສອບຜົນໄດ້ຮັບລະດັບປານກາງແລະການເຊື່ອມຕໍ່;
• ການວິນິດໄສພາລາມິເຕີ;
• ການຄວບຄຸມການເຮັດວຽກ.

ຖ້າບາງສິ່ງບາງຢ່າງເບິ່ງຄືວ່າຫນ້າສົນໃຈກັບທ່ານຫຼາຍກວ່າສ່ວນທີ່ເຫຼືອ, ທ່ານສາມາດຂ້າມໄປຫາພາກເຫຼົ່ານີ້ທັນທີ.

ເລີ່ມຕົ້ນງ່າຍ

ເຄືອຂ່າຍ neural ທີ່ມີສະຖາປັດຕະຍະກໍາທີ່ຊັບຊ້ອນ, ປົກກະຕິ, ແລະຕາຕະລາງອັດຕາການຮຽນຮູ້ແມ່ນມີຄວາມຫຍຸ້ງຍາກຫຼາຍທີ່ຈະດີບັກກ່ວາເຄືອຂ່າຍປົກກະຕິ. ພວກເຮົາກໍາລັງເປັນພຽງເລັກນ້ອຍ tricky ທີ່ນີ້, ເນື່ອງຈາກວ່າຈຸດຕົວມັນເອງແມ່ນກ່ຽວຂ້ອງໂດຍທາງອ້ອມກັບການ debugging, ແຕ່ນີ້ຍັງເປັນຄໍາແນະນໍາທີ່ສໍາຄັນ.

ການເລີ່ມຕົ້ນທີ່ງ່າຍດາຍແມ່ນການສ້າງແບບຈໍາລອງທີ່ງ່າຍດາຍແລະຝຶກອົບຮົມມັນຢູ່ໃນຊຸດຂໍ້ມູນຫນຶ່ງ (ຈຸດ).

ທໍາອິດພວກເຮົາສ້າງແບບຈໍາລອງແບບງ່າຍດາຍ

ເພື່ອເລີ່ມຕົ້ນຢ່າງໄວວາ, ພວກເຮົາສ້າງເຄືອຂ່າຍຂະຫນາດນ້ອຍທີ່ມີຊັ້ນດຽວທີ່ເຊື່ອງໄວ້ແລະກວດເບິ່ງວ່າທຸກສິ່ງທຸກຢ່າງເຮັດວຽກຢ່າງຖືກຕ້ອງ. ຫຼັງຈາກນັ້ນ, ພວກເຮົາຄ່ອຍໆເຮັດໃຫ້ຮູບແບບສັບສົນ, ກວດເບິ່ງແຕ່ລະລັກສະນະໃຫມ່ຂອງໂຄງສ້າງຂອງມັນ (ຊັ້ນເພີ່ມເຕີມ, ພາລາມິເຕີ, ແລະອື່ນໆ), ແລະກ້າວຕໍ່ໄປ.

ພວກເຮົາຝຶກອົບຮົມແບບຈໍາລອງໃນຊຸດດຽວ (ຈຸດ) ຂອງຂໍ້ມູນ

ໃນຖານະເປັນການກວດສອບສຸຂະພາບໄວສໍາລັບໂຄງການຂອງທ່ານ, ທ່ານສາມາດນໍາໃຊ້ຫນຶ່ງຫຼືສອງຈຸດຂໍ້ມູນສໍາລັບການຝຶກອົບຮົມເພື່ອຢືນຢັນວ່າລະບົບເຮັດວຽກຢ່າງຖືກຕ້ອງ. ເຄືອຂ່າຍ neural ຕ້ອງສະແດງໃຫ້ເຫັນຄວາມຖືກຕ້ອງ 100% ໃນການຝຶກອົບຮົມແລະການທົດສອບ. ຖ້າບໍ່ແມ່ນກໍລະນີ, ຮູບແບບດັ່ງກ່າວມີຂະຫນາດນ້ອຍເກີນໄປຫຼືທ່ານມີແມງໄມ້ຢູ່ແລ້ວ.

ເຖິງແມ່ນວ່າທັງຫມົດແມ່ນດີ, ກະກຽມຕົວແບບສໍາລັບຫນຶ່ງຫຼືຫຼາຍ epochs ກ່ອນທີ່ຈະກ້າວຕໍ່ໄປ.

ການປະເມີນການສູນເສຍ

ການຄາດຄະເນການສູນເສຍແມ່ນວິທີຕົ້ນຕໍທີ່ຈະປັບປຸງປະສິດທິພາບຂອງຕົວແບບ. ທ່ານຈໍາເປັນຕ້ອງຮັບປະກັນວ່າການສູນເສຍແມ່ນເຫມາະສົມກັບບັນຫາແລະຫນ້າທີ່ສູນເສຍຖືກຈັດອັນດັບຢູ່ໃນຂະຫນາດທີ່ຖືກຕ້ອງ. ຖ້າທ່ານໃຊ້ຫຼາຍກວ່າຫນຶ່ງປະເພດການສູນເສຍ, ໃຫ້ແນ່ໃຈວ່າພວກມັນທັງຫມົດແມ່ນຄໍາສັ່ງດຽວກັນແລະຂະຫນາດທີ່ຖືກຕ້ອງ.

ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະເອົາໃຈໃສ່ກັບການສູນເສຍເບື້ອງຕົ້ນ. ກວດເບິ່ງວ່າຜົນໄດ້ຮັບຕົວຈິງໃກ້ຄຽງກັບຜົນໄດ້ຮັບທີ່ຄາດໄວ້ຫຼາຍປານໃດຖ້າຕົວແບບເລີ່ມຕົ້ນດ້ວຍການຄາດເດົາແບບສຸ່ມ. IN ວຽກງານຂອງ Andrey Karpathy ແນະນໍາດັ່ງຕໍ່ໄປນີ້:: “ໃຫ້ແນ່ໃຈວ່າທ່ານໄດ້ຮັບຜົນທີ່ທ່ານຄາດຫວັງເມື່ອທ່ານເລີ່ມຕົ້ນດ້ວຍຕົວກໍານົດການຈໍານວນຫນ້ອຍ. ມັນດີກວ່າທີ່ຈະກວດສອບການສູນເສຍຂໍ້ມູນທັນທີ (ດ້ວຍລະດັບຄວາມເປັນປົກກະຕິທີ່ຕັ້ງເປັນສູນ). ຕົວຢ່າງເຊັ່ນ, ສໍາລັບ CIFAR-10 ທີ່ມີການຈັດປະເພດ Softmax, ພວກເຮົາຄາດວ່າການສູນເສຍເບື້ອງຕົ້ນແມ່ນ 2.302 ເພາະວ່າຄວາມເປັນໄປໄດ້ຂອງການແຜ່ກະຈາຍທີ່ຄາດວ່າຈະເປັນ 0,1 ສໍາລັບແຕ່ລະຊັ້ນຮຽນ (ນັບຕັ້ງແຕ່ມີ 10 ຊັ້ນຮຽນ) ແລະການສູນເສຍ Softmax ແມ່ນຄວາມເປັນໄປໄດ້ຂອງບັນທຶກທາງລົບຂອງຫ້ອງຮຽນທີ່ຖືກຕ້ອງ. as − ln (0.1) = 2.302.”

ສໍາ​ລັບ​ຕົວ​ຢ່າງ​ຖານ​ສອງ​, ການ​ຄິດ​ໄລ່​ທີ່​ຄ້າຍ​ຄື​ກັນ​ແມ່ນ​ເຮັດ​ໄດ້​ຢ່າງ​ງ່າຍ​ດາຍ​ສໍາ​ລັບ​ແຕ່​ລະ​ຫ້ອງ​ຮຽນ​. ໃນນີ້, ຕົວຢ່າງ, ແມ່ນຂໍ້ມູນ: 20% 0's ແລະ 80% 1's. ການສູນເສຍເບື້ອງຕົ້ນຄາດວ່າຈະສູງເຖິງ –0,2ln (0,5) –0,8ln (0,5) = 0,693147. ຖ້າຜົນໄດ້ຮັບແມ່ນໃຫຍ່ກວ່າ 1, ມັນອາດຈະຊີ້ໃຫ້ເຫັນວ່ານ້ໍາຫນັກເຄືອຂ່າຍ neural ບໍ່ສົມດູນຢ່າງຖືກຕ້ອງຫຼືຂໍ້ມູນບໍ່ໄດ້ຖືກປັບປຸງເປັນປົກກະຕິ.

ການກວດສອບຜົນໄດ້ຮັບລະດັບປານກາງແລະການເຊື່ອມຕໍ່

ເພື່ອແກ້ໄຂບັນຫາເຄືອຂ່າຍ neural, ມັນຈໍາເປັນຕ້ອງເຂົ້າໃຈເຖິງນະໂຍບາຍດ້ານຂອງຂະບວນການພາຍໃນເຄືອຂ່າຍແລະບົດບາດຂອງຊັ້ນກາງຂອງແຕ່ລະບຸກຄົນຍ້ອນວ່າພວກມັນເຊື່ອມຕໍ່ກັນ. ນີ້ແມ່ນຄວາມຜິດພາດທົ່ວໄປທີ່ທ່ານອາດຈະພົບ:

• ການສະແດງອອກທີ່ບໍ່ຖືກຕ້ອງສໍາລັບການປັບປຸງ gradle;
• ການປັບປຸງນ້ໍາຫນັກບໍ່ໄດ້ຖືກນໍາໃຊ້;
• gradients ລະເບີດ.

ຖ້າຄ່າ gradient ເປັນສູນ, ນີ້ຫມາຍຄວາມວ່າອັດຕາການຮຽນຮູ້ໃນ optimizer ຊ້າເກີນໄປ, ຫຼືວ່າທ່ານກໍາລັງພົບກັບການສະແດງອອກທີ່ບໍ່ຖືກຕ້ອງສໍາລັບການອັບເດດ gradient.

ນອກຈາກນັ້ນ, ມັນຈໍາເປັນຕ້ອງຕິດຕາມຄ່າຂອງຫນ້າທີ່ກະຕຸ້ນ, ນ້ໍາຫນັກແລະການປັບປຸງຂອງແຕ່ລະຊັ້ນ. ຕົວຢ່າງ, ຂະໜາດຂອງການປັບປຸງພາລາມິເຕີ (ນ້ຳໜັກ ແລະ ຄວາມລຳອຽງ) ຄວນຈະເປັນ 1-e3.

ມີປະກົດການທີ່ເອີ້ນວ່າ "Dying ReLU" ຫຼື "ບັນຫາ gradient ຫາຍໄປ", ໃນເວລາທີ່ neurons ReLU ຈະຜົນຜະລິດສູນຫຼັງຈາກການຮຽນຮູ້ມູນຄ່າອະຄະຕິທາງລົບຂະຫນາດໃຫຍ່ສໍາລັບນ້ໍາຫນັກຂອງມັນ. neurons ເຫຼົ່ານີ້ບໍ່ເຄີຍຖືກຍິງອີກເທື່ອຫນຶ່ງຢູ່ໃນຈຸດໃດໆໃນຂໍ້ມູນ.

ທ່ານ​ສາ​ມາດ​ນໍາ​ໃຊ້​ການ​ກວດ​ສອບ​ການ gradient ເພື່ອ​ລະ​ບຸ​ຄວາມ​ຜິດ​ພາດ​ເຫຼົ່າ​ນີ້​ໂດຍ​ການ​ປະ​ມານ​ການ​ສີ​ລະ​ດັບ​ໂດຍ​ນໍາ​ໃຊ້​ວິ​ທີ​ການ​ຈໍາ​ນວນ​ຫຼາຍ​. ຖ້າມັນຢູ່ໃກ້ກັບ gradients ທີ່ຄິດໄລ່, ຫຼັງຈາກນັ້ນການຂະຫຍາຍພັນໄດ້ຖືກປະຕິບັດຢ່າງຖືກຕ້ອງ. ເພື່ອສ້າງການກວດສອບສີ, ໃຫ້ກວດເບິ່ງຊັບພະຍາກອນອັນຍິ່ງໃຫຍ່ເຫຼົ່ານີ້ຈາກ CS231 ທີ່ນີ້ и ທີ່ນີ້ແລະຍັງ ບົດຮຽນ Andrew Nga ກ່ຽວກັບຫົວຂໍ້ນີ້.

Faizan Sheikh ຊີ້ໃຫ້ເຫັນສາມວິທີຕົ້ນຕໍສໍາລັບການເບິ່ງເຫັນເຄືອຂ່າຍ neural:

• ເບື້ອງຕົ້ນແມ່ນວິທີການທີ່ງ່າຍດາຍທີ່ສະແດງໃຫ້ພວກເຮົາເຫັນໂຄງສ້າງທົ່ວໄປຂອງຮູບແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມ. ເຫຼົ່ານີ້ລວມມີຜົນຜະລິດຂອງຮູບຮ່າງຫຼືການກັ່ນຕອງຂອງແຕ່ລະຊັ້ນຂອງເຄືອຂ່າຍ neural ແລະຕົວກໍານົດການພາຍໃນແຕ່ລະຊັ້ນ.
• ການເປີດໃຊ້ງານໂດຍອີງໃສ່. ໃນພວກມັນ, ພວກເຮົາຖອດລະຫັດການກະຕຸ້ນຂອງ neurons ສ່ວນບຸກຄົນຫຼືກຸ່ມຂອງ neurons ເພື່ອເຂົ້າໃຈຫນ້າທີ່ຂອງເຂົາເຈົ້າ.
• ອີງຕາມການ gradients. ວິ​ທີ​ການ​ເຫຼົ່າ​ນີ້​ມີ​ແນວ​ໂນ້ມ​ທີ່​ຈະ​ຈັດ​ການ gradients ທີ່​ໄດ້​ຮັບ​ການ​ສ້າງ​ຕັ້ງ​ຂຶ້ນ​ຈາກ​ການ​ຜ່ານ​ໄປ​ຂ້າງ​ຫນ້າ​ແລະ​ທາງ​ຫລັງ​ຂອງ​ການ​ຝຶກ​ອົບ​ຮົມ​ແບບ​ຈໍາ​ລອງ (ລວມ​ທັງ​ແຜນ​ທີ່​ຄວາມ​ເຄັມ​ແລະ​ແຜນ​ທີ່​ການ​ເປີດ​ຫ້ອງ​ຮຽນ​)​.

ມີເຄື່ອງມືທີ່ເປັນປະໂຫຍດຫຼາຍສໍາລັບການເບິ່ງເຫັນການເປີດໃຊ້ງານແລະການເຊື່ອມຕໍ່ຂອງແຕ່ລະຊັ້ນ, e.g. ConX и Tensorboard.

ການວິນິດໄສພາຣາມິເຕີ

ເຄືອຂ່າຍ neural ມີຫຼາຍຕົວກໍານົດການພົວພັນກັບກັນແລະກັນ, ເຊິ່ງສັບສົນການເພີ່ມປະສິດທິພາບ. ຕົວຈິງແລ້ວ, ພາກນີ້ແມ່ນຫົວຂໍ້ຂອງການຄົ້ນຄວ້າຢ່າງຫ້າວຫັນໂດຍຜູ້ຊ່ຽວຊານ, ດັ່ງນັ້ນຄໍາແນະນໍາຂ້າງລຸ່ມນີ້ຄວນໄດ້ຮັບການພິຈາລະນາພຽງແຕ່ຄໍາແນະນໍາ, ຈຸດເລີ່ມຕົ້ນຈາກການກໍ່ສ້າງ.

ຂະໜາດບັນຈຸ (ຂະຫນາດ batch) - ຖ້າທ່ານຕ້ອງການຂະຫນາດ batch ຂະຫນາດໃຫຍ່ພຽງພໍທີ່ຈະໄດ້ຮັບການຄາດຄະເນ gradient ຄວາມຜິດພາດທີ່ຖືກຕ້ອງ, ແຕ່ມີຂະຫນາດນ້ອຍພຽງພໍສໍາລັບ stochastic gradient descent (SGD) ເພື່ອເຮັດໃຫ້ເຄືອຂ່າຍຂອງທ່ານເປັນປົກກະຕິ. ຂະ​ຫນາດ batch ຂະ​ຫນາດ​ນ້ອຍ​ຈະ​ນໍາ​ໄປ​ສູ່​ການ convergence ໄວ​ເນື່ອງ​ຈາກ​ສິ່ງ​ລົບ​ກວນ​ໃນ​ລະ​ຫວ່າງ​ຂະ​ບວນ​ການ​ຝຶກ​ອົບ​ຮົມ​ແລະ​ຕໍ່​ມາ​ກັບ​ຄວາມ​ຫຍຸ້ງ​ຍາກ​ໃນ​ການ​ປັບ​ປຸງ​. ນີ້ແມ່ນອະທິບາຍລາຍລະອຽດເພີ່ມເຕີມ ທີ່ນີ້.

ອັດຕາການຮຽນຮູ້ - ຕ່ໍາເກີນໄປຈະນໍາໄປສູ່ການ convergence ຊ້າຫຼືຄວາມສ່ຽງຂອງການໄດ້ຮັບການ stuck ໃນ minima ທ້ອງຖິ່ນ. ໃນຂະນະດຽວກັນ, ອັດຕາການຮຽນຮູ້ທີ່ສູງຈະເຮັດໃຫ້ການເພີ່ມປະສິດທິພາບ divergence ເພາະວ່າທ່ານມີຄວາມສ່ຽງທີ່ຈະໂດດຂ້າມສ່ວນເລິກແຕ່ແຄບຂອງຫນ້າທີ່ສູນເສຍ. ພະຍາຍາມໃຊ້ການກໍານົດຄວາມໄວເພື່ອຫຼຸດຜ່ອນມັນໃນຂະນະທີ່ການຝຶກອົບຮົມເຄືອຂ່າຍ neural. ອັບເດດກັບ CS231n ມີພາກສ່ວນຂະຫນາດໃຫຍ່ທີ່ອຸທິດຕົນເພື່ອບັນຫານີ້.

ການຕັດແບບສີ  — ການ​ຕັດ​ຕົວ​ກໍາ​ນົດ​ການ gradients ໃນ​ລະ​ຫວ່າງ​ການ​ແຜ່​ກະ​ຈາຍ​ຄືນ​ທີ່​ຄ່າ​ສູງ​ສຸດ​ຫຼື​ມາດ​ຕະ​ຖານ​ຂອບ​. ເປັນປະໂຫຍດສໍາລັບການແກ້ໄຂບັນຫາ gradients ລະເບີດທີ່ທ່ານອາດຈະພົບໃນຈຸດສາມ.

batch normalization - ນໍາໃຊ້ເພື່ອ normalize ຂໍ້ມູນ input ຂອງແຕ່ລະ layer, ເຊິ່ງຊ່ວຍໃຫ້ພວກເຮົາແກ້ໄຂບັນຫາຂອງການປ່ຽນແປງ covariate ພາຍໃນ. ຖ້າທ່ານໃຊ້ Dropout ແລະ Batch Norma ຮ່ວມກັນ, ກວດເບິ່ງບົດຄວາມນີ້.

Stochastic gradient descent (SGD) — ມີຫຼາຍຊະນິດຂອງ SGD ທີ່ໃຊ້ momentum, ອັດຕາການຮຽນຮູ້ແບບປັບຕົວ ແລະວິທີການ Nesterov. ແນວໃດກໍ່ຕາມ, ບໍ່ມີອັນໃດມີປະໂຫຍດຢ່າງຈະແຈ້ງໃນແງ່ຂອງທັງປະສິດທິພາບການຮຽນຮູ້ ແລະ ໂດຍທົ່ວໄປ (ລາຍລະອຽດທີ່ນີ້).

ປົກກະຕິ - ເປັນສິ່ງສໍາຄັນສໍາລັບການກໍ່ສ້າງແບບຈໍາລອງທົ່ວໄປ, ເນື່ອງຈາກວ່າມັນເພີ່ມການລົງໂທດສໍາລັບຄວາມສັບສົນຂອງຕົວແບບຫຼືຄ່າພາລາມິເຕີທີ່ຮຸນແຮງ. ນີ້​ແມ່ນ​ວິ​ທີ​ການ​ຫຼຸດ​ຜ່ອນ​ຄວາມ​ແຕກ​ຕ່າງ​ຕົວ​ແບບ​ໂດຍ​ບໍ່​ມີ​ການ​ເພີ່ມ​ຄວາມ​ລໍາ​ອຽງ​ຂອງ​ຕົນ​ຢ່າງ​ຫຼວງ​ຫຼາຍ​. ເພີ່ມເຕີມ ຂໍ້​ມູນ​ລະ​ອຽດ - ທີ່​ນີ້​.

ເພື່ອປະເມີນທຸກຢ່າງດ້ວຍຕົວທ່ານເອງ, ທ່ານຈໍາເປັນຕ້ອງປິດການທໍາງານເປັນປົກກະຕິແລະກວດເບິ່ງ gradient ການສູນເສຍຂໍ້ມູນດ້ວຍຕົນເອງ.

ລຸດອອກ ເປັນອີກວິທີໜຶ່ງໃນການປັບປຸງເຄືອຂ່າຍຂອງທ່ານເພື່ອປ້ອງກັນຄວາມແອອັດ. ໃນລະຫວ່າງການຝຶກອົບຮົມ, ການລຸດລົງແມ່ນປະຕິບັດພຽງແຕ່ໂດຍການຮັກສາກິດຈະກໍາຂອງ neuron ທີ່ມີຄວາມເປັນໄປໄດ້ທີ່ແນ່ນອນ p (hyperparameter) ຫຼືຕັ້ງມັນເປັນສູນໃນກໍລະນີກົງກັນຂ້າມ. ດັ່ງນັ້ນ, ເຄືອຂ່າຍຈະຕ້ອງໃຊ້ຊຸດຍ່ອຍທີ່ແຕກຕ່າງກັນຂອງຕົວກໍານົດການສໍາລັບແຕ່ລະຊຸດການຝຶກອົບຮົມ, ເຊິ່ງຫຼຸດຜ່ອນການປ່ຽນແປງໃນຕົວກໍານົດການບາງຢ່າງທີ່ກາຍເປັນເດັ່ນ.

ສິ່ງສໍາຄັນ: ຖ້າທ່ານໃຊ້ທັງ dropout ແລະ batch normalization, ຈົ່ງລະມັດລະວັງກ່ຽວກັບຄໍາສັ່ງຂອງການດໍາເນີນງານເຫຼົ່ານີ້ຫຼືແມ້ກະທັ້ງການນໍາໃຊ້ຮ່ວມກັນ. ທັງ​ຫມົດ​ນີ້​ຍັງ​ໄດ້​ຮັບ​ການ​ປຶກ​ສາ​ຫາ​ລື​ຢ່າງ​ຕັ້ງ​ຫນ້າ​ແລະ​ການ​ເສີມ​. ນີ້ແມ່ນສອງການສົນທະນາທີ່ສໍາຄັນກ່ຽວກັບຫົວຂໍ້ນີ້ ໃນ Stackoverflow и ຮວບຮວມ.

ການຄວບຄຸມການເຮັດວຽກ

ມັນກ່ຽວກັບການບັນທຶກຂັ້ນຕອນການເຮັດວຽກ ແລະການທົດລອງ. ຖ້າທ່ານບໍ່ບັນທຶກຫຍັງ, ທ່ານອາດຈະລືມ, ຕົວຢ່າງ, ອັດຕາການຮຽນຮູ້ຫຼືນ້ໍາຫນັກຂອງຫ້ອງຮຽນຖືກນໍາໃຊ້. ຂໍຂອບໃຈກັບການຄວບຄຸມ, ທ່ານສາມາດເບິ່ງແລະເຮັດຊ້ໍາການທົດລອງທີ່ຜ່ານມາໄດ້ຢ່າງງ່າຍດາຍ. ນີ້ອະນຸຍາດໃຫ້ທ່ານຫຼຸດຜ່ອນຈໍານວນຂອງການທົດລອງທີ່ຊ້ໍາກັນ.

ຢ່າງໃດກໍ່ຕາມ, ເອກະສານຄູ່ມືສາມາດກາຍເປັນວຽກທີ່ຫຍຸ້ງຍາກໃນກໍລະນີຂອງວຽກທີ່ມີປະລິມານຫຼາຍ. ນີ້ແມ່ນບ່ອນທີ່ເຄື່ອງມືເຊັ່ນ Comet.ml ເຂົ້າມາເພື່ອຊ່ວຍໃຫ້ທ່ານບັນທຶກຊຸດຂໍ້ມູນອັດຕະໂນມັດ, ການປ່ຽນແປງລະຫັດ, ປະຫວັດການທົດລອງ, ແລະຮູບແບບການຜະລິດ, ລວມທັງຂໍ້ມູນທີ່ສໍາຄັນກ່ຽວກັບຕົວແບບຂອງທ່ານ (hyperparameters, ຕົວວັດແທກການປະຕິບັດຕົວແບບ, ແລະຂໍ້ມູນສິ່ງແວດລ້ອມ).

ເຄືອຂ່າຍ neural ສາມາດມີຄວາມອ່ອນໄຫວຫຼາຍຕໍ່ການປ່ຽນແປງຂະຫນາດນ້ອຍ, ແລະນີ້ຈະນໍາໄປສູ່ການຫຼຸດລົງຂອງການປະຕິບັດຕົວແບບ. ການ​ຕິດ​ຕາມ​ແລະ​ເອ​ກະ​ສານ​ການ​ເຮັດ​ວຽກ​ຂອງ​ທ່ານ​ແມ່ນ​ຂັ້ນ​ຕອນ​ທໍາ​ອິດ​ທີ່​ທ່ານ​ສາ​ມາດ​ໃຊ້​ເວ​ລາ​ເພື່ອ​ມາດ​ຕະ​ຖານ​ສະ​ພາບ​ແວດ​ລ້ອມ​ແລະ​ການ​ສ້າງ​ແບບ​ຈໍາ​ລອງ​ຂອງ​ທ່ານ​.

ຂ້າ​ພະ​ເຈົ້າ​ຫວັງ​ວ່າ​ບົດ​ຄວາມ​ນີ້​ສາ​ມາດ​ເປັນ​ຈຸດ​ເລີ່ມ​ຕົ້ນ​ສໍາ​ລັບ​ທ່ານ​ທີ່​ຈະ​ເລີ່ມ​ຕົ້ນ debugging ເຄືອ​ຂ່າຍ neural ຂອງ​ທ່ານ.

Skillbox ແນະນໍາ:

• ຫຼັກສູດພາກປະຕິບັດສອງປີ "ຂ້ອຍເປັນນັກພັດທະນາເວັບ PRO".
• ຫຼັກສູດອອນໄລນ "ນັກພັດທະນາ C# ຈາກ 0".
• ຫຼັກສູດພາກປະຕິບັດ "ນັກພັດທະນາ PHP ຈາກ 0 ເຖິງ PRO".

ແຫຼ່ງຂໍ້ມູນ: www.habr.com