ການເລືອກຄຸນສົມບັດໃນການຮຽນຮູ້ເຄື່ອງຈັກ

Hey Habr!

ພວກເຮົາຢູ່ Reksoft ໄດ້ແປບົດຄວາມເປັນພາສາລັດເຊຍ ການເລືອກຄຸນສົມບັດໃນການຮຽນຮູ້ເຄື່ອງຈັກ. ພວກເຮົາຫວັງວ່າມັນຈະເປັນປະໂຫຍດກັບທຸກຄົນທີ່ມີຄວາມສົນໃຈໃນຫົວຂໍ້.

ໃນໂລກທີ່ແທ້ຈິງ, ຂໍ້ມູນແມ່ນບໍ່ສະອາດສະເຫມີຄືກັບລູກຄ້າທຸລະກິດບາງຄັ້ງຄິດ. ນີ້ແມ່ນເຫດຜົນທີ່ວ່າການຂຸດຄົ້ນຂໍ້ມູນແລະການຂັດແຍ້ງຂໍ້ມູນແມ່ນຢູ່ໃນຄວາມຕ້ອງການ. ມັນຊ່ວຍກໍານົດຄ່າແລະຮູບແບບທີ່ຂາດຫາຍໄປໃນຂໍ້ມູນທີ່ມີໂຄງສ້າງແບບສອບຖາມທີ່ມະນຸດບໍ່ສາມາດລະບຸໄດ້. ເພື່ອຊອກຫາແລະນໍາໃຊ້ຮູບແບບເຫຼົ່ານີ້ເພື່ອຄາດຄະເນຜົນໄດ້ຮັບໂດຍນໍາໃຊ້ຄວາມສໍາພັນທີ່ຄົ້ນພົບໃນຂໍ້ມູນ, ການຮຽນຮູ້ເຄື່ອງຈັກແມ່ນເປັນປະໂຫຍດ.

ເພື່ອເຂົ້າໃຈ algorithm ໃດ, ທ່ານຈໍາເປັນຕ້ອງເບິ່ງຕົວແປທັງຫມົດໃນຂໍ້ມູນແລະຊອກຫາສິ່ງທີ່ຕົວແປເຫຼົ່ານັ້ນເປັນຕົວແທນ. ນີ້ແມ່ນສໍາຄັນເພາະວ່າເຫດຜົນຢູ່ເບື້ອງຫຼັງຜົນໄດ້ຮັບແມ່ນອີງໃສ່ຄວາມເຂົ້າໃຈຂໍ້ມູນ. ຖ້າຂໍ້ມູນມີ 5 ຫຼືແມ້ກະທັ້ງ 50 ຕົວແປ, ທ່ານສາມາດກວດເບິ່ງພວກມັນທັງຫມົດ. ຈະເປັນແນວໃດຖ້າມີ 200 ຂອງພວກເຂົາ? ຫຼັງຈາກນັ້ນ, ບໍ່ມີເວລາພຽງພໍທີ່ຈະສຶກສາທຸກຕົວແປ. ຍິ່ງໄປກວ່ານັ້ນ, ບາງ algorithms ບໍ່ໄດ້ເຮັດວຽກສໍາລັບຂໍ້ມູນປະເພດ, ແລະຫຼັງຈາກນັ້ນທ່ານຈະຕ້ອງປ່ຽນຄໍລໍາຫມວດຫມູ່ທັງຫມົດໄປສູ່ຕົວແປປະລິມານ (ພວກເຂົາອາດຈະເບິ່ງເປັນປະລິມານ, ແຕ່ metrics ຈະສະແດງໃຫ້ເຫັນວ່າພວກເຂົາເປັນປະເພດ) ເພື່ອເພີ່ມພວກມັນເຂົ້າໃນຕົວແບບ. ດັ່ງນັ້ນ, ຈໍານວນຕົວແປເພີ່ມຂຶ້ນ, ແລະມີປະມານ 500 ຂອງພວກເຂົາຈະເຮັດແນວໃດໃນປັດຈຸບັນ? ຄົນເຮົາອາດຄິດວ່າຄຳຕອບຄືການຫຼຸດຂະໜາດ. ສູດການຄິດໄລ່ການຫຼຸດຜ່ອນຂະຫນາດຫຼຸດລົງຈໍານວນຕົວກໍານົດການແຕ່ມີຜົນກະທົບທາງລົບຕໍ່ການຕີຄວາມຫມາຍ. ຈະເປັນແນວໃດຖ້າມີເຕັກນິກອື່ນໆທີ່ກໍາຈັດອາການຕ່າງໆໃນຂະນະທີ່ເຮັດໃຫ້ສິ່ງທີ່ຍັງເຫຼືອງ່າຍທີ່ຈະເຂົ້າໃຈແລະຕີຄວາມຫມາຍ?

ຂຶ້ນຢູ່ກັບວ່າການວິເຄາະແມ່ນອີງໃສ່ການຖົດຖອຍຫຼືການຈັດປະເພດ, ຂັ້ນຕອນການເລືອກຄຸນສົມບັດອາດຈະແຕກຕ່າງກັນ, ແຕ່ແນວຄວາມຄິດຕົ້ນຕໍຂອງການປະຕິບັດຂອງພວກເຂົາຍັງຄົງຄືກັນ.

ຕົວແປທີ່ມີຄວາມກ່ຽວຂ້ອງສູງ

ຕົວແປທີ່ມີຄວາມກ່ຽວຂ້ອງກັນສູງເຊິ່ງກັນແລະກັນໃຫ້ຂໍ້ມູນດຽວກັນກັບຕົວແບບ, ດັ່ງນັ້ນບໍ່ຈໍາເປັນຕ້ອງໃຊ້ພວກມັນທັງຫມົດສໍາລັບການວິເຄາະ. ຕົວຢ່າງ, ຖ້າຊຸດຂໍ້ມູນມີຄຸນສົມບັດ "ເວລາອອນໄລນ໌" ແລະ "ການຈະລາຈອນທີ່ນໍາໃຊ້", ພວກເຮົາສາມາດສົມມຸດວ່າພວກມັນຈະມີຄວາມກ່ຽວຂ້ອງບາງຢ່າງ, ແລະພວກເຮົາຈະເຫັນຄວາມກ່ຽວຂ້ອງທີ່ເຂັ້ມແຂງເຖິງແມ່ນວ່າພວກເຮົາຈະເລືອກຕົວຢ່າງຂໍ້ມູນທີ່ບໍ່ມີອະຄະຕິ. ໃນກໍລະນີນີ້, ພຽງແຕ່ຫນຶ່ງຂອງຕົວແປເຫຼົ່ານີ້ແມ່ນຈໍາເປັນໃນຕົວແບບ. ຖ້າທ່ານໃຊ້ທັງສອງ, ຮູບແບບຈະ overfitted ແລະມີຄວາມລໍາອຽງຕໍ່ລັກສະນະສະເພາະຫນຶ່ງ.

P-ຄ່າ

ໃນສູດການຄິດໄລ່ເຊັ່ນການຖົດຖອຍແບບເສັ້ນ, ຮູບແບບສະຖິຕິເບື້ອງຕົ້ນແມ່ນເປັນຄວາມຄິດທີ່ດີສະເໝີ. ມັນຊ່ວຍໃຫ້ສະແດງໃຫ້ເຫັນເຖິງຄວາມສໍາຄັນຂອງລັກສະນະໂດຍຜ່ານ p-values ​​ຂອງພວກເຂົາທີ່ໄດ້ຮັບໂດຍຕົວແບບນີ້. ໂດຍໄດ້ກໍານົດລະດັບຄວາມສໍາຄັນ, ພວກເຮົາກວດສອບ p-values ​​ຜົນໄດ້ຮັບ, ແລະຖ້າຫາກວ່າຄ່າໃດຫນຶ່ງແມ່ນຕ່ໍາກວ່າລະດັບຄວາມສໍາຄັນທີ່ກໍານົດໄວ້, ຫຼັງຈາກນັ້ນຄຸນນະສົມບັດນີ້ໄດ້ຖືກປະກາດທີ່ສໍາຄັນ, ນັ້ນແມ່ນ, ການປ່ຽນແປງຂອງມູນຄ່າຂອງມັນຈະນໍາໄປສູ່ການປ່ຽນແປງຂອງມູນຄ່າ. ເປົ້າ​ຫມາຍ.

ການຄັດເລືອກໂດຍກົງ

ການຄັດເລືອກໄປຂ້າງໜ້າແມ່ນເຕັກນິກທີ່ກ່ຽວຂ້ອງກັບການນຳໃຊ້ການຖົດຖອຍແບບກ້າວກະໂດດ. ການສ້າງແບບຈໍາລອງເລີ່ມຕົ້ນດ້ວຍສູນທີ່ສົມບູນ, ນັ້ນແມ່ນ, ຮູບແບບຫວ່າງເປົ່າ, ແລະຫຼັງຈາກນັ້ນແຕ່ລະ iteration ຈະເພີ່ມຕົວແປທີ່ເຮັດໃຫ້ການປັບປຸງຕົວແບບທີ່ຖືກສ້າງຂຶ້ນ. ຕົວແປໃດທີ່ຖືກເພີ່ມເຂົ້າໃນຕົວແບບແມ່ນຖືກກໍານົດໂດຍຄວາມສໍາຄັນຂອງມັນ. ນີ້ສາມາດຖືກຄິດໄລ່ໂດຍໃຊ້ metrics ຕ່າງໆ. ວິທີທົ່ວໄປທີ່ສຸດແມ່ນການໃຊ້ p-values ​​ທີ່ໄດ້ຮັບໃນຮູບແບບສະຖິຕິຕົ້ນສະບັບໂດຍໃຊ້ຕົວແປທັງຫມົດ. ບາງຄັ້ງການຄັດເລືອກໂດຍກົງສາມາດນໍາໄປສູ່ການ overfitting ຮູບແບບເນື່ອງຈາກວ່າອາດຈະມີຕົວແປທີ່ກ່ຽວຂ້ອງສູງໃນຕົວແບບ, ເຖິງແມ່ນວ່າພວກເຂົາໃຫ້ຂໍ້ມູນດຽວກັນກັບຕົວແບບ (ແຕ່ຕົວແບບຍັງສະແດງໃຫ້ເຫັນການປັບປຸງ).

ການເລືອກແບບປີ້ນກັບກັນ

ການຄັດເລືອກແບບປີ້ນກັບກັນຍັງກ່ຽວຂ້ອງກັບການກໍາຈັດລັກສະນະແບບເທື່ອລະກ້າວ, ແຕ່ໃນທິດທາງກົງກັນຂ້າມເມື່ອທຽບໃສ່ກັບການຄັດເລືອກຕໍ່ຫນ້າ. ໃນກໍລະນີນີ້, ຮູບແບບເບື້ອງຕົ້ນປະກອບມີຕົວແປເອກະລາດທັງຫມົດ. ຫຼັງຈາກນັ້ນ, ຕົວແປຈະຖືກລົບລ້າງ (ຫນຶ່ງຕໍ່ iteration) ຖ້າພວກມັນບໍ່ປະກອບສ່ວນມູນຄ່າໃຫ້ກັບຕົວແບບ regression ໃຫມ່ໃນແຕ່ລະ iteration. ການຍົກເວັ້ນຄຸນສົມບັດແມ່ນອີງໃສ່ p-values ​​ຂອງຕົວແບບເບື້ອງຕົ້ນ. ວິທີການນີ້ຍັງມີຄວາມບໍ່ແນ່ນອນໃນເວລາທີ່ເອົາຕົວແປທີ່ມີຄວາມກ່ຽວຂ້ອງກັນສູງ.

ການກຳຈັດຄຸນສົມບັດຊ້ຳໆ

RFE ແມ່ນເຕັກນິກ / ສູດການຄິດໄລ່ທີ່ໃຊ້ຢ່າງກວ້າງຂວາງສໍາລັບການເລືອກຈໍານວນທີ່ແນ່ນອນຂອງລັກສະນະທີ່ສໍາຄັນ. ບາງຄັ້ງວິທີການຖືກໃຊ້ເພື່ອອະທິບາຍບາງລັກສະນະ "ສໍາຄັນທີ່ສຸດ" ທີ່ມີອິດທິພົນຕໍ່ຜົນໄດ້ຮັບ; ແລະບາງຄັ້ງເພື່ອຫຼຸດຜ່ອນຕົວແປຈໍານວນຫລາຍ (ປະມານ 200-400), ແລະພຽງແຕ່ສິ່ງທີ່ເຮັດໃຫ້ຢ່າງຫນ້ອຍການປະກອບສ່ວນຂອງຕົວແບບໄດ້ຖືກເກັບຮັກສາໄວ້, ແລະສິ່ງອື່ນໆທັງຫມົດແມ່ນຖືກຍົກເວັ້ນ. RFE ໃຊ້ລະບົບການຈັດອັນດັບ. ຄຸນສົມບັດໃນຊຸດຂໍ້ມູນແມ່ນໄດ້ມອບໝາຍອັນດັບ. ຫຼັງຈາກນັ້ນ, ການຈັດອັນດັບເຫຼົ່ານີ້ຖືກໃຊ້ເພື່ອລົບລ້າງລັກສະນະຕ່າງໆໂດຍອີງໃສ່ຄວາມສອດຄ່ອງລະຫວ່າງພວກມັນແລະຄວາມສໍາຄັນຂອງລັກສະນະເຫຼົ່ານັ້ນໃນຕົວແບບ. ນອກເຫນືອໄປຈາກຄຸນສົມບັດການຈັດອັນດັບ, RFE ສາມາດສະແດງໃຫ້ເຫັນວ່າລັກສະນະເຫຼົ່ານີ້ມີຄວາມສໍາຄັນຫຼືບໍ່ແມ່ນແຕ່ສໍາລັບຈໍານວນຄຸນສົມບັດທີ່ກໍານົດ (ເພາະວ່າມັນເປັນໄປໄດ້ຫຼາຍວ່າຈໍານວນຄຸນສົມບັດທີ່ເລືອກອາດຈະບໍ່ເຫມາະສົມ, ແລະຈໍານວນຄຸນສົມບັດທີ່ເຫມາະສົມອາດຈະຫຼາຍກວ່ານັ້ນ. ຫຼືໜ້ອຍກວ່າຕົວເລກທີ່ເລືອກ).

ແຜນວາດຄວາມສຳຄັນຂອງຄຸນສົມບັດ

ເມື່ອເວົ້າເຖິງການຕີຄວາມໝາຍຂອງລະບົບການຮຽນຮູ້ເຄື່ອງຈັກ, ພວກເຮົາປົກກະຕິແລ້ວຈະສົນທະນາການຖົດຖອຍແບບເສັ້ນ (ເຊິ່ງຊ່ວຍໃຫ້ທ່ານສາມາດວິເຄາະຄວາມສຳຄັນຂອງຄຸນສົມບັດໂດຍໃຊ້ p-values) ແລະຕົ້ນໄມ້ການຕັດສິນໃຈ (ສະແດງເຖິງຄວາມສຳຄັນຂອງລັກສະນະຕ່າງໆໃນຮູບແບບຂອງຕົ້ນໄມ້, ແລະໃນຕົວໜັງສື. ເວລາດຽວກັນກັບລໍາດັບຊັ້ນຂອງເຂົາເຈົ້າ). ໃນອີກດ້ານຫນຶ່ງ, algorithms ເຊັ່ນ Random Forest, LightGBM ແລະ XG Boost ມັກຈະໃຊ້ແຜນວາດຄວາມສໍາຄັນຂອງຄຸນນະສົມບັດ, ນັ້ນແມ່ນ, ແຜນວາດຂອງຕົວແປແລະ "ຕົວເລກຄວາມສໍາຄັນຂອງພວກເຂົາ". ນີ້ແມ່ນເປັນປະໂຫຍດໂດຍສະເພາະໃນເວລາທີ່ທ່ານຕ້ອງການໃຫ້ເຫດຜົນທີ່ມີໂຄງສ້າງສໍາລັບຄວາມສໍາຄັນຂອງຄຸນລັກສະນະໃນແງ່ຂອງຜົນກະທົບຕໍ່ທຸລະກິດ.

ປົກກະຕິ

ການເຮັດເປັນປົກກະຕິແມ່ນເຮັດເພື່ອຄວບຄຸມຄວາມສົມດູນລະຫວ່າງຄວາມລໍາອຽງແລະຄວາມແຕກຕ່າງກັນ. Bias ສະແດງໃຫ້ເຫັນວ່າຕົວແບບໄດ້ overfitted ຫຼາຍປານໃດໃນຊຸດຂໍ້ມູນການຝຶກອົບຮົມ. ການບ່ຽງເບນສະແດງໃຫ້ເຫັນວ່າການຄາດເດົາແຕກຕ່າງກັນແນວໃດລະຫວ່າງຊຸດຂໍ້ມູນການຝຶກອົບຮົມ ແລະການທົດສອບ. ໂດຍວິທີທາງການ, ທັງຄວາມລໍາອຽງແລະຄວາມແຕກຕ່າງກັນຄວນຈະມີຂະຫນາດນ້ອຍ. ນີ້ແມ່ນບ່ອນທີ່ເປັນປົກກະຕິມາກູ້ໄພ! ມີສອງເຕັກນິກຕົ້ນຕໍ:

L1 Regularization - Lasso: Lasso penalizes model weights to change their key to the model and even can be null them (i.e. ລົບຕົວແປເຫຼົ່ານັ້ນອອກຈາກຕົວແບບສຸດທ້າຍ). ໂດຍປົກກະຕິ, Lasso ຖືກນໍາໃຊ້ໃນເວລາທີ່ຊຸດຂໍ້ມູນປະກອບດ້ວຍຕົວແປຈໍານວນຫລາຍແລະທ່ານຕ້ອງການຍົກເວັ້ນບາງສ່ວນຂອງພວກເຂົາເພື່ອເຂົ້າໃຈດີຂຶ້ນວ່າລັກສະນະທີ່ສໍາຄັນມີຜົນກະທົບຕໍ່ຕົວແບບ (ນັ້ນແມ່ນລັກສະນະເຫຼົ່ານັ້ນທີ່ຖືກເລືອກໂດຍ Lasso ແລະໄດ້ຮັບຄວາມສໍາຄັນ).

L2 Regularization - ວິທີການ Ridge: ວຽກງານຂອງ Ridge ແມ່ນເພື່ອເກັບຮັກສາຕົວແປທັງຫມົດແລະໃນເວລາດຽວກັນມອບຄວາມສໍາຄັນໃຫ້ພວກເຂົາໂດຍອີງໃສ່ການປະກອບສ່ວນຂອງພວກເຂົາໃນການປະຕິບັດຂອງຕົວແບບ. Ridge ຈະເປັນທາງເລືອກທີ່ດີຖ້າຊຸດຂໍ້ມູນມີຈໍານວນຕົວແປເລັກນ້ອຍແລະພວກມັນທັງຫມົດແມ່ນມີຄວາມຈໍາເປັນເພື່ອຕີຄວາມຫມາຍການຄົ້ນພົບແລະຜົນໄດ້ຮັບທີ່ໄດ້ຮັບ.

ນັບຕັ້ງແຕ່ Ridge ຮັກສາຕົວແປທັງຫມົດແລະ Lasso ເຮັດວຽກທີ່ດີກວ່າໃນການສ້າງຄວາມສໍາຄັນຂອງພວກເຂົາ, algorithm ໄດ້ຖືກພັດທະນາທີ່ລວມເອົາລັກສະນະທີ່ດີທີ່ສຸດຂອງທັງສອງປົກກະຕິ, ທີ່ເອີ້ນວ່າ Elastic-Net.

ມີຫຼາຍວິທີທີ່ຈະເລືອກເອົາລັກສະນະສໍາລັບການຮຽນຮູ້ເຄື່ອງຈັກ, ແຕ່ແນວຄວາມຄິດຕົ້ນຕໍແມ່ນສະເຫມີຄືກັນ: ສະແດງໃຫ້ເຫັນເຖິງຄວາມສໍາຄັນຂອງຕົວແປແລະຫຼັງຈາກນັ້ນລົບລ້າງບາງອັນໂດຍອີງໃສ່ຄວາມສໍາຄັນຜົນໄດ້ຮັບ. ຄວາມ ສຳ ຄັນແມ່ນ ຄຳ ສັບທີ່ມີຫົວຂໍ້ຫຼາຍ, ເພາະວ່າມັນບໍ່ແມ່ນພຽງແຕ່ ໜຶ່ງ, ແຕ່ເປັນຊຸດຕົວຊີ້ວັດແລະຕາຕະລາງທັງ ໝົດ ທີ່ສາມາດໃຊ້ເພື່ອຊອກຫາຄຸນລັກສະນະຫຼັກ.

ຂອບໃຈສໍາລັບການອ່ານ! ມີຄວາມສຸກການຮຽນຮູ້!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com