ການຮຽນຮູ້ຂອງ Magic Ensemble

Hey Habr! ພວກເຮົາເຊີນນັກວິສະວະກອນຂໍ້ມູນ ແລະຜູ້ຊ່ຽວຊານດ້ານການຮຽນຮູ້ເຄື່ອງຈັກມາຮຽນແບບສາທິດຟຣີ "ຜົນຜະລິດຂອງແບບຈໍາລອງ ML ໄປສູ່ສະພາບແວດລ້ອມອຸດສາຫະກໍາໂດຍໃຊ້ຕົວຢ່າງຂອງຄໍາແນະນໍາອອນໄລນ໌". ພວກເຮົາຍັງເຜີຍແຜ່ບົດຄວາມ Luca Monno - ຫົວຫນ້າການວິເຄາະທາງດ້ານການເງິນທີ່ CDP SpA.

ຫນຶ່ງໃນວິທີການຮຽນຮູ້ເຄື່ອງຈັກທີ່ເປັນປະໂຫຍດແລະງ່າຍດາຍທີ່ສຸດແມ່ນ Ensemble Learning. Ensemble Learning ແມ່ນວິທີການທີ່ຢູ່ເບື້ອງຫລັງ XGBoost, Bagging, Random Forest ແລະຫຼາຍໆວິທີອື່ນໆ.

ມີບົດຄວາມທີ່ດີຫຼາຍກ່ຽວກັບ Towards Data Science, ແຕ່ຂ້ອຍເລືອກສອງເລື່ອງ (ກ່ອນ и ຄັ້ງທີສອງ) ທີ່​ຂ້າ​ພະ​ເຈົ້າ​ມັກ​ທີ່​ສຸດ​. ດັ່ງນັ້ນເປັນຫຍັງຈຶ່ງຂຽນບົດຄວາມອື່ນກ່ຽວກັບ EL? ເພາະວ່າຂ້ອຍຕ້ອງການສະແດງໃຫ້ທ່ານເຫັນ ມັນເຮັດວຽກແນວໃດກັບຕົວຢ່າງທີ່ງ່າຍດາຍ, ຊຶ່ງເຮັດໃຫ້ຂ້ອຍເຂົ້າໃຈວ່າບໍ່ມີ magic ຢູ່ທີ່ນີ້.

ເມື່ອຂ້ອຍເຫັນ EL ໃນການປະຕິບັດຄັ້ງທໍາອິດ (ເຮັດວຽກກັບບາງຕົວແບບ regression ງ່າຍດາຍຫຼາຍ) ຂ້ອຍບໍ່ສາມາດເຊື່ອຕາຂອງຂ້ອຍ, ແລະຂ້ອຍຍັງຈື່ອາຈານຜູ້ທີ່ສອນວິທີການນີ້ໃຫ້ຂ້ອຍ.

ຂ້ອຍມີສອງຕົວແບບທີ່ແຕກຕ່າງກັນ (ສອງວິທີການຝຶກອົບຮົມທີ່ອ່ອນແອ) ກັບ metrics ອອກຈາກຕົວຢ່າງ R² ເທົ່າກັບ 0,90 ແລະ 0,93, ຕາມລໍາດັບ. ກ່ອນທີ່ຈະເບິ່ງຜົນໄດ້ຮັບ, ຂ້ອຍຄິດວ່າຂ້ອຍຈະໄດ້ຮັບ R² ຢູ່ບ່ອນໃດບ່ອນຫນຶ່ງລະຫວ່າງສອງຄ່າຕົ້ນສະບັບ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ຂ້າພະເຈົ້າເຊື່ອວ່າ EL ສາມາດຖືກນໍາໃຊ້ເພື່ອເຮັດໃຫ້ຕົວແບບປະຕິບັດບໍ່ດີເທົ່າກັບຕົວແບບທີ່ບໍ່ດີທີ່ສຸດ, ແຕ່ບໍ່ແມ່ນຕົວແບບທີ່ດີທີ່ສຸດສາມາດປະຕິບັດໄດ້.

ເພື່ອຄວາມແປກໃຈທີ່ຍິ່ງໃຫຍ່ຂອງຂ້ອຍ, ພຽງແຕ່ສະເລ່ຍການຄາດຄະເນໄດ້ຜົນ R² ຂອງ 0,95. 

ທໍາອິດຂ້ອຍເລີ່ມຊອກຫາຂໍ້ຜິດພາດ, ແຕ່ຫຼັງຈາກນັ້ນຂ້ອຍກໍ່ຄິດວ່າມັນອາດຈະມີ magic ບາງຢ່າງເຊື່ອງຢູ່ທີ່ນີ້!

Ensemble Learning ແມ່ນຫຍັງ

ດ້ວຍ EL, ທ່ານສາມາດສົມທົບການຄາດເດົາຂອງສອງຕົວແບບຫຼືຫຼາຍກວ່ານັ້ນເພື່ອຜະລິດຕົວແບບທີ່ເຂັ້ມແຂງແລະມີປະສິດທິພາບຫຼາຍຂຶ້ນ. ມີວິທີການຈໍານວນຫຼາຍສໍາລັບການເຮັດວຽກກັບ ensembles ຕົວແບບ. ໃນທີ່ນີ້ຂ້າພະເຈົ້າຈະສໍາຜັດກັບສອງອັນທີ່ມີປະໂຫຍດທີ່ສຸດເພື່ອໃຫ້ພາບລວມ.

ດ້ວຍຄວາມຊ່ວຍເຫຼືອຂອງ ການຖົດຖອຍ ມັນເປັນໄປໄດ້ທີ່ຈະສະເລ່ຍປະສິດທິພາບຂອງຕົວແບບທີ່ມີຢູ່.

ດ້ວຍຄວາມຊ່ວຍເຫຼືອຂອງ ການຈັດປະເພດ ທ່ານສາມາດໃຫ້ຕົວແບບມີໂອກາດທີ່ຈະເລືອກເອົາປ້າຍ. ປ້າຍຊື່ທີ່ຖືກເລືອກຫຼາຍທີ່ສຸດແມ່ນອັນທີ່ຈະຖືກເລືອກໂດຍຮູບແບບໃຫມ່.

ເປັນຫຍັງ EL ເຮັດວຽກດີກວ່າ

ເຫດຜົນຕົ້ນຕໍທີ່ EL ປະຕິບັດໄດ້ດີກວ່າແມ່ນວ່າທຸກໆການຄາດຄະເນມີຄວາມຜິດພາດ (ພວກເຮົາຮູ້ນີ້ຈາກທິດສະດີຄວາມເປັນໄປໄດ້), ການສົມທົບສອງການຄາດຄະເນສາມາດຊ່ວຍຫຼຸດຜ່ອນຄວາມຜິດພາດ, ແລະດັ່ງນັ້ນຈຶ່ງປັບປຸງ metrics ການປະຕິບັດ (RMSE, R², ແລະອື່ນໆ). d.).

ແຜນວາດຕໍ່ໄປນີ້ສະແດງໃຫ້ເຫັນວິທີການທີ່ອ່ອນແອສອງອັນເຮັດວຽກຢູ່ໃນຊຸດຂໍ້ມູນ. ສູດການຄິດໄລ່ທໍາອິດມີເປີ້ນພູຂະຫນາດໃຫຍ່ກວ່າຄວາມຕ້ອງການ, ໃນຂະນະທີ່ທີສອງມີເກືອບສູນ (ອາດຈະເປັນຍ້ອນການປົກກະຕິເກີນ). ແຕ່ ensemble ສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບທີ່ດີກວ່າຫຼາຍ. 

ຖ້າທ່ານເບິ່ງຕົວຊີ້ວັດ R², ຫຼັງຈາກນັ້ນສໍາລັບຂັ້ນຕອນການຝຶກອົບຮົມຄັ້ງທໍາອິດແລະທີສອງມັນຈະເທົ່າກັບ -0.01¹, 0.22, ຕາມລໍາດັບ, ໃນຂະນະທີ່ສໍາລັບຊຸດມັນຈະເທົ່າກັບ 0.73.

ມີຫຼາຍເຫດຜົນວ່າເປັນຫຍັງ algorithm ສາມາດເປັນຕົວແບບທີ່ບໍ່ດີເຖິງແມ່ນວ່າຢູ່ໃນຕົວຢ່າງພື້ນຖານເຊັ່ນນີ້: ບາງທີເຈົ້າໄດ້ຕັດສິນໃຈທີ່ຈະໃຊ້ການປັບຕົວແບບປົກກະຕິເພື່ອຫຼີກເວັ້ນການ overfitting, ຫຼືທ່ານຕັດສິນໃຈທີ່ຈະບໍ່ປະຕິເສດຄວາມຜິດປົກກະຕິບາງຢ່າງ, ຫຼືບາງທີເຈົ້າອາດຈະໃຊ້ polynomial regression ແລະຜິດພາດ. degree (ຕົວຢ່າງ: ພວກເຮົາໃຊ້ polynomial ຂອງລະດັບທີສອງ, ແລະຂໍ້ມູນການທົດສອບສະແດງໃຫ້ເຫັນຄວາມບໍ່ສົມດຸນທີ່ຊັດເຈນສໍາລັບລະດັບທີສາມຈະເຫມາະສົມກວ່າ).

ເມື່ອ EL ເຮັດວຽກດີຂຶ້ນ

ຂໍໃຫ້ເບິ່ງສອງວິທີການຮຽນຮູ້ທີ່ເຮັດວຽກກັບຂໍ້ມູນດຽວກັນ.

ໃນທີ່ນີ້ທ່ານສາມາດເຫັນໄດ້ວ່າການລວມທັງສອງແບບບໍ່ໄດ້ປັບປຸງປະສິດທິພາບຫຼາຍ. ໃນເບື້ອງຕົ້ນ, ສໍາລັບທັງສອງວິທີການຝຶກອົບຮົມ, ຕົວຊີ້ວັດ R² ແມ່ນເທົ່າກັບ -0,37 ແລະ 0,22, ຕາມລໍາດັບ, ແລະສໍາລັບກຸ່ມດັ່ງກ່າວໄດ້ຫັນອອກເປັນ -0,04. ນັ້ນແມ່ນ, ຮູບແບບ EL ໄດ້ຮັບຄ່າສະເລ່ຍຂອງຕົວຊີ້ວັດ.

ຢ່າງໃດກໍຕາມ, ມີຄວາມແຕກຕ່າງກັນຢ່າງຫຼວງຫຼາຍລະຫວ່າງສອງຕົວຢ່າງນີ້: ໃນຕົວຢ່າງທໍາອິດ, ຄວາມຜິດພາດຂອງຕົວແບບມີຄວາມສໍາພັນທາງລົບ, ແລະໃນທີສອງ, ມັນມີຄວາມສໍາພັນທາງບວກ (ຄ່າສໍາປະສິດຂອງສາມຕົວແບບບໍ່ໄດ້ຄາດຄະເນ, ແຕ່ຖືກເລືອກໂດຍງ່າຍດາຍ. ຜູ້ຂຽນເປັນຕົວຢ່າງ.)

ດັ່ງນັ້ນ, Ensemble Learning ສາມາດຖືກນໍາໃຊ້ເພື່ອປັບປຸງຄວາມສົມດູນອະຄະຕິ / ຄວາມແຕກຕ່າງກັນໃນກໍລະນີໃດກໍ່ຕາມ, ແຕ່ວ່າເວລາໃດ ຄວາມຜິດພາດຂອງຕົວແບບບໍ່ມີຄວາມສໍາພັນທາງບວກ, ການນໍາໃຊ້ EL ອາດຈະນໍາໄປສູ່ການປັບປຸງປະສິດທິພາບ.

ແບບຈໍາລອງທີ່ເປັນແບບດຽວກັນ ແລະແບບຕ່າງກັນ

ສ່ວນຫຼາຍມັກ EL ຖືກນໍາໃຊ້ໃນຕົວແບບດຽວກັນ (ເຊັ່ນໃນຕົວຢ່າງນີ້ຫຼືປ່າສຸ່ມ), ແຕ່ຄວາມຈິງແລ້ວທ່ານສາມາດສົມທົບແບບຈໍາລອງທີ່ແຕກຕ່າງກັນ (linear regression + neural network + XGBoost) ກັບຊຸດທີ່ແຕກຕ່າງກັນຂອງຕົວແປຄໍາອະທິບາຍ. ນີ້ອາດຈະເຮັດໃຫ້ຄວາມຜິດພາດທີ່ບໍ່ກ່ຽວຂ້ອງກັນແລະການປັບປຸງການປະຕິບັດ.

ການປຽບທຽບກັບຄວາມຫຼາກຫຼາຍຂອງຫຼັກຊັບ

EL ເຮັດວຽກຄ້າຍຄືກັນກັບຄວາມຫຼາກຫຼາຍໃນທິດສະດີຫຼັກຊັບ, ແຕ່ຫຼາຍທີ່ດີກວ່າສໍາລັບພວກເຮົາ. 

ເມື່ອມີຄວາມຫຼາກຫຼາຍ, ທ່ານພະຍາຍາມຫຼຸດຜ່ອນຄວາມແຕກຕ່າງກັນຂອງການປະຕິບັດຂອງທ່ານໂດຍການລົງທຶນໃນຫຼັກຊັບທີ່ບໍ່ກ່ຽວຂ້ອງ. ຫຼັກຊັບທີ່ມີຄວາມຫຼາກຫຼາຍທີ່ດີຈະປະຕິບັດໄດ້ດີກ່ວາຫຼັກຊັບສ່ວນບຸກຄົນທີ່ຮ້າຍແຮງທີ່ສຸດ, ແຕ່ບໍ່ເຄີຍດີກ່ວາທີ່ດີທີ່ສຸດ.

ອ້າງເຖິງຂໍ້ຄວາມຈາກ Warren Buffett: 

"ຄວາມຫຼາກຫຼາຍແມ່ນການປ້ອງກັນຄວາມໂງ່ຈ້າ; ສໍາລັບຄົນທີ່ບໍ່ຮູ້ວ່າລາວກໍາລັງເຮັດຫຍັງ, ມັນ [ຄວາມຫຼາກຫຼາຍ] ມີຄວາມຫມາຍຫນ້ອຍຫຼາຍ."

ໃນການຮຽນຮູ້ຂອງເຄື່ອງຈັກ, EL ຊ່ວຍຫຼຸດຜ່ອນຄວາມແຕກຕ່າງກັນຂອງຕົວແບບຂອງທ່ານ, ແຕ່ມັນອາດຈະເຮັດໃຫ້ຕົວແບບທີ່ມີການປະຕິບັດໂດຍລວມດີກ່ວາຮູບແບບຕົ້ນສະບັບທີ່ດີທີ່ສຸດ.

ໃຫ້ສະຫຼຸບຜົນໄດ້ຮັບ

ການລວມຕົວແບບຫຼາຍແບບເຂົ້າໄປໃນຫນຶ່ງແມ່ນເຕັກນິກທີ່ຂ້ອນຂ້າງງ່າຍດາຍທີ່ສາມາດນໍາໄປສູ່ການແກ້ໄຂບັນຫາຄວາມລໍາອຽງຂອງການປ່ຽນແປງແລະການປັບປຸງການປະຕິບັດ.

ຖ້າທ່ານມີສອງຫຼືຫຼາຍກວ່າແບບທີ່ເຮັດວຽກໄດ້ດີ, ຢ່າເລືອກລະຫວ່າງພວກມັນ: ໃຊ້ພວກມັນທັງຫມົດ (ແຕ່ລະມັດລະວັງ)!

ທ່ານມີຄວາມສົນໃຈໃນການພັດທະນາໃນທິດທາງນີ້ບໍ? ລົງທະບຽນສໍາລັບບົດຮຽນຕົວຢ່າງຟຣີ "ຜົນຜະລິດຂອງແບບຈໍາລອງ ML ໄປສູ່ສະພາບແວດລ້ອມອຸດສາຫະກໍາໂດຍໃຊ້ຕົວຢ່າງຂອງຄໍາແນະນໍາອອນໄລນ໌" ແລະມີສ່ວນຮ່ວມໃນ ກອງປະຊຸມອອນໄລນ໌ກັບ Andrey Kuznetsov — ວິສະວະກອນການຮຽນຮູ້ເຄື່ອງຈັກຢູ່ Mail.ru Group.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com