Linear regression ແລະວິທີການສໍາລັບການຟື້ນຕົວຂອງມັນ

ແຫຼ່ງຂໍ້ມູນ: xkcd

Linear regression ແມ່ນຫນຶ່ງໃນສູດການຄິດໄລ່ພື້ນຖານສໍາລັບຫຼາຍຂົງເຂດທີ່ກ່ຽວຂ້ອງກັບການວິເຄາະຂໍ້ມູນ. ເຫດຜົນສໍາລັບການນີ້ແມ່ນຈະແຈ້ງ. ນີ້ແມ່ນສູດການຄິດໄລ່ທີ່ງ່າຍດາຍຫຼາຍແລະເຂົ້າໃຈໄດ້, ເຊິ່ງໄດ້ປະກອບສ່ວນເຂົ້າໃນການນໍາໃຊ້ຢ່າງກວ້າງຂວາງຂອງມັນເປັນເວລາຫຼາຍສິບ, ຖ້າບໍ່ແມ່ນຫຼາຍຮ້ອຍ, ຂອງປີ. ແນວຄວາມຄິດແມ່ນວ່າພວກເຮົາສົມມຸດການເອື່ອຍອີງເສັ້ນຊື່ຂອງຕົວແປຫນຶ່ງກ່ຽວກັບຊຸດຂອງຕົວແປອື່ນໆ, ແລະຫຼັງຈາກນັ້ນພະຍາຍາມຟື້ນຟູການເພິ່ງພາອາໄສນີ້.

ແຕ່ບົດຄວາມນີ້ບໍ່ແມ່ນກ່ຽວກັບການໃຊ້ regression linear ເພື່ອແກ້ໄຂບັນຫາພາກປະຕິບັດ. ໃນທີ່ນີ້ພວກເຮົາຈະພິຈາລະນາລັກສະນະທີ່ຫນ້າສົນໃຈຂອງການປະຕິບັດການແຈກຢາຍສູດການຄິດໄລ່ສໍາລັບການຟື້ນຕົວຂອງມັນ, ທີ່ພວກເຮົາພົບໃນເວລາທີ່ຂຽນໂມດູນການຮຽນຮູ້ເຄື່ອງຈັກໃນ Apache Ignite. ຄະນິດສາດພື້ນຖານເລັກນ້ອຍ, ການຮຽນຮູ້ຂອງເຄື່ອງຈັກ, ແລະຄອມພິວເຕີ້ທີ່ແຈກຢາຍສາມາດຊ່ວຍທ່ານຊອກຫາວິທີປະຕິບັດການຖົດຖອຍເສັ້ນຊື່ເຖິງແມ່ນວ່າຂໍ້ມູນຂອງທ່ານຈະຖືກແຈກຢາຍໃນທົ່ວຫລາຍພັນຂໍ້.

ພວກເຮົາເວົ້າກ່ຽວກັບຫຍັງ?

ພວກ​ເຮົາ​ໄດ້​ປະ​ເຊີນ​ຫນ້າ​ກັບ​ວຽກ​ງານ​ຂອງ​ການ​ຟື້ນ​ຟູ​ການ​ເອື່ອຍ​ອີງ​ຕາມ​ເສັ້ນ​. ໃນ​ຖາ​ນະ​ເປັນ​ຂໍ້​ມູນ​ການ​ປ້ອນ​ຂໍ້​ມູນ​, ຊຸດ​ຂອງ vectors ຂອງ​ຕົວ​ແປ​ທີ່​ສົມ​ມຸດ​ວ່າ​ເປັນ​ເອ​ກະ​ລາດ​ແມ່ນ​ໄດ້​ຖືກ​ໃຫ້​, ແຕ່​ລະ​ອັນ​ທີ່​ກ່ຽວ​ຂ້ອງ​ກັບ​ຄ່າ​ສະ​ເພາະ​ໃດ​ຫນຶ່ງ​ຂອງ​ຕົວ​ແປ​ທີ່​ອີງ​ໃສ່​. ຂໍ້ມູນນີ້ສາມາດຖືກສະແດງໃນຮູບແບບຂອງສອງ matrices:

ໃນປັດຈຸບັນ, ນັບຕັ້ງແຕ່ການເພິ່ງພາອາໄສແມ່ນສົມມຸດຕິຖານ, ແລະ, ນອກຈາກນັ້ນ, ເສັ້ນ, ພວກເຮົາຈະຂຽນສົມມຸດຕິຖານຂອງພວກເຮົາໃນຮູບແບບຂອງຜະລິດຕະພັນຂອງ matrices (ເພື່ອເຮັດໃຫ້ການບັນທຶກງ່າຍ, ທີ່ນີ້ແລະຂ້າງລຸ່ມນີ້ແມ່ນສົມມຸດວ່າຄໍາສັບຟຣີຂອງສົມຜົນແມ່ນເຊື່ອງໄວ້ທາງຫລັງ. , ແລະຖັນສຸດທ້າຍຂອງ matrix ປະ​ກອບ​ດ້ວຍ​ຫົວ​ຫນ່ວຍ​:

ຟັງຄືລະບົບສົມຜົນເສັ້ນຊື່, ບໍ່ແມ່ນບໍ? ມັນເບິ່ງຄືວ່າ, ແຕ່ສ່ວນຫຼາຍອາດຈະບໍ່ມີການແກ້ໄຂກັບລະບົບສົມຜົນດັ່ງກ່າວ. ເຫດຜົນສໍາລັບການນີ້ແມ່ນສິ່ງລົບກວນ, ທີ່ມີຢູ່ໃນເກືອບທຸກຂໍ້ມູນທີ່ແທ້ຈິງ. ເຫດຜົນອີກຢ່າງຫນຶ່ງອາດຈະເປັນການຂາດການເພິ່ງພາອາໄສແບບເສັ້ນ, ເຊິ່ງສາມາດຕໍ່ສູ້ກັບຕົວແປເພີ່ມເຕີມທີ່ບໍ່ຂຶ້ນກັບຕົວແປຕົ້ນສະບັບ. ພິຈາລະນາຕົວຢ່າງຕໍ່ໄປນີ້:

ແຫຼ່ງຂໍ້ມູນ: ວິກິພີເດຍ

ນີ້ແມ່ນຕົວຢ່າງທີ່ງ່າຍດາຍຂອງການຖົດຖອຍເສັ້ນທີ່ສະແດງໃຫ້ເຫັນຄວາມສໍາພັນຂອງຕົວແປຫນຶ່ງ (ຕາມແກນ ) ຈາກຕົວແປອື່ນ (ຕາມແກນ ). ເພື່ອໃຫ້ລະບົບສົມຜົນເສັ້ນກົງກັບຕົວຢ່າງນີ້ມີການແກ້ໄຂ, ຈຸດທັງຫມົດຕ້ອງນອນຢູ່ໃນເສັ້ນຊື່ດຽວກັນ. ແຕ່ນັ້ນບໍ່ແມ່ນຄວາມຈິງ. ແຕ່ພວກເຂົາບໍ່ໄດ້ນອນຢູ່ໃນເສັ້ນຊື່ດຽວກັນຢ່າງແນ່ນອນຍ້ອນສິ່ງລົບກວນ (ຫຼືຍ້ອນວ່າການສົມມຸດຕິຖານຂອງຄວາມສໍາພັນເສັ້ນແມ່ນຜິດພາດ). ດັ່ງນັ້ນ, ເພື່ອຟື້ນຟູຄວາມສໍາພັນທາງເສັ້ນຈາກຂໍ້ມູນທີ່ແທ້ຈິງ, ມັນເປັນສິ່ງຈໍາເປັນທີ່ຈະແນະນໍາອີກຫນຶ່ງສົມມຸດຕິຖານ: ຂໍ້ມູນປ້ອນເຂົ້າມີສຽງລົບກວນແລະສິ່ງລົບກວນນີ້ມີ. ການ​ແຜ່​ກະ​ຈາຍ​ປົກ​ກະ​ຕິ​. ທ່ານສາມາດສົມມຸດຕິຖານກ່ຽວກັບການແຈກຢາຍສິ່ງລົບກວນປະເພດອື່ນໆ, ແຕ່ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ມັນແມ່ນການແຜ່ກະຈາຍປົກກະຕິທີ່ຖືກພິຈາລະນາ, ເຊິ່ງຈະຖືກປຶກສາຫາລືຕື່ມອີກ.

ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ

ດັ່ງນັ້ນ, ພວກເຮົາສົມມຸດວ່າມີສິ່ງລົບກວນທີ່ແຈກຢາຍແບບສຸ່ມຕາມປົກກະຕິ. ຈະເຮັດແນວໃດໃນສະຖານະການດັ່ງກ່າວ? ສໍາລັບກໍລະນີນີ້ໃນຄະນິດສາດມີແລະຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງ ວິທີການຄວາມເປັນໄປໄດ້ສູງສຸດ. ໃນສັ້ນ, ຄວາມສໍາຄັນຂອງມັນແມ່ນຢູ່ໃນທາງເລືອກ ຫນ້າທີ່ຄວາມເປັນໄປໄດ້ ແລະການເພີ່ມປະສິດທິພາບຕໍ່ໄປຂອງມັນ.

ພວກເຮົາກັບຄືນສູ່ການຟື້ນຟູຄວາມສໍາພັນເສັ້ນຊື່ຈາກຂໍ້ມູນທີ່ມີສິ່ງລົບກວນປົກກະຕິ. ໃຫ້ສັງເກດວ່າຄວາມສໍາພັນເສັ້ນສົມມຸດຕິຖານແມ່ນຄວາມຄາດຫວັງທາງຄະນິດສາດ ການແຜ່ກະຈາຍປົກກະຕິທີ່ມີຢູ່. ໃນເວລາດຽວກັນ, ຄວາມເປັນໄປໄດ້ທີ່ ເອົາມູນຄ່າຫນຶ່ງຫຼືອັນອື່ນ, ຂຶ້ນກັບການປະກົດຕົວຂອງສິ່ງທີ່ສັງເກດໄດ້ , ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

ຕອນນີ້ໃຫ້ພວກເຮົາປ່ຽນແທນ и ຕົວແປທີ່ພວກເຮົາຕ້ອງການແມ່ນ:

ທັງຫມົດທີ່ຍັງເຫຼືອແມ່ນເພື່ອຊອກຫາ vector ໄດ້ , ທີ່ຄວາມເປັນໄປໄດ້ນີ້ແມ່ນສູງສຸດ. ເພື່ອເພີ່ມປະສິດທິພາບການທໍາງານດັ່ງກ່າວ, ມັນເປັນການສະດວກທໍາອິດທີ່ຈະເອົາ logarithm ຂອງມັນ (logarithm ຂອງຟັງຊັນຈະບັນລຸໄດ້ສູງສຸດໃນຈຸດດຽວກັນກັບຟັງຊັນຂອງມັນເອງ):

ເຊິ່ງ, ໃນທາງກັບກັນ, ລົງມາເພື່ອຫຼຸດຜ່ອນຫນ້າທີ່ຕໍ່ໄປນີ້:

ໂດຍວິທີທາງການ, ນີ້ເອີ້ນວ່າວິທີການ ສີ່ຫຼ່ຽມນ້ອຍ. ເລື້ອຍໆການພິຈາລະນາຂ້າງເທິງທັງຫມົດແມ່ນຖືກຍົກເວັ້ນແລະວິທີການນີ້ຖືກນໍາໃຊ້ຢ່າງງ່າຍດາຍ.

ການຍ່ອຍສະຫຼາຍ QR

ຕໍາ່ສຸດທີ່ຂອງຟັງຊັນຂ້າງເທິງສາມາດພົບເຫັນໄດ້ໂດຍການຊອກຫາຈຸດທີ່ gradient ຂອງຟັງຊັນນີ້ແມ່ນສູນ. ແລະ gradient ຈະຖືກຂຽນດັ່ງຕໍ່ໄປນີ້:

ການຍ່ອຍສະຫຼາຍ QR ແມ່ນວິທີການ matrix ສໍາລັບການແກ້ໄຂບັນຫາການຫຼຸດຜ່ອນການນໍາໃຊ້ໃນວິທີການສີ່ຫລ່ຽມນ້ອຍທີ່ສຸດ. ໃນເລື່ອງນີ້, ພວກເຮົາຂຽນຄືນສົມຜົນໃນຮູບແບບ matrix:

ດັ່ງນັ້ນພວກເຮົາ decompose ມາຕຣິກເບື້ອງ ກັບ matrices и ແລະປະຕິບັດຊຸດຂອງການຫັນປ່ຽນ (ສູດການຄິດໄລ່ການຍ່ອຍສະຫຼາຍ QR ຕົວຂອງມັນເອງຈະບໍ່ຖືກພິຈາລະນາຢູ່ທີ່ນີ້, ພຽງແຕ່ການນໍາໃຊ້ຂອງມັນທີ່ກ່ຽວຂ້ອງກັບວຽກງານທີ່ມີຢູ່ໃນມື):

Matrix ແມ່ນ orthagonal. ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາກໍາຈັດການເຮັດວຽກ :

ແລະຖ້າທ່ານປ່ຽນແທນ ສຸດ , ຫຼັງຈາກນັ້ນມັນຈະເຮັດວຽກອອກ . ພິຈາລະນາວ່າ ແມ່ນຕາຕະລາງສາມຫຼ່ຽມເທິງ, ມັນເບິ່ງຄືວ່ານີ້:

ນີ້ສາມາດແກ້ໄຂໄດ້ໂດຍໃຊ້ວິທີການທົດແທນ. ອົງປະກອບ ຕັ້ງຢູ່ເປັນ , ອົງປະກອບທີ່ຜ່ານມາ ຕັ້ງຢູ່ເປັນ ແລະອື່ນໆ.

ມັນເປັນມູນຄ່າທີ່ສັງເກດວ່າຄວາມສັບສົນຂອງສູດການຄິດໄລ່ຜົນມາຈາກການນໍາໃຊ້ການຍ່ອຍສະຫຼາຍຂອງ QR ແມ່ນເທົ່າກັບ. . ຍິ່ງໄປກວ່ານັ້ນ, ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າການປະຕິບັດການຄູນມາຕຣິກເບື້ອງແມ່ນຂະຫນານກັນດີ, ມັນບໍ່ສາມາດຂຽນສະບັບແຈກຢາຍທີ່ມີປະສິດທິພາບຂອງສູດການຄິດໄລ່ນີ້.

Gradient Descent

ໃນເວລາທີ່ເວົ້າກ່ຽວກັບການຫຼຸດຜ່ອນການທໍາງານ, ມັນເປັນສະເຫມີຕົກເປັນມູນຄ່າຈື່ວິທີການຂອງ (stochastic) descent gradient. ນີ້ແມ່ນວິທີການຫຼຸດຜ່ອນທີ່ງ່າຍດາຍ ແລະມີປະສິດທິພາບໂດຍອີງໃສ່ການຄິດໄລ່ gradient ຂອງຟັງຊັນໃດໜຶ່ງຢູ່ຈຸດໃດໜຶ່ງ ແລະປ່ຽນມັນໄປໃນທິດທາງກົງກັນຂ້າມກັບ gradient. ແຕ່ລະຂັ້ນຕອນດັ່ງກ່າວເອົາການແກ້ໄຂໄດ້ໃກ້ຊິດກັບຕໍາ່ສຸດທີ່. gradient ຍັງເບິ່ງຄືເກົ່າ:

ວິທີການນີ້ຍັງຖືກຂະຫນານແລະແຈກຢາຍໄດ້ດີເນື່ອງຈາກຄຸນສົມບັດເສັ້ນຂອງຕົວປະຕິບັດການ gradient. ໃຫ້ສັງເກດວ່າໃນສູດຂ້າງເທິງ, ພາຍໃຕ້ເຄື່ອງຫມາຍລວມມີຂໍ້ກໍານົດເອກະລາດ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ພວກເຮົາສາມາດຄິດໄລ່ gradient ເປັນເອກະລາດສໍາລັບຕົວຊີ້ວັດທັງຫມົດ ຈາກທໍາອິດຫາ , ໃນຂະຫນານກັບນີ້, ຄິດໄລ່ gradient ສໍາລັບດັດຊະນີທີ່ມີ ການ . ຫຼັງຈາກນັ້ນ, ເພີ່ມ gradients ຜົນໄດ້ຮັບ. ຜົນໄດ້ຮັບຂອງການເພີ່ມຈະຄືກັນກັບວ່າພວກເຮົາຄິດໄລ່ gradient ສໍາລັບຕົວຊີ້ວັດຈາກທໍາອິດໄປຫາ . ດັ່ງນັ້ນ, ຖ້າຂໍ້ມູນຖືກແຈກຢາຍຢູ່ໃນຫຼາຍໆຊິ້ນຂອງຂໍ້ມູນ, gradient ສາມາດຖືກຄິດໄລ່ເປັນເອກະລາດໃນແຕ່ລະຊິ້ນ, ແລະຫຼັງຈາກນັ້ນຜົນໄດ້ຮັບຂອງການຄິດໄລ່ເຫຼົ່ານີ້ສາມາດສະຫຼຸບໄດ້ເພື່ອໃຫ້ໄດ້ຜົນສຸດທ້າຍ:

ຈາກທັດສະນະຂອງການຈັດຕັ້ງປະຕິບັດ, ນີ້ເຫມາະສົມກັບແບບແຜນ ຫຼຸດແຜນທີ່. ໃນແຕ່ລະຂັ້ນຕອນຂອງການສືບເຊື້ອສາຍ gradient, ວຽກງານຖືກສົ່ງໄປຫາແຕ່ລະຂໍ້ຂໍ້ມູນເພື່ອຄິດໄລ່ gradient, ຫຼັງຈາກນັ້ນການຄິດໄລ່ gradients ໄດ້ຖືກລວບລວມຮ່ວມກັນ, ແລະຜົນໄດ້ຮັບຂອງຜົນລວມຂອງພວກເຂົາຖືກນໍາໃຊ້ເພື່ອປັບປຸງຜົນໄດ້ຮັບ.

ເຖິງວ່າຈະມີຄວາມສະດວກໃນການປະຕິບັດແລະຄວາມສາມາດໃນການປະຕິບັດໃນແບບແຜນ MapReduce, ການສືບເຊື້ອສາຍ gradient ຍັງມີຂໍ້ບົກຜ່ອງຂອງມັນ. ໂດຍສະເພາະ, ຈໍານວນຂອງຂັ້ນຕອນທີ່ຈໍາເປັນເພື່ອບັນລຸການ convergence ແມ່ນສູງຂຶ້ນຢ່າງຫຼວງຫຼາຍເມື່ອທຽບກັບວິທີການພິເສດອື່ນໆ.

LSQR

LSQR ເປັນອີກວິທີໜຶ່ງໃນການແກ້ໄຂບັນຫາ, ເຊິ່ງເໝາະສົມທັງການຟື້ນຟູການຖົດຖອຍຂອງເສັ້ນຊື່ ແລະສຳລັບການແກ້ໄຂລະບົບສົມຜົນເສັ້ນຊື່. ຄຸນນະສົມບັດຕົ້ນຕໍຂອງມັນແມ່ນວ່າມັນປະສົມປະສານຄວາມໄດ້ປຽບຂອງວິທີການ matrix ແລະວິທີການຊ້ໍາກັນ. ການປະຕິບັດວິທີການນີ້ສາມາດພົບເຫັນຢູ່ໃນຫ້ອງສະຫມຸດທັງສອງ SciPy, ແລະໃນ MATLAB. ລາຍລະອຽດຂອງວິທີການນີ້ຈະບໍ່ຖືກໃຫ້ຢູ່ທີ່ນີ້ (ມັນສາມາດພົບໄດ້ໃນບົດຄວາມ LSQR: ສູດການຄິດໄລ່ສຳລັບສົມຜົນເສັ້ນຈ່າງກະຈ່າງໃສ ແລະສີ່ຫຼ່ຽມຫຼ່ຽມນ້ອຍສຸດກະແຈກກະຈາຍ.). ແທນທີ່ຈະ, ວິທີການຈະຖືກສະແດງໃຫ້ເຫັນເພື່ອປັບ LSQR ເຂົ້າໃນການປະຕິບັດໃນສະພາບແວດລ້ອມທີ່ແຈກຢາຍ.

ວິທີການ LSQR ແມ່ນອີງໃສ່ ຂັ້ນ​ຕອນ​ການ bidiagonalization​. ນີ້​ແມ່ນ​ຂັ້ນ​ຕອນ​ການ​ຊ​້​ໍາ​, ແຕ່​ລະ iteration ປະ​ກອບ​ດ້ວຍ​ຂັ້ນ​ຕອນ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:


ແຕ່ຖ້າພວກເຮົາສົມມຸດວ່າ matrix ຖືກແບ່ງອອກຕາມລວງນອນ, ຫຼັງຈາກນັ້ນແຕ່ລະ iteration ສາມາດເປັນຕົວແທນເປັນສອງຂັ້ນຕອນ MapReduce. ດ້ວຍວິທີນີ້, ມັນເປັນໄປໄດ້ທີ່ຈະຫຼຸດຜ່ອນການໂອນຂໍ້ມູນໃນລະຫວ່າງແຕ່ລະ iteration (ພຽງແຕ່ vectors ທີ່ມີຄວາມຍາວເທົ່າກັບຈໍານວນທີ່ບໍ່ຮູ້ຈັກ):

ມັນແມ່ນວິທີການນີ້ທີ່ຖືກນໍາໃຊ້ໃນເວລາທີ່ປະຕິບັດການຖົດຖອຍເສັ້ນໃນ Apache Ignite ML.

ສະຫລຸບ

ມີຫຼາຍຂັ້ນຕອນການຟື້ນຕົວແບບເສັ້ນຊື່, ແຕ່ບໍ່ແມ່ນທັງໝົດຂອງພວກມັນສາມາດນຳໃຊ້ໄດ້ໃນທຸກເງື່ອນໄຂ. ດັ່ງນັ້ນການທໍາລາຍ QR ແມ່ນດີເລີດສໍາລັບການແກ້ໄຂທີ່ຖືກຕ້ອງກ່ຽວກັບຊຸດຂໍ້ມູນຂະຫນາດນ້ອຍ. ການສືບເຊື້ອສາຍ Gradient ແມ່ນງ່າຍດາຍທີ່ຈະປະຕິບັດແລະຊ່ວຍໃຫ້ທ່ານຊອກຫາການແກ້ໄຂໂດຍປະມານຢ່າງໄວວາ. ແລະ LSQR ປະສົມປະສານຄຸນສົມບັດທີ່ດີທີ່ສຸດຂອງສອງ algorithm ທີ່ຜ່ານມາ, ເນື່ອງຈາກວ່າມັນສາມາດແຈກຢາຍໄດ້, converges ໄວຂຶ້ນເມື່ອທຽບກັບ gradient descent, ແລະຍັງອະນຸຍາດໃຫ້ຢຸດເຊົາການເລີ່ມຕົ້ນຂອງ algorithm, ບໍ່ເຫມືອນກັບ decomposition QR, ເພື່ອຊອກຫາວິທີແກ້ໄຂໂດຍປະມານ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com