ການປະຕິບັດການຮຽນຮູ້ເຄື່ອງຈັກໃນ Mail.ru Mail

ອີງໃສ່ຄຳປາໄສຂອງຂ້ອຍຢູ່ທີ່ Highload++ ແລະ DataFest Minsk 2019.

ສໍາລັບຫຼາຍໆຄົນໃນມື້ນີ້, ເມລແມ່ນສ່ວນຫນຶ່ງທີ່ສໍາຄັນຂອງຊີວິດອອນໄລນ໌. ດ້ວຍການຊ່ວຍເຫຼືອຂອງມັນ, ພວກເຮົາເຮັດການຕິດຕໍ່ທຸລະກິດ, ເກັບຮັກສາຂໍ້ມູນທີ່ສໍາຄັນທຸກປະເພດທີ່ກ່ຽວຂ້ອງກັບການເງິນ, ການຈອງໂຮງແຮມ, ການສັ່ງຊື້ແລະອື່ນໆ. ໃນກາງປີ 2018, ພວກເຮົາໄດ້ສ້າງຍຸດທະສາດຜະລິດຕະພັນສໍາລັບການພັດທະນາໄປສະນີ. ຈົດໝາຍສະໄໝໃໝ່ຄວນເປັນແນວໃດ?

ຈົດໝາຍຕ້ອງເປັນ ສະຫຼາດ, ນັ້ນແມ່ນ, ຊ່ວຍໃຫ້ຜູ້ໃຊ້ຄົ້ນຫາປະລິມານຂໍ້ມູນເພີ່ມຂຶ້ນ: ການກັ່ນຕອງ, ໂຄງສ້າງແລະສະຫນອງມັນດ້ວຍວິທີທີ່ສະດວກທີ່ສຸດ. ນາງຕ້ອງເປັນ ເປັນປະໂຫຍດ, ຊ່ວຍໃຫ້ທ່ານສາມາດແກ້ໄຂວຽກງານຕ່າງໆໄດ້ຢ່າງຖືກຕ້ອງໃນກ່ອງຈົດຫມາຍຂອງທ່ານ, ສໍາລັບຕົວຢ່າງ, ຈ່າຍຄ່າປັບໄຫມ (ຫນ້າທີ່, ແຕ່ຫນ້າເສຍດາຍ, ຂ້ອຍໃຊ້). ແລະໃນເວລາດຽວກັນ, ແນ່ນອນ, mail ຈະຕ້ອງສະຫນອງການປົກປ້ອງຂໍ້ມູນ, ຕັດ spam ແລະປ້ອງກັນການ hack, ນັ້ນແມ່ນ, ເປັນ. ປອດໄພ.

ຂົງ​ເຂດ​ເຫຼົ່າ​ນີ້​ກຳ​ນົດ​ບັນ​ຫາ​ສຳ​ຄັນ​ຈຳ​ນວນ​ໜຶ່ງ, ເຊິ່ງ​ຫຼາຍ​ຢ່າງ​ສາ​ມາດ​ແກ້​ໄຂ​ໄດ້​ຢ່າງ​ມີ​ປະ​ສິດ​ທິ​ຜົນ​ໂດຍ​ໃຊ້​ການ​ຮຽນ​ຮູ້​ເຄື່ອງ​ຈັກ. ນີ້ແມ່ນຕົວຢ່າງຂອງລັກສະນະທີ່ມີຢູ່ແລ້ວທີ່ພັດທະນາເປັນສ່ວນຫນຶ່ງຂອງຍຸດທະສາດ - ຫນຶ່ງສໍາລັບແຕ່ລະທິດທາງ.

• Smart Reply. ອີເມລມີຄຸນສົມບັດຕອບກັບອັດສະລິຍະ. ເຄືອຂ່າຍ neural ວິເຄາະຂໍ້ຄວາມຂອງຈົດຫມາຍ, ເຂົ້າໃຈຄວາມຫມາຍແລະຈຸດປະສົງຂອງມັນ, ແລະດັ່ງນັ້ນຈຶ່ງສະເຫນີສາມທາງເລືອກການຕອບສະຫນອງທີ່ເຫມາະສົມທີ່ສຸດ: ບວກ, ລົບແລະເປັນກາງ. ອັນນີ້ຊ່ວຍປະຫຍັດເວລາໃນການຕອບຈົດໝາຍໄດ້ຢ່າງຫຼວງຫຼາຍ, ແລະຍັງມັກຈະຕອບສະໜອງໃນແບບທີ່ບໍ່ໄດ້ມາດຕະຖານ ແລະຕະຫຼົກ.
• ການຈັດກຸ່ມອີເມວກ່ຽວຂ້ອງກັບຄໍາສັ່ງໃນຮ້ານອອນໄລນ໌. ພວກເຮົາມັກຈະຊື້ເຄື່ອງອອນໄລນ໌, ແລະ, ຕາມກົດລະບຽບ, ຮ້ານຄ້າສາມາດສົ່ງອີເມວຫຼາຍຄັ້ງສໍາລັບແຕ່ລະຄໍາສັ່ງ. ຕົວຢ່າງ, ຈາກ AliExpress, ການບໍລິການທີ່ໃຫຍ່ທີ່ສຸດ, ຕົວອັກສອນຈໍານວນຫລາຍເຂົ້າມາໃນຄໍາສັ່ງຫນຶ່ງ, ແລະພວກເຮົາໄດ້ຄິດໄລ່ວ່າໃນກໍລະນີ terminal ຈໍານວນຂອງພວກເຂົາສາມາດບັນລຸເຖິງ 29. ດັ່ງນັ້ນ, ການນໍາໃຊ້ຕົວແບບການຮັບຮູ້ Entity ທີ່ມີຊື່, ພວກເຮົາສະກັດຈໍານວນຄໍາສັ່ງ. ແລະຂໍ້ມູນອື່ນໆຈາກຂໍ້ຄວາມ ແລະຈັດກຸ່ມຕົວອັກສອນທັງໝົດໃນກະທູ້ດຽວ. ພວກເຮົາຍັງສະແດງຂໍ້ມູນພື້ນຖານກ່ຽວກັບຄໍາສັ່ງຢູ່ໃນກ່ອງແຍກຕ່າງຫາກ, ເຊິ່ງເຮັດໃຫ້ມັນງ່າຍຕໍ່ການເຮັດວຽກກັບອີເມວປະເພດນີ້.

  

• ຕ້ານການ phishing. ການຫຼອກລວງແມ່ນເປັນປະເພດການສໍ້ໂກງທີ່ເປັນອັນຕະລາຍໂດຍສະເພາະຂອງອີເມລ໌, ດ້ວຍການຊ່ວຍເຫຼືອຂອງການໂຈມຕີທີ່ພະຍາຍາມເອົາຂໍ້ມູນທາງດ້ານການເງິນ (ລວມທັງບັດທະນາຄານຂອງຜູ້ໃຊ້) ແລະການເຂົ້າສູ່ລະບົບ. ຕົວອັກສອນດັ່ງກ່າວ mimic ຕົວແທ້ທີ່ສົ່ງໂດຍການບໍລິການ, ລວມທັງສາຍຕາ. ດັ່ງນັ້ນ, ດ້ວຍການຊ່ວຍເຫຼືອຂອງ Computer Vision, ພວກເຮົາຮັບຮູ້ໂລໂກ້ແລະຮູບແບບການອອກແບບຕົວອັກສອນຈາກບໍລິສັດຂະຫນາດໃຫຍ່ (ຕົວຢ່າງ: Mail.ru, Sber, Alfa) ແລະຄໍານຶງເຖິງເລື່ອງນີ້ພ້ອມກັບຂໍ້ຄວາມແລະລັກສະນະອື່ນໆໃນຕົວຈັດປະເພດ spam ແລະ phishing ຂອງພວກເຮົາ. .

ການຮຽນຮູ້ເຄື່ອງຈັກ

ເລັກນ້ອຍກ່ຽວກັບການຮຽນຮູ້ເຄື່ອງຈັກໃນອີເມວໂດຍທົ່ວໄປ. Mail ເປັນລະບົບທີ່ມີການໂຫຼດສູງ: ໂດຍສະເລ່ຍຂອງ 1,5 ຕື້ຈົດຫມາຍຕໍ່ມື້ຜ່ານເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາສໍາລັບຜູ້ໃຊ້ 30 ລ້ານ DAU. ປະມານ 30 ລະບົບການຮຽນຮູ້ເຄື່ອງຈັກສະໜັບສະໜູນທຸກໜ້າທີ່ ແລະຄຸນສົມບັດທີ່ຈໍາເປັນ.

ແຕ່ລະຕົວອັກສອນຜ່ານທໍ່ການຈັດປະເພດທັງໝົດ. ທໍາອິດພວກເຮົາຕັດ spam ແລະອອກຈາກອີເມວທີ່ດີ. ຜູ້ໃຊ້ມັກຈະບໍ່ສັງເກດເຫັນການເຮັດວຽກຂອງ antispam, ເພາະວ່າ 95-99% ຂອງ spam ບໍ່ໄດ້ສິ້ນສຸດລົງເຖິງໂຟນເດີທີ່ເຫມາະສົມ. ການຮັບຮູ້ spam ເປັນສ່ວນຫນຶ່ງທີ່ສໍາຄັນຂອງລະບົບຂອງພວກເຮົາ, ແລະມີຄວາມຫຍຸ້ງຍາກທີ່ສຸດ, ເນື່ອງຈາກວ່າໃນພາກສະຫນາມຂອງຕ້ານ spam ມີການປັບຕົວຢ່າງຕໍ່ເນື່ອງລະຫວ່າງລະບົບປ້ອງກັນແລະການໂຈມຕີ, ເຊິ່ງສະຫນອງສິ່ງທ້າທາຍດ້ານວິສະວະກໍາຢ່າງຕໍ່ເນື່ອງສໍາລັບທີມງານຂອງພວກເຮົາ.

ຕໍ່ໄປ, ພວກເຮົາແຍກຕົວອັກສອນຈາກຄົນແລະຫຸ່ນຍົນ. ອີເມວຈາກຄົນແມ່ນສໍາຄັນທີ່ສຸດ, ດັ່ງນັ້ນພວກເຮົາສະຫນອງຄຸນນະສົມບັດເຊັ່ນ: Smart Reply ສໍາລັບເຂົາເຈົ້າ. ຈົດຫມາຍຈາກຫຸ່ນຍົນແບ່ງອອກເປັນສອງສ່ວນ: ການເຮັດທຸລະກໍາ - ເຫຼົ່ານີ້ແມ່ນຈົດຫມາຍທີ່ສໍາຄັນຈາກການບໍລິການ, ຕົວຢ່າງເຊັ່ນການຢືນຢັນການຊື້ຫຼືການຈອງໂຮງແຮມ, ການເງິນ, ແລະຂໍ້ມູນ - ເຫຼົ່ານີ້ແມ່ນການໂຄສະນາທຸລະກິດ, ສ່ວນຫຼຸດ.

ພວກເຮົາເຊື່ອວ່າອີເມວການເຮັດທຸລະກໍາແມ່ນມີຄວາມສໍາຄັນເທົ່າທຽມກັນກັບຈົດຫມາຍສ່ວນບຸກຄົນ. ພວກເຂົາຄວນຈະຢູ່ໃນມື, ເພາະວ່າພວກເຮົາມັກຈະຕ້ອງຊອກຫາຂໍ້ມູນກ່ຽວກັບຄໍາສັ່ງຫຼືການຈອງປີ້ຍົນຢ່າງໄວວາ, ແລະພວກເຮົາໃຊ້ເວລາຊອກຫາຈົດຫມາຍເຫຼົ່ານີ້. ດັ່ງນັ້ນ, ເພື່ອຄວາມສະດວກ, ພວກເຮົາແບ່ງພວກມັນອອກເປັນຫົກປະເພດຕົ້ນຕໍໂດຍອັດຕະໂນມັດ: ການເດີນທາງ, ຄໍາສັ່ງ, ການເງິນ, ປີ້, ການລົງທະບຽນແລະສຸດທ້າຍ, ການປັບໄຫມ.

ຈົດຫມາຍຂໍ້ມູນຂ່າວສານແມ່ນກຸ່ມທີ່ໃຫຍ່ທີ່ສຸດແລະອາດຈະມີຄວາມສໍາຄັນຫນ້ອຍ, ເຊິ່ງບໍ່ຕ້ອງການຄໍາຕອບທັນທີ, ເພາະວ່າບໍ່ມີຫຍັງທີ່ສໍາຄັນທີ່ຈະປ່ຽນແປງໃນຊີວິດຂອງຜູ້ໃຊ້ຖ້າລາວບໍ່ໄດ້ອ່ານຈົດຫມາຍດັ່ງກ່າວ. ໃນການໂຕ້ຕອບໃຫມ່ຂອງພວກເຮົາ, ພວກເຮົາຫຍໍ້ພວກມັນອອກເປັນສອງຫົວຂໍ້: ເຄືອຂ່າຍສັງຄົມແລະຈົດຫມາຍຂ່າວ, ດັ່ງນັ້ນການລ້າງກ່ອງຈົດຫມາຍແລະປ່ອຍໃຫ້ຂໍ້ຄວາມທີ່ສໍາຄັນເທົ່ານັ້ນທີ່ເຫັນໄດ້.

ການດໍາເນີນງານ

ຈໍານວນຂະຫນາດໃຫຍ່ຂອງລະບົບເຮັດໃຫ້ເກີດຄວາມຫຍຸ້ງຍາກຫຼາຍໃນການດໍາເນີນງານ. ຫຼັງຈາກທີ່ທັງຫມົດ, ໂມເດວຫຼຸດລົງຕາມເວລາ, ຄືກັບຊອບແວໃດກໍ່ຕາມ: ລັກສະນະຕ່າງໆແຕກ, ເຄື່ອງຈັກລົ້ມເຫລວ, ລະຫັດຖືກບິດ. ນອກຈາກນັ້ນ, ຂໍ້ມູນມີການປ່ຽນແປງຢ່າງຕໍ່ເນື່ອງ: ຂໍ້ມູນໃຫມ່ຖືກເພີ່ມ, ຮູບແບບພຶດຕິກໍາຂອງຜູ້ໃຊ້ຖືກປ່ຽນແປງ, ແລະອື່ນໆ, ດັ່ງນັ້ນຮູບແບບທີ່ບໍ່ມີການສະຫນັບສະຫນູນທີ່ເຫມາະສົມຈະເຮັດວຽກຮ້າຍແຮງກວ່າເກົ່າແລະຮ້າຍແຮງກວ່າເກົ່າໃນໄລຍະເວລາ.

ພວກເຮົາຕ້ອງບໍ່ລືມວ່າການຮຽນຮູ້ເຄື່ອງຈັກທີ່ເລິກເຊິ່ງເຈາະເຂົ້າໄປໃນຊີວິດຂອງຜູ້ໃຊ້, ຜົນກະທົບທີ່ເຂົາເຈົ້າມີຕໍ່ລະບົບນິເວດຫຼາຍກວ່າເກົ່າ, ແລະ, ດັ່ງນັ້ນ, ການສູນເສຍທາງດ້ານການເງິນຫຼືຜົນກໍາໄລທີ່ຜູ້ນຕະຫຼາດສາມາດໄດ້ຮັບຫຼາຍຂຶ້ນ. ດັ່ງນັ້ນ, ໃນຈໍານວນພື້ນທີ່ທີ່ເພີ່ມຂຶ້ນ, ຜູ້ນກໍາລັງປັບຕົວກັບການເຮັດວຽກຂອງ ML algorithms (ຕົວຢ່າງຄລາສສິກແມ່ນການໂຄສະນາ, ການຄົ້ນຫາແລະ antispam ທີ່ໄດ້ກ່າວມາແລ້ວ).

ນອກຈາກນີ້, ວຽກງານການຮຽນຮູ້ເຄື່ອງຈັກມີ peculiarity: ໃດ, ເຖິງແມ່ນວ່າເລັກນ້ອຍ, ການປ່ຽນແປງໃນລະບົບສາມາດສ້າງຫຼາຍຂອງການເຮັດວຽກກັບຮູບແບບ: ການເຮັດວຽກກັບຂໍ້ມູນ, retraining, deployment, ຊຶ່ງສາມາດໃຊ້ເວລາຫຼາຍອາທິດຫຼືຫຼາຍເດືອນ. ດັ່ງນັ້ນ, ສະພາບແວດລ້ອມທີ່ຕົວແບບຂອງທ່ານປ່ຽນແປງໄວຂຶ້ນ, ມັນຈໍາເປັນຕ້ອງໃຊ້ຄວາມພະຍາຍາມຫຼາຍຂຶ້ນເພື່ອຮັກສາພວກມັນ. ທີມງານສາມາດສ້າງລະບົບຫຼາຍແລະມີຄວາມສຸກກັບມັນ, ແຕ່ຫຼັງຈາກນັ້ນໃຊ້ເວລາເກືອບທັງຫມົດຂອງຊັບພະຍາກອນເພື່ອຮັກສາພວກມັນ, ໂດຍບໍ່ມີໂອກາດທີ່ຈະເຮັດຫຍັງໃຫມ່. ພວກເຮົາເຄີຍພົບສະຖານະການດັ່ງກ່າວໃນທີມງານ antispam. ແລະພວກເຂົາໄດ້ສະຫຼຸບຢ່າງຊັດເຈນວ່າການສະຫນັບສະຫນູນຕ້ອງໄດ້ຮັບການອັດຕະໂນມັດ.

ອັດຕະໂນມັດ

ສິ່ງທີ່ສາມາດອັດຕະໂນມັດໄດ້? ເກືອບທຸກຢ່າງ, ໃນຄວາມເປັນຈິງ. ຂ້າພະເຈົ້າໄດ້ກໍານົດສີ່ພື້ນທີ່ທີ່ກໍານົດໂຄງສ້າງພື້ນຖານການຮຽນຮູ້ເຄື່ອງຈັກ:

• ການ​ເກັບ​ກໍາ​ຂໍ້​ມູນ​;
• ການຝຶກອົບຮົມເພີ່ມເຕີມ;
• deploy;
• ການ​ທົດ​ສອບ​ແລະ​ຕິດ​ຕາມ​ກວດ​ກາ​.

ຖ້າສະພາບແວດລ້ອມບໍ່ສະຖຽນລະພາບແລະມີການປ່ຽນແປງຢ່າງຕໍ່ເນື່ອງ, ພື້ນຖານໂຄງລ່າງທັງຫມົດປະມານຕົວແບບຈະກາຍເປັນສິ່ງທີ່ສໍາຄັນຫຼາຍກ່ວາຕົວແບບ. ມັນອາດຈະເປັນຕົວຈັດປະເພດເສັ້ນເກົ່າທີ່ດີ, ແຕ່ຖ້າທ່ານໃຫ້ອາຫານມັນມີລັກສະນະທີ່ຖືກຕ້ອງແລະໄດ້ຮັບຄໍາຕິຊົມທີ່ດີຈາກຜູ້ໃຊ້, ມັນຈະເຮັດວຽກໄດ້ດີກວ່າແບບຈໍາລອງແບບ State-Of-The-Art ທີ່ມີສຽງລະຄັງແລະ whistles ທັງຫມົດ.

Feedback Loop

ວົງຈອນນີ້ລວມເອົາການເກັບກໍາຂໍ້ມູນ, ການຝຶກອົບຮົມເພີ່ມເຕີມແລະການນໍາໃຊ້ - ໃນຄວາມເປັນຈິງ, ວົງຈອນການປັບປຸງແບບຈໍາລອງທັງຫມົດ. ເປັນຫຍັງມັນຈຶ່ງສໍາຄັນ? ເບິ່ງຕາຕະລາງການລົງທະບຽນໃນຈົດໝາຍ:

ນັກພັດທະນາການຮຽນຮູ້ເຄື່ອງຈັກໄດ້ປະຕິບັດຮູບແບບຕ້ານ bot ທີ່ປ້ອງກັນບໍ່ໃຫ້ bots ລົງທະບຽນໃນອີເມວ. ເສັ້ນສະແດງຫຼຸດລົງເປັນມູນຄ່າທີ່ມີພຽງແຕ່ຜູ້ໃຊ້ທີ່ແທ້ຈິງຍັງຄົງຢູ່. ທຸກສິ່ງທຸກຢ່າງແມ່ນຍິ່ງໃຫຍ່! ແຕ່ສີ່ຊົ່ວໂມງຜ່ານໄປ, ບອທ໌ປັບຕົວສະຄຣິບຂອງເຂົາເຈົ້າ, ແລະທຸກຢ່າງກັບຄືນສູ່ປົກກະຕິ. ໃນການປະຕິບັດນີ້, ນັກພັດທະນາໄດ້ໃຊ້ເວລາຫນຶ່ງເດືອນໃນການເພີ່ມລັກສະນະແລະການຝຶກອົບຮົມຄືນໃຫມ່, ແຕ່ spammer ສາມາດປັບຕົວໄດ້ໃນສີ່ຊົ່ວໂມງ.

ເພື່ອບໍ່ໃຫ້ມັນເຈັບປວດຢ່າງໜັກໜ່ວງ ແລະບໍ່ຕ້ອງເຮັດທຸກຢ່າງໃນພາຍຫຼັງ, ພວກເຮົາຕ້ອງຄິດໃນເບື້ອງຕົ້ນວ່າ ວົງການ Feedback ຈະເປັນແນວໃດ ແລະ ພວກເຮົາຈະເຮັດແນວໃດຖ້າສະພາບແວດລ້ອມປ່ຽນແປງ. ໃຫ້ເລີ່ມຕົ້ນດ້ວຍການເກັບກໍາຂໍ້ມູນ - ນີ້ແມ່ນນໍ້າມັນເຊື້ອໄຟສໍາລັບສູດການຄິດໄລ່ຂອງພວກເຮົາ.

ການ​ເກັບ​ກໍາ​ຂໍ້​ມູນ​

ມັນເປັນທີ່ຊັດເຈນວ່າສໍາລັບເຄືອຂ່າຍ neural ທີ່ທັນສະໄຫມ, ຂໍ້ມູນຫຼາຍ, ດີກວ່າ, ແລະພວກເຂົາແມ່ນ, ໃນຄວາມເປັນຈິງ, ຜະລິດໂດຍຜູ້ໃຊ້ຜະລິດຕະພັນ. ຜູ້ໃຊ້ສາມາດຊ່ວຍພວກເຮົາໂດຍການຫມາຍຂໍ້ມູນ, ແຕ່ພວກເຮົາບໍ່ສາມາດລ່ວງລະເມີດນີ້, ເພາະວ່າໃນບາງຈຸດຜູ້ໃຊ້ຈະເມື່ອຍກັບການສໍາເລັດຮູບແບບຂອງທ່ານແລະຈະປ່ຽນໄປຜະລິດຕະພັນອື່ນ.

ຫນຶ່ງໃນຄວາມຜິດພາດທີ່ພົບເລື້ອຍທີ່ສຸດ (ໃນທີ່ນີ້ຂ້າພະເຈົ້າອ້າງເຖິງ Andrew Ng) ແມ່ນສຸມໃສ່ການວັດແທກຫຼາຍເກີນໄປກ່ຽວກັບຊຸດຂໍ້ມູນການທົດສອບ, ແລະບໍ່ແມ່ນຄວາມຄິດເຫັນຈາກຜູ້ໃຊ້, ເຊິ່ງຕົວຈິງແລ້ວແມ່ນມາດຕະການຕົ້ນຕໍຂອງຄຸນນະພາບຂອງການເຮັດວຽກ, ນັບຕັ້ງແຕ່ພວກເຮົາສ້າງ. ຜະລິດຕະພັນສໍາລັບຜູ້ໃຊ້. ຖ້າຜູ້ໃຊ້ບໍ່ເຂົ້າໃຈຫຼືບໍ່ມັກການເຮັດວຽກຂອງຕົວແບບ, ແລ້ວທຸກສິ່ງທຸກຢ່າງກໍ່ຖືກທໍາລາຍ.

ດັ່ງນັ້ນ, ຜູ້ໃຊ້ຄວນຈະສາມາດລົງຄະແນນສຽງໄດ້ຕະຫຼອດເວລາແລະຄວນຈະໄດ້ຮັບເຄື່ອງມືສໍາລັບຄໍາຄຶດຄໍາເຫັນ. ຖ້າພວກເຮົາຄິດວ່າຈົດຫມາຍທີ່ກ່ຽວຂ້ອງກັບການເງິນໄດ້ມາຮອດກ່ອງຈົດຫມາຍ, ພວກເຮົາຈໍາເປັນຕ້ອງຫມາຍມັນ "ການເງິນ" ແລະແຕ້ມປຸ່ມທີ່ຜູ້ໃຊ້ສາມາດຄລິກແລະເວົ້າວ່ານີ້ບໍ່ແມ່ນທາງດ້ານການເງິນ.

ຄຸນນະພາບຄໍາຕິຊົມ

ໃຫ້ເວົ້າກ່ຽວກັບຄຸນນະພາບຂອງຄໍາຕິຊົມຂອງຜູ້ໃຊ້. ກ່ອນອື່ນ ໝົດ, ທ່ານແລະຜູ້ໃຊ້ສາມາດເອົາຄວາມ ໝາຍ ທີ່ແຕກຕ່າງກັນເຂົ້າໄປໃນແນວຄວາມຄິດດຽວ. ສໍາລັບຕົວຢ່າງ, ທ່ານແລະຜູ້ຈັດການຜະລິດຕະພັນຂອງທ່ານຄິດວ່າ "ການເງິນ" ຫມາຍເຖິງຈົດຫມາຍຈາກທະນາຄານ, ແລະຜູ້ໃຊ້ຄິດວ່າຈົດຫມາຍຈາກແມ່ຕູ້ກ່ຽວກັບເງິນບໍານານຂອງນາງຫມາຍເຖິງການເງິນ. ອັນທີສອງ, ມີຜູ້ໃຊ້ທີ່ບໍ່ສົນໃຈທີ່ຈະກົດປຸ່ມຕ່າງໆໂດຍບໍ່ມີເຫດຜົນ. ອັນທີສາມ, ຜູ້ໃຊ້ອາດຈະເຂົ້າໃຈຜິດຢ່າງເລິກເຊິ່ງໃນບົດສະຫຼຸບຂອງລາວ. ຕົວຢ່າງທີ່ໂດດເດັ່ນຈາກການປະຕິບັດຂອງພວກເຮົາແມ່ນການປະຕິບັດຕົວຈັດປະເພດ ຂີ້ເຫຍື້ອໄນຈີເຣຍປະເພດຂີ້ເຫຍື້ອທີ່ຕະຫລົກຫຼາຍທີ່ຜູ້ໃຊ້ຖືກຮ້ອງຂໍໃຫ້ເອົາຫຼາຍລ້ານໂດລາຈາກຍາດພີ່ນ້ອງທີ່ຢູ່ຫ່າງໄກທີ່ພົບເຫັນໃນອາຟຣິກາຢ່າງກະທັນຫັນ. ຫຼັງຈາກປະຕິບັດຕົວຈັດປະເພດນີ້, ພວກເຮົາໄດ້ກວດເບິ່ງການຄລິກໃສ່ "ບໍ່ແມ່ນ Spam" ຢູ່ໃນອີເມວເຫຼົ່ານີ້, ແລະມັນໄດ້ສະແດງໃຫ້ເຫັນວ່າ 80% ຂອງພວກເຂົາແມ່ນ spam ໄນຈີເລຍທີ່ມີນ້ໍາ, ເຊິ່ງຊີ້ໃຫ້ເຫັນວ່າຜູ້ໃຊ້ສາມາດຂີ້ຕົວະທີ່ສຸດ.

ແລະຢ່າລືມວ່າປຸ່ມຕ່າງໆສາມາດຖືກຄລິກບໍ່ພຽງແຕ່ໂດຍຄົນເທົ່ານັ້ນ, ແຕ່ຍັງເປັນທຸກປະເພດຂອງ bots ທີ່ທໍາທ່າວ່າເປັນຕົວທ່ອງເວັບ. ດັ່ງນັ້ນຄໍາຄຶດຄໍາເຫັນດິບແມ່ນບໍ່ດີສໍາລັບການຮຽນຮູ້. ເຈົ້າສາມາດເຮັດຫຍັງໄດ້ກັບຂໍ້ມູນນີ້?

ພວກເຮົາໃຊ້ສອງວິທີການ:

• ຄວາມຄິດເຫັນຈາກ ML ທີ່ເຊື່ອມຕໍ່. ຕົວຢ່າງ, ພວກເຮົາມີລະບົບຕ້ານ bot ອອນໄລນ໌, ເຊິ່ງ, ດັ່ງທີ່ຂ້າພະເຈົ້າໄດ້ກ່າວມາ, ເຮັດໃຫ້ການຕັດສິນໃຈໄວໂດຍອີງໃສ່ຈໍານວນສັນຍານທີ່ຈໍາກັດ. ແລະມີລະບົບທີສອງ, ຊ້າທີ່ເຮັດວຽກຫຼັງຈາກຄວາມຈິງ. ມັນມີຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບຜູ້ໃຊ້, ພຶດຕິກໍາຂອງລາວ, ແລະອື່ນໆ. ດັ່ງນັ້ນ, ການຕັດສິນໃຈທີ່ໄດ້ຮັບຂໍ້ມູນຫຼາຍທີ່ສຸດແມ່ນເຮັດ, ຕາມນັ້ນ, ມັນມີຄວາມແມ່ນຍໍາແລະຄວາມສົມບູນສູງກວ່າ. ທ່ານສາມາດຊີ້ທິດທາງຄວາມແຕກຕ່າງໃນການດໍາເນີນງານຂອງລະບົບເຫຼົ່ານີ້ໃຫ້ກັບຕົວທໍາອິດເປັນຂໍ້ມູນການຝຶກອົບຮົມ. ດັ່ງນັ້ນ, ລະບົບທີ່ງ່າຍດາຍກວ່າຈະພະຍາຍາມເຂົ້າຫາການປະຕິບັດຂອງລະບົບທີ່ສັບສົນກວ່າ.
• ກົດການຈັດປະເພດ. ທ່ານພຽງແຕ່ສາມາດຈັດປະເພດແຕ່ລະຄລິກຂອງຜູ້ໃຊ້, ປະເມີນຄວາມຖືກຕ້ອງແລະການນໍາໃຊ້ຂອງມັນ. ພວກເຮົາເຮັດສິ່ງນີ້ໃນ antispam mail, ໂດຍໃຊ້ຄຸນລັກສະນະຂອງຜູ້ໃຊ້, ປະຫວັດຂອງລາວ, ຄຸນລັກສະນະຂອງຜູ້ສົ່ງ, ຂໍ້ຄວາມຕົວມັນເອງແລະຜົນຂອງຕົວຈັດປະເພດ. ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ຮັບລະບົບອັດຕະໂນມັດທີ່ກວດສອບຄວາມຄິດເຫັນຂອງຜູ້ໃຊ້. ແລະເນື່ອງຈາກວ່າມັນຕ້ອງໄດ້ຮັບການ retrained ຫຼາຍຫນ້ອຍເລື້ອຍໆ, ການເຮັດວຽກຂອງມັນສາມາດກາຍເປັນພື້ນຖານສໍາລັບລະບົບອື່ນໆທັງຫມົດ. ບູລິມະສິດຕົ້ນຕໍໃນຮູບແບບນີ້ແມ່ນຄວາມແມ່ນຍໍາ, ເພາະວ່າການຝຶກອົບຮົມຮູບແບບກ່ຽວກັບຂໍ້ມູນທີ່ບໍ່ຖືກຕ້ອງແມ່ນ fraught ກັບຜົນສະທ້ອນ.

ໃນຂະນະທີ່ພວກເຮົາກໍາລັງທໍາຄວາມສະອາດຂໍ້ມູນແລະການຝຶກອົບຮົມລະບົບ ML ຂອງພວກເຮົາຕື່ມອີກ, ພວກເຮົາບໍ່ຄວນລືມກ່ຽວກັບຜູ້ໃຊ້, ເພາະວ່າສໍາລັບພວກເຮົາ, ຫລາຍພັນຄົນ, ຄວາມຜິດພາດຫຼາຍລ້ານຢູ່ໃນກາຟແມ່ນສະຖິຕິ, ແລະສໍາລັບຜູ້ໃຊ້, ທຸກໆຂໍ້ບົກພ່ອງແມ່ນຄວາມໂສກເສົ້າ. ນອກເຫນືອຈາກຄວາມຈິງທີ່ວ່າຜູ້ໃຊ້ບາງຢ່າງຕ້ອງຢູ່ກັບຄວາມຜິດພາດຂອງທ່ານໃນຜະລິດຕະພັນ, ຫຼັງຈາກໄດ້ຮັບຄໍາຄຶດຄໍາເຫັນ, ລາວຄາດວ່າສະຖານະການທີ່ຄ້າຍຄືກັນຈະຖືກລົບລ້າງໃນອະນາຄົດ. ດັ່ງນັ້ນ, ມັນສະເຫມີໄປສົມຄວນທີ່ຈະໃຫ້ຜູ້ໃຊ້ບໍ່ພຽງແຕ່ໂອກາດທີ່ຈະລົງຄະແນນສຽງ, ແຕ່ຍັງເພື່ອແກ້ໄຂພຶດຕິກໍາຂອງລະບົບ ML, ການສ້າງ, ສໍາລັບການຍົກຕົວຢ່າງ, heuristics ສ່ວນບຸກຄົນສໍາລັບການຄລິກຄວາມຄິດເຫັນແຕ່ລະຄົນ; ໃນກໍລະນີຂອງ mail, ນີ້ອາດຈະເປັນຄວາມສາມາດໃນການກັ່ນຕອງ. ຕົວອັກສອນດັ່ງກ່າວໂດຍຜູ້ສົ່ງແລະຊື່ສໍາລັບຜູ້ໃຊ້ນີ້.

ນອກນັ້ນທ່ານຍັງຈໍາເປັນຕ້ອງສ້າງແບບຈໍາລອງໂດຍອີງໃສ່ບົດລາຍງານບາງຢ່າງຫຼືການຮ້ອງຂໍການສະຫນັບສະຫນູນໃນຮູບແບບເຄິ່ງອັດຕະໂນມັດຫຼືຄູ່ມືເພື່ອໃຫ້ຜູ້ໃຊ້ອື່ນໆບໍ່ທົນທຸກຈາກບັນຫາທີ່ຄ້າຍຄືກັນ.

Heuristics ສໍາລັບການຮຽນຮູ້

ມີສອງບັນຫາກັບ heuristics ແລະ crutches ເຫຼົ່ານີ້. ທໍາອິດແມ່ນວ່າຈໍານວນ crutches ເພີ່ມຂຶ້ນຢ່າງຕໍ່ເນື່ອງແມ່ນຍາກທີ່ຈະຮັກສາ, ປ່ອຍໃຫ້ຢູ່ຄົນດຽວມີຄຸນນະພາບແລະການປະຕິບັດຂອງພວກເຂົາໃນໄລຍະຍາວ. ບັນຫາທີສອງແມ່ນວ່າຄວາມຜິດພາດອາດຈະບໍ່ເກີດຂຶ້ນເລື້ອຍໆ, ແລະການຄລິກສອງສາມຄັ້ງເພື່ອຝຶກອົບຮົມແບບຈໍາລອງຕໍ່ໄປຈະບໍ່ພຽງພໍ. ມັນເບິ່ງຄືວ່າທັງສອງຜົນກະທົບທີ່ບໍ່ກ່ຽວຂ້ອງເຫຼົ່ານີ້ສາມາດເປັນກາງໄດ້ຢ່າງຫຼວງຫຼາຍຖ້າວິທີການຕໍ່ໄປນີ້ຖືກນໍາໃຊ້.

1. ພວກເຮົາສ້າງໄມ້ຄ້ອນເທົ້າຊົ່ວຄາວ.
2. ພວກເຮົາສົ່ງຂໍ້ມູນຈາກມັນໄປຫາຕົວແບບ, ມັນປັບປຸງຕົວມັນເອງເປັນປົກກະຕິ, ລວມທັງຂໍ້ມູນທີ່ໄດ້ຮັບ. ໃນທີ່ນີ້, ແນ່ນອນ, ມັນເປັນສິ່ງສໍາຄັນທີ່ heuristics ມີຄວາມຖືກຕ້ອງສູງເພື່ອບໍ່ໃຫ້ຫຼຸດລົງຄຸນນະພາບຂອງຂໍ້ມູນໃນຊຸດຝຶກອົບຮົມ.
3. ຫຼັງຈາກນັ້ນ, ພວກເຮົາກໍານົດການຕິດຕາມເພື່ອກະຕຸ້ນໄມ້ຄ້ອນເທົ້າ, ແລະຖ້າຫຼັງຈາກເວລາໃດຫນຶ່ງ, ໄມ້ຄ່ໍາບໍ່ເຮັດວຽກແລະຖືກປົກຄຸມດ້ວຍຕົວແບບຢ່າງສົມບູນ, ຫຼັງຈາກນັ້ນທ່ານສາມາດເອົາມັນອອກໄດ້ຢ່າງປອດໄພ. ໃນປັດຈຸບັນບັນຫານີ້ບໍ່ຫນ້າຈະເກີດຂຶ້ນອີກ.

ສະນັ້ນ ກອງທັບຂອງໄມ້ຄ້ອນເທົ້ານັ້ນມີປະໂຫຍດຫຼາຍ. ສິ່ງທີ່ສໍາຄັນແມ່ນວ່າການບໍລິການຂອງພວກເຂົາແມ່ນຮີບດ່ວນແລະບໍ່ຖາວອນ.

ການຝຶກອົບຮົມເພີ່ມເຕີມ

Retraining ແມ່ນຂະບວນການຂອງການເພີ່ມຂໍ້ມູນໃຫມ່ທີ່ໄດ້ຮັບຜົນມາຈາກຄໍາຄຶດຄໍາເຫັນຈາກຜູ້ໃຊ້ຫຼືລະບົບອື່ນໆ, ແລະການຝຶກອົບຮົມຮູບແບບທີ່ມີຢູ່ແລ້ວກ່ຽວກັບມັນ. ອາດຈະມີບັນຫາຫຼາຍຢ່າງກັບການຝຶກອົບຮົມເພີ່ມເຕີມ:

1. ຮູບແບບດັ່ງກ່າວອາດຈະບໍ່ສະຫນັບສະຫນູນການຝຶກອົບຮົມເພີ່ມເຕີມ, ແຕ່ຮຽນຮູ້ພຽງແຕ່ຈາກ scratch.
2. ບໍ່ມີບ່ອນໃດໃນປື້ມທໍາມະຊາດທີ່ຂຽນວ່າການຝຶກອົບຮົມເພີ່ມເຕີມແນ່ນອນວ່າຈະຊ່ວຍປັບປຸງຄຸນນະພາບຂອງວຽກງານໃນການຜະລິດ. ເລື້ອຍໆກົງກັນຂ້າມເກີດຂຶ້ນ, ນັ້ນແມ່ນ, ພຽງແຕ່ການເສື່ອມສະພາບທີ່ເປັນໄປໄດ້.
3. ການປ່ຽນແປງສາມາດຄາດເດົາບໍ່ໄດ້. ນີ້​ແມ່ນ​ເປັນ​ຈຸດ​ອ່ອນ​ຫຼາຍ​ທີ່​ພວກ​ເຮົາ​ໄດ້​ກໍາ​ນົດ​ສໍາ​ລັບ​ຕົວ​ເຮົາ​ເອງ. ເຖິງແມ່ນວ່າຮູບແບບໃຫມ່ໃນການທົດສອບ A / B ສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບທີ່ຄ້າຍຄືກັນເມື່ອທຽບໃສ່ກັບປະຈຸບັນ, ນີ້ບໍ່ໄດ້ຫມາຍຄວາມວ່າມັນຈະເຮັດວຽກຄືກັນ. ວຽກງານຂອງພວກເຂົາອາດຈະແຕກຕ່າງກັນພຽງແຕ່ຫນຶ່ງເປີເຊັນ, ເຊິ່ງອາດຈະນໍາເອົາຄວາມຜິດພາດໃຫມ່ຫຼືສົ່ງຄືນຂໍ້ມູນເກົ່າທີ່ຖືກແກ້ໄຂແລ້ວ. ທັງພວກເຮົາແລະຜູ້ໃຊ້ຮູ້ແລ້ວວ່າວິທີການດໍາລົງຊີວິດກັບຄວາມຜິດພາດໃນປະຈຸບັນ, ແລະເມື່ອມີຈໍານວນຂໍ້ຜິດພາດໃຫມ່ເກີດຂື້ນ, ຜູ້ໃຊ້ອາດຈະບໍ່ເຂົ້າໃຈສິ່ງທີ່ເກີດຂື້ນ, ເພາະວ່າລາວຄາດວ່າຈະມີພຶດຕິກໍາທີ່ຄາດເດົາໄດ້.

ດັ່ງນັ້ນ, ສິ່ງທີ່ສໍາຄັນທີ່ສຸດໃນການຝຶກອົບຮົມເພີ່ມເຕີມແມ່ນເພື່ອໃຫ້ແນ່ໃຈວ່າຕົວແບບໄດ້ຖືກປັບປຸງ, ຫຼືຢ່າງຫນ້ອຍບໍ່ຮ້າຍແຮງຂຶ້ນ.

ສິ່ງທໍາອິດທີ່ເຂົ້າມາໃນໃຈເມື່ອພວກເຮົາເວົ້າກ່ຽວກັບການຝຶກອົບຮົມເພີ່ມເຕີມແມ່ນວິທີການ Active Learning. ນີ້ຫມາຍຄວາມວ່າແນວໃດ? ຕົວຢ່າງ, ຕົວຈັດປະເພດກໍານົດວ່າອີເມລ໌ກ່ຽວຂ້ອງກັບການເງິນ, ແລະປະມານຂອບເຂດການຕັດສິນໃຈຂອງມັນ, ພວກເຮົາເພີ່ມຕົວຢ່າງຂອງຕົວຢ່າງທີ່ມີປ້າຍຊື່. ນີ້ເຮັດວຽກໄດ້ດີ, ສໍາລັບການຍົກຕົວຢ່າງ, ໃນການໂຄສະນາ, ບ່ອນທີ່ມີຄວາມຄິດເຫັນຫຼາຍແລະທ່ານສາມາດຝຶກອົບຮົມຕົວແບບອອນໄລນ໌. ແລະຖ້າມີຄວາມຄິດເຫັນຫນ້ອຍ, ພວກເຮົາໄດ້ຮັບຕົວຢ່າງທີ່ມີຄວາມລໍາອຽງສູງທີ່ກ່ຽວຂ້ອງກັບການແຈກຢາຍຂໍ້ມູນການຜະລິດ, ບົນພື້ນຖານທີ່ມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະປະເມີນພຶດຕິກໍາຂອງຕົວແບບໃນລະຫວ່າງການປະຕິບັດງານ.

ໃນຄວາມເປັນຈິງ, ເປົ້າຫມາຍຂອງພວກເຮົາແມ່ນເພື່ອຮັກສາຮູບແບບເກົ່າ, ຮູບແບບທີ່ຮູ້ຈັກແລ້ວ, ແລະໄດ້ມາໃຫມ່. ການສືບຕໍ່ແມ່ນສໍາຄັນຢູ່ທີ່ນີ້. ຮູບແບບ, ເຊິ່ງພວກເຮົາມັກຈະເອົາຄວາມເຈັບປວດຢ່າງໃຫຍ່ຫຼວງເພື່ອມ້ວນອອກ, ແມ່ນແລ້ວ, ດັ່ງນັ້ນພວກເຮົາສາມາດສຸມໃສ່ການປະຕິບັດຂອງມັນ.

ຮູບແບບທີ່ແຕກຕ່າງກັນຖືກນໍາໃຊ້ໃນເມລ: ຕົ້ນໄມ້, ຮູບແຂບ, ເຄືອຂ່າຍ neural. ສໍາລັບແຕ່ລະຄົນພວກເຮົາສ້າງສູດການເຝິກອົບຮົມເພີ່ມເຕີມຂອງຕົນເອງ. ໃນຂະບວນການຂອງການຝຶກອົບຮົມເພີ່ມເຕີມ, ພວກເຮົາບໍ່ພຽງແຕ່ໄດ້ຮັບຂໍ້ມູນໃຫມ່, ແຕ່ຍັງມີລັກສະນະໃຫມ່ເລື້ອຍໆ, ເຊິ່ງພວກເຮົາຈະພິຈາລະນາໃນທຸກໆ algorithms ຂ້າງລຸ່ມນີ້.

ຮູບແບບເສັ້ນ

ໃຫ້ເວົ້າວ່າພວກເຮົາມີ logistic regression. ພວກເຮົາສ້າງຮູບແບບການສູນເສຍຈາກອົງປະກອບດັ່ງຕໍ່ໄປນີ້:

• LogLoss ກ່ຽວກັບຂໍ້ມູນໃຫມ່;
• ພວກເຮົາເຮັດໃຫ້ນ້ໍາຫນັກຂອງລັກສະນະໃຫມ່ເປັນປົກກະຕິ (ພວກເຮົາບໍ່ໄດ້ສໍາຜັດກັບລັກສະນະເກົ່າ);
• ພວກເຮົາຍັງຮຽນຮູ້ຈາກຂໍ້ມູນເກົ່າເພື່ອຮັກສາຮູບແບບເກົ່າ;
• ແລະ, ບາງທີ, ສິ່ງທີ່ສໍາຄັນທີ່ສຸດ: ພວກເຮົາເພີ່ມ Harmonic Regularization, ເຊິ່ງຮັບປະກັນວ່ານ້ໍາຫນັກຈະບໍ່ປ່ຽນແປງຫຼາຍທຽບກັບແບບເກົ່າຕາມມາດຕະຖານ.

ເນື່ອງຈາກອົງປະກອບການສູນເສຍແຕ່ລະຄົນມີຄ່າສໍາປະສິດ, ພວກເຮົາສາມາດເລືອກຄ່າທີ່ດີທີ່ສຸດສໍາລັບວຽກງານຂອງພວກເຮົາໂດຍຜ່ານການກວດສອບຂ້າມຫຼືອີງໃສ່ຄວາມຕ້ອງການຂອງຜະລິດຕະພັນ.

ຕົ້ນໄມ້

ຂໍໃຫ້ກ້າວໄປສູ່ການຕັດສິນໃຈກ່ຽວກັບຕົ້ນໄມ້. ພວກເຮົາໄດ້ລວບລວມສູດການຄິດໄລ່ຕໍ່ໄປນີ້ສໍາລັບການຝຶກອົບຮົມເພີ່ມເຕີມຂອງຕົ້ນໄມ້:

1. ການຜະລິດແມ່ນດໍາເນີນໃນປ່າຂອງ 100-300 ຕົ້ນ, ການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນເກົ່າ.
2. ໃນຕອນທ້າຍພວກເຮົາເອົາ M = 5 ຊິ້ນແລະເພີ່ມ 2M = 10 ໃຫມ່, ການຝຶກອົບຮົມໃນຊຸດຂໍ້ມູນທັງຫມົດ, ແຕ່ມີນ້ໍາຫນັກສູງສໍາລັບຂໍ້ມູນໃຫມ່, ເຊິ່ງທໍາມະຊາດຮັບປະກັນການປ່ຽນແປງທີ່ເພີ່ມຂຶ້ນໃນຕົວແບບ.

ແນ່ນອນ, ເມື່ອເວລາຜ່ານໄປ, ຈໍານວນຕົ້ນໄມ້ເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍ, ແລະພວກມັນຕ້ອງຖືກຫຼຸດລົງເປັນແຕ່ລະໄລຍະເພື່ອໃຫ້ກົງກັບເວລາ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາໃຊ້ Knowledge Distillation (KD). ໂດຍຫຍໍ້ກ່ຽວກັບຫຼັກການຂອງການດໍາເນີນງານຂອງມັນ.

1. ພວກເຮົາມີຮູບແບບ "ສະລັບສັບຊ້ອນ" ໃນປະຈຸບັນ. ພວກເຮົາດໍາເນີນການມັນຢູ່ໃນຊຸດຂໍ້ມູນການຝຶກອົບຮົມແລະໄດ້ຮັບການແຈກຢາຍຄວາມເປັນໄປໄດ້ຂອງຫ້ອງຮຽນຢູ່ທີ່ຜົນຜະລິດ.
2. ຕໍ່ໄປ, ພວກເຮົາຝຶກອົບຮົມແບບຈໍາລອງນັກຮຽນ (ແບບຈໍາລອງທີ່ມີຕົ້ນໄມ້ຫນ້ອຍໃນກໍລະນີນີ້) ເພື່ອເຮັດເລື້ມຄືນຜົນໄດ້ຮັບຂອງຕົວແບບໂດຍໃຊ້ການແຈກຢາຍຫ້ອງຮຽນເປັນຕົວແປເປົ້າຫມາຍ.
3. ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສັງເກດວ່າພວກເຮົາບໍ່ໄດ້ໃຊ້ເຄື່ອງຫມາຍການກໍານົດຂໍ້ມູນໃນທາງໃດກໍ່ຕາມ, ແລະດັ່ງນັ້ນພວກເຮົາສາມາດນໍາໃຊ້ຂໍ້ມູນ arbitrary. ແນ່ນອນ, ພວກເຮົາໃຊ້ຕົວຢ່າງຂໍ້ມູນຈາກກະແສການຕໍ່ສູ້ເປັນຕົວຢ່າງການຝຶກອົບຮົມສໍາລັບຕົວແບບນັກຮຽນ. ດັ່ງນັ້ນ, ຊຸດຝຶກອົບຮົມຊ່ວຍໃຫ້ພວກເຮົາຮັບປະກັນຄວາມຖືກຕ້ອງຂອງຮູບແບບ, ແລະຕົວຢ່າງນ້ໍາຮັບປະກັນການປະຕິບັດທີ່ຄ້າຍຄືກັນກ່ຽວກັບການແຈກຢາຍການຜະລິດ, ການຊົດເຊີຍຄວາມລໍາອຽງຂອງຊຸດຝຶກອົບຮົມ.

ການປະສົມປະສານຂອງສອງເຕັກນິກນີ້ (ການເພີ່ມຕົ້ນໄມ້ແລະການຫຼຸດຜ່ອນແຕ່ລະໄລຍະໂດຍໃຊ້ Knowledge Distillation) ຮັບປະກັນການນໍາສະເຫນີຮູບແບບໃຫມ່ແລະການສືບຕໍ່ຄົບຖ້ວນສົມບູນ.

ດ້ວຍຄວາມຊ່ອຍເຫລືອຂອງ KD, ພວກເຮົາຍັງປະຕິບັດການດໍາເນີນການທີ່ແຕກຕ່າງກັນກ່ຽວກັບລັກສະນະຕົວແບບ, ເຊັ່ນ: ການກໍາຈັດຄຸນສົມບັດແລະການເຮັດວຽກກ່ຽວກັບຊ່ອງຫວ່າງ. ໃນກໍລະນີຂອງພວກເຮົາ, ພວກເຮົາມີຄຸນລັກສະນະທາງສະຖິຕິທີ່ສໍາຄັນຈໍານວນຫນຶ່ງ (ໂດຍຜູ້ສົ່ງ, ຂໍ້ຄວາມ hashes, URLs, ແລະອື່ນໆ) ທີ່ຖືກເກັບໄວ້ໃນຖານຂໍ້ມູນ, ເຊິ່ງມັກຈະລົ້ມເຫລວ. ຮູບແບບດັ່ງກ່າວ, ແນ່ນອນ, ບໍ່ກຽມພ້ອມສໍາລັບການພັດທະນາຂອງເຫດການດັ່ງກ່າວ, ເນື່ອງຈາກວ່າສະຖານະການຄວາມລົ້ມເຫລວບໍ່ໄດ້ເກີດຂື້ນໃນຊຸດການຝຶກອົບຮົມ. ໃນກໍລະນີດັ່ງກ່າວ, ພວກເຮົາປະສົມປະສານ KD ແລະເຕັກນິກການຂະຫຍາຍ: ໃນເວລາທີ່ການຝຶກອົບຮົມສໍາລັບສ່ວນຫນຶ່ງຂອງຂໍ້ມູນ, ພວກເຮົາເອົາຫຼືປັບລັກສະນະທີ່ຈໍາເປັນ, ແລະພວກເຮົາເອົາປ້າຍຕົ້ນສະບັບ (ຜົນໄດ້ຮັບຂອງຮູບແບບປະຈຸບັນ), ແລະຕົວແບບນັກສຶກສາຮຽນຮູ້ທີ່ຈະເຮັດຊ້ໍາການແຈກຢາຍນີ້. .

ພວກ​ເຮົາ​ສັງ​ເກດ​ເຫັນ​ວ່າ​ການ​ຫມູນ​ໃຊ້​ຕົວ​ແບບ​ທີ່​ຮ້າຍ​ແຮງ​ກວ່າ​ເກີດ​ຂຶ້ນ, ອັດ​ຕາ​ສ່ວນ​ຂອງ​ຕົວ​ຢ່າງ​ກະ​ທູ້​ຫຼາຍ​ກວ່າ​ທີ່​ຕ້ອງ​ການ.

ການໂຍກຍ້າຍຄຸນນະສົມບັດ, ການດໍາເນີນງານທີ່ງ່າຍດາຍທີ່ສຸດ, ຮຽກຮ້ອງໃຫ້ມີພຽງແຕ່ສ່ວນຂະຫນາດນ້ອຍຂອງການໄຫຼ, ນັບຕັ້ງແຕ່ພຽງແຕ່ສອງສາມລັກສະນະທີ່ມີການປ່ຽນແປງ, ແລະຮູບແບບໃນປະຈຸບັນໄດ້ຮັບການຝຶກອົບຮົມໃນຊຸດດຽວກັນ - ຄວາມແຕກຕ່າງແມ່ນຫນ້ອຍ. ເພື່ອເຮັດໃຫ້ຕົວແບບງ່າຍດາຍ (ການຫຼຸດຜ່ອນຈໍານວນຕົ້ນໄມ້ຫຼາຍຄັ້ງ), 50 ຫາ 50 ແມ່ນຈໍາເປັນແລ້ວ. ຮູບແບບໃຫມ່ທີ່ທົນທານຕໍ່ omission ໃນທຸກປະເພດຂອງຕົວອັກສອນ.

FastText

ໃຫ້ກ້າວໄປສູ່ FastText. ຂ້າພະເຈົ້າຂໍເຕືອນທ່ານວ່າການເປັນຕົວແທນ (ການຝັງ) ຂອງຄໍາສັບໃດຫນຶ່ງປະກອບດ້ວຍຜົນລວມຂອງການຝັງຄໍາຂອງມັນເອງແລະຕົວອັກສອນ N-grams ທັງຫມົດ, ປົກກະຕິແລ້ວ trigrams. ເນື່ອງຈາກສາມາດມີຫຼາຍ trigrams, Bucket Hashing ຖືກນໍາໃຊ້, ນັ້ນແມ່ນ, ປ່ຽນພື້ນທີ່ທັງຫມົດເຂົ້າໄປໃນ hashmap ທີ່ແນ່ນອນ. ດັ່ງນັ້ນ, matrix ນ້ໍາຫນັກແມ່ນໄດ້ຮັບກັບຂະຫນາດຂອງຊັ້ນໃນຕໍ່ຈໍານວນຄໍາສັບ + buckets.

ດ້ວຍການຝຶກອົບຮົມເພີ່ມເຕີມ, ອາການໃຫມ່ຈະປາກົດ: ຄໍາແລະ trigrams. ບໍ່ມີຫຍັງທີ່ສໍາຄັນເກີດຂື້ນໃນການຝຶກອົບຮົມການຕິດຕາມມາດຕະຖານຈາກເຟສບຸກ. ມີພຽງແຕ່ນ້ໍາຫນັກເກົ່າທີ່ມີ cross-entropy ເທົ່ານັ້ນທີ່ຖືກຝຶກອົບຮົມຄືນໃຫມ່ໃນຂໍ້ມູນໃຫມ່. ດັ່ງນັ້ນ, ລັກສະນະໃຫມ່ບໍ່ໄດ້ຖືກນໍາໃຊ້; ແນ່ນອນ, ວິທີການນີ້ມີຂໍ້ເສຍທີ່ອະທິບາຍຂ້າງເທິງທັງຫມົດທີ່ກ່ຽວຂ້ອງກັບຄວາມບໍ່ແນ່ນອນຂອງຕົວແບບໃນການຜະລິດ. ນັ້ນແມ່ນເຫດຜົນທີ່ພວກເຮົາດັດແປງ FastText ເລັກນ້ອຍ. ພວກເຮົາເພີ່ມນ້ໍາຫນັກໃຫມ່ທັງຫມົດ (ຄໍາແລະ trigrams), ຂະຫຍາຍ matrix ທັງຫມົດດ້ວຍ cross-entropy ແລະເພີ່ມການປະສົມກົມກຽວເປັນປົກກະຕິໂດຍການປຽບທຽບກັບຮູບແບບເສັ້ນ, ເຊິ່ງຮັບປະກັນການປ່ຽນແປງທີ່ບໍ່ສໍາຄັນໃນນ້ໍາຫນັກເກົ່າ.

CNN

ເຄືອຂ່າຍ Convolutional ແມ່ນສັບສົນຫຼາຍ. ຖ້າຊັ້ນສຸດທ້າຍແມ່ນໄດ້ຮັບການຝຶກອົບຮົມຢູ່ໃນ CNN, ແນ່ນອນ, ທ່ານສາມາດນໍາໃຊ້ການປະສົມກົມກຽວເປັນປົກກະຕິແລະການຮັບປະກັນຢ່າງຕໍ່ເນື່ອງ. ແຕ່ຖ້າຕ້ອງການການຝຶກອົບຮົມເພີ່ມເຕີມຂອງເຄືອຂ່າຍທັງຫມົດ, ຫຼັງຈາກນັ້ນການປົກກະຕິດັ່ງກ່າວບໍ່ສາມາດຖືກນໍາໃຊ້ກັບທຸກຊັ້ນ. ຢ່າງໃດກໍ່ຕາມ, ມີທາງເລືອກທີ່ຈະຝຶກອົບຮົມການຝັງຕົວແບບປະສົມປະສານໂດຍຜ່ານການສູນເສຍ Triplet (ບົດຄວາມຕົ້ນສະບັບ).

ການສູນເສຍສາມຄັ້ງ

ການນໍາໃຊ້ວຽກງານຕ້ານການ phishing ເປັນຕົວຢ່າງ, ໃຫ້ພວກເຮົາເບິ່ງ Triplet Loss ໃນຄໍາສັບທົ່ວໄປ. ພວກເຮົາເອົາໂລໂກ້ຂອງພວກເຮົາ, ເຊັ່ນດຽວກັນກັບຕົວຢ່າງໃນທາງບວກແລະທາງລົບຂອງໂລໂກ້ຂອງບໍລິສັດອື່ນ. ພວກເຮົາຫຼຸດຜ່ອນໄລຍະຫ່າງລະຫວ່າງທໍາອິດແລະເພີ່ມໄລຍະຫ່າງລະຫວ່າງທີສອງ, ພວກເຮົາເຮັດແນວນີ້ດ້ວຍຊ່ອງຫວ່າງຂະຫນາດນ້ອຍເພື່ອຮັບປະກັນຄວາມຫນາແຫນ້ນຂອງຊັ້ນຮຽນ.

ຖ້າພວກເຮົາຝຶກອົບຮົມເຄືອຂ່າຍຕື່ມອີກ, ຫຼັງຈາກນັ້ນ, ພື້ນທີ່ metric ຂອງພວກເຮົາຈະປ່ຽນແປງຢ່າງສົມບູນ, ແລະມັນຈະບໍ່ເຂົ້າກັນຢ່າງສົມບູນກັບອັນທີ່ຜ່ານມາ. ນີ້ແມ່ນບັນຫາທີ່ຮ້າຍແຮງໃນບັນຫາທີ່ໃຊ້ vectors. ເພື່ອໃຫ້ໄດ້ຮັບປະມານບັນຫານີ້, ພວກເຮົາຈະປະສົມຢູ່ໃນຝັງເກົ່າໃນລະຫວ່າງການຝຶກອົບຮົມ.

ພວກເຮົາໄດ້ເພີ່ມຂໍ້ມູນໃຫມ່ໃສ່ຊຸດຝຶກອົບຮົມແລະກໍາລັງຝຶກອົບຮົມຮຸ່ນທີສອງຂອງຕົວແບບຈາກ scratch. ໃນຂັ້ນຕອນທີສອງ, ພວກເຮົາຝຶກອົບຮົມເຄືອຂ່າຍຂອງພວກເຮົາຕື່ມອີກ (Finetuning): ທໍາອິດຊັ້ນສຸດທ້າຍແມ່ນສໍາເລັດ, ແລະຫຼັງຈາກນັ້ນເຄືອຂ່າຍທັງຫມົດແມ່ນ unfrozen. ໃນຂະບວນການປະກອບ triplets, ພວກເຮົາຄິດໄລ່ພຽງແຕ່ສ່ວນຫນຶ່ງຂອງການຝັງຕົວໂດຍໃຊ້ຕົວແບບທີ່ໄດ້ຮັບການຝຶກອົບຮົມ, ສ່ວນທີ່ເຫຼືອ - ການນໍາໃຊ້ແບບເກົ່າ. ດັ່ງນັ້ນ, ໃນຂະບວນການຂອງການຝຶກອົບຮົມເພີ່ມເຕີມ, ພວກເຮົາຮັບປະກັນຄວາມເຂົ້າກັນໄດ້ຂອງ metric spaces v1 ແລະ v2. ສະບັບທີ່ເປັນເອກະລັກຂອງຄວາມກົມກຽວກັນເປັນປົກກະຕິ.

ສະຖາປັດຕະຍະກໍາທັງຫມົດ

ຖ້າພວກເຮົາພິຈາລະນາລະບົບທັງຫມົດໂດຍໃຊ້ antispam ເປັນຕົວຢ່າງ, ຮູບແບບດັ່ງກ່າວບໍ່ໄດ້ຢູ່ໂດດດ່ຽວ, ແຕ່ຖືກວາງໄວ້ພາຍໃນກັນແລະກັນ. ພວກເຮົາຖ່າຍຮູບ, ຂໍ້ຄວາມແລະລັກສະນະອື່ນໆ, ໂດຍໃຊ້ CNN ແລະ Fast Text ພວກເຮົາໄດ້ຮັບການຝັງ. ຕໍ່ໄປ, ການຈັດປະເພດແມ່ນໃຊ້ຢູ່ເທິງສຸດຂອງການຝັງ, ເຊິ່ງໃຫ້ຄະແນນສໍາລັບຫ້ອງຮຽນຕ່າງໆ (ປະເພດຂອງຕົວອັກສອນ, ຂີ້ເຫຍື້ອ, ມີໂລໂກ້). ສັນຍານແລະສັນຍານກໍາລັງເຂົ້າໄປໃນປ່າຂອງຕົ້ນໄມ້ສໍາລັບການຕັດສິນໃຈສຸດທ້າຍທີ່ຈະເຮັດ. ການຈັດປະເພດສ່ວນບຸກຄົນໃນໂຄງການນີ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະຕີຄວາມຫມາຍຜົນໄດ້ຮັບຂອງລະບົບໄດ້ດີຂຶ້ນແລະໂດຍສະເພາະ retrain ອົງປະກອບໃນກໍລະນີຂອງບັນຫາ, ແທນທີ່ຈະໃຫ້ອາຫານຂໍ້ມູນທັງຫມົດເຂົ້າໄປໃນຕົ້ນໄມ້ການຕັດສິນໃຈໃນຮູບແບບດິບ.

ດັ່ງນັ້ນ, ພວກເຮົາຮັບປະກັນຄວາມຕໍ່ເນື່ອງໃນທຸກລະດັບ. ໃນລະດັບລຸ່ມສຸດໃນ CNN ແລະ Fast Text ພວກເຮົາໃຊ້ຄວາມສອດຄ່ອງປົກກະຕິຂອງຄວາມກົມກຽວກັນ, ສໍາລັບຕົວຈັດປະເພດຢູ່ໃນກາງພວກເຮົາຍັງໃຊ້ການປັບຕົວແບບປະສົມກົມກຽວ ແລະການປັບອັດຕາສໍາລັບຄວາມສອດຄ່ອງຂອງການແຈກຢາຍຄວາມເປັນໄປໄດ້. ແລ້ວ, ການເສີມຕົ້ນໄມ້ແມ່ນໄດ້ຮັບການຝຶກຊ້ອມເທື່ອລະກ້າວ ຫຼືໃຊ້ Knowledge Distillation.

ໂດຍທົ່ວໄປແລ້ວ, ການຮັກສາລະບົບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ວາງໄວ້ນັ້ນມັກຈະເປັນຄວາມເຈັບປວດ, ເພາະວ່າອົງປະກອບໃດໆໃນລະດັບຕ່ໍາເຮັດໃຫ້ການປັບປຸງລະບົບທັງຫມົດຂ້າງເທິງ. ແຕ່ເນື່ອງຈາກວ່າໃນການຕິດຕັ້ງຂອງພວກເຮົາແຕ່ລະອົງປະກອບມີການປ່ຽນແປງເລັກນ້ອຍແລະເຫມາະສົມກັບອັນທີ່ຜ່ານມາ, ລະບົບທັງຫມົດສາມາດໄດ້ຮັບການປັບປຸງເປັນສິ້ນໂດຍບໍ່ຈໍາເປັນຕ້ອງ retrain ໂຄງສ້າງທັງຫມົດ, ເຮັດໃຫ້ມັນໄດ້ຮັບການສະຫນັບສະຫນູນໂດຍບໍ່ມີການ overhead ຢ່າງຮຸນແຮງ.

ນຳໃຊ້

ພວກເຮົາໄດ້ປຶກສາຫາລືການເກັບກໍາຂໍ້ມູນແລະການຝຶກອົບຮົມເພີ່ມເຕີມຂອງປະເພດທີ່ແຕກຕ່າງກັນຂອງຕົວແບບ, ດັ່ງນັ້ນພວກເຮົາກໍາລັງກ້າວໄປສູ່ການນໍາໄປໃຊ້ໃນສະພາບແວດລ້ອມການຜະລິດ.

ການທົດສອບ A/B

ດັ່ງທີ່ຂ້າພະເຈົ້າໄດ້ກ່າວກ່ອນຫນ້ານີ້, ໃນຂະບວນການເກັບກໍາຂໍ້ມູນ, ພວກເຮົາມັກຈະໄດ້ຮັບຕົວຢ່າງທີ່ມີຄວາມລໍາອຽງ, ເຊິ່ງມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະປະເມີນປະສິດທິພາບການຜະລິດຂອງຕົວແບບ. ດັ່ງນັ້ນ, ເມື່ອນຳໃຊ້, ຮູບແບບດັ່ງກ່າວຕ້ອງຖືກປຽບທຽບກັບລຸ້ນກ່ອນ ເພື່ອເຂົ້າໃຈວ່າສິ່ງທີ່ເປັນໄປຈິງ, ນັ້ນແມ່ນ, ດຳເນີນການທົດສອບ A/B. ໃນຄວາມເປັນຈິງ, ຂະບວນການອອກແລະການວິເຄາະຕາຕະລາງແມ່ນຂ້ອນຂ້າງປົກກະຕິແລະສາມາດອັດຕະໂນມັດໄດ້ຢ່າງງ່າຍດາຍ. ພວກເຮົາເປີດຕົວແບບຈໍາລອງຂອງພວກເຮົາຄ່ອຍໆເປັນ 5%, 30%, 50% ແລະ 100% ຂອງຜູ້ໃຊ້, ໃນຂະນະທີ່ລວບລວມຕົວຊີ້ບອກທັງຫມົດທີ່ມີຢູ່ໃນການຕອບສະຫນອງແບບຈໍາລອງແລະຄໍາຕິຊົມຂອງຜູ້ໃຊ້. ໃນກໍລະນີຂອງບາງ outliers ທີ່ຮ້າຍແຮງ, ພວກເຮົາອັດຕະໂນມັດກັບຄືນໄປບ່ອນຮູບແບບ, ແລະສໍາລັບກໍລະນີອື່ນໆ, ໄດ້ເກັບກໍາຈໍານວນພຽງພໍຂອງການຄລິກຂອງຜູ້ໃຊ້, ພວກເຮົາຕັດສິນໃຈທີ່ຈະເພີ່ມອັດຕາສ່ວນ. ດັ່ງນັ້ນ, ພວກເຮົານໍາເອົາຮູບແບບໃຫມ່ໃຫ້ກັບ 50% ຂອງຜູ້ໃຊ້ຢ່າງສົມບູນແບບອັດຕະໂນມັດ, ແລະການເປີດຕົວໃຫ້ກັບຜູ້ຊົມທັງຫມົດຈະຖືກອະນຸມັດໂດຍບຸກຄົນ, ເຖິງແມ່ນວ່າຂັ້ນຕອນນີ້ສາມາດອັດຕະໂນມັດໄດ້.

ຢ່າງໃດກໍຕາມ, ຂະບວນການທົດສອບ A/B ສະຫນອງຫ້ອງສໍາລັບການເພີ່ມປະສິດທິພາບ. ຄວາມຈິງແລ້ວແມ່ນວ່າການທົດສອບ A / B ໃດກໍ່ຕາມແມ່ນຂ້ອນຂ້າງຍາວ (ໃນກໍລະນີຂອງພວກເຮົາມັນໃຊ້ເວລາຈາກ 6 ຫາ 24 ຊົ່ວໂມງຂຶ້ນກັບຈໍານວນຄໍາຄຶດຄໍາເຫັນ), ເຊິ່ງເຮັດໃຫ້ມັນຂ້ອນຂ້າງແພງແລະມີຊັບພະຍາກອນຈໍາກັດ. ນອກຈາກນັ້ນ, ອັດຕາສ່ວນສູງພຽງພໍຂອງການທົດສອບແມ່ນຈໍາເປັນເພື່ອເລັ່ງເວລາລວມຂອງການທົດສອບ A / B (ການຮັບຕົວຢ່າງທີ່ສໍາຄັນທາງສະຖິຕິເພື່ອປະເມີນ metrics ໃນອັດຕາສ່ວນຫນ້ອຍສາມາດໃຊ້ເວລາຫຼາຍ), ເຊິ່ງເຮັດໃຫ້ ຈຳນວນຊ່ອງ A/B ຈຳກັດທີ່ສຸດ. ແນ່ນອນ, ພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ທົດສອບພຽງແຕ່ຮູບແບບທີ່ໂດດເດັ່ນທີ່ສຸດ, ເຊິ່ງພວກເຮົາໄດ້ຮັບຂ້ອນຂ້າງຫຼາຍໃນລະຫວ່າງຂະບວນການຝຶກອົບຮົມເພີ່ມເຕີມ.

ເພື່ອແກ້ໄຂບັນຫານີ້, ພວກເຮົາໄດ້ຝຶກອົບຮົມການຈັດປະເພດແຍກຕ່າງຫາກທີ່ຄາດຄະເນຜົນສໍາເລັດຂອງການທົດສອບ A/B. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາເອົາສະຖິຕິການຕັດສິນໃຈ, ຄວາມແມ່ນຍໍາ, ການເອີ້ນຄືນແລະການວັດແທກອື່ນໆກ່ຽວກັບຊຸດການຝຶກອົບຮົມ, ໃນຫນຶ່ງທີ່ຖືກເລື່ອນ, ແລະຕົວຢ່າງຈາກສາຍນ້ໍາເປັນລັກສະນະ. ພວກເຮົາຍັງສົມທຽບຕົວແບບກັບປະຈຸບັນໃນການຜະລິດ, ດ້ວຍ heuristics, ແລະຄໍານຶງເຖິງຄວາມສັບສົນຂອງຕົວແບບ. ການນໍາໃຊ້ຄຸນສົມບັດທັງຫມົດເຫຼົ່ານີ້, ການຈັດປະເພດທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບປະຫວັດການທົດສອບປະເມີນຕົວແບບຂອງຜູ້ສະຫມັກ, ໃນກໍລະນີຂອງພວກເຮົາເຫຼົ່ານີ້ແມ່ນປ່າໄມ້ຂອງຕົ້ນໄມ້, ແລະຕັດສິນໃຈວ່າຈະໃຊ້ອັນໃດໃນການທົດສອບ A / B.

ໃນ​ເວ​ລາ​ຂອງ​ການ​ປະ​ຕິ​ບັດ​, ວິ​ທີ​ການ​ນີ້​ໄດ້​ອະ​ນຸ​ຍາດ​ໃຫ້​ພວກ​ເຮົາ​ເພີ່ມ​ຈໍາ​ນວນ​ຂອງ​ການ​ທົດ​ສອບ A / B ສົບ​ຜົນ​ສໍາ​ເລັດ​ຫຼາຍ​ຄັ້ງ​.

ການທົດສອບ ແລະການຕິດຕາມ

ການທົດສອບແລະການຕິດຕາມ, ຜິດປົກກະຕິພຽງພໍ, ບໍ່ເປັນອັນຕະລາຍຕໍ່ສຸຂະພາບຂອງພວກເຮົາ, ແທນທີ່ຈະ, ກົງກັນຂ້າມ, ພວກເຂົາເຈົ້າປັບປຸງມັນແລະບັນເທົາຄວາມກົດດັນທີ່ບໍ່ຈໍາເປັນ. ການທົດສອບຊ່ວຍໃຫ້ທ່ານສາມາດປ້ອງກັນຄວາມລົ້ມເຫລວ, ແລະການຕິດຕາມຊ່ວຍໃຫ້ທ່ານສາມາດກວດພົບໄດ້ໃນເວລາເພື່ອຫຼຸດຜ່ອນຜົນກະທົບຕໍ່ຜູ້ໃຊ້.

ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະເຂົ້າໃຈໃນທີ່ນີ້ວ່າໄວຫຼືຫຼັງຈາກນັ້ນລະບົບຂອງທ່ານຈະເຮັດຜິດພາດສະເຫມີ - ນີ້ແມ່ນເນື່ອງມາຈາກວົງຈອນການພັດທະນາຂອງຊອບແວໃດໆ. ໃນຕອນເລີ່ມຕົ້ນຂອງການພັດທະນາລະບົບມີຂໍ້ບົກພ່ອງຫຼາຍຢູ່ສະເຫມີຈົນກ່ວາທຸກສິ່ງທຸກຢ່າງຕົກລົງແລະຂັ້ນຕອນຕົ້ນຕໍຂອງການປະດິດສ້າງແມ່ນສໍາເລັດ. ແຕ່ເມື່ອເວລາຜ່ານໄປ, entropy ໃຊ້ເວລາໂທ, ແລະຄວາມຜິດພາດຈະປາກົດອີກເທື່ອຫນຶ່ງ - ເນື່ອງຈາກການເຊື່ອມໂຊມຂອງອົງປະກອບທີ່ອ້ອມຮອບແລະການປ່ຽນແປງໃນຂໍ້ມູນ, ເຊິ່ງຂ້າພະເຈົ້າໄດ້ເວົ້າກ່ຽວກັບໃນຕອນຕົ້ນ.

ໃນທີ່ນີ້ຂ້າພະເຈົ້າຢາກຈະສັງເກດວ່າລະບົບການຮຽນຮູ້ເຄື່ອງຈັກໃດກໍ່ຄວນຈະຖືກພິຈາລະນາຈາກທັດສະນະຂອງກໍາໄລຕະຫຼອດວົງຈອນຊີວິດຂອງມັນ. ເສັ້ນສະແດງຂ້າງລຸ່ມນີ້ສະແດງໃຫ້ເຫັນຕົວຢ່າງຂອງວິທີການເຮັດວຽກຂອງລະບົບເພື່ອຈັບ spam ປະເພດທີ່ຫາຍາກ (ເສັ້ນໃນກາຟແມ່ນຢູ່ໃກ້ກັບສູນ). ມື້ຫນຶ່ງ, ເນື່ອງຈາກຄຸນລັກສະນະຂອງຖານຄວາມຈໍາທີ່ບໍ່ຖືກຕ້ອງ, ນາງໄດ້ເປັນບ້າ. ດັ່ງທີ່ໂຊກຈະມີມັນ, ບໍ່ມີການຕິດຕາມການກະຕຸ້ນທີ່ຜິດປົກກະຕິ; ດັ່ງນັ້ນ, ລະບົບໄດ້ເລີ່ມຕົ້ນບັນທຶກຈົດຫມາຍໃນຈໍານວນຫຼວງຫຼາຍໃສ່ໂຟນເດີ "spam" ຢູ່ໃນຂອບເຂດການຕັດສິນໃຈ. ເຖິງວ່າຈະມີການແກ້ໄຂຜົນທີ່ຕາມມາ, ລະບົບໄດ້ເຮັດຜິດພາດແລ້ວຫຼາຍຄັ້ງທີ່ມັນຈະບໍ່ຈ່າຍຄ່າຕົວເອງເຖິງແມ່ນວ່າໃນຫ້າປີ. ແລະນີ້ແມ່ນຄວາມລົ້ມເຫລວຢ່າງສົມບູນຈາກທັດສະນະຂອງວົງຈອນຊີວິດຂອງຕົວແບບ.

ດັ່ງນັ້ນ, ສິ່ງງ່າຍໆເຊັ່ນການຕິດຕາມສາມາດກາຍເປັນກຸນແຈໃນຊີວິດຂອງຕົວແບບ. ນອກເຫນືອຈາກການວັດແທກມາດຕະຖານແລະເຫັນໄດ້ຊັດເຈນ, ພວກເຮົາພິຈາລະນາການແຈກຢາຍການຕອບສະຫນອງແບບຈໍາລອງແລະຄະແນນ, ເຊັ່ນດຽວກັນກັບການແຈກຢາຍມູນຄ່າຄຸນນະສົມບັດທີ່ສໍາຄັນ. ການນໍາໃຊ້ຄວາມແຕກຕ່າງຂອງ KL, ພວກເຮົາສາມາດປຽບທຽບການແຈກຢາຍໃນປະຈຸບັນກັບຄ່າປະຫວັດສາດຫຼືຄ່າໃນການທົດສອບ A / B ກັບສ່ວນທີ່ເຫຼືອຂອງສາຍນ້ໍາ, ເຊິ່ງຊ່ວຍໃຫ້ພວກເຮົາສັງເກດເຫັນຄວາມຜິດປົກກະຕິໃນຕົວແບບແລະກັບຄືນການປ່ຽນແປງຢ່າງທັນເວລາ.

ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ພວກເຮົາເປີດຕົວລະບົບຮຸ່ນທໍາອິດຂອງພວກເຮົາໂດຍໃຊ້ heuristics ງ່າຍດາຍຫຼືຕົວແບບທີ່ພວກເຮົາໃຊ້ເປັນການຕິດຕາມໃນອະນາຄົດ. ຕົວຢ່າງ, ພວກເຮົາຕິດຕາມແບບຈໍາລອງ NER ໃນການປຽບທຽບກັບຮ້ານປົກກະຕິສໍາລັບຮ້ານຄ້າອອນໄລນ໌ສະເພາະ, ແລະຖ້າການຄຸ້ມຄອງການຈັດປະເພດຫຼຸດລົງໃນການປຽບທຽບກັບພວກເຂົາ, ພວກເຮົາເຂົ້າໃຈເຫດຜົນ. ການນໍາໃຊ້ທີ່ເປັນປະໂຫຍດອີກອັນຫນຶ່ງຂອງ heuristics!

ຜົນໄດ້ຮັບ

ຂໍໃຫ້ຜ່ານແນວຄວາມຄິດທີ່ສໍາຄັນຂອງບົດຄວາມອີກເທື່ອຫນຶ່ງ.

• Fibdeck. ພວກເຮົາຄິດກ່ຽວກັບຜູ້ໃຊ້ສະເຫມີ: ລາວຈະດໍາລົງຊີວິດກັບຄວາມຜິດພາດຂອງພວກເຮົາແນວໃດ, ວິທີທີ່ລາວຈະສາມາດລາຍງານໃຫ້ເຂົາເຈົ້າ. ຢ່າລືມວ່າຜູ້ໃຊ້ບໍ່ແມ່ນແຫຼ່ງຂອງຄໍາຕິຊົມທີ່ບໍລິສຸດສໍາລັບຮູບແບບການຝຶກອົບຮົມ, ແລະມັນຕ້ອງໄດ້ຮັບການອະນາໄມໂດຍການຊ່ວຍເຫຼືອຂອງລະບົບ ML. ຖ້າມັນບໍ່ສາມາດເກັບກໍາສັນຍານຈາກຜູ້ໃຊ້ໄດ້, ຫຼັງຈາກນັ້ນພວກເຮົາຊອກຫາແຫຼ່ງທາງເລືອກຂອງຄໍາຄຶດຄໍາເຫັນ, ຕົວຢ່າງ, ລະບົບເຊື່ອມຕໍ່.
• ການຝຶກອົບຮົມເພີ່ມເຕີມ. ສິ່ງ​ທີ່​ສຳຄັນ​ຢູ່​ທີ່​ນີ້​ແມ່ນ​ການ​ຕໍ່​ເນື່ອງ, ດັ່ງ​ນັ້ນ​ພວກ​ຂ້າພະ​ເຈົ້າ​ອີງ​ໃສ່​ຮູບ​ແບບ​ການ​ຜະລິດ​ໃນ​ປະຈຸ​ບັນ. ພວກ​ເຮົາ​ຝຶກ​ອົບ​ຮົມ​ແບບ​ໃຫມ່​ເພື່ອ​ໃຫ້​ພວກ​ເຂົາ​ເຈົ້າ​ບໍ່​ມີ​ຄວາມ​ແຕກ​ຕ່າງ​ຫຼາຍ​ຈາກ​ທີ່​ຜ່ານ​ມາ​ເນື່ອງ​ຈາກ​ການ​ເປັນ​ປົກ​ກະ​ຕິ​ປະ​ສົມ​ກົມ​ກຽວ​ແລະ tricks ທີ່​ຄ້າຍ​ຄື​ກັນ​.
• ນຳໃຊ້. ການໃຊ້ອັດຕະໂນມັດໂດຍອີງໃສ່ metrics ຫຼຸດລົງຢ່າງຫຼວງຫຼາຍເວລາສໍາລັບການປະຕິບັດຕົວແບບ. ການຕິດຕາມສະຖິຕິແລະການແຈກຢາຍການຕັດສິນໃຈ, ຈໍານວນຂອງການຫຼຸດລົງຈາກຜູ້ໃຊ້ແມ່ນບັງຄັບສໍາລັບການນອນພັກຜ່ອນຂອງທ່ານແລະທ້າຍອາທິດຜົນຜະລິດ.

ດີ, ຂ້ອຍຫວັງວ່າອັນນີ້ຊ່ວຍໃຫ້ທ່ານປັບປຸງລະບົບ ML ຂອງທ່ານໄດ້ໄວຂຶ້ນ, ເຮັດໃຫ້ພວກເຂົາເຂົ້າສູ່ຕະຫຼາດໄວຂຶ້ນ, ແລະເຮັດໃຫ້ພວກເຂົາມີຄວາມຫນ້າເຊື່ອຖືແລະຄວາມກົດດັນຫນ້ອຍລົງ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com