ວິທີການເປີດຄໍາເຫັນແລະບໍ່ຖືກຈົມນ້ໍາຢູ່ໃນ spam

ເມື່ອວຽກຂອງເຈົ້າຄືການສ້າງສິ່ງທີ່ສວຍງາມ, ເຈົ້າບໍ່ຈຳເປັນຕ້ອງເວົ້າຫຼາຍກ່ຽວກັບມັນ, ເພາະວ່າຜົນໄດ້ຮັບແມ່ນຢູ່ຕໍ່ໜ້າສາຍຕາຂອງທຸກຄົນ. ແຕ່ຖ້າທ່ານລຶບຄໍາຈາລຶກຈາກຮົ້ວ, ບໍ່ມີໃຜຈະສັງເກດເຫັນວຽກງານຂອງເຈົ້າຕາບໃດທີ່ຮົ້ວເບິ່ງເຫມາະສົມຫຼືຈົນກວ່າເຈົ້າຈະລຶບສິ່ງທີ່ຜິດພາດ.

ການບໍລິການໃດໆທີ່ທ່ານສາມາດອອກຄໍາຄິດເຫັນ, ທົບທວນຄືນ, ສົ່ງຂໍ້ຄວາມຫຼືອັບໂຫລດຮູບພາບໄວຫຼືຫຼັງຈາກນັ້ນຈະປະເຊີນກັບບັນຫາຂີ້ເຫຍື້ອ, ການສໍ້ໂກງແລະການຂີ້ຕົວະ. ນີ້ບໍ່ສາມາດຫຼີກເວັ້ນໄດ້, ແຕ່ມັນຕ້ອງໄດ້ຮັບການຈັດການກັບ.

ຂ້ອຍຊື່ Mikhail, ຂ້ອຍເຮັດວຽກຢູ່ໃນທີມ Antispam, ເຊິ່ງປົກປ້ອງຜູ້ໃຊ້ບໍລິການ Yandex ຈາກບັນຫາດັ່ງກ່າວ. ວຽກງານຂອງພວກເຮົາແມ່ນບໍ່ຄ່ອຍສັງເກດເຫັນ (ແລະນັ້ນແມ່ນສິ່ງທີ່ດີ!), ດັ່ງນັ້ນມື້ນີ້ຂ້ອຍຈະບອກທ່ານເພີ່ມເຕີມກ່ຽວກັບມັນ. ເຈົ້າຈະຮຽນຮູ້ເມື່ອການປານກາງບໍ່ມີປະໂຫຍດ ແລະເປັນຫຍັງຄວາມຖືກຕ້ອງຈຶ່ງບໍ່ແມ່ນຕົວຊີ້ບອກປະສິດທິພາບຂອງມັນເທົ່ານັ້ນ. ພວກເຮົາຍັງຈະເວົ້າກ່ຽວກັບການສາບານໂດຍໃຊ້ຕົວຢ່າງຂອງແມວແລະຫມາແລະເປັນຫຍັງບາງຄັ້ງມັນເປັນປະໂຫຍດທີ່ຈະ "ຄິດຄືກັບຜູ້ສາບານ."

ການບໍລິການຫຼາຍກວ່າແລະຫຼາຍແມ່ນປາກົດຢູ່ໃນ Yandex ບ່ອນທີ່ຜູ້ໃຊ້ເຜີຍແຜ່ເນື້ອຫາຂອງພວກເຂົາ. ທ່ານສາມາດຖາມຄໍາຖາມຫຼືຂຽນຄໍາຕອບໃນ Yandex.Q, ສົນທະນາຂ່າວເດີ່ນໃນ Yandex.District, ແບ່ງປັນສະພາບການຈະລາຈອນໃນການສົນທະນາໃນ Yandex.Maps. ແຕ່ເມື່ອຜູ້ຊົມຂອງການບໍລິການເຕີບໂຕ, ມັນກາຍເປັນທີ່ດຶງດູດຜູ້ຫລອກລວງແລະ spammers. ພວກເຂົາມາແລະຕື່ມຄໍາເຫັນ: ພວກເຂົາສະເຫນີເງິນງ່າຍ, ໂຄສະນາການປິ່ນປົວມະຫັດສະຈັນແລະສັນຍາຜົນປະໂຫຍດທາງສັງຄົມ. ເນື່ອງຈາກ spammers, ຜູ້ໃຊ້ບາງຄົນສູນເສຍເງິນ, ໃນຂະນະທີ່ຄົນອື່ນສູນເສຍຄວາມປາຖະຫນາທີ່ຈະໃຊ້ເວລາໃນການບໍລິການທີ່ບໍ່ມີປະໂຫຍດ overgrown ກັບ spam.

ແລະນີ້ບໍ່ແມ່ນບັນຫາດຽວ. ພວກເຮົາພະຍາຍາມບໍ່ພຽງແຕ່ປົກປ້ອງຜູ້ໃຊ້ຈາກ scammers, ແຕ່ຍັງເພື່ອສ້າງບັນຍາກາດສະດວກສະບາຍສໍາລັບການສື່ສານ. ຖ້າປະຊາຊົນປະເຊີນກັບການສາບານແລະການດູຖູກໃນຄໍາເຫັນ, ພວກເຂົາມີແນວໂນ້ມທີ່ຈະອອກໄປແລະບໍ່ມີວັນກັບຄືນມາ. ນີ້ຫມາຍຄວາມວ່າທ່ານຍັງຈໍາເປັນຕ້ອງສາມາດຈັດການກັບເລື່ອງນີ້.

ອະນາໄມເວັບ

ເຊັ່ນດຽວກັບພວກເຮົາເລື້ອຍໆ, ການພັດທະນາຄັ້ງທໍາອິດໄດ້ເກີດຂື້ນໃນການຄົ້ນຫາ, ໃນສ່ວນທີ່ຕໍ່ສູ້ກັບ spam ໃນຜົນການຄົ້ນຫາ. ປະມານສິບປີກ່ອນຫນ້ານີ້, ວຽກງານຂອງການກັ່ນຕອງເນື້ອຫາສໍາລັບຜູ້ໃຫຍ່ສໍາລັບການຄົ້ນຫາໃນຄອບຄົວແລະສໍາລັບຄໍາຖາມທີ່ບໍ່ຕ້ອງການຄໍາຕອບຈາກປະເພດ 18+ ປາກົດຢູ່ທີ່ນັ້ນ. ນີ້ແມ່ນວິທີການພິມພິມດ້ວຍຕົນເອງຄັ້ງທໍາອິດຂອງ porn ແລະ swearing ປາກົດ, ພວກເຂົາເຈົ້າໄດ້ຖືກ replenished ໂດຍນັກວິເຄາະ. ວຽກງານຕົ້ນຕໍແມ່ນເພື່ອຈັດປະເພດຄໍາຮ້ອງຂໍເຂົ້າໄປໃນບ່ອນທີ່ມັນຍອມຮັບໄດ້ເພື່ອສະແດງເນື້ອຫາສໍາລັບຜູ້ໃຫຍ່ແລະບ່ອນທີ່ມັນບໍ່ແມ່ນ. ສໍາລັບວຽກງານນີ້, markup ໄດ້ຖືກເກັບກໍາ, heuristics ຖືກສ້າງຂຶ້ນ, ແລະແບບຈໍາລອງໄດ້ຖືກຝຶກອົບຮົມ. ນີ້ແມ່ນວິທີການພັດທະນາຄັ້ງທໍາອິດສໍາລັບການກັ່ນຕອງເນື້ອຫາທີ່ບໍ່ຕ້ອງການປາກົດ.

ເມື່ອເວລາຜ່ານໄປ, UGC (ເນື້ອຫາທີ່ສ້າງໂດຍຜູ້ໃຊ້) ເລີ່ມປາກົດຢູ່ໃນ Yandex - ຂໍ້ຄວາມທີ່ຖືກຂຽນໂດຍຜູ້ໃຊ້ເອງ, ແລະ Yandex ພຽງແຕ່ເຜີຍແຜ່. ສໍາລັບເຫດຜົນທີ່ໄດ້ອະທິບາຍຂ້າງເທິງ, ຂໍ້ຄວາມຈໍານວນຫຼາຍບໍ່ສາມາດຖືກເຜີຍແຜ່ໂດຍບໍ່ມີການເບິ່ງ - ຕ້ອງການການປານກາງ. ຫຼັງຈາກນັ້ນ, ພວກເຂົາເຈົ້າໄດ້ຕັດສິນໃຈສ້າງການບໍລິການທີ່ຈະສະຫນອງການປົກປ້ອງ spam ແລະການໂຈມຕີສໍາລັບຜະລິດຕະພັນ Yandex UGC ທັງຫມົດແລະນໍາໃຊ້ການພັດທະນາເພື່ອກັ່ນຕອງເນື້ອຫາທີ່ບໍ່ຕ້ອງການໃນການຊອກຫາ. ການບໍລິການເອີ້ນວ່າ "Clean Web".

ວຽກງານໃຫມ່ແລະການຊ່ວຍເຫຼືອຈາກ pushers

ໃນຕອນທໍາອິດ, ອັດຕະໂນມັດທີ່ງ່າຍດາຍພຽງແຕ່ເຮັດວຽກສໍາລັບພວກເຮົາ: ການບໍລິການໄດ້ສົ່ງບົດເລື່ອງໃຫ້ພວກເຮົາ, ແລະພວກເຮົາໄດ້ແລ່ນວັດຈະນານຸກົມທີ່ຂີ້ຮ້າຍ, ວັດຈະນານຸກົມ porn ແລະການສະແດງອອກເປັນປົກກະຕິກ່ຽວກັບພວກມັນ - ນັກວິເຄາະລວບລວມທຸກສິ່ງທຸກຢ່າງດ້ວຍຕົນເອງ. ແຕ່ໃນໄລຍະເວລາ, ການບໍລິການໄດ້ຖືກນໍາໃຊ້ໃນຈໍານວນຜະລິດຕະພັນ Yandex ເພີ່ມຂຶ້ນ, ແລະພວກເຮົາຕ້ອງຮຽນຮູ້ທີ່ຈະເຮັດວຽກກັບບັນຫາໃຫມ່.

ເລື້ອຍໆ, ແທນທີ່ຈະເປັນການທົບທວນຄືນ, ຜູ້ໃຊ້ເຜີຍແຜ່ຊຸດຈົດຫມາຍທີ່ບໍ່ມີຄວາມຫມາຍ, ພະຍາຍາມເພີ່ມຄວາມສໍາເລັດຂອງພວກເຂົາ, ບາງຄັ້ງພວກເຂົາໂຄສະນາບໍລິສັດຂອງພວກເຂົາໃນການທົບທວນຄືນຂອງບໍລິສັດຄູ່ແຂ່ງ, ແລະບາງຄັ້ງພວກເຂົາພຽງແຕ່ສັບສົນກັບອົງການຈັດຕັ້ງແລະຂຽນໃນການທົບທວນຄືນກ່ຽວກັບຮ້ານສັດລ້ຽງ: " ປາທີ່ປຸງແຕ່ງຢ່າງສົມບູນ!” ບາງທີມື້ໜຶ່ງປັນຍາປະດິດຈະຮຽນຮູ້ທີ່ຈະເຂົ້າໃຈຄວາມໝາຍຂອງຂໍ້ຄວາມໃດນຶ່ງໄດ້ຢ່າງສົມບູນແບບ, ແຕ່ດຽວນີ້ ບາງຄັ້ງການອັດຕະໂນມັດສາມາດຮັບມືກັບມະນຸດໄດ້ຮ້າຍແຮງກວ່າ.

ມັນເຫັນໄດ້ຊັດເຈນວ່າພວກເຮົາບໍ່ສາມາດເຮັດສິ່ງນີ້ໄດ້ໂດຍບໍ່ມີການຫມາຍຄູ່ມື, ແລະພວກເຮົາໄດ້ເພີ່ມຂັ້ນຕອນທີສອງໃສ່ວົງຈອນຂອງພວກເຮົາ - ສົ່ງມັນສໍາລັບການກວດສອບຄູ່ມືໂດຍບຸກຄົນ. ບົດເລື່ອງທີ່ພິມເຜີຍແຜ່ເຫຼົ່ານັ້ນທີ່ຜູ້ຈັດປະເພດບໍ່ເຫັນບັນຫາໃດໆຖືກລວມຢູ່ໃນນັ້ນ. ທ່ານສາມາດຈິນຕະນາການຂະຫນາດຂອງວຽກງານດັ່ງກ່າວໄດ້ງ່າຍ, ດັ່ງນັ້ນພວກເຮົາບໍ່ພຽງແຕ່ອີງໃສ່ຜູ້ປະເມີນ, ແຕ່ຍັງໃຊ້ປະໂຫຍດຈາກ "ສະຕິປັນຍາຂອງຝູງຊົນ", ນັ້ນແມ່ນ, ພວກເຮົາຫັນໄປຫາຜູ້ໃຫ້ຄວາມຊ່ວຍເຫຼືອ. ພວກເຂົາເຈົ້າແມ່ນຜູ້ທີ່ຊ່ວຍພວກເຮົາກໍານົດສິ່ງທີ່ເຄື່ອງຈັກພາດໂອກາດນີ້, ແລະດັ່ງນັ້ນຈິ່ງສອນມັນ.

ການເກັບຂໍ້ມູນອັດສະລິຍະ ແລະ ການແກັດ LSH

ບັນຫາອື່ນທີ່ພວກເຮົາພົບໃນເວລາທີ່ເຮັດວຽກກັບຄໍາເຫັນແມ່ນ spam, ຫຼືຫຼາຍທີ່ຊັດເຈນ, ປະລິມານແລະຄວາມໄວຂອງການແຜ່ກະຈາຍຂອງມັນ. ເມື່ອຜູ້ຊົມ Yandex.Region ເລີ່ມຕົ້ນເຕີບໂຕຢ່າງໄວວາ, spammers ມາຮອດ. ເຂົາເຈົ້າໄດ້ຮຽນຮູ້ທີ່ຈະຂ້າມການສະແດງອອກປົກກະຕິໂດຍການປ່ຽນຂໍ້ຄວາມເລັກນ້ອຍ. Spam, ແນ່ນອນ, ຍັງຖືກພົບເຫັນແລະຖືກລຶບ, ແຕ່ໃນຂະຫນາດຂອງ Yandex, ຂໍ້ຄວາມທີ່ບໍ່ສາມາດຍອມຮັບໄດ້ທີ່ຈັດພີມມາເຖິງແມ່ນສໍາລັບ 5 ນາທີສາມາດເຫັນໄດ້ໂດຍຫຼາຍຮ້ອຍຄົນ.

ແນ່ນອນ, ນີ້ບໍ່ເຫມາະສົມກັບພວກເຮົາ, ແລະພວກເຮົາເຮັດການເກັບຮັກສາຂໍ້ຄວາມ smart ໂດຍອີງໃສ່ LSH (hashing ທ້ອງຖິ່ນທີ່ລະອຽດອ່ອນ). ມັນເຮັດວຽກແບບນີ້: ພວກເຮົາເຮັດໃຫ້ຂໍ້ຄວາມປົກກະຕິ, ເອົາການເຊື່ອມຕໍ່ອອກຈາກມັນແລະຕັດມັນເປັນ n-grams (ລໍາດັບຂອງຕົວອັກສອນ n). ຕໍ່ໄປ, hashes ຂອງ n-grams ໄດ້ຖືກຄິດໄລ່, ແລະ vector LSH ຂອງເອກະສານໄດ້ຖືກສ້າງຂຶ້ນຈາກພວກມັນ. ຈຸດແມ່ນວ່າບົດເລື່ອງທີ່ຄ້າຍຄືກັນ, ເຖິງແມ່ນວ່າພວກເຂົາມີການປ່ຽນແປງເລັກນ້ອຍ, ກາຍເປັນ vectors ທີ່ຄ້າຍຄືກັນ.

ການແກ້ໄຂນີ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະໃຊ້ຄໍາຕັດສິນຂອງຜູ້ຈັດປະເພດແລະຜູ້ເວົ້າສໍາລັບບົດເລື່ອງທີ່ຄ້າຍຄືກັນ. ໃນລະຫວ່າງການໂຈມຕີ spam, ທັນທີທີ່ຂໍ້ຄວາມທໍາອິດຜ່ານການສະແກນແລະເຂົ້າໄປໃນ cache ດ້ວຍຄໍາຕັດສິນ "spam", ຂໍ້ຄວາມທີ່ຄ້າຍຄືກັນໃຫມ່ທັງຫມົດ, ເຖິງແມ່ນວ່າຂໍ້ຄວາມທີ່ຖືກດັດແປງ, ໄດ້ຮັບຄໍາຕັດສິນດຽວກັນແລະຖືກລຶບໂດຍອັດຕະໂນມັດ. ຕໍ່ມາ, ພວກເຮົາໄດ້ຮຽນຮູ້ວິທີຝຶກອົບຮົມ ແລະ ຝຶກອົບຮົມຕົວຈັດປະເພດ spam ຄືນໃໝ່ໂດຍອັດຕະໂນມັດ, ແຕ່ "smart cache" ນີ້ຢູ່ກັບພວກເຮົາ ແລະຍັງຊ່ວຍພວກເຮົາອອກເລື້ອຍໆ.

ຕົວຈັດປະເພດຂໍ້ຄວາມທີ່ດີ

ໂດຍບໍ່ມີການໃຊ້ເວລາພັກຜ່ອນຈາກການຕໍ່ສູ້ກັບ spam, ພວກເຮົາຮູ້ວ່າ 95% ຂອງເນື້ອຫາຂອງພວກເຮົາຖືກກວດສອບດ້ວຍຕົນເອງ: ການຈັດປະເພດພຽງແຕ່ຕອບສະຫນອງຕໍ່ການລະເມີດ, ແລະຂໍ້ຄວາມສ່ວນໃຫຍ່ແມ່ນດີ. ພວກເຮົາໂຫຼດຜູ້ເຮັດຄວາມສະອາດຜູ້ທີ່ຢູ່ໃນ 95 ກໍລະນີຈາກ 100 ໃຫ້ຄະແນນ "ທຸກສິ່ງທຸກຢ່າງແມ່ນດີ". ຂ້ອຍຕ້ອງເຮັດວຽກທີ່ຜິດປົກກະຕິ - ເຮັດໃຫ້ການຈັດປະເພດເນື້ອຫາທີ່ດີ, ໂຊກດີພຽງພໍທີ່ markup ໄດ້ສະສົມໃນຊ່ວງເວລານີ້.

ຕົວຈັດປະເພດທໍາອິດເບິ່ງຄືນີ້: ພວກເຮົາເຮັດໃຫ້ຂໍ້ຄວາມ (ຫຼຸດລົງຄໍາສັບຕ່າງໆໃນແບບຟອມເບື້ອງຕົ້ນ), ຖິ້ມທຸກພາກສ່ວນຂອງຄໍາເວົ້າແລະນໍາໃຊ້ "ວັດຈະນານຸກົມຂອງ lemmas ດີ". ຖ້າທຸກຄໍາໃນຂໍ້ຄວາມແມ່ນ "ດີ", ຫຼັງຈາກນັ້ນຂໍ້ຄວາມທັງຫມົດບໍ່ມີການລະເມີດໃດໆ. ກ່ຽວກັບການບໍລິການທີ່ແຕກຕ່າງກັນ, ວິທີການນີ້ທັນທີໃຫ້ຈາກ 25 ຫາ 35% ອັດຕະໂນມັດຂອງເຄື່ອງຫມາຍຄູ່ມື. ແນ່ນອນ, ວິທີການນີ້ແມ່ນບໍ່ເຫມາະສົມ: ມັນງ່າຍທີ່ຈະສົມທົບຄໍາສັບທີ່ບໍ່ບໍລິສຸດຫຼາຍແລະໄດ້ຮັບຄໍາເວົ້າທີ່ຫນ້າລັງກຽດ, ແຕ່ມັນຊ່ວຍໃຫ້ພວກເຮົາສາມາດບັນລຸລະດັບອັດຕະໂນມັດທີ່ດີຢ່າງໄວວາແລະໃຫ້ເວລາໃນການຝຶກອົບຮົມແບບສະລັບສັບຊ້ອນຫຼາຍ.

ຮຸ່ນຕໍ່ໄປຂອງຕົວຈັດປະເພດຂໍ້ຄວາມທີ່ດີລວມມີຕົວແບບເສັ້ນຊື່, ຕົ້ນໄມ້ການຕັດສິນໃຈ, ແລະການປະສົມປະສານຂອງພວກມັນ. ສໍາລັບຕົວຢ່າງ, ເພື່ອຫມາຍຄວາມຫຍາບຄາຍແລະການດູຖູກ, ພວກເຮົາພະຍາຍາມເຄືອຂ່າຍ neural BERT. ມັນເປັນສິ່ງ ສຳ ຄັນທີ່ຈະເຂົ້າໃຈຄວາມ ໝາຍ ຂອງ ຄຳ ສັບໃນສະພາບການແລະການເຊື່ອມຕໍ່ລະຫວ່າງ ຄຳ ສັບຈາກປະໂຫຍກຕ່າງໆ, ແລະ BERT ເຮັດວຽກໄດ້ດີ. (ໂດຍວິທີທາງການ, ບໍ່ດົນມານີ້, ເພື່ອນຮ່ວມງານຈາກ News ບອກ, ວິທີການເທກໂນໂລຍີຖືກນໍາໃຊ້ສໍາລັບວຽກງານທີ່ບໍ່ແມ່ນມາດຕະຖານ - ຊອກຫາຂໍ້ຜິດພາດໃນສ່ວນຫົວ.) ດັ່ງນັ້ນ, ມັນເປັນໄປໄດ້ທີ່ຈະອັດຕະໂນມັດເຖິງ 90% ຂອງການໄຫຼເຂົ້າ, ຂຶ້ນກັບການບໍລິການ.

ຄວາມຖືກຕ້ອງ, ຄວາມສົມບູນແລະຄວາມໄວ

ເພື່ອພັດທະນາ, ທ່ານ ຈຳ ເປັນຕ້ອງເຂົ້າໃຈຜົນປະໂຫຍດທີ່ເຄື່ອງຈັດປະເພດອັດຕະໂນມັດບາງຢ່າງ ນຳ ເອົາ, ການປ່ຽນແປງໃນພວກມັນ, ແລະວ່າຄຸນນະພາບຂອງການກວດສອບຄູ່ມືແມ່ນຊຸດໂຊມບໍ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາໃຊ້ຕົວຊີ້ວັດຄວາມແມ່ນຍໍາແລະການເອີ້ນຄືນ.

ຄວາມຖືກຕ້ອງແມ່ນອັດຕາສ່ວນຂອງຄໍາຕັດສິນທີ່ຖືກຕ້ອງໃນບັນດາຄໍາຕັດສິນທັງຫມົດກ່ຽວກັບເນື້ອຫາທີ່ບໍ່ດີ. ຄວາມ​ຖືກ​ຕ້ອງ​ສູງ​ຂຶ້ນ​, ການ​ບວກ​ທີ່​ບໍ່​ຖືກ​ຕ້ອງ​ຫນ້ອຍ​. ຖ້າທ່ານບໍ່ເອົາໃຈໃສ່ກັບຄວາມຖືກຕ້ອງ, ໃນທາງທິດສະດີ, ທ່ານສາມາດລຶບ spam ແລະຂີ້ຮ້າຍທັງຫມົດ, ແລະພ້ອມກັບພວກເຂົາເຄິ່ງຫນຶ່ງຂອງຂໍ້ຄວາມທີ່ດີ. ໃນທາງກົງກັນຂ້າມ, ຖ້າທ່ານອີງໃສ່ພຽງແຕ່ຄວາມຖືກຕ້ອງ, ເທກໂນໂລຍີທີ່ດີທີ່ສຸດຈະເປັນແບບທີ່ບໍ່ຈັບໃຜເລີຍ. ດັ່ງນັ້ນ, ຍັງມີຕົວຊີ້ບອກຂອງຄວາມສົມບູນ: ສ່ວນແບ່ງຂອງເນື້ອໃນທີ່ບໍ່ດີທີ່ຖືກລະບຸໄວ້ໃນປະລິມານລວມຂອງເນື້ອຫາທີ່ບໍ່ດີ. ສອງ metrics ນີ້ດຸ່ນດ່ຽງເຊິ່ງກັນແລະກັນອອກ.

ເພື່ອວັດແທກ, ພວກເຮົາເອົາຕົວຢ່າງກະແສທີ່ເຂົ້າມາທັງຫມົດສໍາລັບແຕ່ລະບໍລິການແລະໃຫ້ຕົວຢ່າງເນື້ອຫາໃຫ້ກັບຜູ້ປະເມີນສໍາລັບການປະເມີນຜູ້ຊ່ຽວຊານແລະການປຽບທຽບກັບວິທີແກ້ໄຂເຄື່ອງຈັກ.

ແຕ່ມີຕົວຊີ້ວັດທີ່ສໍາຄັນອີກອັນຫນຶ່ງ.

ຂ້າພະເຈົ້າໄດ້ຂຽນຂ້າງເທິງວ່າຂໍ້ຄວາມທີ່ບໍ່ໄດ້ຮັບການຍອມຮັບສາມາດເຫັນໄດ້ໂດຍປະຊາຊົນຫຼາຍຮ້ອຍຄົນເຖິງແມ່ນວ່າໃນ 5 ນາທີ. ດັ່ງນັ້ນ, ພວກເຮົານັບຈໍານວນຄັ້ງທີ່ພວກເຮົາສະແດງໃຫ້ຄົນມີເນື້ອຫາທີ່ບໍ່ດີກ່ອນທີ່ພວກເຮົາຈະເຊື່ອງມັນ. ນີ້ແມ່ນສິ່ງສໍາຄັນເພາະວ່າມັນບໍ່ພຽງພໍທີ່ຈະເຮັດວຽກຢ່າງມີປະສິດທິພາບ - ທ່ານກໍ່ຕ້ອງເຮັດວຽກຢ່າງໄວວາ. ແລະ ເມື່ອ​ພວກ​ເຮົາ​ໄດ້​ສ້າງ​ການ​ປ້ອງ​ກັນ​ຕໍ່​ການ​ສາ​ບານ, ພວກ​ເຮົາ​ຮູ້​ສຶກ​ວ່າ​ມັນ​ເຕັມ​ທີ່​ສຸດ.

Antimatism ໃຊ້ຕົວຢ່າງຂອງແມວແລະຫມາ

ການ​ຂະ​ຫຍາຍ​ຕົວ​ດົນ​ຕີ​ຂະ​ຫນາດ​ນ້ອຍ​. ບາງຄົນອາດຈະເວົ້າວ່າການຫຍາບຄາຍແລະການດູຖູກບໍ່ເປັນອັນຕະລາຍເທົ່າກັບການເຊື່ອມຕໍ່ທີ່ເປັນອັນຕະລາຍ, ແລະບໍ່ຫນ້າລໍາຄານຄືກັບ spam. ແຕ່ພວກເຮົາພະຍາຍາມຮັກສາເງື່ອນໄຂທີ່ສະດວກສະບາຍໃນການສື່ສານສໍາລັບຜູ້ໃຊ້ລ້ານໆຄົນ, ແລະປະຊາຊົນບໍ່ຢາກກັບຄືນໄປຫາບ່ອນທີ່ພວກເຂົາຖືກດູຖູກ. ມັນບໍ່ແມ່ນສໍາລັບບໍ່ມີຫຍັງທີ່ການຫ້າມການສາບານແລະການຫມິ່ນປະຫມາດຖືກສະກົດຢູ່ໃນກົດລະບຽບຂອງຊຸມຊົນຈໍານວນຫຼາຍ, ລວມທັງກ່ຽວກັບ Habre. ແຕ່ພວກເຮົາຜິດຫວັງ.

ວັດຈະນານຸກົມສາບານບໍ່ສາມາດຮັບມືກັບຄວາມອຸດົມສົມບູນທັງຫມົດຂອງພາສາລັດເຊຍ. ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າມີພຽງແຕ່ສີ່ຮາກຄໍາສາບານຕົ້ນຕໍ, ຈາກພວກມັນທ່ານສາມາດປະກອບຄໍານັບບໍ່ຖ້ວນທີ່ບໍ່ສາມາດຈັບໄດ້ໂດຍເຄື່ອງຈັກປົກກະຕິໃດໆ. ນອກຈາກນັ້ນ, ທ່ານສາມາດຂຽນບາງສ່ວນຂອງຄໍາສັບໃນ transliteration, ທົດແທນຕົວອັກສອນທີ່ມີການປະສົມທີ່ຄ້າຍຄືກັນ, ການຈັດລຽງຈົດຫມາຍໃຫມ່, ເພີ່ມຮູບດາວ, ແລະອື່ນໆ. ພວກເຮົາເຄົາລົບກົດລະບຽບຂອງ Habr, ດັ່ງນັ້ນພວກເຮົາຈະສະແດງໃຫ້ເຫັນເລື່ອງນີ້ບໍ່ແມ່ນຕົວຢ່າງທີ່ມີຊີວິດ, ແຕ່ກັບແມວແລະຫມາ.

"ກົດຫມາຍ," cat ເວົ້າວ່າ. ແຕ່ພວກເຮົາເຂົ້າໃຈວ່າແມວເວົ້າຄໍາທີ່ແຕກຕ່າງກັນ ...

ພວກເຮົາເລີ່ມຄິດກ່ຽວກັບ "ການຈັບຄູ່ແບບ fuzzy" algorithms ສໍາລັບວັດຈະນານຸກົມຂອງພວກເຮົາແລະກ່ຽວກັບການປຸງແຕ່ງ preprocessing ທີ່ສະຫລາດກວ່າ: ພວກເຮົາສະຫນອງການແປ, ຊ່ອງຫວ່າງແລະເຄື່ອງຫມາຍວັກຕອນຮ່ວມກັນ, ຊອກຫາຮູບແບບແລະຂຽນການສະແດງອອກປົກກະຕິແຍກຕ່າງຫາກກ່ຽວກັບພວກມັນ. ວິທີການນີ້ໄດ້ນໍາເອົາຜົນໄດ້ຮັບ, ແຕ່ມັກຈະຫຼຸດລົງຄວາມຖືກຕ້ອງແລະບໍ່ໄດ້ສະຫນອງຄວາມສົມບູນທີ່ຕ້ອງການ.

ຫຼັງຈາກນັ້ນ, ພວກເຮົາຕັດສິນໃຈ "ຄິດຄືກັບຜູ້ສາບານ." ພວກເຮົາເລີ່ມແນະນໍາສິ່ງລົບກວນເຂົ້າໄປໃນຂໍ້ມູນຕົວເຮົາເອງ: ພວກເຮົາຈັດລຽງຕົວອັກສອນໃຫມ່, ສ້າງການພິມຜິດ, ແທນທີ່ຕົວອັກສອນທີ່ມີການສະກົດຄໍາທີ່ຄ້າຍຄືກັນ, ແລະອື່ນໆ. ເຄື່ອງຫມາຍເບື້ອງຕົ້ນສໍາລັບການນີ້ໄດ້ຖືກປະຕິບັດໂດຍການນໍາໃຊ້ວັດຈະນານຸກົມ mat ກັບ corpora ຂະຫນາດໃຫຍ່ຂອງບົດເລື່ອງ. ຖ້າທ່ານເອົາປະໂຫຍກຫນຶ່ງແລະບິດມັນໃນຫຼາຍວິທີ, ທ່ານຈະສິ້ນສຸດດ້ວຍຫຼາຍປະໂຫຍກ. ວິທີນີ້ທ່ານສາມາດເພີ່ມຕົວຢ່າງການຝຶກອົບຮົມຫຼາຍສິບເທື່ອ. ທັງຫມົດທີ່ຍັງເຫຼືອແມ່ນການຝຶກອົບຮົມກ່ຽວກັບສະນຸກເກີຜົນໄດ້ຮັບບາງຮູບແບບ smart ຫຼາຍຫຼືຫນ້ອຍທີ່ຄໍານຶງເຖິງສະພາບການ.

ມັນໄວເກີນໄປທີ່ຈະເວົ້າກ່ຽວກັບການຕັດສິນໃຈສຸດທ້າຍ. ພວກເຮົາຍັງທົດລອງວິທີການແກ້ໄຂບັນຫານີ້, ແຕ່ພວກເຮົາສາມາດເຫັນໄດ້ວ່າເຄືອຂ່າຍ convolutional ສັນຍາລັກທີ່ງ່າຍດາຍຂອງຫຼາຍຊັ້ນມີຜົນດີຕໍ່ວັດຈະນານຸກົມແລະເຄື່ອງຈັກປົກກະຕິ: ມັນເປັນໄປໄດ້ທີ່ຈະເພີ່ມທັງຄວາມຖືກຕ້ອງແລະການເອີ້ນຄືນ.

ແນ່ນອນ, ພວກເຮົາເຂົ້າໃຈວ່າມັນຈະມີວິທີທີ່ຈະຂ້າມຜ່ານລະບົບອັດຕະໂນມັດທີ່ກ້າວຫນ້າທີ່ສຸດ, ໂດຍສະເພາະໃນເວລາທີ່ເລື່ອງດັ່ງກ່າວເປັນອັນຕະລາຍ: ຂຽນໃນແບບທີ່ເຄື່ອງໂງ່ຈະບໍ່ເຂົ້າໃຈ. ໃນທີ່ນີ້, ຄືກັບການຕໍ່ສູ້ກັບ spam, ເປົ້າຫມາຍຂອງພວກເຮົາບໍ່ແມ່ນເພື່ອລົບລ້າງຄວາມເປັນໄປໄດ້ຂອງການຂຽນສິ່ງທີ່ຫຍາບຄາຍ; ວຽກງານຂອງພວກເຮົາແມ່ນເພື່ອໃຫ້ແນ່ໃຈວ່າເກມບໍ່ຄຸ້ມຄ່າກັບທຽນໄຂ.

ເປີດໂອກາດທີ່ຈະແບ່ງປັນຄວາມຄິດເຫັນ, ສື່ສານແລະຄໍາຄິດຄໍາເຫັນບໍ່ແມ່ນເລື່ອງຍາກ. ມັນເປັນການຍາກຫຼາຍທີ່ຈະບັນລຸເງື່ອນໄຂທີ່ປອດໄພ, ສະດວກສະບາຍແລະການປິ່ນປົວປະຊາຊົນດ້ວຍຄວາມເຄົາລົບ. ແລະໂດຍບໍ່ມີການນີ້, ຈະບໍ່ມີການພັດທະນາຂອງຊຸມຊົນໃດໆ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com