ສືບຕໍ່ຫົວຂໍ້ຂອງການແຂ່ງຂັນການຮຽນຮູ້ເຄື່ອງຈັກໃນHabré, ພວກເຮົາຢາກແນະນໍາຜູ້ອ່ານສອງເວທີ. ແນ່ນອນວ່າພວກມັນບໍ່ໃຫຍ່ເທົ່າກັບ kaggle, ແຕ່ພວກເຂົາສົມຄວນໄດ້ຮັບຄວາມສົນໃຈ.

ສ່ວນບຸກຄົນ, ຂ້ອຍບໍ່ມັກ kaggle ຫຼາຍເກີນໄປສໍາລັບເຫດຜົນຫຼາຍຢ່າງ:

• ກ່ອນອື່ນ ໝົດ, ການແຂ່ງຂັນຢູ່ທີ່ນັ້ນມັກຈະແກ່ຍາວເປັນເວລາຫຼາຍເດືອນ, ແລະການມີສ່ວນຮ່ວມຢ່າງຫ້າວຫັນຮຽກຮ້ອງໃຫ້ມີຄວາມພະຍາຍາມຫຼາຍ;
• ອັນທີສອງ, ແກ່ນສາທາລະນະ (ການແກ້ໄຂສາທາລະນະ). ຜູ້ນັບຖື Kaggle ແນະນໍາໃຫ້ປະຕິບັດກັບຄວາມງຽບສະຫງົບຂອງພະສົງທິເບດ, ແຕ່ໃນຄວາມເປັນຈິງແລ້ວມັນເປັນເລື່ອງທີ່ຫນ້າອັບອາຍເມື່ອບາງສິ່ງບາງຢ່າງທີ່ທ່ານເຮັດວຽກມາເປັນເວລາຫນຶ່ງເດືອນຫຼືສອງເດືອນທັນທີທັນໃດໄດ້ວາງຢູ່ເທິງແຜ່ນເງິນສໍາລັບທຸກຄົນ.

ໂຊກດີ, ການແຂ່ງຂັນການຮຽນຮູ້ເຄື່ອງຈັກແມ່ນໄດ້ຈັດຂຶ້ນໃນເວທີອື່ນໆ, ແລະສອງສາມຂອງການແຂ່ງຂັນເຫຼົ່ານີ້ຈະໄດ້ຮັບການປຶກສາຫາລື.

IDAO	SNA Hackathon 2019
ພາ​ສາ​ທາງ​ການ​: ພາ​ສາ​ອັງ​ກິດ​, ຜູ້ຈັດຕັ້ງ: Yandex, Sberbank, HSE	ພາ​ສາ​ລັດ​ເຊຍ​ຢ່າງ​ເປັນ​ທາງ​ການ​, ຜູ້ຈັດຕັ້ງ: ກຸ່ມ Mail.ru
ຮອບອອນໄລນ໌: ວັນທີ 15 ມັງກອນ - 11 ກຸມພາ 2019; ຢູ່ບ່ອນສຸດທ້າຍ: ວັນທີ 4-6 ເມສາ 2019	ອອນໄລນ໌ - ຈາກ 7 ເດືອນກຸມພາຫາ 15 ມີນາ; ອອບໄລນ໌ - ຈາກວັນທີ 30 ມີນາ ຫາ ວັນທີ 1 ເມສາ.
ການນໍາໃຊ້ຊຸດຂໍ້ມູນທີ່ແນ່ນອນກ່ຽວກັບອະນຸພາກໃນຂະຫນາດໃຫຍ່ Hadron Collider (trajectory, momentum, ແລະຕົວກໍານົດການທາງດ້ານຮ່າງກາຍທີ່ສະລັບສັບຊ້ອນອື່ນໆ), ກໍານົດວ່າມັນເປັນ muon ຫຼືບໍ່. ຈາກ​ບົດ​ລາຍ​ງານ​ດັ່ງກ່າວ​ໄດ້​ກຳນົດ 2 ໜ້າ​ທີ່​ຄື: — ໃນ​ຫນຶ່ງ​ທີ່​ທ່ານ​ພຽງ​ແຕ່​ໄດ້​ສົ່ງ​ການ​ຄາດ​ຄະ​ເນ​ຂອງ​ທ່ານ​, - ແລະອີກອັນຫນຶ່ງ - ລະຫັດແລະຮູບແບບທີ່ສົມບູນສໍາລັບການຄາດຄະເນ, ແລະການປະຕິບັດແມ່ນຂຶ້ນກັບຂໍ້ຈໍາກັດທີ່ເຄັ່ງຄັດກ່ຽວກັບເວລາແລ່ນແລະການນໍາໃຊ້ຫນ່ວຍຄວາມຈໍາ.	ສໍາລັບການແຂ່ງຂັນ SNA Hackathon, ບັນທຶກການສະແດງເນື້ອຫາຈາກກຸ່ມທີ່ເປີດຢູ່ໃນຟີດຂ່າວຂອງຜູ້ໃຊ້ສໍາລັບເດືອນກຸມພາຫາເດືອນມີນາ 2018 ຖືກລວບລວມ. ຊຸດການທົດສອບປະກອບມີອາທິດສຸດທ້າຍແລະເຄິ່ງຫນຶ່ງຂອງເດືອນມີນາ. ແຕ່ລະລາຍການໃນບັນທຶກມີຂໍ້ມູນກ່ຽວກັບສິ່ງທີ່ຖືກສະແດງ ແລະຕໍ່ກັບໃຜ, ເຊັ່ນດຽວກັນກັບວິທີທີ່ຜູ້ໃຊ້ປະຕິບັດຕໍ່ເນື້ອຫານີ້: ໃຫ້ຄະແນນມັນ, ສະແດງຄວາມຄິດເຫັນ, ບໍ່ສົນໃຈມັນ ຫຼືເຊື່ອງມັນຈາກຟີດ. ໂດຍເນື້ອແທ້ແລ້ວຂອງວຽກງານຂອງ SNA Hackathon ແມ່ນເພື່ອຈັດອັນດັບຜູ້ໃຊ້ແຕ່ລະຄົນຂອງເຄືອຂ່າຍສັງຄົມ Odnoklassniki ອາຫານຂອງລາວ, ຍົກສູງບົດບາດສູງສຸດທີ່ເປັນໄປໄດ້ທີ່ຈະໄດ້ຮັບ "ຫ້ອງຮຽນ". ໃນຂັ້ນຕອນອອນໄລນ໌, ວຽກງານໄດ້ຖືກແບ່ງອອກເປັນ 3 ສ່ວນ: 1. ຈັດອັນດັບຂໍ້ຄວາມຕາມລັກສະນະການຮ່ວມມືຕ່າງໆ 2. ຈັດອັນດັບຂໍ້ຄວາມໂດຍອີງໃສ່ຮູບພາບທີ່ພວກເຂົາມີ 3. ຈັດອັນດັບຂໍ້ຄວາມຕາມຂໍ້ຄວາມທີ່ເຂົາເຈົ້າບັນຈຸ
ການວັດແທກແບບກຳນົດເອງທີ່ຊັບຊ້ອນ, ບາງສິ່ງບາງຢ່າງເຊັ່ນ: ROC-AUC	ສະເລ່ຍ ROC-AUC ໂດຍຜູ້ໃຊ້
ລາງວັນສໍາລັບຂັ້ນຕອນທໍາອິດ - ເສື້ອທີເຊີດສໍາລັບ N ສະຖານທີ່, passage to the second stage, wherein the stay and food are paid during the competition ໄລຍະທີສອງ - ??? (ດ້ວຍເຫດຜົນບາງຢ່າງ, ຂ້າພະເຈົ້າບໍ່ໄດ້ຢູ່ໃນພິທີມອບລາງວັນ ແລະບໍ່ສາມາດຊອກຫາສິ່ງທີ່ໄດ້ຮັບລາງວັນໃນທີ່ສຸດ). ພວກເຂົາສັນຍາກັບຄອມພິວເຕີໂນດບຸກໃຫ້ກັບສະມາຊິກທຸກຄົນຂອງທີມທີ່ຊະນະ	ລາງວັນສໍາລັບຂັ້ນຕອນທໍາອິດ - ເສື້ອທີເຊີດສໍາລັບ 100 ຜູ້ເຂົ້າຮ່ວມທີ່ດີທີ່ສຸດ, passage ກັບຂັ້ນຕອນທີສອງ, ບ່ອນທີ່ການເດີນທາງກັບ Moscow, ທີ່ພັກແລະອາຫານໃນລະຫວ່າງການແຂ່ງຂັນໄດ້ຖືກຈ່າຍ. ນອກຈາກນັ້ນ, ໃນຕອນທ້າຍຂອງຂັ້ນຕອນທໍາອິດ, ລາງວັນໄດ້ຖືກປະກາດສໍາລັບ 3 ວຽກງານທີ່ດີທີ່ສຸດໃນຂັ້ນຕອນທີ 1: ທຸກຄົນໄດ້ຮັບບັດວີດີໂອ RTX 2080 TI! ​ໄລຍະ​ທີ 2 ​ໄດ້​ເປັນ​ເວທີ​ເປັນ​ທີມ, ທີມ​ມີ 5 – XNUMX ຄົນ, ລາງວັນ: ອັນດັບ 1 - 300 rubles ອັນດັບ 2 - 200 rubles ອັນດັບ 3 - 100 rubles ລາງວັນ jury - 100 rubles
ກຸ່ມໂທລະເລກທີ່ເປັນທາງການ, ຜູ້ເຂົ້າຮ່ວມ 190 ຄົນ, ການສື່ສານໃນພາສາອັງກິດ, ຄໍາຖາມຕ້ອງລໍຖ້າຫຼາຍມື້ເພື່ອໃຫ້ຄໍາຕອບ	ກຸ່ມທີ່ເປັນທາງການໃນໂທລະເລກ, ຜູ້ເຂົ້າຮ່ວມ ~ 1500, ການສົນທະນາຢ່າງຫ້າວຫັນຂອງວຽກງານລະຫວ່າງຜູ້ເຂົ້າຮ່ວມແລະຜູ້ຈັດຕັ້ງ
ຜູ້​ຈັດ​ຕັ້ງ​ໄດ້​ສະ​ຫນອງ​ໃຫ້​ສອງ​ວິ​ທີ​ແກ້​ໄຂ​ຂັ້ນ​ພື້ນ​ຖານ​, ງ່າຍ​ດາຍ​ແລະ​ຂັ້ນ​ສູງ​. ງ່າຍດາຍທີ່ຕ້ອງການຫນ້ອຍກວ່າ 16 GB ຂອງ RAM, ແລະຄວາມຊົງຈໍາຂັ້ນສູງບໍ່ເຫມາະສົມກັບ 16. ໃນຂະນະດຽວກັນ, ເບິ່ງໄປຂ້າງຫນ້າເລັກນ້ອຍ, ຜູ້ເຂົ້າຮ່ວມບໍ່ສາມາດທີ່ຈະປະຕິບັດການແກ້ໄຂຂັ້ນສູງໄດ້ຢ່າງຫຼວງຫຼາຍ. ບໍ່ມີຄວາມຫຍຸ້ງຍາກໃນການເປີດຕົວວິທີແກ້ໄຂເຫຼົ່ານີ້. ມັນຄວນຈະສັງເກດວ່າໃນຕົວຢ່າງຂັ້ນສູງມີຄໍາຄິດຄໍາເຫັນທີ່ມີຄໍາແນະນໍາກ່ຽວກັບບ່ອນທີ່ຈະເລີ່ມຕົ້ນການປັບປຸງການແກ້ໄຂ.	ການແກ້ໄຂເບື້ອງຕົ້ນພື້ນຖານໄດ້ຖືກສະຫນອງໃຫ້ແຕ່ລະຫນ້າວຽກ, ເຊິ່ງໄດ້ຖືກລື່ນກາຍໄດ້ຢ່າງງ່າຍດາຍໂດຍຜູ້ເຂົ້າຮ່ວມ. ໃນຊ່ວງຕົ້ນໆຂອງການແຂ່ງຂັນ, ຜູ້ເຂົ້າຮ່ວມພົບຄວາມຫຍຸ້ງຍາກຫຼາຍ: ທໍາອິດ, ຂໍ້ມູນໄດ້ຖືກມອບໃຫ້ໃນຮູບແບບ Apache Parquet, ແລະບໍ່ແມ່ນການປະສົມປະສານທັງຫມົດຂອງ Python ແລະຊຸດ parquet ເຮັດວຽກໂດຍບໍ່ມີຂໍ້ຜິດພາດ. ຄວາມ​ຫຍຸ້ງ​ຍາກ​ອັນ​ສອງ​ແມ່ນ​ການ​ດາວ​ໂຫຼດ​ຮູບ​ພາບ​ຈາກ​ເມລ​ຟັງ​, ໃນ​ປັດ​ຈຸ​ບັນ​ບໍ່​ມີ​ວິ​ທີ​ທີ່​ງ່າຍ​ທີ່​ຈະ​ດາວ​ນ​໌​ໂຫລດ​ຈໍາ​ນວນ​ຫຼາຍ​ຂອງ​ຂໍ້​ມູນ​ໃນ​ເວ​ລາ​ດຽວ​. ດັ່ງນັ້ນ, ບັນຫາເຫຼົ່ານີ້ເຮັດໃຫ້ຜູ້ເຂົ້າຮ່ວມຊັກຊ້າສອງສາມມື້.

IDAO. ຂັ້ນຕອນທໍາອິດ

ວຽກ​ງານ​ແມ່ນ​ຈັດ​ປະ​ເພດ​ອະນຸພາກ muon/non-muon ຕາມ​ລັກ​ສະ​ນະ​ຂອງ​ມັນ. ລັກສະນະທີ່ສໍາຄັນຂອງວຽກງານນີ້ແມ່ນການມີຄໍລໍານ້ໍາຫນັກໃນຂໍ້ມູນການຝຶກອົບຮົມ, ເຊິ່ງຜູ້ຈັດຕັ້ງເອງຕີຄວາມຄວາມຫມັ້ນໃຈໃນຄໍາຕອບສໍາລັບສາຍນີ້. ບັນຫາແມ່ນວ່າແຖວແຖວບໍ່ຫຼາຍປານໃດມີນ້ໍາຫນັກລົບ.

ຫຼັງ​ຈາກ​ທີ່​ຄິດ​ສໍາ​ລັບ​ສອງ​ສາມ​ນາ​ທີ​ກ່ຽວ​ກັບ​ເສັ້ນ​ທີ່​ມີ​ຄໍາ​ແນະ​ນໍາ (ຄໍາ​ແນະ​ນໍາ​ພຽງ​ແຕ່​ດຶງ​ດູດ​ຄວາມ​ສົນ​ໃຈ​ກັບ​ຄຸນ​ນະ​ສົມ​ບັດ​ຂອງ​ຖັນ​ນ​້​ໍ​າ​ນີ້​) ແລະ​ການ​ສ້າງ​ເສັ້ນ​ສະ​ແດງ​ນີ້​, ພວກ​ເຮົາ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ທີ່​ຈະ​ກວດ​ສອບ 3 ທາງ​ເລືອກ​:

1​) ປ່ຽນ​ເປົ້າ​ຫມາຍ​ຂອງ​ເສັ້ນ​ທີ່​ມີ​ນ​້​ໍາ​ຫນັກ​ລົບ (ແລະ​ນ​້​ໍ​າ​ຕາມ​ຄວາມ​ເຫມາະ​ສົມ​)
2​) ປ່ຽນ​ນ​້​ໍາ​ຫນັກ​ເປັນ​ຄ່າ​ຕໍາ​່​ສຸດ​ທີ່​ເພື່ອ​ໃຫ້​ເຂົາ​ເຈົ້າ​ເລີ່ມ​ຕົ້ນ​ຈາກ 0​
3) ຢ່າໃຊ້ນໍ້າໜັກຂອງສາຍ

ທາງເລືອກທີສາມໄດ້ກາຍເປັນສິ່ງທີ່ຮ້າຍແຮງທີ່ສຸດ, ແຕ່ສອງຄັ້ງທໍາອິດປັບປຸງຜົນໄດ້ຮັບ, ທີ່ດີທີ່ສຸດແມ່ນທາງເລືອກທີ່ 1, ເຊິ່ງທັນທີທີ່ນໍາພວກເຮົາໄປສູ່ສະຖານທີ່ທີສອງໃນປະຈຸບັນໃນວຽກງານທໍາອິດແລະຄັ້ງທໍາອິດໃນຄັ້ງທີສອງ.

ຂັ້ນຕອນຕໍ່ໄປຂອງພວກເຮົາແມ່ນການກວດສອບຂໍ້ມູນສໍາລັບຄ່າທີ່ຂາດຫາຍໄປ. ຜູ້ຈັດຕັ້ງໄດ້ໃຫ້ພວກເຮົາຂໍ້ມູນ combed ແລ້ວ, ບ່ອນທີ່ມີຄ່າທີ່ຂາດຫາຍໄປຫຼາຍ, ແລະພວກມັນຖືກແທນທີ່ດ້ວຍ -9999.

ພວກເຮົາພົບເຫັນຄ່າທີ່ຂາດຫາຍໄປໃນຖັນ MatchedHit_{X,Y,Z}[N] ແລະ MatchedHit_D{X,Y,Z}[N], ແລະພຽງແຕ່ເມື່ອ N=2 ຫຼື 3. ດັ່ງທີ່ພວກເຮົາເຂົ້າໃຈ, ບາງອະນຸພາກບໍ່ໄດ້. ຜ່ານເຄື່ອງກວດຈັບທັງໝົດ 4 ເຄື່ອງ, ແລະຢຸດຢູ່ໃນແຜ່ນທີ 3 ຫຼື 4. ຂໍ້ມູນດັ່ງກ່າວຍັງມີຖັນ Lextra_{X,Y}[N], ເຊິ່ງປາກົດຂື້ນວ່າອະທິບາຍສິ່ງດຽວກັນກັບ MatchedHit_{X,Y,Z}[N], ແຕ່ໃຊ້ບາງຊະນິດຂອງ extrapolation. ການຄາດເດົາເລັກນ້ອຍເຫຼົ່ານີ້ໄດ້ແນະນໍາວ່າ Lextra_{X,Y}[N] ສາມາດຖືກແທນທີ່ສໍາລັບຄ່າທີ່ຂາດຫາຍໄປໃນ MatchedHit_{X,Y,Z}[N] (ສໍາລັບພິກັດ X ແລະ Y ເທົ່ານັ້ນ). MatchedHit_Z[N] ເຕັມໄປດ້ວຍຄ່າສະເລ່ຍ. ການຫມູນໃຊ້ເຫຼົ່ານີ້ໄດ້ອະນຸຍາດໃຫ້ພວກເຮົາສາມາດບັນລຸອັນດັບ 1 ລະດັບປານກາງໃນທັງສອງວຽກງານ.

ພິຈາລະນາວ່າພວກເຂົາບໍ່ໄດ້ໃຫ້ສິ່ງໃດສໍາລັບການຊະນະຂັ້ນຕອນທໍາອິດ, ພວກເຮົາສາມາດຢຸດຢູ່ທີ່ນັ້ນ, ແຕ່ພວກເຮົາສືບຕໍ່, ແຕ້ມຮູບທີ່ສວຍງາມແລະມີລັກສະນະໃຫມ່.

ຕົວຢ່າງ, ພວກເຮົາພົບວ່າຖ້າພວກເຮົາວາງຈຸດຕັດກັນຂອງອະນຸພາກກັບແຕ່ລະແຜ່ນກວດຈັບສີ່, ພວກເຮົາສາມາດເຫັນໄດ້ວ່າຈຸດໃນແຕ່ລະແຜ່ນຖືກຈັດເປັນກຸ່ມ 5 ຮູບສີ່ຫລ່ຽມທີ່ມີອັດຕາສ່ວນ 4 ຫາ 5 ແລະຢູ່ໃຈກາງ. ຈຸດ (0,0), ແລະບໍ່ມີຈຸດຢູ່ໃນສີ່ຫລ່ຽມທໍາອິດ.

Plate no. / ຂະໜາດສີ່ຫຼ່ຽມ	1	2	3	4	5
ຈານ 1	500h625	1000h1250	2000h2500	4000h5000	8000h10000
ຈານ 2	520h650	1040h1300	2080h2600	4160h5200	8320h10400
ຈານ 3	560h700	1120h1400	2240h2800	4480h5600	8960h11200
ຈານ 4	600h750	1200h1500	2400h3000	4800h6000	9600h12000

ໂດຍໄດ້ກໍານົດຂະຫນາດເຫຼົ່ານີ້, ພວກເຮົາໄດ້ເພີ່ມ 4 ລັກສະນະປະເພດໃຫມ່ສໍາລັບແຕ່ລະອະນຸພາກ - ຈໍານວນສີ່ຫລ່ຽມທີ່ມັນຕັດກັນແຕ່ລະແຜ່ນ.

ພວກເຮົາຍັງສັງເກດເຫັນວ່າອະນຸພາກເບິ່ງຄືວ່າກະແຈກກະຈາຍໄປຂ້າງນອກຈາກສູນກາງແລະຄວາມຄິດທີ່ເກີດຂື້ນເພື່ອປະເມີນ "ຄຸນນະພາບ" ຂອງການກະແຈກກະຈາຍນີ້. ໂດຍຫລັກການແລ້ວ, ມັນອາດຈະເປັນໄປໄດ້ທີ່ຈະເກີດຂຶ້ນກັບບາງປະເພດ "ທີ່ເຫມາະສົມ" parabola ຂຶ້ນກັບຈຸດອອກແລະຄາດຄະເນການ deviation ຈາກມັນ, ແຕ່ພວກເຮົາຈໍາກັດຕົວເອງກັບເສັ້ນຊື່ "ທີ່ເຫມາະສົມ". ໂດຍໄດ້ສ້າງເສັ້ນຊື່ທີ່ເໝາະສົມສຳລັບແຕ່ລະຈຸດເຂົ້າ, ພວກເຮົາສາມາດຄິດໄລ່ຄ່າບ່ຽງເບນມາດຕະຖານຂອງເສັ້ນທາງຂອງແຕ່ລະອະນຸພາກຈາກເສັ້ນຊື່ນີ້. ນັບຕັ້ງແຕ່ການ deviation ສະເລ່ຍສໍາລັບເປົ້າຫມາຍ = 1 ແມ່ນ 152, ແລະສໍາລັບເປົ້າຫມາຍ = 0 ມັນແມ່ນ 390, ພວກເຮົາປະເມີນລັກສະນະນີ້ຢ່າງເປັນນິດ. ແລະແທ້ຈິງແລ້ວ, ຄຸນນະສົມບັດນີ້ທັນທີທັນໃດເຮັດໃຫ້ມັນຂຶ້ນເທິງຂອງທີ່ເປັນປະໂຫຍດທີ່ສຸດ.

ພວກເຮົາດີໃຈແລະໄດ້ເພີ່ມ deviation ຂອງຈຸດຕັດກັນທັງຫມົດ 4 ຈຸດສໍາລັບແຕ່ລະ particle ຈາກເສັ້ນຊື່ທີ່ເຫມາະສົມເປັນ 4 ລັກສະນະເພີ່ມເຕີມ (ແລະພວກເຂົາຍັງເຮັດວຽກໄດ້ດີ).

ການເຊື່ອມໂຍງກັບບົດຄວາມວິທະຍາສາດກ່ຽວກັບຫົວຂໍ້ຂອງການແຂ່ງຂັນ, ໃຫ້ພວກເຮົາໂດຍຜູ້ຈັດຕັ້ງ, ໄດ້ກະຕຸ້ນຄວາມຄິດທີ່ພວກເຮົາຢູ່ໄກຈາກຄັ້ງທໍາອິດເພື່ອແກ້ໄຂບັນຫານີ້ແລະ, ບາງທີອາດມີບາງປະເພດຂອງຊອບແວພິເສດ. ໂດຍໄດ້ຄົ້ນພົບບ່ອນເກັບຂໍ້ມູນໃນ github ບ່ອນທີ່ວິທີການ IsMuonSimple, IsMuon, IsMuonLoose ໄດ້ຖືກປະຕິບັດ, ພວກເຮົາໄດ້ໂອນພວກມັນໄປຫາເວັບໄຊທ໌ຂອງພວກເຮົາດ້ວຍການດັດແປງເລັກນ້ອຍ. ວິທີການຂອງຕົວເອງແມ່ນງ່າຍດາຍຫຼາຍ: ຕົວຢ່າງ, ຖ້າພະລັງງານຫນ້ອຍກວ່າລະດັບທີ່ແນ່ນອນ, ມັນບໍ່ແມ່ນ muon, ຖ້າບໍ່ດັ່ງນັ້ນມັນເປັນ muon. ລັກສະນະທີ່ງ່າຍດາຍດັ່ງກ່າວແນ່ນອນບໍ່ສາມາດເພີ່ມການເພີ່ມຂື້ນໃນກໍລະນີຂອງການນໍາໃຊ້ການຊຸກຍູ້ gradient, ດັ່ງນັ້ນພວກເຮົາໄດ້ເພີ່ມ "ໄລຍະຫ່າງ" ທີ່ສໍາຄັນອີກອັນຫນຶ່ງ. ລັກສະນະເຫຼົ່ານີ້ຍັງໄດ້ຮັບການປັບປຸງເລັກນ້ອຍ. ບາງທີ, ໂດຍການວິເຄາະວິທີການທີ່ມີຢູ່ແລ້ວຢ່າງລະອຽດ, ມັນເປັນໄປໄດ້ທີ່ຈະຊອກຫາວິທີການທີ່ເຂັ້ມແຂງແລະເພີ່ມພວກມັນເຂົ້າໃນອາການ.

ໃນຕອນທ້າຍຂອງການແຂ່ງຂັນ, ພວກເຮົາໄດ້ປັບປຸງການແກ້ໄຂ "ໄວ" ເລັກນ້ອຍສໍາລັບບັນຫາທີສອງ; ໃນທີ່ສຸດ, ມັນແຕກຕ່າງຈາກພື້ນຖານໃນຈຸດຕໍ່ໄປນີ້:

1. ໃນແຖວທີ່ມີນ້ໍາຫນັກລົບ, ເປົ້າຫມາຍໄດ້ຖືກ inverted
2. ຕື່ມຄ່າທີ່ຂາດຫາຍໄປໃນ MatchedHit_{X,Y,Z}[N]
3. ຫຼຸດຄວາມເລິກລົງເປັນ 7
4. ຫຼຸດອັດຕາການຮຽນຮູ້ເປັນ 0.1 (ຄື 0.19)

ດັ່ງນັ້ນ, ພວກເຮົາພະຍາຍາມລັກສະນະເພີ່ມເຕີມ (ບໍ່ປະສົບຜົນສໍາເລັດຫຼາຍ), ພາລາມິເຕີທີ່ເລືອກແລະ catboost ທີ່ໄດ້ຮັບການຝຶກອົບຮົມ, lightgbm ແລະ xgboost, ພະຍາຍາມປະສົມຂອງການຄາດຄະເນທີ່ແຕກຕ່າງກັນແລະກ່ອນທີ່ຈະເປີດພາກເອກະຊົນພວກເຮົາໄດ້ຮັບໄຊຊະນະຢ່າງຫມັ້ນໃຈໃນວຽກງານທີສອງ, ແລະໃນຄັ້ງທໍາອິດພວກເຮົາຢູ່ໃນບັນດາ. ຜູ້ນໍາ.

ພາຍຫຼັງເປີດພາກເອກະຊົນພວກເຮົາຢູ່ອັນດັບ 10 ສໍາລັບວຽກງານທີ 1 ແລະ ອັນດັບທີ 3. ຜູ້ນໍາທັງຫມົດໄດ້ປະສົມຂຶ້ນ, ແລະຄວາມໄວໃນສ່ວນຕົວແມ່ນສູງກວ່າຢູ່ໃນກະດານ. ມັນເບິ່ງຄືວ່າຂໍ້ມູນຖືກຈັດແບ່ງບໍ່ດີ (ຫຼືຕົວຢ່າງບໍ່ມີແຖວທີ່ມີນ້ໍາຫນັກລົບໃນສ່ວນຕົວ) ແລະນີ້ແມ່ນຄວາມອຸກອັ່ງເລັກນ້ອຍ.

SNA Hackathon 2019 - ຂໍ້ຄວາມ. ຂັ້ນຕອນທໍາອິດ

ວຽກງານແມ່ນເພື່ອຈັດອັນດັບຂໍ້ຄວາມຂອງຜູ້ໃຊ້ໃນເຄືອຂ່າຍສັງຄົມ Odnoklassniki ໂດຍອີງໃສ່ຂໍ້ຄວາມທີ່ເຂົາເຈົ້າມີ; ນອກ ເໜືອ ໄປຈາກຂໍ້ຄວາມ, ມີລັກສະນະເພີ່ມເຕີມຂອງໂພສ (ພາສາ, ເຈົ້າຂອງ, ວັນທີແລະເວລາຂອງການສ້າງ, ວັນທີແລະເວລາຂອງການເບິ່ງ. ).

ໃນຖານະເປັນວິທີການຄລາສສິກກັບການເຮັດວຽກກັບຂໍ້ຄວາມ, ຂ້າພະເຈົ້າຈະເນັ້ນສອງທາງເລືອກ:

1. ການສ້າງແຜນທີ່ແຕ່ລະຄໍາເຂົ້າໄປໃນຊ່ອງ vector n-dimensional ເຊັ່ນວ່າຄໍາທີ່ຄ້າຍຄືກັນມີ vectors ທີ່ຄ້າຍຄືກັນ (ອ່ານເພີ່ມເຕີມໃນ ບົດຄວາມຂອງພວກເຮົາ), ຈາກນັ້ນຊອກຫາຄໍາສະເລ່ຍສໍາລັບຂໍ້ຄວາມຫຼືໃຊ້ກົນໄກທີ່ຄໍານຶງເຖິງຕໍາແຫນ່ງທີ່ກ່ຽວຂ້ອງຂອງຄໍາສັບຕ່າງໆ (CNN, LSTM / GRU).
2. ການນໍາໃຊ້ຕົວແບບທີ່ສາມາດເຮັດວຽກໄດ້ທັນທີກັບປະໂຫຍກທັງຫມົດ. ຕົວຢ່າງ, Bert. ໃນທາງທິດສະດີ, ວິທີການນີ້ຄວນຈະເຮັດວຽກດີກວ່າ.

ເນື່ອງຈາກວ່ານີ້ແມ່ນປະສົບການຄັ້ງທໍາອິດຂອງຂ້ອຍກັບບົດເລື່ອງ, ມັນຈະເປັນການຜິດພາດທີ່ຈະສອນໃຜຜູ້ຫນຶ່ງ, ດັ່ງນັ້ນຂ້ອຍຈະສອນຕົວເອງ. ນີ້ແມ່ນຄໍາແນະນໍາທີ່ຂ້ອຍຈະໃຫ້ຕົວເອງໃນຕອນເລີ່ມຕົ້ນຂອງການແຂ່ງຂັນ:

1. ກ່ອນ​ຈະ​ແລ່ນ​ໄປ​ສອນ​ບາງ​ອັນ​ເບິ່ງ​ຂໍ້​ມູນ! ນອກເຫນືອໄປຈາກຕົວຫນັງສືຕົວມັນເອງ, ຂໍ້ມູນມີຫຼາຍຄໍລໍາແລະມັນເປັນໄປໄດ້ທີ່ຈະບີບອອກຈາກພວກມັນຫຼາຍກ່ວາຂ້ອຍ. ສິ່ງທີ່ງ່າຍດາຍທີ່ສຸດແມ່ນຫມາຍເຖິງການເຂົ້າລະຫັດເປົ້າຫມາຍສໍາລັບບາງຄໍລໍາ.
2. ຢ່າຮຽນຮູ້ຈາກຂໍ້ມູນທັງຫມົດ! ມີຂໍ້ມູນຈໍານວນຫລາຍ (ປະມານ 17 ລ້ານແຖວ) ແລະມັນບໍ່ຈໍາເປັນຕ້ອງໃຊ້ພວກມັນທັງຫມົດເພື່ອທົດສອບສົມມຸດຕິຖານ. ການຝຶກອົບຮົມແລະການປຸງແຕ່ງກ່ອນແມ່ນຂ້ອນຂ້າງຊ້າ, ແລະແນ່ນອນຂ້ອຍຈະມີເວລາທົດສອບສົມມຸດຕິຖານທີ່ຫນ້າສົນໃຈຫຼາຍ.
3. <ຄໍາແນະນໍາທີ່ຂັດແຍ້ງ> ບໍ່ຈໍາເປັນຕ້ອງຊອກຫາຕົວແບບ killer. ຂ້າພະເຈົ້າໄດ້ໃຊ້ເວລາເປັນເວລາດົນນານເພື່ອຄົ້ນຫາ Elmo ແລະ Bert, ຫວັງວ່າພວກເຂົາຈະນໍາຂ້ອຍໄປບ່ອນສູງໃນທັນທີ, ແລະດັ່ງນັ້ນຂ້ອຍຈຶ່ງໃຊ້ FastText ຝັງໄວ້ກ່ອນການຝຶກອົບຮົມສໍາລັບພາສາລັດເຊຍ. ຂ້າພະເຈົ້າບໍ່ສາມາດບັນລຸຄວາມໄວທີ່ດີກວ່າກັບ Elmo, ແລະຂ້າພະເຈົ້າຍັງບໍ່ມີເວລາທີ່ຈະຄິດມັນອອກກັບ Bert.
4. <ຄໍາແນະນໍາທີ່ຂັດແຍ້ງ> ບໍ່​ຈໍາ​ເປັນ​ຕ້ອງ​ຊອກ​ຫາ​ລັກ​ສະ​ນະ killer ຫນຶ່ງ​. ຊອກຫາຢູ່ໃນຂໍ້ມູນ, ຂ້າພະເຈົ້າສັງເກດເຫັນວ່າປະມານ 1 ເປີເຊັນຂອງບົດເລື່ອງທີ່ບໍ່ມີຕົວຫນັງສື! ແຕ່ມີການເຊື່ອມໂຍງກັບຊັບພະຍາກອນບາງຢ່າງ, ແລະຂ້ອຍຂຽນຕົວແຍກແບບງ່າຍໆທີ່ເປີດເວັບໄຊທ໌ແລະດຶງຫົວຂໍ້ແລະຄໍາອະທິບາຍອອກ. ມັນເບິ່ງຄືວ່າເປັນຄວາມຄິດທີ່ດີ, ແຕ່ຫຼັງຈາກນັ້ນຂ້ອຍໄດ້ປະຕິບັດທັນທີແລະຕັດສິນໃຈວິເຄາະການເຊື່ອມຕໍ່ທັງຫມົດສໍາລັບບົດເລື່ອງທັງຫມົດແລະອີກເທື່ອຫນຶ່ງສູນເສຍເວລາຫຼາຍ. ທັງຫມົດນີ້ບໍ່ໄດ້ສະຫນອງການປັບປຸງທີ່ສໍາຄັນໃນຜົນໄດ້ຮັບສຸດທ້າຍ (ເຖິງແມ່ນວ່າຂ້າພະເຈົ້າຄິດອອກ stemming, ສໍາລັບການຍົກຕົວຢ່າງ).
5. ຄຸນສົມບັດຄລາສສິກເຮັດວຽກ. ພວກເຮົາ Google, ສໍາລັບການຍົກຕົວຢ່າງ, "ລັກສະນະຂໍ້ຄວາມ kaggle", ອ່ານແລະເພີ່ມທຸກສິ່ງທຸກຢ່າງ. TF-IDF ໃຫ້ການປັບປຸງ, ເຊັ່ນດຽວກັນກັບລັກສະນະສະຖິຕິເຊັ່ນ: ຄວາມຍາວຂອງຂໍ້ຄວາມ, ຄໍາ, ແລະຈໍານວນເຄື່ອງໝາຍວັກຕອນ.
6. ຖ້າມີຄໍລໍາ DateTime, ມັນຄຸ້ມຄ່າທີ່ຈະແຍກພວກມັນອອກເປັນຫຼາຍລັກສະນະແຍກຕ່າງຫາກ (ຊົ່ວໂມງ, ມື້ຂອງອາທິດ, ແລະອື່ນໆ). ລັກສະນະໃດທີ່ຄວນຈະຖືກເນັ້ນໃຫ້ເຫັນຄວນຖືກວິເຄາະໂດຍໃຊ້ກາຟ/ບາງຕົວຊີ້ວັດ. ທີ່ນີ້, ໃນຄວາມກະຕືລືລົ້ນ, ຂ້າພະເຈົ້າໄດ້ເຮັດທຸກຢ່າງຢ່າງຖືກຕ້ອງແລະຊີ້ໃຫ້ເຫັນເຖິງລັກສະນະທີ່ຈໍາເປັນ, ແຕ່ການວິເຄາະແບບປົກກະຕິຈະບໍ່ເຈັບປວດ (ຕົວຢ່າງ, ດັ່ງທີ່ພວກເຮົາໄດ້ເຮັດໃນຕອນສຸດທ້າຍ).

ເປັນຜົນມາຈາກການແຂ່ງຂັນ, ຂ້າພະເຈົ້າໄດ້ຝຶກອົບຮົມຫນຶ່ງແບບ keras ທີ່ມີຄໍາສັບ convolution, ແລະອີກອັນຫນຶ່ງໂດຍອີງໃສ່ LSTM ແລະ GRU. ພວກເຂົາທັງສອງໄດ້ໃຊ້ການຝັງຕົວ FastText ທີ່ໄດ້ຝຶກອົບຮົມໄວ້ກ່ອນສໍາລັບພາສາລັດເຊຍ (ຂ້ອຍໄດ້ພະຍາຍາມການຝັງຕົວອື່ນໆຈໍານວນຫນຶ່ງ, ແຕ່ເຫຼົ່ານີ້ແມ່ນຕົວທີ່ໃຊ້ໄດ້ດີທີ່ສຸດ). ຫຼັງຈາກການຄາດຄະເນໂດຍສະເລ່ຍ, ຂ້າພະເຈົ້າໄດ້ເອົາອັນດັບທີ 7 ສຸດທ້າຍຈາກຜູ້ເຂົ້າຮ່ວມ 76 ຄົນ.

ຫຼັງຈາກຂັ້ນຕອນທໍາອິດ, ມັນໄດ້ຖືກຈັດພີມມາ ບົດຄວາມໂດຍ Nikolai Anokhin, ຜູ້ທີ່ໄດ້ອັນດັບສອງ (ລາວໄດ້ເຂົ້າຮ່ວມການແຂ່ງຂັນ), ແລະການແກ້ໄຂຂອງລາວເຖິງບາງຂັ້ນຕອນຂອງຂ້ອຍຊ້ໍາອີກ, ແຕ່ລາວໄດ້ໄປຕື່ມອີກຍ້ອນກົນໄກການສອບຖາມ - ຄໍາຫລັກ - ມູນຄ່າຄວາມສົນໃຈ.

ຂັ້ນຕອນທີສອງ OK & IDAO

ໄລຍະທີສອງຂອງການແຂ່ງຂັນໄດ້ຈັດຂຶ້ນເກືອບຕິດຕໍ່ກັນ, ສະນັ້ນຂ້າພະເຈົ້າຕັດສິນໃຈເບິ່ງພວກເຂົາຮ່ວມກັນ.

ຫນ້າທໍາອິດ, ຂ້າພະເຈົ້າແລະທີມງານທີ່ໄດ້ມາໃຫມ່ໄດ້ສິ້ນສຸດລົງໃນຫ້ອງການທີ່ຫນ້າປະທັບໃຈຂອງບໍລິສັດ Mail.ru, ບ່ອນທີ່ວຽກງານຂອງພວກເຮົາແມ່ນເພື່ອລວມຕົວແບບຂອງສາມເພງຈາກຂັ້ນຕອນທໍາອິດ - ຂໍ້ຄວາມ, ຮູບພາບແລະການຮ່ວມມື. ຫນ້ອຍກວ່າ 2 ມື້ໄດ້ຖືກຈັດສັນສໍາລັບການນີ້, ເຊິ່ງໄດ້ກາຍເປັນຫນ້ອຍຫຼາຍ. ໃນຄວາມເປັນຈິງ, ພວກເຮົາພຽງແຕ່ສາມາດເຮັດຊ້ໍາຜົນໄດ້ຮັບຂອງພວກເຮົາຈາກຂັ້ນຕອນທໍາອິດໂດຍບໍ່ໄດ້ຮັບຜົນປະໂຫຍດໃດໆຈາກການລວມຕົວ. ໃນທີ່ສຸດ, ພວກເຮົາເອົາອັນດັບທີ 5, ແຕ່ພວກເຮົາບໍ່ສາມາດໃຊ້ຕົວແບບຕົວຫນັງສືໄດ້. ຫຼັງຈາກເບິ່ງວິທີແກ້ໄຂຂອງຜູ້ເຂົ້າຮ່ວມອື່ນໆ, ມັນເບິ່ງຄືວ່າມັນຄຸ້ມຄ່າທີ່ຈະພະຍາຍາມຈັດກຸ່ມບົດເລື່ອງຕ່າງໆແລະເພີ່ມມັນເຂົ້າໄປໃນຮູບແບບການຮ່ວມມື. ຜົນກະທົບຂ້າງຄຽງຂອງຂັ້ນຕອນນີ້ແມ່ນຄວາມປະທັບໃຈໃຫມ່, ການປະຊຸມແລະການສື່ສານກັບຜູ້ເຂົ້າຮ່ວມທີ່ເຢັນແລະຜູ້ຈັດຕັ້ງ, ເຊັ່ນດຽວກັນກັບການຂາດການນອນຢ່າງຮ້າຍແຮງ, ເຊິ່ງອາດຈະສົ່ງຜົນກະທົບຕໍ່ຜົນຂອງຂັ້ນຕອນສຸດທ້າຍຂອງ IDAO.

ວຽກງານຢູ່ໃນຂັ້ນຕອນສຸດທ້າຍຂອງ IDAO 2019 ແມ່ນເພື່ອຄາດຄະເນເວລາລໍຖ້າຄໍາສັ່ງສໍາລັບຄົນຂັບລົດແທັກຊີ Yandex ຢູ່ສະຫນາມບິນ. ໃນຂັ້ນຕອນທີ 2, 3 ວຽກງານ = 3 ສະຫນາມບິນໄດ້ຖືກກໍານົດ. ສໍາລັບແຕ່ລະສະຫນາມບິນ, ຂໍ້ມູນນາທີຕໍ່ນາທີກ່ຽວກັບຈໍານວນຄໍາສັ່ງ taxi ສໍາລັບຫົກເດືອນແມ່ນໃຫ້. ແລະເປັນຂໍ້ມູນການທົດສອບ, ຂໍ້ມູນປະຈໍາເດືອນຕໍ່ໄປແລະນາທີຕໍ່ນາທີກ່ຽວກັບຄໍາສັ່ງສໍາລັບ 2 ອາທິດຜ່ານມາໄດ້ຖືກມອບໃຫ້. ມີເວລາຫນ້ອຍ (1,5 ມື້), ວຽກງານແມ່ນຂ້ອນຂ້າງສະເພາະ, ມີພຽງແຕ່ຄົນດຽວຈາກທີມງານທີ່ເຂົ້າມາໃນການແຂ່ງຂັນ - ແລະເປັນຜົນມາຈາກ, ມັນເປັນບ່ອນທີ່ໂສກເສົ້າໄປສູ່ຈຸດຈົບ. ແນວຄວາມຄິດທີ່ຫນ້າສົນໃຈລວມເຖິງຄວາມພະຍາຍາມທີ່ຈະນໍາໃຊ້ຂໍ້ມູນພາຍນອກ: ສະພາບອາກາດ, ການຈະລາຈອນຕິດຂັດແລະສະຖິຕິການສັ່ງຊື້ taxi Yandex. ເຖິງແມ່ນວ່າຜູ້ຈັດຕັ້ງບໍ່ໄດ້ເວົ້າວ່າສະຫນາມບິນເຫຼົ່ານີ້ແມ່ນຫຍັງ, ແຕ່ຜູ້ເຂົ້າຮ່ວມຈໍານວນຫຼາຍຖືວ່າພວກເຂົາແມ່ນ Sheremetyevo, Domodedovo ແລະ Vnukovo. ເຖິງແມ່ນວ່າການສົມມຸດຕິຖານນີ້ໄດ້ຖືກປະຕິເສດຫຼັງຈາກການແຂ່ງຂັນ, ຕົວຢ່າງເຊັ່ນ, ຈາກຂໍ້ມູນສະພາບອາກາດ Moscow ໄດ້ປັບປຸງຜົນໄດ້ຮັບທັງໃນການກວດສອບແລະໃນກະດານຈັດອັນດັບ.

ສະຫລຸບ

1. ການແຂ່ງຂັນ ML ແມ່ນເຢັນແລະຫນ້າສົນໃຈ! ທີ່ນີ້ເຈົ້າຈະພົບເຫັນການນໍາໃຊ້ທັກສະໃນການວິເຄາະຂໍ້ມູນ, ແລະໃນຮູບແບບ cunning ແລະເຕັກນິກ, ແລະພຽງແຕ່ຄວາມຮູ້ສຶກທົ່ວໄປແມ່ນຍິນດີຕ້ອນຮັບ.
2. ML ເປັນຄວາມຮູ້ອັນໃຫຍ່ຫຼວງແລ້ວທີ່ເບິ່ງຄືວ່າຈະເຕີບໃຫຍ່ຂຶ້ນເລື້ອຍໆ. ຂ້ອຍຕັ້ງເປົ້າໝາຍໃຫ້ຕົນເອງຮູ້ຈັກກັບພື້ນທີ່ຕ່າງໆ (ສັນຍານ, ຮູບພາບ, ຕາຕະລາງ, ຂໍ້ຄວາມ) ແລະຮູ້ແລ້ວວ່າມີການສຶກສາຫຼາຍປານໃດ. ຕົວຢ່າງເຊັ່ນ, ຫຼັງຈາກການແຂ່ງຂັນເຫຼົ່ານີ້ຂ້ອຍໄດ້ຕັດສິນໃຈສຶກສາ: ສູດການຄິດໄລ່ກຸ່ມ, ເຕັກນິກຂັ້ນສູງສໍາລັບການເຮັດວຽກກັບຫ້ອງສະຫມຸດການເພີ່ມປະສິດທິພາບ gradient (ໂດຍສະເພາະ, ເຮັດວຽກກັບ CatBoost ໃນ GPU), ເຄືອຂ່າຍແຄບຊູນ, ກົນໄກການສອບຖາມ - key-value ເອົາໃຈໃສ່.
3. ບໍ່ແມ່ນໂດຍ kaggle ດຽວ! ມີຫຼາຍການແຂ່ງຂັນທີ່ມັນງ່າຍກວ່າທີ່ຈະໄດ້ເສື້ອທີເຊີດຢ່າງນ້ອຍ, ແລະມີໂອກາດຫຼາຍສໍາລັບລາງວັນອື່ນໆ.
4. ຕິດຕໍ່ສື່ສານ! ມີຊຸມຊົນຂະຫນາດໃຫຍ່ຢູ່ໃນພາກສະຫນາມຂອງການຮຽນຮູ້ເຄື່ອງຈັກແລະການວິເຄາະຂໍ້ມູນ, ມີກຸ່ມ thematic ໃນ telegram, slack, ແລະຄົນຈິງຈັງຈາກ Mail.ru, Yandex ແລະບໍລິສັດອື່ນໆຕອບຄໍາຖາມແລະຊ່ວຍຜູ້ເລີ່ມຕົ້ນແລະຜູ້ທີ່ສືບຕໍ່ເສັ້ນທາງໃນພາກສະຫນາມນີ້. ຄວາມຮູ້.
5. ຂ້າພະເຈົ້າແນະນໍາໃຫ້ທຸກຄົນທີ່ໄດ້ຮັບການດົນໃຈຈາກຈຸດທີ່ຜ່ານມາທີ່ຈະໄປຢ້ຽມຢາມ datafest — ກອງ​ປະ​ຊຸມ​ຟຣີ​ທີ່​ສໍາ​ຄັນ​ໃນ Moscow​, ເຊິ່ງ​ຈະ​ຈັດ​ຂຶ້ນ​ໃນ​ວັນ​ທີ 10-11 ເດືອນ​ພຶດ​ສະ​ພາ​.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com