ការបន្តប្រធានបទនៃការប្រកួតប្រជែងរៀនម៉ាស៊ីននៅលើHabre យើងចង់ណែនាំអ្នកអានទៅកាន់វេទិកាពីរទៀត។ ពួកវាពិតជាមិនធំដូចកាហ្គោទេ ប៉ុន្តែពួកគេពិតជាសមនឹងទទួលបានការយកចិត្តទុកដាក់។

ដោយផ្ទាល់ ខ្ញុំមិនចូលចិត្ត kaggle ច្រើនពេកសម្រាប់ហេតុផលជាច្រើន៖

• ទីមួយ ការប្រកួតប្រជែងនៅទីនោះច្រើនតែមានរយៈពេលជាច្រើនខែ ហើយការចូលរួមយ៉ាងសកម្មទាមទារការខិតខំប្រឹងប្រែងច្រើន។
• ទីពីរ ខឺណែលសាធារណៈ (ដំណោះស្រាយសាធារណៈ)។ អ្នកកាន់សាសនា Kaggle ផ្តល់យោបល់ឱ្យពួកគេធ្វើដោយភាពស្ងប់ស្ងាត់របស់ព្រះសង្ឃទីបេ ប៉ុន្តែតាមពិត វាពិតជាគួរឱ្យអាម៉ាស់ណាស់ នៅពេលដែលអ្វីមួយដែលអ្នកបានធ្វើការអស់រយៈពេលមួយខែ ឬពីរខែស្រាប់តែលេចចេញជារូបរាងនៅលើចានរាងសំប៉ែតសម្រាប់មនុស្សគ្រប់គ្នា។

ជាសំណាងល្អ ការប្រកួតប្រជែងការរៀនម៉ាស៊ីនត្រូវបានធ្វើឡើងនៅលើវេទិកាផ្សេងទៀត ហើយការប្រកួតប្រជែងមួយចំនួននឹងត្រូវបានពិភាក្សា។

IDAO	SNA Hackathon ឆ្នាំ 2019
ភាសាផ្លូវការ៖ ភាសាអង់គ្លេស អ្នករៀបចំ៖ Yandex, Sberbank, HSE	ភាសារុស្សីផ្លូវការ, អ្នករៀបចំ៖ Mail.ru Group
ជុំអនឡាញ៖ ថ្ងៃទី 15 ខែមករា ដល់ថ្ងៃទី 11 ខែកុម្ភៈ ឆ្នាំ 2019; វគ្គផ្តាច់ព្រ័ត្រនៅនឹងកន្លែង៖ ថ្ងៃទី 4-6 ខែមេសា ឆ្នាំ 2019	អនឡាញ - ចាប់ពីថ្ងៃទី 7 ខែកុម្ភៈដល់ថ្ងៃទី 15 ខែមីនា; ក្រៅបណ្តាញ - ចាប់ពីថ្ងៃទី 30 ខែមីនាដល់ថ្ងៃទី 1 ខែមេសា។
ដោយប្រើសំណុំទិន្នន័យជាក់លាក់មួយអំពីភាគល្អិតនៅក្នុង Large Hadron Collider (គន្លង សន្ទុះ និងប៉ារ៉ាម៉ែត្ររូបវន្តស្មុគស្មាញផ្សេងទៀត) កំណត់ថាតើវាជា muon ឬអត់ ពីសេចក្តីថ្លែងការណ៍នេះ ភារកិច្ចចំនួន 2 ត្រូវបានកំណត់៖ - នៅក្នុងមួយអ្នកគ្រាន់តែផ្ញើការព្យាករណ៍របស់អ្នក, - និងមួយទៀត - កូដពេញលេញ និងគំរូសម្រាប់ការទស្សន៍ទាយ ហើយការប្រតិបត្តិត្រូវមានការដាក់កម្រិតយ៉ាងតឹងរ៉ឹងលើពេលវេលាដំណើរការ និងការប្រើប្រាស់អង្គចងចាំ	សម្រាប់ការប្រកួត SNA Hackathon កំណត់ហេតុនៃការបង្ហាញមាតិកាពីក្រុមបើកចំហនៅក្នុងព័ត៌មានអ្នកប្រើប្រាស់សម្រាប់ខែកុម្ភៈដល់ខែមីនាឆ្នាំ 2018 ត្រូវបានប្រមូល។ សំណុំតេស្តមានសប្តាហ៍ចុងក្រោយកន្លះនៃខែមីនា។ ធាតុនីមួយៗនៅក្នុងកំណត់ហេតុមានព័ត៌មានអំពីអ្វីដែលត្រូវបានបង្ហាញ និងចំពោះអ្នកណា ក៏ដូចជារបៀបដែលអ្នកប្រើប្រាស់មានប្រតិកម្មចំពោះខ្លឹមសារនេះ៖ វាយតម្លៃវា ផ្តល់មតិ មិនអើពើ ឬលាក់វាពីព័ត៌មាន។ ខ្លឹមសារនៃភារកិច្ចរបស់ SNA Hackathon គឺដើម្បីចាត់ថ្នាក់អ្នកប្រើប្រាស់ម្នាក់ៗនៃបណ្តាញសង្គម Odnoklassniki មតិព័ត៌មានរបស់គាត់ ដោយបង្កើនការប្រកាសទាំងនោះឱ្យខ្ពស់តាមដែលអាចធ្វើទៅបាន ដែលនឹងទទួលបាន "ថ្នាក់" ។ នៅដំណាក់កាលអនឡាញ កិច្ចការត្រូវបានបែងចែកជា 3 ផ្នែក៖ 1. ចាត់ថ្នាក់ប្រកាសតាមលក្ខណៈសហការផ្សេងៗ 2. ចាត់ថ្នាក់ប្រកាសដោយផ្អែកលើរូបភាពដែលពួកគេមាន 3. ចាត់ថ្នាក់ប្រកាសតាមអត្ថបទដែលពួកគេមាន
រង្វាស់ផ្ទាល់ខ្លួនស្មុគស្មាញ អ្វីមួយដូចជា ROC-AUC	ជាមធ្យម ROC-AUC ដោយអ្នកប្រើប្រាស់
រង្វាន់សម្រាប់ដំណាក់កាលទី 1 - អាវយឺតសម្រាប់កន្លែង N វគ្គទី 2 កន្លែងស្នាក់នៅ និងអាហារត្រូវបានបង់កំឡុងពេលប្រកួតប្រជែង ដំណាក់កាលទីពីរ - ??? (សម្រាប់ហេតុផលជាក់លាក់ ខ្ញុំមិនមានវត្តមាននៅក្នុងពិធីប្រគល់រង្វាន់ ហើយមិនអាចដឹងថា តើរង្វាន់នោះជាអ្វីនៅទីបញ្ចប់)។ ពួកគេបានសន្យាកុំព្យូទ័រយួរដៃដល់សមាជិកទាំងអស់នៃក្រុមដែលឈ្នះ	រង្វាន់សម្រាប់ដំណាក់កាលទី 100 - អាវយឺតសម្រាប់អ្នកចូលរួមដ៏ល្អបំផុតចំនួន 3 នាក់ ការឆ្លងកាត់ទៅដំណាក់កាលទីពីរ ដែលការធ្វើដំណើរទៅកាន់ទីក្រុងមូស្គូ ការស្នាក់នៅ និងអាហារអំឡុងពេលការប្រកួតត្រូវបានបង់។ ផងដែរ ឆ្ពោះទៅចុងបញ្ចប់នៃដំណាក់កាលទីមួយ រង្វាន់ត្រូវបានប្រកាសសម្រាប់កិច្ចការល្អបំផុតចំនួន 1 នៅដំណាក់កាលទី 2080៖ អ្នករាល់គ្នាបានឈ្នះកាតវីដេអូ RTX XNUMX TI! ដំណាក់​កាល​ទី​២ ជា​ដំណាក់​កាល​ជា​ក្រុម ក្រុម​មាន​ពី ២ ទៅ ៥​នាក់ រង្វាន់៖ កន្លែងទី 1 - 300 រូប្លិ៍ កន្លែងទី 2 - 200 រូប្លិ៍ កន្លែងទី 3 - 100 រូប្លិ៍ រង្វាន់គណៈវិនិច្ឆ័យ - 100 រូប្លិ៍
ក្រុមទូរលេខផ្លូវការ អ្នកចូលរួម ~190 នាក់ ការទំនាក់ទំនងជាភាសាអង់គ្លេស សំណួរត្រូវរង់ចាំជាច្រើនថ្ងៃសម្រាប់ចម្លើយ	ក្រុមផ្លូវការនៅក្នុងតេឡេក្រាម អ្នកចូលរួម ~ 1500 នាក់ ការពិភាក្សាសកម្មនៃកិច្ចការរវាងអ្នកចូលរួមនិងអ្នករៀបចំ
អ្នករៀបចំបានផ្តល់ដំណោះស្រាយជាមូលដ្ឋានចំនួនពីរ គឺសាមញ្ញ និងកម្រិតខ្ពស់។ សាមញ្ញទាមទារ RAM តិចជាង 16 GB ហើយអង្គចងចាំកម្រិតខ្ពស់មិនសមនឹង 16 ទេ។ ទន្ទឹមនឹងនោះ ដោយក្រឡេកមើលទៅមុខបន្តិច អ្នកចូលរួមមិនអាចសម្រេចបាននូវដំណោះស្រាយកម្រិតខ្ពស់គួរឱ្យកត់សម្គាល់នោះទេ។ មិនមានការលំបាកក្នុងការចាប់ផ្តើមដំណោះស្រាយទាំងនេះទេ។ វាគួរតែត្រូវបានកត់សម្គាល់ថានៅក្នុងឧទាហរណ៍កម្រិតខ្ពស់មានមតិយោបល់ដែលមានការណែនាំអំពីកន្លែងដែលត្រូវចាប់ផ្តើមកែលម្អដំណោះស្រាយ។	ដំណោះស្រាយបឋមជាមូលដ្ឋានត្រូវបានផ្តល់ជូនសម្រាប់កិច្ចការនីមួយៗ ដែលងាយស្រួលលើសពីអ្នកចូលរួម។ នៅដើមដំបូងនៃការប្រកួតប្រជែង អ្នកចូលរួមបានជួបប្រទះការលំបាកជាច្រើន៖ ដំបូងទិន្នន័យត្រូវបានផ្តល់ជាទម្រង់ Apache Parquet ហើយមិនមែនគ្រប់បន្សំនៃ Python និងកញ្ចប់ parquet ដំណើរការដោយគ្មានកំហុសនោះទេ។ ការលំបាកទីពីរគឺការទាញយករូបភាពពី mail cloud នៅពេលនេះ មិនមានវិធីងាយស្រួលក្នុងការទាញយកទិន្នន័យច្រើនក្នុងពេលតែមួយនោះទេ។ ជាលទ្ធផលបញ្ហាទាំងនេះបានពន្យារពេលអ្នកចូលរួមពីរបីថ្ងៃ។

IDAO ដំណាក់កាលដំបូង

ភារកិច្ចគឺដើម្បីចាត់ថ្នាក់ភាគល្អិត muon/non-muon ទៅតាមលក្ខណៈរបស់វា។ លក្ខណៈសំខាន់នៃកិច្ចការនេះគឺវត្តមាននៃជួរឈរទម្ងន់នៅក្នុងទិន្នន័យបណ្តុះបណ្តាល ដែលអ្នករៀបចំខ្លួនឯងបានបកស្រាយថាជាទំនុកចិត្តលើចម្លើយសម្រាប់បន្ទាត់នេះ។ បញ្ហាគឺថាជួរដេកពីរបីមានទម្ងន់អវិជ្ជមាន។

បន្ទាប់ពីគិតពីរបីនាទីអំពីបន្ទាត់ជាមួយព័ត៌មានជំនួយ (ព័ត៌មានជំនួយគ្រាន់តែទាក់ទាញការយកចិត្តទុកដាក់ចំពោះលក្ខណៈពិសេសនៃជួរឈរទម្ងន់នេះ) និងបង្កើតក្រាហ្វនេះ យើងបានសម្រេចចិត្តពិនិត្យមើលជម្រើស 3៖

1) បង្វែរទិសដៅនៃបន្ទាត់ដែលមានទម្ងន់អវិជ្ជមាន (និងទម្ងន់តាមនោះ)
2) ផ្លាស់ប្តូរទម្ងន់ទៅតម្លៃអប្បបរមាដើម្បីឱ្យពួកគេចាប់ផ្តើមពី 0
3) កុំប្រើទម្ងន់ខ្សែ

ជម្រើសទី 1 ប្រែទៅជាអាក្រក់បំផុត ប៉ុន្តែពីរដំបូងធ្វើអោយលទ្ធផលប្រសើរឡើង ល្អបំផុតគឺជម្រើសលេខ XNUMX ដែលនាំយើងទៅកន្លែងទីពីរបច្ចុប្បន្នក្នុងកិច្ចការទី XNUMX និងទី XNUMX នៅទីពីរ។

ជំហានបន្ទាប់របស់យើងគឺពិនិត្យមើលទិន្នន័យសម្រាប់តម្លៃដែលបាត់។ អ្នករៀបចំបានផ្តល់ឱ្យយើងនូវទិន្នន័យ combed រួចហើយ ដែលមានតម្លៃបាត់មួយចំនួន ហើយពួកគេត្រូវបានជំនួសដោយ -9999 ។

យើងបានរកឃើញតម្លៃដែលបាត់នៅក្នុងជួរឈរ MatchedHit_{X,Y,Z}[N] និង MatchedHit_D{X,Y,Z}[N] ហើយនៅពេលដែល N=2 ឬ 3។ ដូចដែលយើងយល់ ភាគល្អិតមួយចំនួនមិនបាន ឆ្លងកាត់ឧបករណ៍រាវរកទាំង 4 ហើយឈប់នៅលើចានទី 3 ឬទី 4 ។ ទិន្នន័យក៏មានជួរឈរ Lextra_{X,Y}[N] ដែលជាក់ស្តែងពិពណ៌នាអំពីរឿងដូចគ្នាទៅនឹង MatchedHit_{X,Y,Z}[N] ប៉ុន្តែប្រើប្រភេទនៃការបូកបន្ថែមមួយចំនួន។ ការស្មានតិចតួចទាំងនេះបានណែនាំថា Lextra_{X,Y}[N] អាចត្រូវបានជំនួសដោយតម្លៃដែលបាត់នៅក្នុង MatchedHit_{X,Y,Z}[N] (សម្រាប់កូអរដោនេ X និង Y ប៉ុណ្ណោះ)។ MatchedHit_Z[N] ត្រូវបានបំពេញយ៉ាងល្អជាមួយនឹងមធ្យម។ ឧបាយកលទាំងនេះបានអនុញ្ញាតឱ្យយើងឈានដល់កម្រិតមធ្យមទី 1 ក្នុងកិច្ចការទាំងពីរ។

ដោយពិចារណាថាពួកគេមិនបានផ្តល់អ្វីសម្រាប់ការឈ្នះដំណាក់កាលដំបូង យើងអាចឈប់នៅទីនោះ ប៉ុន្តែយើងបានបន្ត ដោយបានគូររូបភាពដ៏ស្រស់ស្អាតមួយចំនួន និងទទួលបានមុខងារថ្មីៗ។

ជាឧទាហរណ៍ យើងបានរកឃើញថា ប្រសិនបើយើងគូសចំនុចប្រសព្វនៃភាគល្អិតជាមួយបន្ទះឧបករណ៍ចាប់ទាំងបួននោះ យើងអាចឃើញថា ចំនុចនៅលើចាននីមួយៗត្រូវបានដាក់ជាក្រុមជា 5 ចតុកោណកែងដែលមានសមាមាត្រពី 4 ទៅ 5 ហើយផ្តោតលើ ចំណុច (0,0) ហើយ​ក្នុង​ចតុកោណកែង​ដំបូង​គឺ​គ្មាន​ចំណុច​ទេ។

ចានលេខ / ចតុកោណកែង	1	2	3	4	5
ចាន 1	500x625	1000x1250	2000x2500	4000x5000	8000x10000
ចាន 2	520x650	1040x1300	2080x2600	4160x5200	8320x10400
ចាន 3	560x700	1120x1400	2240x2800	4480x5600	8960x11200
ចាន 4	600x750	1200x1500	2400x3000	4800x6000	9600x12000

ដោយបានកំណត់វិមាត្រទាំងនេះ យើងបានបន្ថែមលក្ខណៈពិសេសថ្មីចំនួន 4 សម្រាប់ភាគល្អិតនីមួយៗ - ចំនួននៃចតុកោណកែងដែលវាប្រសព្វចាននីមួយៗ។

យើងក៏បានកត់សម្គាល់ផងដែរថា ភាគល្អិតហាក់ដូចជាខ្ចាត់ខ្ចាយទៅផ្នែកម្ខាងៗពីកណ្តាល ហើយគំនិតបានកើតឡើងដើម្បីវាយតម្លៃ "គុណភាព" នៃការខ្ចាត់ខ្ចាយនេះ។ តាមឧត្ដមគតិ វាប្រហែលជាអាចបង្កើតប៉ារ៉ាបូឡាប្រភេទ "ឧត្តមគតិ" មួយចំនួន អាស្រ័យលើចំណុចដកថយ និងប៉ាន់ប្រមាណគម្លាតពីវា ប៉ុន្តែយើងកំណត់ខ្លួនយើងទៅនឹងបន្ទាត់ត្រង់ "ឧត្តមគតិ" ។ ដោយបានសាងសង់បន្ទាត់ត្រង់ដ៏ល្អសម្រាប់ចំណុចចូលនីមួយៗ យើងអាចគណនាគម្លាតស្តង់ដារនៃគន្លងនៃភាគល្អិតនីមួយៗពីបន្ទាត់ត្រង់នេះ។ ចាប់តាំងពីគម្លាតជាមធ្យមសម្រាប់គោលដៅ = 1 គឺ 152 ហើយសម្រាប់គោលដៅ = 0 វាគឺ 390 យើងបានវាយតម្លៃជាបណ្ដោះអាសន្ននូវលក្ខណៈពិសេសនេះថាល្អ។ ហើយជាការពិតណាស់ លក្ខណៈពិសេសនេះភ្លាមៗបានធ្វើឱ្យវាក្លាយជាកំពូលនៃអ្វីដែលមានប្រយោជន៍បំផុត។

យើងមានសេចក្តីសោមនស្សរីករាយ និងបានបន្ថែមគម្លាតនៃចំណុចប្រសព្វទាំង 4 សម្រាប់ភាគល្អិតនីមួយៗពីបន្ទាត់ត្រង់ដ៏ល្អដែលជាលក្ខណៈពិសេស 4 បន្ថែមទៀត (ហើយពួកគេក៏ដំណើរការល្អផងដែរ) ។

តំណភ្ជាប់ទៅអត្ថបទវិទ្យាសាស្ត្រលើប្រធានបទនៃការប្រកួតប្រជែងដែលបានផ្តល់ឱ្យយើងដោយអ្នករៀបចំបានជំរុញឱ្យមានគំនិតថាយើងនៅឆ្ងាយពីអ្នកដំបូងដើម្បីដោះស្រាយបញ្ហានេះហើយប្រហែលជាមានប្រភេទនៃកម្មវិធីឯកទេសមួយចំនួន។ ដោយបានរកឃើញឃ្លាំងនៅលើ github ដែលវិធីសាស្ត្រ IsMuonSimple, IsMuon, IsMuonLoose ត្រូវបានអនុវត្ត យើងបានផ្ទេរពួកវាទៅគេហទំព័ររបស់យើងជាមួយនឹងការកែប្រែតិចតួច។ វិធីសាស្រ្តដោយខ្លួនឯងគឺសាមញ្ញណាស់: ឧទាហរណ៍ប្រសិនបើថាមពលតិចជាងកម្រិតជាក់លាក់មួយនោះវាមិនមែនជា muon ទេបើមិនដូច្នោះទេវាគឺជា muon ។ លក្ខណៈពិសេសដ៏សាមញ្ញបែបនេះច្បាស់ជាមិនអាចផ្តល់ការកើនឡើងនៅក្នុងករណីនៃការប្រើប្រាស់ការជំរុញកម្រិតជម្រាលនោះទេ ដូច្នេះហើយយើងបានបន្ថែម "ចម្ងាយ" ដ៏សំខាន់មួយទៀតទៅកាន់កម្រិតចាប់ផ្ដើម។ មុខងារទាំងនេះក៏ត្រូវបានកែលម្អបន្តិចបន្តួចផងដែរ។ ប្រហែលជាដោយការវិភាគវិធីសាស្រ្តដែលមានស្រាប់ឱ្យបានហ្មត់ចត់ជាងនេះ វាអាចស្វែងរកវិធីសាស្រ្តខ្លាំងជាង ហើយបន្ថែមវាទៅក្នុងសញ្ញា។

នៅចុងបញ្ចប់នៃការប្រកួតប្រជែង យើងបានកែប្រែបន្តិចនូវដំណោះស្រាយ "រហ័ស" សម្រាប់បញ្ហាទីពីរ នៅទីបញ្ចប់ វាខុសគ្នាពីបន្ទាត់មូលដ្ឋាននៅក្នុងចំណុចខាងក្រោម៖

1. នៅជួរដែលមានទម្ងន់អវិជ្ជមាន គោលដៅត្រូវបានដាក់បញ្ច្រាស
2. បំពេញតម្លៃដែលបាត់ក្នុង MatchedHit_{X,Y,Z}[N]
3. កាត់បន្ថយជម្រៅដល់ 7
4. កាត់បន្ថយអត្រាសិក្សាមកត្រឹម 0.1 (គឺ 0.19)

ជាលទ្ធផល យើងបានសាកល្បងលក្ខណៈពិសេសបន្ថែមទៀត (មិនជោគជ័យខ្លាំងទេ) ប៉ារ៉ាម៉ែត្រដែលបានជ្រើសរើស និងការបណ្តុះបណ្តាល catboost, lightgbm និង xgboost បានសាកល្បងការលាយបញ្ចូលគ្នានៃការទស្សន៍ទាយផ្សេងៗគ្នា ហើយមុនពេលបើកឯកជន យើងបានឈ្នះដោយទំនុកចិត្តលើកិច្ចការទីពីរ ហើយដំបូងយើងស្ថិតក្នុងចំណោម មេដឹកនាំ។

បន្ទាប់​ពី​បើក​ឯកជន យើង​ស្ថិត​នៅ​លេខ​១០​សម្រាប់​កិច្ចការ​ទី​១ និង​លេខ​៣​សម្រាប់​កិច្ចការ​ទី​២។ អ្នកដឹកនាំទាំងអស់បានលាយឡំគ្នា ហើយល្បឿនឯកជនគឺខ្ពស់ជាងនៅលើ libboard ។ វាហាក់បីដូចជាទិន្នន័យត្រូវបានតម្រៀបយ៉ាងលំបាក (ឬឧទាហរណ៍មិនមានជួរដែលមានទម្ងន់អវិជ្ជមាននៅក្នុងឯកជនទេ) ហើយនេះជាការខកចិត្តបន្តិច។

SNA Hackathon 2019 - អត្ថបទ។ ដំណាក់កាលដំបូង

ភារកិច្ចគឺដើម្បីចាត់ថ្នាក់ប្រកាសរបស់អ្នកប្រើប្រាស់នៅលើបណ្តាញសង្គម Odnoklassniki ដោយផ្អែកលើអត្ថបទដែលពួកគេមាន បន្ថែមពីលើអត្ថបទ មានលក្ខណៈមួយចំនួនទៀតនៃការបង្ហោះ (ភាសា ម្ចាស់ កាលបរិច្ឆេទ និងពេលវេលានៃការបង្កើត កាលបរិច្ឆេទ និងពេលវេលានៃការមើល។ )

ជាវិធីសាស្រ្តបុរាណក្នុងការធ្វើការជាមួយអត្ថបទ ខ្ញុំនឹងគូសបញ្ជាក់ជម្រើសពីរ៖

1. ការគូសផែនទីពាក្យនីមួយៗទៅក្នុងចន្លោះវ៉ិចទ័រ n-dimensional ដែលពាក្យស្រដៀងគ្នាមានវ៉ិចទ័រស្រដៀងគ្នា (អានបន្ថែមនៅក្នុង អត្ថបទរបស់យើង។) បន្ទាប់មកទាំងការស្វែងរកពាក្យមធ្យមសម្រាប់អត្ថបទ ឬប្រើយន្តការដែលគិតគូរពីទីតាំងដែលទាក់ទងនៃពាក្យ (CNN, LSTM/GRU)។
2. ការប្រើគំរូដែលអាចដំណើរការភ្លាមៗជាមួយប្រយោគទាំងមូល។ ឧទាហរណ៍ Bert ។ តាមទ្រឹស្តី វិធីសាស្រ្តនេះគួរតែដំណើរការកាន់តែប្រសើរ។

ដោយសារនេះជាបទពិសោធន៍ដំបូងរបស់ខ្ញុំជាមួយអត្ថបទ វានឹងខុសក្នុងការបង្រៀននរណាម្នាក់ ដូច្នេះខ្ញុំនឹងបង្រៀនខ្លួនឯង។ នេះ​ជា​គន្លឹះ​ដែល​ខ្ញុំ​នឹង​ផ្តល់​ឱ្យ​ខ្លួន​ឯង​នៅ​ដើម​នៃ​ការ​ប្រកួត​ប្រជែង៖

1. មុន​នឹង​រត់​ទៅ​បង្រៀន​អ្វី​មួយ សូម​មើល​ទិន្នន័យ! បន្ថែមពីលើអត្ថបទខ្លួនវា ទិន្នន័យមានជួរឈរជាច្រើន ហើយវាអាចច្របាច់ចេញពីពួកវាបានច្រើនជាងខ្ញុំ។ អ្វី​ដែល​សាមញ្ញ​បំផុត​គឺ​ធ្វើ​ការ​អ៊ិនកូដ​គោលដៅ​សម្រាប់​ជួរ​ឈរ​មួយ​ចំនួន។
2. កុំរៀនពីទិន្នន័យទាំងអស់! មានទិន្នន័យជាច្រើន (ប្រហែល 17 លានជួរ) ហើយវាមិនចាំបាច់ប្រើពួកវាទាំងអស់ដើម្បីសាកល្បងសម្មតិកម្មនោះទេ។ ការបណ្តុះបណ្តាល និងដំណើរការមុនគឺយឺតណាស់ ហើយខ្ញុំច្បាស់ជាមានពេលវេលាដើម្បីសាកល្បងសម្មតិកម្មដែលគួរឱ្យចាប់អារម្មណ៍បន្ថែមទៀត។
3. <ដំបូន្មានដ៏ចម្រូងចម្រាស> មិនចាំបាច់រកមើលគំរូឃាតករទេ។ ខ្ញុំបានចំណាយពេលយូរដើម្បីស្វែងរក Elmo និង Bert ដោយសង្ឃឹមថាពួកគេនឹងនាំខ្ញុំទៅកន្លែងខ្ពស់ភ្លាមៗ ហើយជាលទ្ធផល ខ្ញុំបានប្រើការបញ្ចូល FastText ដែលត្រូវបានបណ្តុះបណ្តាលជាមុនសម្រាប់ភាសារុស្សី។ ខ្ញុំ​មិន​អាច​សម្រេច​បាន​ល្បឿន​ល្អ​ជាង​មុន​ជាមួយ Elmo ហើយ​ខ្ញុំ​នៅ​តែ​មិន​មាន​ពេល​ដើម្បី​ដោះស្រាយ​វា​ជាមួយ Bert ។
4. <ដំបូន្មានដ៏ចម្រូងចម្រាស> មិនចាំបាច់រកមើលលក្ខណៈពិសេសឃាតករមួយ។ ក្រឡេកមើលទិន្នន័យ ខ្ញុំសង្កេតឃើញថា ប្រហែល 1 ភាគរយនៃអត្ថបទពិតជាមិនមានអត្ថបទទេ! ប៉ុន្តែមានតំណភ្ជាប់ទៅកាន់ធនធានមួយចំនួន ហើយខ្ញុំបានសរសេរកម្មវិធីញែកសាមញ្ញមួយ ដែលបើកគេហទំព័រ ហើយដកចំណងជើង និងការពិពណ៌នាចេញ។ វាហាក់ដូចជាគំនិតដ៏ល្អមួយ ប៉ុន្តែបន្ទាប់មកខ្ញុំបានយកទៅឆ្ងាយ ហើយសម្រេចចិត្តញែកតំណភ្ជាប់ទាំងអស់សម្រាប់អត្ថបទទាំងអស់ ហើយម្តងទៀតបានបាត់បង់ពេលវេលាច្រើន។ ទាំងអស់នេះមិនបានផ្តល់នូវភាពប្រសើរឡើងគួរឱ្យកត់សម្គាល់នៅក្នុងលទ្ធផលចុងក្រោយទេ (ទោះបីជាខ្ញុំបានរកឃើញថាមានដើមកំណើតក៏ដោយ) ។
5. មុខងារបុរាណដំណើរការ។ យើង Google ឧទាហរណ៍ "មុខងារអត្ថបទ kaggle" អាន និងបន្ថែមអ្វីគ្រប់យ៉ាង។ TF-IDF បានផ្តល់ភាពប្រសើរឡើងដូចលក្ខណៈស្ថិតិដូចជា ប្រវែងអត្ថបទ ពាក្យ និងចំនួនវណ្ណយុត្តិ។
6. ប្រសិនបើមានជួរ DateTime វាមានតម្លៃក្នុងការញែកពួកវាទៅជាលក្ខណៈពិសេសដាច់ដោយឡែកជាច្រើន (ម៉ោង ថ្ងៃនៃសប្តាហ៍។ល។)។ លក្ខណៈណាមួយដែលគួរត្រូវបានបន្លិចគួរតែត្រូវបានវិភាគដោយប្រើក្រាហ្វ/រង្វាស់មួយចំនួន។ នៅទីនេះដោយចេតនា ខ្ញុំបានធ្វើអ្វីៗគ្រប់យ៉ាងយ៉ាងត្រឹមត្រូវ និងបានគូសបញ្ជាក់អំពីលក្ខណៈចាំបាច់ ប៉ុន្តែការវិភាគធម្មតានឹងមិនមានការប៉ះពាល់ទេ (ឧទាហរណ៍ដូចដែលយើងបានធ្វើនៅវគ្គផ្តាច់ព្រ័ត្រ)។

ជាលទ្ធផលនៃការប្រកួតប្រជែង ខ្ញុំបានបណ្តុះបណ្តាលគំរូ keras មួយជាមួយនឹងការបំប្លែងពាក្យ និងមួយទៀតផ្អែកលើ LSTM និង GRU ។ ពួកគេទាំងពីរបានប្រើការបង្កប់ FastText ដែលបានបណ្តុះបណ្តាលជាមុនសម្រាប់ភាសារុស្សី (ខ្ញុំបានសាកល្បងការបង្កប់ផ្សេងទៀត ប៉ុន្តែទាំងនេះគឺជាកម្មវិធីដែលដំណើរការល្អបំផុត)។ បន្ទាប់ពីការទស្សន៍ទាយជាមធ្យម ខ្ញុំបានជាប់ចំណាត់ថ្នាក់ទី 7 ចុងក្រោយក្នុងចំណោមអ្នកចូលរួម 76 នាក់។

បន្ទាប់ពីដំណាក់កាលដំបូងវាត្រូវបានបោះពុម្ព អត្ថបទដោយ Nikolai Anokhinដែលបានទទួលចំណាត់ថ្នាក់លេខ 2 (គាត់បានចូលរួមក្នុងការប្រកួតប្រជែង) ហើយដំណោះស្រាយរបស់គាត់រហូតដល់ដំណាក់កាលខ្លះបានធ្វើម្តងទៀតនូវអណ្តូងរ៉ែប៉ុន្តែគាត់បានទៅបន្ថែមទៀតដោយសារតែយន្តការយកចិត្តទុកដាក់លើតម្លៃសំណួរ។

ដំណាក់កាលទីពីរ OK & IDAO

ដំណាក់​កាល​ទី​២​នៃ​ការ​ប្រកួត​បាន​កើត​ឡើង​ស្ទើរ​តែ​ជាប់​គ្នា ដូច្នេះ​ហើយ​ខ្ញុំ​សម្រេច​ចិត្ត​មើល​ពួក​គេ​ទាំង​អស់​គ្នា។

ដំបូងខ្ញុំនិងក្រុមដែលទើបទទួលបានថ្មីបានបញ្ចប់នៅក្នុងការិយាល័យដ៏គួរឱ្យចាប់អារម្មណ៍របស់ក្រុមហ៊ុន Mail.ru ដែលភារកិច្ចរបស់យើងគឺការបញ្ចូលគ្នានូវគំរូនៃបទចំនួនបីពីដំណាក់កាលដំបូង - អត្ថបទ រូបភាព និងសហការគ្នា។ លើសពី 2 ថ្ងៃបន្តិចត្រូវបានបែងចែកសម្រាប់ការនេះដែលប្រែទៅជាតិចតួចណាស់។ តាមពិតទៅ យើងគ្រាន់តែអាចធ្វើម្តងទៀតនូវលទ្ធផលរបស់យើងតាំងពីដំណាក់កាលដំបូង ដោយមិនទទួលបានផលចំណេញណាមួយពីការរួមបញ្ចូលគ្នានោះទេ។ នៅទីបញ្ចប់ យើងទទួលបានចំណាត់ថ្នាក់លេខ 5 ប៉ុន្តែយើងមិនអាចប្រើគំរូអត្ថបទបានទេ។ ដោយបានក្រឡេកមើលដំណោះស្រាយរបស់អ្នកចូលរួមផ្សេងទៀត វាហាក់បីដូចជាវាមានតម្លៃក្នុងការព្យាយាមចងក្រងអត្ថបទ និងបញ្ចូលវាទៅក្នុងគំរូសហការ។ ផលប៉ះពាល់នៃដំណាក់កាលនេះគឺការចាប់អារម្មណ៍ថ្មី ការប្រជុំ និងការប្រាស្រ័យទាក់ទងជាមួយអ្នកចូលរួម និងអ្នករៀបចំដ៏ត្រជាក់ ក៏ដូចជាការខ្វះខាតដំណេកយ៉ាងធ្ងន់ធ្ងរដែលអាចប៉ះពាល់ដល់លទ្ធផលនៃដំណាក់កាលចុងក្រោយរបស់ IDAO ។

ភារកិច្ចនៅដំណាក់កាលចុងក្រោយ IDAO 2019 គឺដើម្បីទស្សន៍ទាយពេលវេលារង់ចាំសម្រាប់ការបញ្ជាទិញសម្រាប់អ្នកបើកបរតាក់ស៊ី Yandex នៅព្រលានយន្តហោះ។ នៅដំណាក់កាលទី 2 ភារកិច្ច 3 = 3 អាកាសយានដ្ឋានត្រូវបានកំណត់អត្តសញ្ញាណ។ សម្រាប់អាកាសយានដ្ឋាននីមួយៗ ទិន្នន័យមួយនាទីក្នុងមួយនាទីលើចំនួននៃការបញ្ជាទិញតាក់ស៊ីសម្រាប់រយៈពេលប្រាំមួយខែត្រូវបានផ្តល់ឱ្យ។ ហើយជាទិន្នន័យសាកល្បង ទិន្នន័យខែបន្ទាប់ និងនាទីក្នុងមួយនាទីលើការបញ្ជាទិញសម្រាប់រយៈពេល 2 សប្តាហ៍កន្លងមកត្រូវបានផ្តល់ឱ្យ។ មានពេលតិចតួច (1,5 ថ្ងៃ) ភារកិច្ចគឺជាក់លាក់ណាស់ មានតែមនុស្សម្នាក់ពីក្រុមបានមកចូលរួមការប្រកួត ហើយជាលទ្ធផល វាជាកន្លែងដ៏សោកសៅឆ្ពោះទៅរកទីបញ្ចប់។ គំនិតគួរឱ្យចាប់អារម្មណ៍រួមមានការព្យាយាមប្រើទិន្នន័យខាងក្រៅ៖ អាកាសធាតុ ការកកស្ទះចរាចរណ៍ និងស្ថិតិការបញ្ជាទិញតាក់ស៊ី Yandex ។ ទោះបីជាអ្នករៀបចំមិនបាននិយាយថាព្រលានយន្តហោះទាំងនេះជាអ្វីក៏ដោយក៏អ្នកចូលរួមជាច្រើនបានសន្មតថាពួកគេជា Sheremetyevo, Domodedovo និង Vnukovo ។ ទោះបីជាការសន្មត់នេះត្រូវបានបដិសេធបន្ទាប់ពីការប្រកួតប្រជែងក៏ដោយ លក្ខណៈពិសេសឧទាហរណ៍ពីទិន្នន័យអាកាសធាតុទីក្រុងម៉ូស្គូបានធ្វើឱ្យលទ្ធផលប្រសើរឡើងទាំងនៅលើសុពលភាព និងនៅលើតារាងពិន្ទុ។

សេចក្តីសន្និដ្ឋាន

1. ការប្រកួតប្រជែង ML គឺត្រជាក់និងគួរឱ្យចាប់អារម្មណ៍! នៅទីនេះអ្នកនឹងឃើញការប្រើប្រាស់ជំនាញក្នុងការវិភាគទិន្នន័យ និងក្នុងគំរូ និងបច្ចេកទេសដ៏ប៉ិនប្រសប់ ហើយសុភវិនិច្ឆ័យសាមញ្ញត្រូវបានស្វាគមន៍។
2. ML គឺជាស្ថាប័នដ៏ធំមួយនៃចំណេះដឹងដែលហាក់ដូចជាកំពុងរីកចម្រើនយ៉ាងអិចស្ប៉ូណង់ស្យែល។ ខ្ញុំ​បាន​កំណត់​គោលដៅ​ខ្លួន​ឯង​ដើម្បី​ស្គាល់​ផ្នែក​ផ្សេងៗ (សញ្ញា រូបភាព តារាង អត្ថបទ) ហើយ​បាន​ដឹង​រួច​ទៅ​ហើយ​ថា​ត្រូវ​សិក្សា​ប៉ុន្មាន។ ឧទាហរណ៍ បន្ទាប់ពីការប្រកួតប្រជែងទាំងនេះ ខ្ញុំបានសម្រេចចិត្តសិក្សា៖ ក្បួនដោះស្រាយចង្កោម បច្ចេកទេសកម្រិតខ្ពស់សម្រាប់ធ្វើការជាមួយបណ្ណាល័យបង្កើនជម្រាល (ជាពិសេស ធ្វើការជាមួយ CatBoost នៅលើ GPU) បណ្តាញកន្សោម យន្តការយកចិត្តទុកដាក់លើតម្លៃសំណួរ។
3. មិនមែនដោយកាកីតែម្នាក់ឯងទេ! មានការប្រកួតជាច្រើនទៀតដែលវាកាន់តែងាយស្រួលក្នុងការទទួលបានអាវយឺត ហើយមានឱកាសកាន់តែច្រើនសម្រាប់រង្វាន់ផ្សេងទៀត។
4. ទំនាក់ទំនង! មានសហគមន៍ដ៏ធំមួយរួចទៅហើយនៅក្នុងវិស័យសិក្សាម៉ាស៊ីន និងការវិភាគទិន្នន័យ មានក្រុមប្រធានបទនៅក្នុងទូរលេខ ភាពយឺតយ៉ាវ និងមនុស្សធ្ងន់ធ្ងរមកពី Mail.ru, Yandex និងក្រុមហ៊ុនផ្សេងទៀតឆ្លើយសំណួរ និងជួយអ្នកចាប់ផ្តើមដំបូង និងអ្នកដែលបន្តផ្លូវរបស់ពួកគេក្នុងវិស័យនេះ។ នៃចំណេះដឹង។
5. ខ្ញុំ​ណែនាំ​អ្នក​រាល់​គ្នា​ដែល​ត្រូវ​បាន​បំផុស​គំនិត​ដោយ​ចំណុច​មុន​ដើម្បី​ទស្សនា datafest - សន្និសីទឥតគិតថ្លៃដ៏ធំមួយនៅទីក្រុងមូស្គូដែលនឹងប្រព្រឹត្តទៅនៅថ្ងៃទី 10-11 ខែឧសភា។

ប្រភព: www.habr.com