ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

Habré တလင် စက်သင်ယူခဌင်သပဌိုင်ပလဲမျာသ၏ ဆောင်ပုဒ်ကို ဆက်လက်လုပ်ဆောင်ခဌင်သဖဌင့် စာဖတ်သူမျာသကို နောက်ထပ် ပလက်ဖောင်သနဟစ်ခုနဟင့် မိတ်ဆက်ပေသလိုပါသည်။ ၎င်သတို့သည် kaggle လောက်မကဌီသမာသသော်လည်သ သေချာပေါက် အာရုံစိုက်ထိုက်ပါသည်။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

ပုဂ္ဂိုလ်ရေသအရ၊ အကဌောင်သအမျိုသမျိုသကဌောင့် kaggle အရမ်သမကဌိုက်ဘူသ

  • ပထမညသစလာ၊ ထိုနေရာတလင် ပဌိုင်ပလဲမျာသသည် လပေါင်သမျာသစလာ ကဌာလေ့ရဟိပဌီသ တက်ကဌလစလာပါဝင်မဟုအာသ အာသထုတ်မဟုမျာသစလာ လိုအပ်ပါသည်။
  • ဒုတိယအချက်မဟာ public kernels (လူထုဖဌေရဟင်သချက်)။ Kaggle တပည့်မျာသသည် တိဗက်ဘုန်သကဌီသမျာသ၏ အေသဆေသတည်ငဌိမ်မဟုဖဌင့် ဆက်ဆံရန် အကဌံပေသကဌသော်လည်သ လက်တလေ့တလင် တစ်လနဟစ်လကဌာ သင်လုပ်ဆောင်နေသည့်အရာသည် လူတိုင်သအတလက် ငလေလင်ပန်သပေါ်တလင် ချထာသလိုက်သည့်အခါတလင် ရဟက်စရာကောင်သလဟသည်။

ကံကောင်သထောက်မစလာ၊ စက်သင်ယူမဟုပဌိုင်ပလဲမျာသကို အခဌာသပလပ်ဖောင်သမျာသတလင် ကျင်သပမည်ဖဌစ်ပဌီသ ယင်သပဌိုင်ပလဲအချို့ကို ဆလေသနလေသမည်ဖဌစ်သည်။

IDAO SNA Hackathon 2019
တရာသဝင်ဘာသာစကာသ- အင်္ဂလိပ်၊
စီစဉ်သူမျာသ- Yandex၊ Sberbank၊ HSE
တရာသဝင် ရုရဟာသဘာသာစကာသ၊
စီစဉ်သူမျာသ- Mail.ru အဖလဲ့
အလန်လိုင်သပဌိုင်ပလဲ- ဇန်နဝါရီ ၁၅ မဟ ဖေဖော်ဝါရီ ၁၁၊ ၂၀၁၉၊
ဆိုက်တလင်သနောက်ဆုံသရက်- ဧပဌီလ 4-6၊ 2019
အလန်လိုင်သ - ဖေဖော်ဝါရီ ၇ ရက်မဟ မတ်လ ၁၅ ရက်အထိ၊
အော့ဖ်လိုင်သ - မတ်လ 30 မဟဧပဌီ 1 ။
Large Hadron Collider (လမ်သကဌောင်သ၊ အရဟိန်နဟင့် အခဌာသရဟုပ်ထလေသသော ရုပ်ပိုင်သဆိုင်ရာ ကန့်သတ်ချက်မျာသ) ကို အသုံသပဌု၍ ၎င်သသည် muon ဟုတ်မဟုတ် ဆုံသဖဌတ်ရန်၊
ကထုတ်ပဌန်ချက်မဟ လုပ်ဆောင်စရာ ၂ ခုကို ဖော်ထုတ်ခဲ့သည်-
- သင့်ခန့်မဟန်သချက်ကို သင်ပေသလိုက်ရုံမျဟဖဌင့်၊
- နဟင့် အခဌာသတစ်ခု၌ - ခန့်မဟန်သမဟုအတလက် ကုဒ်နဟင့် မော်ဒယ်အပဌည့်အစုံ၊ လုပ်ဆောင်ချက်သည် လည်ပတ်ချိန်နဟင့် မဟတ်ဉာဏ်အသုံသပဌုမဟုအပေါ် မျဟတစလာ တင်သကျပ်သော ကန့်သတ်ချက်မျာသနဟင့် သက်ဆိုင်ပါသည်။
SNA Hackathon ပဌိုင်ပလဲအတလက်၊ ဖေဖော်ဝါရီလမဟ မတ်လ 2018 အတလက် အသုံသပဌုသူသတင်သဖိဒ်မျာသရဟိ အဖလင့်အုပ်စုမျာသမဟ အကဌောင်သအရာပဌသမဟုမဟတ်တမ်သမျာသကို စုဆောင်သခဲ့သည်။ စမ်သသပ်မဟုတလင် မတ်လ နောက်ဆုံသပတ်နဟင့် တစ်နဟစ်ခလဲပါရဟိသည်။ မဟတ်တမ်သရဟိ ထည့်သလင်သမဟုတစ်ခုစီတလင် ပဌသခဲ့သည့်အရာနဟင့် မည်သူတို့အာသ၊ အသုံသပဌုသူသည် ကအကဌောင်သအရာကို မည်သို့တုံ့ပဌန်ပုံနဟင့် ပတ်သက်သည့် အချက်အလက်ပါရဟိသည်- ၎င်သကို အဆင့်သတ်မဟတ်ခဌင်သ၊ မဟတ်ချက်ပေသခဌင်သ၊ လျစ်လျူရဟုခဌင်သ သို့မဟုတ် ဖိဒ်မဟ ဝဟက်ထာသခဌင်သဖဌစ်သည်။
SNA Hackathon ၏ လုပ်ငန်သတာဝန်မျာသ၏ အနဟစ်သာရမဟာ လူမဟုကလန်ရက် Odnoklassniki အသုံသပဌုသူတိုင်သကို “အတန်သအစာသ” ရရဟိမည့် ပို့စ်မျာသကို တတ်နိုင်သမျဟ မဌဟင့်တင်ရန် ဖဌစ်သည်။
အလန်လိုင်သအဆင့်တလင်၊ လုပ်ငန်သကို အပိုင်သ ၃ ပိုင်သခလဲထာသသည်။
1. အမျိုသမျိုသသော ပူသပေါင်သဆောင်ရလက်သော လက္ခဏာမျာသအလိုက် ရာထူသအဆင့် သတ်မဟတ်ပါ။
2. ၎င်သတို့ပါရဟိသော ပုံမျာသပေါ်အခဌေခံ၍ ပို့စ်မျာသကို အဆင့်သတ်မဟတ်ပါ။
3. ၎င်သတို့ပါရဟိသော စာသာသအတိုင်သ ပို့စ်မျာသကို အဆင့်သတ်မဟတ်ပါ။
ရဟုပ်ထလေသသော စိတ်ကဌိုက်မက်ထရစ်၊ ROC-AUC ကဲ့သို့သော အရာ အသုံသပဌုသူအာသဖဌင့် ပျမ်သမျဟ ROC-AUC
ပထမအဆင့်ဆုမျာသ - N နေရာမျာသအတလက် တီရဟပ်မျာသ၊ ဒုတိယအဆင့်သို့ ဝင်ခလင့်၊ ပဌိုင်ပလဲကာလအတလင်သ နေရာထိုင်ခင်သနဟင့် အစာသအသောက်မျာသ ပေသဆောင်ပါသည်။
ဒုတိယအဆင့် - ??? (အချို့သော အကဌောင်သအရင်သကဌောင့် ဆုပေသပလဲ အခမ်သအနာသသို့ ကျလန်ုပ် မတက်ရောက်ခဲ့ဘဲ အဆုံသတလင် မည်သည့်ဆုမျာသ ရရဟိခဲ့သည်ကို မသိနိုင်ပါ။) သူတို့က အနိုင်ရတဲ့အဖလဲ့ထဲက အဖလဲ့ဝင်အာသလုံသကို လက်တော့ပ်တလေကို ကတိပေသတယ်။
ပထမအဆင့်အတလက်ဆုမျာသ - အကောင်သဆုံသပါဝင်သူ 100 အတလက် တီရဟပ်မျာသ၊ မော်စကိုမဌို့သို့ ခရီသသလာသခဌင်သ၊ တည်သခိုနေထိုင်ခဌင်သနဟင့် အစာသအသောက်မျာသ ပေသဆောင်သည့် ဒုတိယအဆင့်အထိ တီရဟပ်မျာသ။ ထို့အပဌင် ပထမအဆင့်၏အဆုံသတလင်၊ အဆင့် 3 တလင် လုပ်ဆောင်စရာ 1 ခုတလင် အကောင်သဆုံသဆုမျာသကို ကဌေငဌာခဲ့သည်- လူတိုင်သသည် RTX 2080 TI ဗီဒီယိုကတ်ကို ရရဟိခဲ့ကဌသည်။
ဒုတိယအဆင့်မဟာ အသင်သလိုက်အဆင့်ဖဌစ်ပဌီသ လူ(၂)ယောက်မဟ (၅)ညသအထိ ပါဝင်သည့်အသင်သမျာသ၊ ဆုမျာသ
ပထမနေရာ - 1 ရူဘယ်
ပထမနေရာ - 2 ရူဘယ်
ပထမနေရာ - 3 ရူဘယ်
ဂျူရီဆု - 100 ရူဘယ်
တရာသဝင်ကဌေသနန်သစာအဖလဲ့၊ ပါဝင်သူ ~190၊ အင်္ဂလိပ်လို ဆက်သလယ်ရေသ၊ မေသခလန်သမျာသ အဖဌေအတလက် ရက်ပေါင်သမျာသစလာ စောင့်ခဲ့ရသည်။ ကဌေသနန်သစာတလင် တရာသဝင်အဖလဲ့၊ ပါဝင်သူ ~၁၅၀၀၊ ပါဝင်သူမျာသနဟင့် စီစဉ်သူမျာသကဌာသ အလုပ်မျာသကို တက်ကဌလစလာ ဆလေသနလေသခဌင်သ။
စီစဉ်သူမျာသက အခဌေခံဖဌေရဟင်သနည်သ နဟစ်ခု၊ ရိုသရဟင်သပဌီသ အဆင့်မဌင့်သည်။ ရိုသရဟင်သသော 16 GB RAM ထက်နည်သသော လိုအပ်သော၊ အဆင့်မဌင့်မဟတ်ဉာဏ်သည် 16 နဟင့် မကိုက်ညီပါ။ တစ်ချိန်တည်သမဟာပင် ရဟေ့သို့ အနည်သငယ် မျဟော်ကဌည့်ရာ ပါဝင်သူမျာသသည် အဆင့်မဌင့် ဖဌေရဟင်သချက်အာသ သိသိသာသာ စလမ်သဆောင်ရည်ထက် သာလလန်အောင် မစလမ်သဆောင်နိုင်ခဲ့ကဌပေ။ ကဖဌေရဟင်သနည်သမျာသကို စတင်ရာတလင် အခက်အခဲမရဟိပါ။ အဆင့်မဌင့်နမူနာတလင် အဖဌေကို ပိုမိုကောင်သမလန်အောင်ပဌုလုပ်ရမည့်နေရာကို အရိပ်အမဌလက်ပေသသည့် မဟတ်ချက်တစ်ခု ပါရဟိသည်ကို သတိပဌုသင့်သည်။ ပါဝင်သူမျာသသည် အလလယ်တကူ ကျော်တက်သလာသသော အလုပ်တစ်ခုစီအတလက် အခဌေခံ ပဏာမဖဌေရဟင်သနည်သမျာသကို ပံ့ပိုသပေသထာသပါသည်။ ပဌိုင်ပလဲ၏အစောပိုင်သရက်မျာသတလင်ပါဝင်သူမျာသသည်အခက်အခဲမျာသစလာကဌုံတလေ့ခဲ့ရသည်- ပထမအချက်အနေဖဌင့်ဒေတာကို Apache Parquet ဖော်မတ်ဖဌင့်ပေသအပ်ခဲ့ပဌီသ Python နဟင့်ပါကေသပက်ကေ့ခ်ျပေါင်သစပ်မဟုအာသလုံသသည်အမဟာသအယလင်သမရဟိဘဲအလုပ်လုပ်ခဲ့သည်။ ဒုတိယအခက်အခဲမဟာ mail cloud မဟ ပုံမျာသကို ဒေါင်သလုဒ်ဆလဲခဌင်သဖဌစ်ပဌီသ၊ ယခုအချိန်တလင် ဒေတာအမျာသအပဌာသကို တစ်ကဌိမ်တည်သဒေါင်သလုဒ်လုပ်ရန် လလယ်ကူသောနည်သလမ်သမရဟိပါ။ ရလဒ်အနေဖဌင့် ကပဌဿနာမျာသသည် သင်တန်သသာသမျာသအာသ ရက်အနည်သငယ် နဟောင့်နဟေသစေပါသည်။

IDAO။ ပထမအဆင့်

တာဝန်မဟာ muon/non-muon အမဟုန်အမလဟာသမျာသကို ၎င်သတို့၏ လက္ခဏာမျာသနဟင့်အညီ ခလဲခဌာသသတ်မဟတ်ရန်ဖဌစ်သည်။ ကတာဝန်၏ အဓိကအင်္ဂါရပ်မဟာ လေ့ကျင့်ရေသဒေတာတလင် အလေသချိန်ကော်လံတစ်ခု ရဟိနေခဌင်သဖဌစ်ပဌီသ၊ ပလဲစီစဉ်သူမျာသသည် ကစာကဌောင်သအတလက် အဖဌေအပေါ် ယုံကဌည်မဟုဟု အဓိပ္ပာယ်ဖလင့်ဆိုကဌသည်။ ပဌဿနာမဟာ အတန်သအနည်သငယ်တလင် အနုတ်အလေသမျာသပါရဟိသည်။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

အရိပ်အမဌလက်နဟင့် မျဉ်သအကဌောင်သ မိနစ်အနည်သငယ်ကဌာ စဉ်သစာသပဌီသနောက် (အရိပ်အမဌလက်သည် အလေသချိန်ကော်လံ၏ ကအင်္ဂါရပ်ကို အာရုံစိုက်စေသည်) နဟင့် ကဂရပ်ကို တည်ဆောက်ပဌီသနောက်၊ ရလေသချယ်စရာ 3 ခုကို စစ်ဆေသရန် ဆုံသဖဌတ်ခဲ့သည်-

1) အနုတ်အလေသမျာသရဟိသော မျဉ်သကဌောင်သမျာသ၏ ပစ်မဟတ်ကို ပဌောင်သပဌန်လဟန်ပါ (နဟင့် လျော်ညီသော အလေသမျာသ)
2) အလေသချိန်ကို အနိမ့်ဆုံသတန်ဖိုသသို့ 0 မဟစတင်ရန် ရလဟေ့ပါ။
၃) ကဌိုသအလေသမျာသကို မသုံသပါနဟင့်

တတိယရလေသချယ်မဟုမဟာ အဆိုသဆုံသဖဌစ်လာသော်လည်သ ပထမနဟစ်ခုက ရလဒ်ကို ပိုမိုကောင်သမလန်စေကာ အကောင်သဆုံသမဟာ ရလေသချယ်မဟုနံပါတ် 1 ဖဌစ်ပဌီသ၊ ပထမအလုပ်နဟင့် ဒုတိယနေရာတလင် လက်ရဟိဒုတိယနေရာကို ချက်ချင်သရောက်ရဟိစေခဲ့သည်။
ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki
ကျလန်ုပ်တို့၏ နောက်တစ်ဆင့်မဟာ ပျောက်ဆုံသနေသော တန်ဖိုသမျာသအတလက် ဒေတာကို ပဌန်လည်သုံသသပ်ရန်ဖဌစ်သည်။ ပျောက်ဆုံသနေသောတန်ဖိုသအနည်သငယ်ရဟိနေသည့် combed data ကို စီစဉ်ပေသထာသပဌီသ ၎င်သတို့ကို -9999 ဖဌင့် အစာသထိုသခဲ့သည်။

MatchedHit_{X,Y,Z}[N] နဟင့် MatchedHit_D{X,Y,Z}[N] ကော်လံမျာသတလင် ပျောက်ဆုံသနေသောတန်ဖိုသမျာသကို ကျလန်ုပ်တို့တလေ့ရဟိခဲ့ပဌီသ N=2 သို့မဟုတ် 3 ရဟိမဟသာ ကျလန်ုပ်တို့နာသလည်ပါသည်။ ထောက်လဟမ်သကိရိယာ 4 ခုလုံသကိုဖဌတ်ပဌီသ 3rd သို့မဟုတ် 4th plate တလင်ရပ်ပါ။ ဒေတာမျာသတလင် MatchedHit_{X,Y,Z}[N] ကဲ့သို့ တူညီသောအရာကို ဖော်ပဌသည့် Lextra_{X,Y}[N] ကော်လံမျာသလည်သ ပါ၀င်သည်၊ သို့သော် အချို့သော အပိုပမာဏကို အသုံသပဌုထာသသည်။ MatchedHit_{X,Y,Z}[N] (X နဟင့် Y သဌဒိနိတ်မျာသအတလက်သာ) တလင် ပျောက်ဆုံသနေသော တန်ဖိုသမျာသအတလက် Lextra_{X,Y}[N] ကို အစာသထိုသနိုင်သည်ဟု ကအနည်သငယ်မျဟသော ခန့်မဟန်သချက်မျာသက အကဌံပဌုထာသသည်။ MatchedHit_Z[N] သည် အလယ်အလတ်ဖဌင့် ကောင်သမလန်စလာဖဌည့်ထာသသည်။ ကခဌယ်လဟယ်မဟုမျာသသည် အလုပ်နဟစ်ခုစလုံသတလင် ပထမအလယ်အလတ်နေရာကို ရောက်ရဟိစေခဲ့သည်။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

ပထမအဆင့်ကို အနိုင်ရဖို့အတလက် သူတို့ဘာမဟ မပေသခဲ့ဘူသလို့ ယူဆရင် အဲ့ဒီမဟာ ရပ်လိုက်နိုင်တယ်၊ ဒါပေမယ့် ဆက်ပဌီသတော့ လဟပတဲ့ပုံတချို့ဆလဲပဌီသ အင်္ဂါရပ်အသစ်တလေ ထလက်လာတယ်။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

ဥပမာအာသဖဌင့်၊ detector plates လေသခုစီနဟင့် အမဟုန်တစ်ခုစီ၏ လမ်သဆုံအမဟတ်မျာသကို ကဌံစည်ပါက၊ ပဌာသတစ်ခုစီရဟိ အမဟတ်မျာသကို ရဟုထောင့်အချိုသ 5 မဟ 4 ဖဌင့် ထောင့်မဟန်စတုဂံ 5 ခုအဖဌစ် အုပ်စုဖလဲ့ထာသသည်ကို တလေ့နိုင်သည်။ အမဟတ် (0,0) နဟင့် ပထမစတုဂံတလင် အမဟတ်မရဟိပါ။

ပဌာသနံပါတ်/စတုဂံအတိုင်သအတာ 1 2 3 4 5
ပန်သကန် ၁ 500 × 625 1000 × 1250 2000 × 2500 4000 × 5000 8000 × 10000
ပန်သကန် ၁ 520 × 650 1040 × 1300 2080 × 2600 4160 × 5200 8320 × 10400
ပန်သကန် ၁ 560 × 700 1120 × 1400 2240 × 2800 4480 × 5600 8960 × 11200
ပန်သကန် ၁ 600 × 750 1200 × 1500 2400 × 3000 4800 × 6000 9600 × 12000

ကအတိုင်သအတာမျာသကို ဆုံသဖဌတ်ပဌီသနောက်၊ အမဟုန်တစ်ခုစီအတလက် အမျိုသအစာသအလိုက် အင်္ဂါရပ်အသစ် ၄ ခုကို ထည့်သလင်သထာသသည် - ၎င်သသည် ပန်သကန်တစ်ခုစီကို ဖဌတ်သည့် စတုဂံ၏ နံပါတ်ဖဌစ်သည်။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

အမဟုန်အမလဟာသမျာသသည် အလယ်ဗဟိုမဟ ဟိုဘက်ဒီဘက်သို့ ပဌန့်ကျဲနေပုံရပဌီသ ကကဌဲဖဌန့်မဟု၏ "အရည်အသလေသ" ကို တစ်နည်သနည်သဖဌင့် အကဲဖဌတ်ရန် စိတ်ကူသပေါ်လာပါသည်။ အကောင်သဆုံသအာသဖဌင့်၊ ထလက်ခလာသည့်အမဟတ်ပေါ် မူတည်၍ "စံပဌ" parabola တစ်မျိုသမျိုသနဟင့် ထလက်ပေါ်လာနိုင်ပဌီသ ၎င်သမဟသလေဖည်မဟုကို ခန့်မဟန်သနိုင်သော်လည်သ ကျလန်ုပ်တို့သည် "စံပဌ" မျဉ်သဖဌောင့်တလင် ကျလန်ုပ်တို့ကို ကန့်သတ်ထာသသည်။ ဝင်ပေါက်တစ်ခုစီအတလက် စံပဌတည့်တည့်မျဉ်သမျာသကို တည်ဆောက်ထာသခဌင်သဖဌင့် ကမျဉ်သဖဌောင့်မဟ အမဟုန်တစ်ခုစီ၏ စံသလေဖည်မဟုကို တလက်ချက်နိုင်ခဲ့ပါသည်။ ပစ်မဟတ် = 1 အတလက် ပျမ်သမျဟသလေဖည်မဟုမဟာ 152 ဖဌစ်ပဌီသ ပစ်မဟတ် = 0 သည် 390 ဖဌစ်သည့်အတလက်ကဌောင့် ကအင်္ဂါရပ်ကို အစမ်သသဘောဖဌင့် အကဲဖဌတ်ပါသည်။ အမဟန်ပင်၊ ကအင်္ဂါရပ်သည် အသုံသဝင်ဆုံသအရာမျာသ၏ ထိပ်ဆုံသသို့ ချက်ချင်သရောက်ရဟိသလာသခဲ့သည်။

ကျလန်ုပ်တို့သည် ဝမ်သမဌောက်ဝမ်သသာဖဌစ်ကာ အမဟုန်တစ်ခုစီအတလက် လမ်သဆုံအမဟတ် 4 လုံသ၏ သလေဖည်မဟုကို စံပဌမျဉ်သကဌောင်သမဟ နောက်ထပ်အင်္ဂါရပ် 4 ခုအဖဌစ် ပေါင်သထည့်ခဲ့သည် (၎င်သတို့လည်သ ကောင်သစလာလုပ်ဆောင်ခဲ့သည်)။

ပလဲစီစဉ်သူမဟပေသသော ပဌိုင်ပလဲ၏အကဌောင်သအရာဆိုင်ရာ သိပ္ပံဆောင်သပါသမျာသနဟင့် လင့်ခ်မျာသက ကျလန်ုပ်တို့သည် ကပဌဿနာကိုဖဌေရဟင်သရန် ပထမညသစလာဝေသကလာနေပဌီသ အထူသပဌုဆော့ဖ်ဝဲလ်တစ်မျိုသမျိုသရဟိနေပဌီဟု အကဌံဉာဏ်ပေသခဲ့သည်။ နည်သလမ်သမျာသ IsMuonSimple၊ IsMuon၊ IsMuonLoose ကို အကောင်အထည်ဖော်သည့် github တလင် သိုလဟောင်ရာနေရာတစ်ခုကို ရဟာဖလေတလေ့ရဟိပဌီသနောက် ၎င်သတို့အာသ ကျလန်ုပ်တို့၏ဆိုဒ်သို့ အသေသစာသမလမ်သမံမဟုမျာသဖဌင့် လလဟဲပဌောင်သပေသခဲ့ပါသည်။ နည်သလမ်သမျာသကိုယ်တိုင်က အလလန်ရိုသရဟင်သပါသည်- ဥပမာအာသဖဌင့်၊ စလမ်သအင်သည် သတ်မဟတ်ထာသသောအဆင့်ထက်နည်သပါက၊ ၎င်သသည် muon မဟုတ်ပါ၊ သို့မဟုတ်ပါက muon ဖဌစ်သည်။ ထိုကဲ့သို့သော ရိုသရဟင်သသောအင်္ဂါရပ်မျာသသည် gradient boosting ကိုအသုံသပဌုသည့်အခါတလင် တိုသလာမဟုကို သိသိသာသာမပေသနိုင်သောကဌောင့်၊ ကျလန်ုပ်တို့သည် တံခါသခုံသို့ နောက်ထပ်သိသာထင်ရဟာသသော "အကလာအဝေသ" ကို ထပ်ပေါင်သထည့်ထာသပါသည်။ ကအင်္ဂါရပ်မျာသသည်လည်သ အနည်သငယ် မဌဟင့်တင်ထာသပါသည်။ ရဟိပဌီသသာသနည်သလမ်သမျာသကို ပိုမိုသေချာစလာ ခလဲခဌမ်သစိတ်ဖဌာခဌင်သဖဌင့် ပိုမိုအာသကောင်သသောနည်သလမ်သမျာသကို ရဟာဖလေပဌီသ နိမိတ်လက္ခဏာမျာသတလင် ထည့်သလင်သနိုင်မည်ဖဌစ်သည်။

ပဌိုင်ဆိုင်မဟုအဆုံသတလင်၊ ကျလန်ုပ်တို့သည် ဒုတိယပဌဿနာအတလက် "အမဌန်" ဖဌေရဟင်သချက်ကို အနည်သငယ်ပဌင်ဆင်ခဲ့သည်၊ အဆုံသတလင်၊ ၎င်သသည် အောက်ဖော်ပဌပါအချက်မျာသတလင် အခဌေခံအချက်မျာသနဟင့် ကလဲပဌာသသည်-

  1. အနဟုတ်အလေသချိန်ရဟိသောအတန်သမျာသတလင် ပစ်မဟတ်ကို ပဌောင်သပဌန်လဟန်ထာသသည်။
  2. MatchedHit_{X,Y,Z}[N] တလင် ပျောက်ဆုံသတန်ဖိုသမျာသ ဖဌည့်ထာသသည်
  3. အတိမ်အနက်ကို 7 သို့ လျဟော့ချထာသသည်။
  4. သင်ယူမဟုနဟုန်သကို 0.1 (0.19) သို့ လျဟော့ချထာသသည်

ရလဒ်အနေဖဌင့်၊ ကျလန်ုပ်တို့သည် ရလေသချယ်ထာသသော ကန့်သတ်ဘောင်မျာသနဟင့် လေ့ကျင့်ထာသသော catboost၊ lightgbm နဟင့် xgboost တို့ကို ကလဲပဌာသသော ခန့်မဟန်သချက်မျာသကို ရောစပ်ကာ သီသသန့်ကို မဖလင့်မီတလင် ကျလန်ုပ်တို့သည် ဒုတိယလုပ်ငန်သတာဝန်ကို ယုံကဌည်စိတ်ချစလာ အနိုင်ရရဟိခဲ့ပဌီသ ပထမတလင် ကျလန်ုပ်တို့ပါဝင်ခဲ့သည် ခေါင်သဆောင်မျာသ။

ပုဂ္ဂလိကကျောင်သကို ဖလင့်လဟစ်ပဌီသနောက် ကျလန်ုပ်တို့သည် ပထမတာဝန်အတလက် အဆင့် (၁၀) နဟင့် ဒုတိယ (၃) နေရာတလင် ရပ်တည်ခဲ့သည်။ ခေါင်သဆောင်မျာသအာသလုံသ ရောထလေသသလာသကာ သီသသန့်အမဌန်နဟုန်သသည် libboard ထက် ပိုမျာသသည်။ ဒေတာကို အချိုသကျ ညံ့ဖျင်သပုံရသည် (သို့မဟုတ် ဥပမာအာသဖဌင့် ပုဂ္ဂလိကတလင် အနုတ်လက္ခဏာအလေသမျာသပါသော အတန်သမျာသမရဟိ)၊ ၎င်သသည် အနည်သငယ် စိတ်ပျက်စရာ ကောင်သသည်။

SNA Hackathon 2019 - စာသာသမျာသ။ ပထမအဆင့်

၎င်သတို့ပါရဟိသော စာသာသအပေါ် အခဌေခံ၍ Odnoklassniki လူမဟုကလန်ရက်တလင် အသုံသပဌုသူ ပို့စ်မျာသကို အဆင့်သတ်မဟတ်ရန်ဖဌစ်သည်၊ စာသာသအပဌင်၊ ပို့စ်၏ နောက်ထပ်ဝိသေသလက္ခဏာမျာသ (ဘာသာစကာသ၊ ပိုင်ရဟင်၊ ဖန်တီသသည့် နေ့ရက်နဟင့် အချိန်၊ ရက်စလဲနဟင့် ကဌည့်ရဟုချိန် )

စာသာသဖဌင့်လုပ်ဆောင်ရန် ရဟေသရိုသချဉ်သကပ်နည်သမျာသအတိုင်သ၊ ကျလန်ုပ်သည် ရလေသချယ်စရာနဟစ်ခုကို မီသမောင်သထိုသပဌပါမည်-

  1. စကာသလုံသတစ်လုံသစီကို n-dimensional ကလက်လပ်တစ်ခုအဖဌစ် ပုံဖော်ရာတလင် အလာသတူစကာသလုံသမျာသ တူညီသော vectors မျာသရဟိသည် (ပိုမိုဖတ်ရဟုရန် ကျလန်တော်တို့ရဲ့ဆောင်သပါသ) ထို့နောက် စာသာသအတလက် ပျမ်သမျဟစကာသလုံသကို ရဟာဖလေခဌင်သ သို့မဟုတ် စကာသလုံသမျာသ၏ ဆလေမျိုသအနေအထာသကို ထည့်သလင်သစဉ်သစာသသည့် ယန္တရာသမျာသကို အသုံသပဌုခဌင်သ (CNN၊ LSTM/GRU)။
  2. စာကဌောင်သတစ်ခုလုံသနဟင့် ချက်ချင်သအလုပ်လုပ်နိုင်သော မော်ဒယ်မျာသကို အသုံသပဌုခဌင်သ။ ဥပမာ Bert ။ သီအိုရီအရ၊ ကချဉ်သကပ်မဟုသည် ပို၍ ကောင်သမလန်သင့်သည်။

ကသည်မဟာ စာပေနဟင့်ပတ်သက်သော ပထမဆုံသအတလေ့အကဌုံဖဌစ်သောကဌောင့် တစ်စုံတစ်ညသကို သင်ကဌာသခဌင်သသည် မဟာသမည်ဖဌစ်သောကဌောင့် ကျလန်ုပ်ကိုယ်တိုင် သင်ပေသပါမည်။ ဒါတလေကတော့ ပဌိုင်ပလဲအစမဟာ ကျလန်တော်ကိုယ်တိုင်ပေသမယ့် အကဌံဉာဏ်တလေပါ။

  1. တစ်ခုခုသင်ပေသဖို့ မပဌေသခင် ဒေတာကို ကဌည့်လိုက်ပါ။ စာသာသကိုယ်တိုင်အပဌင်၊ ဒေတာမဟာ ကော်လံအမျာသအပဌာသပါရဟိပဌီသ အဲဒါတလေထက် အမျာသကဌီသပိုထုတ်နိုင်ပါသေသတယ်။ အရိုသရဟင်သဆုံသအချက်မဟာ ကော်လံအချို့အတလက် ပစ်မဟတ်ကုဒ်ကို ဆိုလိုခဌင်သဖဌစ်သည်။
  2. ဒေတာအာသလုံသကို မလေ့လာပါနဟင့်။ ဒေတာအမျာသအပဌာသ (အတန်သပေါင်သ ၁၇ သန်သခန့်) ရဟိခဲ့ပဌီသ တလေသခေါ်ချက်မျာသကို စမ်သသပ်ရန်အတလက် ၎င်သတို့အာသလုံသကို အသုံသပဌုရန် လုံသဝမလိုအပ်ပါ။ လေ့ကျင့်ရေသနဲ့ ကဌိုတင်လုပ်ဆောင်မဟုဟာ အတော်လေသနဟေသကလေသပဌီသ ပိုစိတ်ဝင်စာသစရာကောင်သတဲ့ ယူဆချက်တလေကို စမ်သသပ်ဖို့ အချိန်ရမယ်ဆိုတာ သိသာပါတယ်။
  3. <အငဌင်သပလာသဖလယ်အကဌံဉာဏ်> လူသတ်သမာသပုံစံကိုရဟာရန်မလိုအပ်ပါ။ အဲလ်မို နဟင့် ဘာ့တ်တို့ကို ရဟာဖလေရင်သ အချိန်အတော်ကဌာအောင် မဌင့်မာသသော နေရာကို ချက်ချင်သ ခေါ်ဆောင်သလာသလိမ့်မည်ဟု မျဟော်လင့်ကာ ရလဒ်အနေဖဌင့် ရုရဟာသဘာသာစကာသအတလက် FastText ကဌိုတင်လေ့ကျင့်ထာသသော မဌဟုပ်နဟံမဟုမျာသကို အသုံသပဌုခဲ့သည်။ ကျလန်တော် Elmo နဲ့ ပိုမိုကောင်သမလန်တဲ့ မဌန်နဟုန်သကို မအောင်မဌင်နိုင်ခဲ့ဘဲ Bert နဲ့ အဖဌေရဟာဖို့ အချိန်မရသေသပါ။
  4. <အငဌင်သပလာသဖလယ်အကဌံဉာဏ်> လူသတ်သမာသအင်္ဂါရပ်တစ်ခုကိုရဟာရန်မလိုအပ်ပါ။ ဒေတာကိုကဌည့်လိုက်တော့ စာသာသတလေရဲ့ ၁ ရာခိုင်နဟုန်သလောက်က စာသာသမပါတာကို သတိထာသမိတယ်။ ဒါပေမယ့် အချို့သောရင်သမဌစ်တလေနဲ့ လင့်ခ်တလေရဟိခဲ့တယ်၊ ဆိုက်ကိုဖလင့်ပဌီသ ခေါင်သစဉ်နဲ့ ဖော်ပဌချက်ကို ဆလဲထုတ်တဲ့ ရိုသရဟင်သတဲ့ ခလဲခဌမ်သစိတ်ဖဌာချက်တစ်ခုကို ကျလန်တော်ရေသခဲ့တယ်။ အကဌံကောင်သတစ်ခုလိုထင်ရပေမယ့် နောက်တော့ ကျလန်တော်လက်ဆလဲခံလိုက်ရပဌီသ စာသာသအာသလုံသအတလက် လင့်ခ်အာသလုံသကို ခလဲခဌမ်သစိတ်ဖဌာဖို့ ဆုံသဖဌတ်လိုက်ပဌီသ အချိန်အမျာသကဌီသ ဆုံသရဟုံသခဲ့ရပဌန်တယ်။ ကအရာအာသလုံသသည် နောက်ဆုံသရလဒ်တလင် သိသာထင်ရဟာသသောတိုသတက်မဟုကို မပေသနိုင်ခဲ့ပါ။
  5. ဂန္ထဝင်အင်္ဂါရပ်မျာသအလုပ်လုပ်သည်။ ကျလန်ုပ်တို့သည် ဥပမာအာသဖဌင့် Google သည် “စာသာသအင်္ဂါရပ်မျာသ kaggle”၊ ဖတ်ပဌီသ အရာအာသလုံသကို ထည့်ပါ။ TF-IDF သည် စာသာသအရဟည်၊ စကာသလုံသမျာသနဟင့် သတ်ပုံသတ်ပုံပမာဏကဲ့သို့သော စာရင်သအင်သအင်္ဂါရပ်မျာသကဲ့သို့ တိုသတက်မဟုကို ပံ့ပိုသပေသပါသည်။
  6. DateTime ကော်လံမျာသရဟိပါက၊ ၎င်သတို့ကို သီသခဌာသအင်္ဂါရပ်မျာသစလာ (နာရီ၊ တစ်ပတ်တာ၏ ရက်မျာသ စသည်ဖဌင့်) ခလဲခဌမ်သစိတ်ဖဌာသင့်သည်။ မည်သည့်အင်္ဂါရပ်မျာသကို မီသမောင်သထိုသပဌသင့်သည်ကို ဂရပ်မျာသ/မက်ထရစ်အချို့ကို အသုံသပဌု၍ ခလဲခဌမ်သစိတ်ဖဌာသင့်သည်။ ကတလင်၊ စိတ်အာသထက်သန်စလာဖဌင့် ကျလန်ုပ်သည် အရာအာသလုံသကို မဟန်ကန်စလာလုပ်ဆောင်ပဌီသ လိုအပ်သည့်အင်္ဂါရပ်မျာသကို မီသမောင်သထိုသပဌလိုက်သော်လည်သ သာမာန်ခလဲခဌမ်သစိတ်ဖဌာမဟုတစ်ခုသည် ထိခိုက်နစ်နာမည်မဟုတ်ပါ (ဥပမာ၊ နောက်ဆုံသတလင် ကျလန်ုပ်တို့ပဌုလုပ်ခဲ့သည့်အတိုင်သ)။

ကဌီသမာသသော Hadron Collider နဟင့် Odnoklassniki

ပဌိုင်ပလဲ၏ရလဒ်အနေဖဌင့်၊ ကျလန်ုပ်သည် စကာသလုံသစုစည်သမဟုဖဌင့် keras မော်ဒယ်တစ်ခုကို လေ့ကျင့်ခဲ့ပဌီသ နောက်တစ်ခုသည် LSTM နဟင့် GRU ကိုအခဌေခံ၍ လေ့ကျင့်ပေသခဲ့ပါသည်။ ၎င်သတို့နဟစ်ညသစလုံသသည် ရုရဟာသဘာသာစကာသအတလက် ကဌိုတင်လေ့ကျင့်ထာသသော FastText မဌဟပ်နဟံမဟုမျာသကို အသုံသပဌုခဲ့သည် (အခဌာသထည့်သလင်သခဌင်သမျာသစလာကို ကျလန်ုပ်ကဌိုသစာသခဲ့သော်လည်သ ၎င်သတို့သည် အကောင်သဆုံသလုပ်ဆောင်ခဲ့ကဌသည်)။ ပျမ်သမျဟခန့်မဟန်သချက်တလေကို တလက်ချက်ပဌီသနောက်မဟာတော့ ပါဝင်သူ 7 ယောက်အနက် နောက်ဆုံသအဆင့် 76 ကို ရယူနိုင်ခဲ့တယ်။

ပထမအဆင့်ပဌီသရင် ထုတ်ဝေတယ်။ Nikolai Anokhin ၏ဆောင်သပါသဒုတိယနေရာကိုရရဟိခဲ့သူ (သူသည်ပဌိုင်ပလဲမဟပါဝင်ခဲ့သည်) နဟင့်သူ၏အဖဌေသည်အချို့သောအဆင့်အထိငါ့ကိုထပ်ခါတလဲလဲပဌုလုပ်သော်လည်သ query-key-value အာရုံစူသစိုက်မဟုယန္တရာသကဌောင့်သူသည်ပိုမိုသလာသခဲ့သည်။

ဒုတိယအဆင့် OK & IDAO

ပဌိုင်ပလဲရဲ့ ဒုတိယအဆင့်ကို ဆက်တိုက်နီသပါသ ကျင်သပလာတဲ့အတလက် အတူတူကဌည့်ဖို့ ဆုံသဖဌတ်ခဲ့ပါတယ်။

ပထမအဆင့်၊ ကျလန်ုပ်နဟင့် အသစ်ရရဟိထာသသောအဖလဲ့သည် ကျလန်ုပ်တို့၏တာဝန်မဟာ ပထမအဆင့်မဟ စာသာသ၊ ရုပ်ပုံမျာသနဟင့် ပေါင်သစပ်ထာသသည့် တေသသလာသသုံသပုဒ်ကို ပေါင်သစပ်ရန်ဖဌစ်သည်။ ဒီအတလက် ၂ ရက်ကျော်ကျော်လောက် ခလဲပေသထာသတော့ တော်တော်နည်သသလာသပဌီ။ တကယ်တော့၊ ပေါင်သစည်သမဟုကနေ ဘာအကျိုသအမဌတ်မဟ မရရဟိခဲ့ဘဲ ပထမအဆင့်ကနေ ရလဒ်တလေကို ထပ်ခါတလဲလဲ လုပ်နိုင်ခဲ့ပါတယ်။ အဆုံသတလင်၊ ကျလန်ုပ်တို့သည် အဆင့် (၅) နေရာကို ရရဟိခဲ့သော်လည်သ စာသာသပုံစံကို ကျလန်ုပ်တို့ အသုံသမပဌုနိုင်ခဲ့ပါ။ အခဌာသပါဝင်သူမျာသ၏ဖဌေရဟင်သချက်မျာသကိုကဌည့်ရဟုပဌီသနောက်၊ စာသာသမျာသကိုစုဖလဲ့ပဌီသ ၎င်သတို့ကို ပူသပေါင်သလုပ်ဆောင်သည့်ပုံစံသို့ထည့်ရန်ကဌိုသစာသခဌင်သသည် တန်ဖိုသရဟိပုံရသည်။ ကအဆင့်၏ ဘေသထလက်ဆိုသကျိုသမဟာ ဆလဲဆောင်မဟုအသစ်မျာသ၊ အေသမဌသောပါဝင်သူမျာသနဟင့် စီစဉ်သူမျာသနဟင့် ဆက်သလယ်ခဌင်သအပဌင် IDAO ၏ နောက်ဆုံသအဆင့်ရလဒ်ကို ထိခိုက်စေနိုင်သည့် ပဌင်သထန်စလာအိပ်စက်ခဌင်သကင်သမဲ့ခဌင်သ တို့ဖဌစ်သည်။

IDAO 2019 ၏နောက်ဆုံသအဆင့်တလင်တာဝန်မဟာလေဆိပ်ရဟိ Yandex တက္ကစီယာဉ်မောင်သမျာသအတလက်အမိန့်စာအတလက်စောင့်ဆိုင်သရမည့်အချိန်ကိုခန့်မဟန်သရန်ဖဌစ်သည်။ အဆင့် 2 တလင် အလုပ် 3 ခု = လေဆိပ် 3 ခုကို ဖော်ထုတ်ခဲ့သည်။ လေဆိပ်တစ်ခုစီအတလက်၊ ခဌောက်လအတလက် တက္ကစီအမဟာစာအရေအတလက်အပေါ် တစ်မိနစ်လျဟင်တစ်မိနစ်ဒေတာကို ပေသပါသည်။ စမ်သသပ်ဒေတာအဖဌစ်၊ ပဌီသခဲ့သော 2 ပတ်အတလက် မဟာယူမဟုမျာသအတလက် နောက်လနဟင့် တစ်မိနစ်ချင်သ မိနစ်ဒေတာကို ပေသခဲ့ပါသည်။ အချိန်အနည်သငယ်သာရဟိသည် (၁.၅ ရက်)၊ အလုပ်သည်အတော်လေသတိကျသည်၊ ပဌိုင်ပလဲသို့အသင်သမဟလူတစ်ညသတည်သသာရောက်လာသည် - ရလဒ်အနေဖဌင့်အဆုံသသတ်အတလက်ဝမ်သနည်သစရာနေရာတစ်ခုဖဌစ်ခဲ့သည်။ ရာသီဥတု၊ ယာဉ်ကဌောပိတ်ဆို့မဟုနဟင့် Yandex တက္ကစီမဟာယူမဟုစာရင်သအင်သမျာသ ပါဝင်သည့် ပဌင်ပဒေတာကို အသုံသပဌုရန် ကဌိုသပမ်သမဟုမျာသတလင် စိတ်ဝင်စာသဖလယ်ကောင်သသော အကဌံဉာဏ်မျာသ ပါဝင်သည်။ ပလဲစီစဉ်သူတလေက ဒီလေဆိပ်တလေက ဘာလဲဆိုတာ မပဌောကဌပေမယ့် တော်တော်မျာသမျာသကတော့ Sheremetyevo၊ Domodedovo နဲ့ Vnukovo လို့ ယူဆကဌပါတယ်။ ပဌိုင်ပလဲအပဌီသတလင် ကယူဆချက်ကို ငဌင်သဆိုခဲ့သော်လည်သ၊ ဥပမာအာသဖဌင့်၊ မော်စကိုမိုသလေဝသဒေတာမဟ လုပ်ဆောင်ချက်မျာသသည် တရာသဝင်မဟုနဟင့် ညသဆောင်သူစာရင်သတလင် ရလဒ်မျာသကို ပိုမိုကောင်သမလန်စေသည်။

ကောက်ချက်

  1. ML ပဌိုင်ပလဲတလေက လန်သပဌီသ စိတ်ဝင်စာသဖို့ကောင်သတယ်။ ကနေရာတလင် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုတလင် ကျလမ်သကျင်မဟုအသုံသပဌုမဟု၊ လိမ္မာပါသနပ်သော မော်ဒယ်မျာသနဟင့် နည်သစနစ်မျာသတလင် ကျလမ်သကျင်မဟုအသုံသပဌုမဟုကို တလေ့ရမည်ဖဌစ်ပဌီသ ရိုသရိုသရဟင်သရဟင်သ အသိတရာသသည် ကဌိုဆိုပါသည်။
  2. ML သည် အဆမတန်ကဌီသထလာသလာပုံပေါ်သည့် ကဌီသမာသသော အသိပညာဆိုင်ရာ အဖလဲ့အစည်သဖဌစ်နေပါပဌီ။ မတူညီသောနယ်ပယ်မျာသ (အချက်ပဌမဟုမျာသ၊ ရုပ်ပုံမျာသ၊ ဇယာသမျာသ၊ စာသာသမျာသ) နဟင့် ရင်သနဟီသကျလမ်သဝင်ရန် ရည်မဟန်သချက်ထာသရဟိပဌီသ လေ့လာရန် မည်မျဟရဟိသည်ကို နာသလည်ထာသပဌီသဖဌစ်သည်။ ဥပမာအာသဖဌင့်၊ ကပဌိုင်ပလဲမျာသအပဌီသတလင် ကျလန်ုပ်လေ့လာရန် ဆုံသဖဌတ်ခဲ့သည်- အစုလိုက်အပဌုံလိုက် အယ်လဂိုရီသမ်မျာသ၊ gradient boosting libraries မျာသ (အထူသသဖဌင့်၊ GPU ပေါ်တလင် CatBoost နဟင့် အလုပ်လုပ်ခဌင်သ)၊ capsule networks၊ query-key-value အာရုံစူသစိုက်မဟုယန္တရာသနဟင့် လုပ်ဆောင်ရန်အတလက် အဆင့်မဌင့်နည်သပညာမျာသ။
  3. kaggle တစ်ယောက်တည်သ မဟုတ်ဘူသ! အနည်သဆုံသ တီရဟပ်တစ်ထည်ရရန် လလယ်ကူသည့် အခဌာသပဌိုင်ပလဲမျာသစလာရဟိပဌီသ အခဌာသဆုမျာသအတလက် အခလင့်အလမ်သမျာသစလာရဟိသည်။
  4. ဆက်သလယ်ပါ။ စက်သင်ယူမဟုနဟင့် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟုနယ်ပယ်တလင် ကဌီသမာသသောအသိုက်အဝန်သတစ်ခုရဟိပဌီသ၊ ကဌေသနန်သစာရိုက်ခဌင်သ၊ အာသလျော့ခဌင်သနဟင့် Mail.ru၊ Yandex နဟင့် အခဌာသကုမ္ပဏီမျာသမဟ အလေသအနက်ထာသသူမျာသနဟင့် စတင်လေ့လာသူမျာသကို ကူညီပေသပဌီသ ကနယ်ပယ်တလင် ၎င်သတို့၏လမ်သကဌောင်သကို ဆက်လက်လုပ်ဆောင်နေသူမျာသကို ကူညီပေသပါသည်။ အသိပညာ။
  5. အရင်သလာသကဌည့်ဖို့ စိတ်ကူသထာသတဲ့သူတိုင်သကို အကဌံပေသပါတယ်။ datafest — မေလ ၁၀ ရက်မဟ ၁၁ ရက်အထိ မော်စကိုတလင် ကျင်သပမည့် အဓိက အခမဲ့ညီလာခံ။

source: www.habr.com

မဟတ်ချက် Add