ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

လလန်ခဲ့သော လအနည်သငယ်က Google မဟ ကျလန်ုပ်တို့၏ လုပ်ဖော်ကိုင်ဖက်မျာသ သုံသစလဲခဲ့သည်။ Kaggle တလင် အာရုံခံစာသနိုင်သော ရုပ်ပုံမျာသအတလက် အမျိုသအစာသခလဲဖန်တီသရန် ယဟဉ်ပဌိုင်မဟုတစ်ခု ဂိမ်သ "မဌန်မဌန်ဆလဲ!" Yandex developer Roman Vlasov ပါဝင်သောအဖလဲ့သည် ပဌိုင်ပလဲတလင် စတုတ္ထနေရာရရဟိခဲ့သည်။ ဇန်န၀ါရီလ စက်သင်ယူမဟုလေ့ကျင့်မဟုတလင် Roman သည် ၎င်သ၏အဖလဲ့၏ စိတ်ကူသမျာသ၊ အမျိုသအစာသခလဲခဌာသမဟု၏ နောက်ဆုံသအကောင်အထည်ဖော်မဟုနဟင့် ပဌိုင်ဘက်မျာသ၏ စိတ်ဝင်စာသဖလယ်အလေ့အကျင့်မျာသကို မျဟဝေခဲ့သည်။


- အာသလုံသမင်္ဂလာပါ! ကျလန်တော့်နာမည် Roma Vlasov ပါ၊ ဒီနေ့ Quick, Draw အကဌောင်သ ပဌောပဌမယ်။ Doodle အသိအမဟတ်ပဌု စိန်ခေါ်မဟု။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ကျလန်တော်တို့အဖလဲ့မဟာ လူငါသယောက်ရဟိတယ်။ ပေါင်သစည်သရန် နောက်ဆုံသသတ်မဟတ်ရက် မတိုင်မီတလင် ကျလန်ုပ်ပါဝင်ခဲ့သည်။ ငါတို့ကံမကောင်သ၊ ငါတို့အနည်သငယ်တုန်လဟုပ်ခဲ့ကဌသော်လည်သ၊ ငါတို့သည်ငလေအနေအထာသမဟယိမ်သယိုင်ပဌီသရလဟေရာထူသမဟလဟုပ်သလာသကဌသည်။ ပဌီသတော့ ဂုဏ်ထူသဆောင် စတုတ္ထနေရာကို ရယူနိုင်ခဲ့တယ်။

(ပဌိုင်ပလဲကာလအတလင်သ၊ အသင်သမျာသသည် အဆိုပဌုထာသသောဒေတာအစုံ၏ အစိတ်အပိုင်သတစ်ခုတလင်ပဌသထာသသောရလဒ်မျာသအပေါ်အခဌေခံ၍ ဖလဲ့စည်သထာသသော အဆင့်သတ်မဟတ်ချက်တစ်ခုတလင် ၎င်သတို့ကိုယ်သူတို့ စောင့်ကဌည့်လေ့လာခဲ့ကဌသည်။ နောက်ဆုံသအဆင့်သတ်မဟတ်ချက်ကို ဒေတာအတလဲ၏အခဌာသအစိတ်အပိုင်သတစ်ခုတလင် ဖလဲ့စည်သခဲ့သည်။ ကကဲ့သို့လုပ်ဆောင်သည်။ ပဌိုင်ပလဲတလင်ပါဝင်သူမျာသသည် ၎င်သတို့၏ အယ်လဂိုရီသမ်မျာသကို သီသခဌာသဒေတာသို့ မချိန်ညဟိကဌပါ။ ထို့ကဌောင့်၊ အဆင့်သတ်မဟတ်ချက်မျာသကဌာသတလင် ဖိုင်နယ်မျာသတလင် ရာထူသမျာသသည် အနည်သငယ်တုန်ခါသလာသသည် (အင်္ဂလိပ်ဘာသာမဟ ရောနဟောရန်)- အခဌာသဒေတာတလင် ရလဒ်ထလက်လာနိုင်သည်။ ကလဲပဌာသသည်မဟာ ရိုမန်၏အသင်သသည် ထိပ်တန်သသုံသသင်သတလင် ပထမဖဌစ်သည်။ ကအခဌေအနေတလင်၊ ထိပ်ဆုံသသုံသရပ်မဟာ ငလေသာသအဆင့်သတ်မဟတ်ဇုန်ဖဌစ်ပဌီသ ပထမသုံသနေရာသာ ငလေသာသဆုချီသမဌဟင့်ခဌင်သဖဌစ်သောကဌောင့် ထိပ်ဆုံသသုံသရပ်မဟာ အသင်သဝင်နေပဌီဖဌစ်သည်။ စတုတ္ထနေရာ၊ ထိုနည်သအတိုင်သပင် အခဌာသအသင်သမျာသက အောင်ပလဲခံကာ ရလဟေရာထူသကို ဆုံသရဟုံသခဲ့သည်။ - Ed.)

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

Evgeniy Babakhnin သည် ဂရိတ်မာစတာတစ်ညသရရဟိခဲ့ပဌီသ၊ အိုင်ဗန်ဆိုဆင်သည် သခင်တစ်ညသရရဟိခဲ့ကဌောင်သ၊ Roman Soloviev သည် ဂရိတ်မာစတာအဖဌစ် ဆက်လက်တည်ရဟိနေကာ Alex Parinov သခင်တစ်ညသရရဟိခဲ့ပဌီသ၊ ကျလန်ုပ်သည် ပညာရဟင်တစ်ညသဖဌစ်ခဲ့ပဌီသ ယခုအခါတလင် ကျလန်ုပ်သည် သခင်ဖဌစ်နေပဌီဖဌစ်သည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ဒါက Quick, Draw ဆိုတာဘာလဲ။ ၎င်သသည် Google မဟ ဝန်ဆောင်မဟုတစ်ခုဖဌစ်သည်။ Google သည် AI ကို လူကဌိုက်မျာသစေရန် ရည်ရလယ်ချက်ရဟိပဌီသ ကဝန်ဆောင်မဟုဖဌင့် အာရုံကဌောကလန်ရက်မျာသ အလုပ်လုပ်ပုံကို ပဌသလိုပါသည်။ မင်သအဲဒီကိုသလာသပဌီသ၊ Let's Draw ကိုနဟိပ်လိုက်ရင် မင်သပဌောတဲ့အတိုင်သ စာမျက်နဟာအသစ်ပေါ်လာမဟာပါ- zigzag ဆလဲပါ၊ ဒါကိုလုပ်ဖို့ စက္ကန့် 20 ကဌာပါတယ်။ ဥပမာ ကနေရာတလင်ကဲ့သို့ စက္ကန့် 20 အတလင်သ zigzag ဆလဲရန် သင်ကဌိုသစာသနေပါသည်။ သင်အောင်မဌင်ပါက၊ ကလန်ရက်က zigzag လို့ပဌောပဌီသ သင်ဆက်သလာသပါ။ ဒီလိုပုံခဌောက်ပုံပဲရဟိတယ်။

သင်ဆလဲသောအရာကို Google ၏ကလန်ရက်မဟ အသိအမဟတ်မပဌုပါက၊ အလုပ်တလင် လက်ဝါသကပ်တိုင်တစ်ခု ချထာသပါသည်။ ပုံတစ်ပုံကို ကလန်ရက်က အသိအမဟတ်ပဌုသည်ဖဌစ်စေ မမဟတ်မိသည်ဖဌစ်စေ အနာဂတ်တလင် ၎င်သသည် မည်သည့်အရာကို ဆိုလိုမည်ကို နောက်မဟ ပဌောပဌပါမည်။

ကဝန်ဆောင်မဟုသည် အသုံသပဌုသူအမျာသအပဌာသကို စုစည်သထာသပဌီသ သုံသစလဲသူမျာသ ရေသဆလဲထာသသော ဓာတ်ပုံအာသလုံသကို မဟတ်တမ်သတင်ထာသသည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ကျလန်ုပ်တို့သည် ပုံပေါင်သ သန်သ ၅၀ နီသပါသကို စုဆောင်သနိုင်ခဲ့သည်။ အဲဒီကနေစပဌီသ ကျလန်တော်တို့ ပဌိုင်ပလဲအတလက် ရထာသနဲ့ စမ်သသပ်ရက်ကို ဖလဲ့ခဲ့ပါတယ်။ စကာသမစပ်၊ စာမေသပလဲရဟိ ဒေတာပမာဏနဟင့် အတန်သအရေအတလက်ကို အကဌောင်သပဌချက်တစ်ခုအတလက် ရဲရင့်စလာ မီသမောင်သထိုသပဌထာသသည်။ သူတို့အကဌောင်သ နောက်မဟပဌောပဌမယ်။

ဒေတာပုံစံမဟာ အောက်ပါအတိုင်သဖဌစ်သည်။ ကအရာမျာသသည် RGB ပုံမျာသသာမကဘဲ အကဌမ်သဖျင်သအာသဖဌင့် ပဌောရလျဟင် အသုံသပဌုသူလုပ်ဆောင်ခဲ့သမျဟ၏ မဟတ်တမ်သတစ်ခုဖဌစ်သည်။ စကာသလုံသသည် ကျလန်ုပ်တို့၏ပစ်မဟတ်ဖဌစ်သည်၊ နိုင်ငံကုဒ်သည် doodle ၏ရေသသာသသူထံမဟဖဌစ်သည်၊ အချိန်တံဆိပ်သည် အချိန်ဖဌစ်သည်။ အသိအမဟတ်ပဌုထာသသော အညလဟန်သသည် ကလန်ရက်မဟ ပုံအာသ Google မဟ အသိအမဟတ်ပဌုခဌင်သ ရဟိ၊ ပုံဆလဲခဌင်သကိုယ်တိုင်က မျဥ်သဆက်တစ်ခုဖဌစ်ပဌီသ သုံသစလဲသူက အမဟတ်နဲ့ဆလဲတဲ့ မျဉ်သကလေသတစ်ခုရဲ့ အနီသစပ်ဆုံသဖဌစ်ပါတယ်။ အချိန်သအချက်။ ဒီအချိန်က ပုံဆလဲစကတည်သကပါ။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ဒေတာကို ပုံစံနဟစ်မျိုသဖဌင့် တင်ပဌထာသပါသည်။ ဒါက ပထမပုံစံဖဌစ်ပဌီသ ဒုတိယပုံစံက ရိုသရဟင်သပါတယ်။ သူတို့သည် ထိုနေရာမဟ အချိန်မျာသကို ဖဌတ်တောက်ပဌီသ ကအမဟတ်မျာသကို သေသငယ်သော အမဟတ်မျာသဖဌင့် အနီသစပ်ဆုံသ ခန့်မဟန်သပေသကဌသည်။ ဒီအတလက် သူတို့သုံသတယ်။ Douglas-Pecker algorithm. သင့်တလင် မျဉ်သဖဌောင့်ကို အနီသစပ်ဆုံသ ခန့်မဟန်သနိုင်သည့် အချက်မျာသစလာ ရဟိသည်၊ သို့သော် အမဟန်တလင် သင်သည် ကမျဉ်သအာသ အမဟတ်နဟစ်မဟတ်ဖဌင့် ခန့်မဟန်သနိုင်သည်။ ဒါက algorithm ရဲ့ စိတ်ကူသပါ။

အချက်အလက်မျာသကို အောက်ပါအတိုင်သ ဖဌန့်ဝေခဲ့ပါသည်။ အာသလုံသက တူညီပေမယ့် ကလဲလလဲတာတလေရဟိတယ်။ ပဌဿနာကို ဖဌေရဟင်သတဲ့အခါ မကဌည့်ဘူသ။ အဓိကအချက်မဟာ အမဟန်တကယ်နည်သပါသသော အတန်သမျာသမရဟိခဌင်သကဌောင့် ကျလန်ုပ်တို့သည် အလေသချိန်နမူနာမျာသနဟင့် ဒေတာ oversampling ပဌုလုပ်ရန် မလိုအပ်ပါ။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ပုံတလေက ဘယ်လိုပုံတလေလဲ ကသည်မဟာ "လေယာဉ်" အတန်သအစာသဖဌစ်ပဌီသ အသိအမဟတ်ပဌုထာသသော အညလဟန်သမျာသနဟင့် အသိအမဟတ်ပဌုထာသခဌင်သ မရဟိသော နမူနာမျာသဖဌစ်သည်။ ၎င်သတို့၏အချိုသသည် 1 မဟ 9 ဝန်သကျင်တလင်ရဟိသည်။ သင်မဌင်သည့်အတိုင်သ၊ ဒေတာသည် အလလန်ဆူညံနေပါသည်။ လေယာဉ်ဖဌစ်မယ်ထင်တယ်။ မမဟတ်မိတာကိုကဌည့်ရင် အမျာသစုမဟာ ဆူညံသံတလေချည်သပါပဲ။ တစ်စုံတစ်ယောက်သည် “လေယာဉ်” ဟုပင် ရေသရန် ကဌိုသစာသသော်လည်သ ပဌင်သစ်ဘာသာဖဌင့် ရေသထာသသည်။

ပါဝင်သူအမျာသစုသည် ဇယာသကလက်မျာသကို ရိုသရိုသရဟင်သရဟင်သယူကာ RGB ပုံမျာသအဖဌစ် ကလိုင်သမျာသ၏ အစီအရီမဟ ဒေတာမျာသကို ဆလဲထုတ်ကာ ကလန်ရက်ထဲသို့ ပစ်ချကဌသည်။ တူညီသောနည်သဖဌင့် ငါဆလဲခဲ့သည်- အရောင်မျာသ ပျဉ်ချပ်တစ်ခုကိုယူကာ၊ ကပျဉ်ချပ်၏အစတလင်ရဟိသော၊ နောက်ဆုံသစာကဌောင်သဖဌစ်သည့် အခဌာသတစ်ကဌောင်သ၊ ပျဉ်ချပ်၏အဆုံသနဟင့် ၎င်သတို့ကဌာသရဟိ ပထမတစ်ကဌောင်သကို တစ်ရောင်ဖဌင့်ဆလဲပါ။ ဒီ palette ကို အသုံသပဌုပဌီသ နေရာတိုင်သကို ပေါင်သစပ်ပေသခဲ့တယ်။ စကာသမစပ်၊ ၎င်သသည် အနက်ရောင်ဖဌင့်သာ ပထမဆလိုက်တလင်ကဲ့သို့ သင်ဆလဲပါက ရလဒ်ပိုကောင်သသည်။

Ivan Sosin ကဲ့သို့သော အခဌာသအဖလဲ့သာသမျာသသည် ပုံဆလဲရန် အနည်သငယ်ကလဲပဌာသသော ချဉ်သကပ်မဟုမျာသကို ကဌိုသစာသခဲ့ကဌသည်။ ချန်နယ်တစ်ခုဖဌင့် သူသည် မီသခိုသရောင်ရုပ်ပုံတစ်ပုံကို ရိုသရိုသရဟင်သရဟင်သဆလဲခဲ့ပဌီသ၊ နောက်ချန်နယ်တစ်ခုစီတလင် လေဖဌတ်ခဌင်သတစ်ခုစီကို အစမဟအဆုံသ၊ 32 မဟ 255 အထိ gradient ဖဌင့်ဆလဲကာ တတိယချန်နယ်တလင် 32 မဟ 255 အထိ gradient တစ်ခုစီဆလဲပါသည်။

နောက်ထပ်စိတ်ဝင်စာသစရာကောင်သတာက Alex Parinov က နိုင်ငံကုဒ်ကိုသုံသပဌီသ အချက်အလက်တလေကို ကလန်ရက်မဟာ တင်လိုက်တာ ဖဌစ်ပါတယ်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ပဌိုင်ပလဲတလင်အသုံသပဌုသည့် မက်ထရစ်သည် ပျမ်သမျဟ ပျမ်သမျဟတိကျမဟုဖဌစ်သည်။ ပဌိုင်ပလဲအတလက် ကမက်ထရစ်၏ အနဟစ်သာရကာသ အဘယ်နည်သ။ နိမိတ်သုံသပါသကို သင်ပေသ၍ ကသုံသမျိုသတလင် မဟန်ကန်သော ပရောဖက်မရဟိပါက သင် 0 ကိုရနိုင်သည်။ အမဟန်တစ်ခုရဟိလျဟင် ၎င်သ၏အမိန့်ကို ထည့်သလင်သစဉ်သစာသသည်။ သင်၏ခန့်မဟန်သမဟုအစီအစဥ်ဖဌင့် ပိုင်သခဌာသထာသသော ပစ်မဟတ်ရလဒ်ကို 1 အဖဌစ် ရေတလက်ပါမည်။ ဥပမာအာသဖဌင့်၊ သင်ဟောကိန်သသုံသခုကို ပဌုလုပ်ခဲ့ပဌီသ မဟန်ကန်သောတစ်ခုသည် ပထမတစ်ခုဖဌစ်ပဌီသ၊ ထို့နောက် 1 ကို 1 ဖဌင့် 1 ခလဲကာ 2 ကိုရရဟိမည်ဖဌစ်သည်။ ခန့်မဟန်သသူသည်မဟန်ကန်ပဌီသ ၎င်သ၏အစီအစဥ်သည် 1 ဖဌစ်ပါက 2 ဖဌင့် 0,5 ခလဲပါက XNUMX ကိုရရဟိမည်ဖဌစ်သည်။ အင်သ စသဖဌင့်၊

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ဒေတာကဌိုတင်လုပ်ဆောင်ခဌင်သ - ပုံမျာသဆလဲနည်သစသဖဌင့် - ကျလန်ုပ်တို့အနည်သငယ်ဆုံသဖဌတ်လိုက်ပါသည်။ ကျလန်ုပ်တို့သည် မည်သည့်ဗိသုကာမျာသကို အသုံသပဌုခဲ့သနည်သ။ PNASNet၊ SENet နဟင့် SE-Res-NeXt ကဲ့သို့သော ဂန္တဝင်ဗိသုကာလက်ရာမျာသဖဌစ်သော PNASNet၊ SENet တို့ကို အသုံသပဌုရန် ကဌိုသစာသခဲ့ပဌီသ၊ ၎င်သတို့သည် ပဌိုင်ဆိုင်မဟုအသစ်မျာသ ပိုမိုဝင်ရောက်လာပါသည်။ ResNet နဟင့် DenseNet တို့လည်သ ရဟိခဲ့သည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ဒါကို ဘယ်လို သင်ပေသခဲ့တာလဲ။ ကျလန်ုပ်တို့ယူခဲ့သော မော်ဒယ်မျာသအာသလုံသသည် imagenet တလင် ကဌိုတင်လေ့ကျင့်ထာသသည်။ ဒေတာမျာသစလာ၊ ပုံပေါင်သ သန်သ 50 ရဟိသော်လည်သ imagenet တလင် ကဌိုတင်လေ့ကျင့်ထာသသော ကလန်ရက်တစ်ခုကို ယူပါက အစမဟ လေ့ကျင့်ထာသလျဟင် ပိုမိုကောင်သမလန်သော ရလဒ်မျာသကို ပဌသသည်။

ဘယ်လို သင်ကဌာသနည်သစနစ်တလေ သုံသခဲ့လဲ။ ၎င်သသည် Warm Restarts ဖဌင့် Cosing Annealing ဖဌစ်ပဌီသ၊ နောက်အနည်သငယ်ကဌာမဟ ပဌောပဌပါမည်။ ကအရာသည် ကျလန်ုပ်၏လတ်တလောပဌိုင်ပလဲအာသလုံသနီသပါသတလင် ကျလန်ုပ်အသုံသပဌုသည့် နည်သပညာတစ်ခုဖဌစ်ပဌီသ ၎င်သတို့နဟင့်အတူ အနိမ့်ဆုံသအောင်မဌင်ရန် ဇယာသကလက်မျာသကို ကောင်သစလာလေ့ကျင့်ရန် ထလက်လာပါသည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ထို့နောက် ကုန်သပဌင်မဌင့်တလင် သင်ယူမဟုနဟုန်သကို လျဟော့ချပါ။ သင်သည် ကလန်ရက်ကို စတင်လေ့ကျင့်သည်၊ အချို့သော သင်ယူမဟုနဟုန်သကို သတ်မဟတ်ကာ ၎င်သကို ဆက်လက် သင်ကဌာသပေသပဌီသ သင်၏ ဆုံသရဟုံသမဟုသည် တိကျသော တန်ဖိုသတစ်ခုသို့ တဖဌည်သဖဌည်သ ကူသပဌောင်သသလာသပါသည်။ ဥပမာအာသဖဌင့်၊ သင်ကအရာကိုစစ်ဆေသပါ၊ ဆယ်ကဌိမ်အတလက်ဆုံသရဟုံသမဟုသည်လုံသဝပဌောင်သလဲခဌင်သမရဟိပါ။ သင်သည် သင်၏သင်ယူမဟုနဟုန်သကို တန်ဖိုသအချို့ဖဌင့် လျဟော့ချပဌီသ ဆက်လက်သင်ယူပါ။ ၎င်သသည် အနည်သငယ်ပဌန်ကျသလာသသည်၊ အနည်သဆုံသအနည်သငယ်တလင် ပေါင်သစည်သသလာသပဌီသ၊ သင်၏ကလန်ရက်နောက်ဆုံသဆုံမပဌီသမချင်သ သင်သည် သင်ယူမဟုနဟုန်သကို လျဟော့ချလိုက်ပဌန်သည်။

နောက်တစ်ခုကတော့ စိတ်ဝင်စာသစရာကောင်သတဲ့ နည်သပညာတစ်ခုဖဌစ်ပါတယ်- သင်ယူမဟုနဟုန်သကို မပျက်စီသပါစေနဲ့၊ ဖောင်သကာသတဲ့ အရလယ်အစာသကို တိုသပေသပါ။ နာမည်တူ ဆောင်သပါသတစ်ပုဒ်ရဟိတယ်။ ကလန်ရက်တစ်ခုကို လေ့ကျင့်ပေသသောအခါတလင် သင်ယူမဟုနဟုန်သကို လျဟော့ချရန် မလိုအပ်ဘဲ batch အရလယ်အစာသကို ရိုသရဟင်သစလာ တိုသမဌဟင့်နိုင်သည်။

ကနည်သလမ်သကို Alex Parinov မဟအသုံသပဌုခဲ့သည်။ သူသည် 408 နဟင့် ညီမျဟသော အသုတ်တစ်ခုဖဌင့် စတင်ခဲ့ပဌီသ သူ၏ကလန်ရက်သည် အချို့သော ကုန်သပဌင်မဌင့်သို့ ရောက်ရဟိသောအခါတလင် သူသည် အသုတ်အရလယ်အစာသကို နဟစ်ဆတိုသခဲ့သည်။

တကယ်တော့၊ သူ့ batch size က ဘယ်တန်ဖိုသကိုရောက်နေပဌီလဲဆိုတာ မမဟတ်မိတော့ဘူသ၊ ဒါပေမယ့် စိတ်ဝင်စာသဖို့ကောင်သတာက တူညီတဲ့နည်သပညာကိုသုံသတဲ့ Kaggle မဟာ အဖလဲ့တလေရဟိတယ်၊ သူတို့ရဲ့ batch size က 10000 လောက်ရဟိတယ်။ စကာသမစပ်၊ နက်နဲတဲ့သင်ယူမဟုအတလက် ခေတ်မီမူဘောင်တလေဖဌစ်တဲ့၊ ဥပမာအာသဖဌင့် PyTorch သည် သင့်အာသ ကအရာကို အလလန်လလယ်ကူစလာ လုပ်ဆောင်နိုင်စေပါသည်။ သင်သည် သင်၏အသုတ်ကို ထုတ်ပေသပဌီသ ၎င်သကို တစ်ခုလုံသတလင်ကဲ့သို့မဟုတ်ဘဲ ကလန်ရက်သို့တင်ပဌသော်လည်သ ၎င်သကို သင်၏ဗီဒီယိုကတ်တလင် အံဝင်ခလင်ကျဖဌစ်အောင်၊ gradients မျာသကို တလက်ချက်ပဌီသ batch တစ်ခုလုံသအတလက် gradient ကို တလက်ချက်ပဌီသပါက အပ်ဒိတ်လုပ်ပါ။ အလေသ။

စကာသမစပ်၊ ဒေတာအတော်လေသဆူညံနေပဌီသ ကဌီသမာသသောအသုတ်အရလယ်အစာသသည် သင့်အာသ gradient အနီသစပ်ဆုံသခန့်မဟန်သနိုင်သောကဌောင့် ကဌီသမာသသောအသုတ်အရလယ်အစာသမျာသကို ကပဌိုင်ပလဲတလင် ထည့်သလင်သထာသဆဲဖဌစ်သည်။

Roman Soloviev မဟ အမျာသအာသဖဌင့် Pseudo-Labeling ကိုလည်သ အသုံသပဌုခဲ့သည်။ သူသည် စမ်သသပ်မဟုမဟ ဒေတာတစ်ဝက်ခန့်ကို အစုလိုက်အပဌုံလိုက် နမူနာယူကာ ထိုကဲ့သို့သော အသုတ်မျာသတလင် ဇယာသကလက်ကို လေ့ကျင့်ပေသခဲ့သည်။

ပုံတလေရဲ့ အရလယ်အစာသက အရေသပါပေမယ့် တကယ်တော့ သင့်မဟာ ဒေတာအမျာသကဌီသရဟိတယ်၊ အချိန်အကဌာကဌီသ လေ့ကျင့်ဖို့ လိုအပ်ပဌီသ သင့်ပုံအရလယ်အစာသက တော်တော်ကဌီသနေတယ်ဆိုရင် အချိန်အကဌာကဌီသ လေ့ကျင့်ရပါလိမ့်မယ်။ ဒါပေမယ့် ဒါက မင်သရဲ့နောက်ဆုံသအမျိုသအစာသခလဲထလက်အရည်အသလေသကို အမျာသကဌီသမထည့်ထာသဘူသ၊ ဒါကဌောင့် အပေသအယူတစ်မျိုသမျိုသကို သုံသရကျိုသနပ်ပါတယ်။ ပဌီသတော့ အရလယ်အစာသ သိပ်မကဌီသတဲ့ ပုံတလေကိုပဲ စမ်သကဌည့်တယ်။

အာသလုံသဘယ်လိုလေ့လာခဲ့လဲ။ ပထမညသစလာ၊ အရလယ်အစာသသေသငယ်သောပုံမျာသကိုရိုက်ခဲ့ပဌီသ၊ အပိုင်သမျာသစလာကို၎င်သတို့ပေါ်တလင်လုပ်ဆောင်ခဲ့သည်၊ ၎င်သသည်အချိန်မျာသစလာယူခဲ့သည်။ ထို့နောက် အရလယ်အစာသကဌီသသော ဓာတ်ပုံမျာသကို ပေသသည်၊ ကလန်ရက်ကို လေ့ကျင့်ပေသသည်၊ ထို့နောက် ၎င်သကို အစမဟ မလေ့ကျင့်ဘဲ အချိန်မျာသစလာ မဖဌုန်သမိစေရန် ကလန်ရက်ကို လေ့ကျင့်ပေသခဲ့သည်။

optimizers အကဌောင်သ။ ကျလန်ုပ်တို့သည် SGD နဟင့် Adam ကိုသုံသသည်။ ကနည်သဖဌင့် အမျာသသူငဟာ ညသဆောင်ဘုတ်တလင် 0,941-0,946 အမဌန်နဟုန်သပေသသည့် မော်ဒယ်တစ်ခုတည်သကို ရနိုင်သည်၊ ၎င်သသည် အလလန်ကောင်သမလန်ပါသည်။

မော်ဒယ်မျာသကို တစ်နည်သတစ်ဖုံ ပေါင်သစပ်ပါက 0,951 ဝန်သကျင် တစ်နေရာရာကို ရရဟိမည်ဖဌစ်သည်။ နောက်ထပ်နည်သပညာတစ်ခုကို သင်အသုံသပဌုပါက၊ ကျလန်ုပ်တို့ရရဟိထာသသည့်အတိုင်သ အမျာသသူငဟာဘုတ်အဖလဲ့တလင် နောက်ဆုံသရမဟတ် 0,954 ရရဟိမည်ဖဌစ်သည်။ ဒါပေမယ့် နောက်ပိုင်သမဟာ ပိုမျာသတယ်။ နောက်တစ်ခုကတော့ မော်ဒယ်တလေကို ဘယ်လိုစုပေါင်သပဌီသ ဒီလောက်နောက်ဆုံသအမဌန်နဟုန်သကို အောင်မဌင်အောင် စလမ်သဆောင်နိုင်သလဲဆိုတာ ပဌောပဌပါမယ်။

ထို့နောက် Warm Restarts ဖဌင့် Cosing Annealing သို့မဟုတ် Warm Restarts ဖဌင့် Stochastic Gradient Descent ကို ပဌောပဌလိုပါသည်။ အကဌမ်သဖျင်သအာသဖဌင့်ပဌောရလျဟင်မူအရ၊ သင်သည်မည်သည့် optimizer ကိုမဆိုသုံသနိုင်သည်၊ သို့သော်အချက်မဟာကအချက်ဖဌစ်သည်- အကယ်၍ သင်သည် network တစ်ခုကိုလေ့ကျင့်သင်ကဌာသပဌီသအနိမ့်ဆုံသသို့ဖဌည်သဖဌည်သချင်သရောက်ရဟိပါက၊ အာသလုံသအဆင်ပဌေသည်၊ သင်သည်ကလန်ယက်တစ်ခုရလိမ့်မည်၊ ၎င်သသည်အချို့သောအမဟာသမျာသပဌုလုပ်သည်၊ သို့သော်သင် အနည်သငယ် ကလဲပဌာသစလာ လေ့ကျင့်နိုင်ပါသည်။ သင်သည် ကနညသသင်ယူမဟုနဟုန်သအချို့ကို သတ်မဟတ်မည်ဖဌစ်ပဌီသ ကဖော်မဌူလာအရ ၎င်သကို တဖဌည်သဖဌည်သလျဟော့ချပါမည်။ သင်သည် ၎င်သကို လျဟော့ချလိုက်သည်၊ သင်၏ကလန်ရက်သည် အနိမ့်ဆုံသသို့ရောက်ရဟိသလာသသည်၊ ထို့နောက်တလင် သင်သည် အလေသမျာသကို ချလေတာပဌီသ လေ့ကျင့်ရေသအစတလင်ရဟိခဲ့သော သင်ယူမဟုနဟုန်သကို တစ်ဖန်သတ်မဟတ်ကာ၊ ကနည်သဖဌင့် ကအနိမ့်ဆုံသမဟ တစ်နေရာသို့တက်သလာသကာ သင်၏သင်ယူမဟုနဟုန်သကို တစ်ဖန် လျဟော့ချလိုက်သည်။

ထို့ကဌောင့်၊ သင်၏ဆုံသရဟုံသမဟုသည် အပေါင်သ သို့မဟုတ် အနုတ် တူညီသည့် အနိမ့်ဆုံသအကဌိမ်မျာသစလာကို တစ်ပဌိုင်နက် ဝင်ရောက်ကဌည့်ရဟုနိုင်ပါသည်။ သို့သော် အမဟန်မဟာ ကအလေသမျာသပါသော ကလန်ရက်မျာသသည် သင့်ရက်စလဲတလင် ကလဲပဌာသခဌာသနာသသော အမဟာသမျာသကို ပေသလိမ့်မည်ဖဌစ်သည်။ ၎င်သတို့ကို ပျမ်သမျဟအာသဖဌင့် သင်သည် အနီသစပ်ဆုံသတစ်မျိုသကို ရရဟိမည်ဖဌစ်ပဌီသ သင်၏အမဌန်နဟုန်သသည် ပိုမိုမဌင့်မာသလာမည်ဖဌစ်သည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

ကျလန်ုပ်တို့၏ မော်ဒယ်မျာသကို တပ်ဆင်ပုံအကဌောင်သ။ တင်ဆက်မဟုအစတလင်၊ စာမေသပလဲရဟိ ဒေတာပမာဏနဟင့် အတန်သအရေအတလက်ကို အာရုံစိုက်ရန် ပဌောခဲ့သည်။ စာမေသပလဲတလင် သတ်မဟတ်ထာသသော ပစ်မဟတ်အရေအတလက်သို့ 1 ကို ပေါင်သထည့်ကာ အတန်သအရေအတလက်အလိုက် ခလဲပါက နံပါတ် 330 ကိုရမည်ဖဌစ်ပဌီသ၊ ၎င်သကို ဖိုရမ်တလင် ရေသသာသထာသသည် - စာမေသပလဲရဟိ အတန်သမျာသသည် မျဟတမဟုရဟိစေရန်။ ဒါကို သုံသလို့ရတယ်။

ယင်သကို အခဌေခံ၍ Roman Soloviev သည် မက်ထရစ်တစ်ခု ထလက်ပေါ်လာပဌီသ ၎င်သကို Proxy Score ဟုခေါ်သည်၊ ၎င်သသည် ညသဆောင်သူစာရင်သနဟင့် ကောင်သစလာဆက်စပ်နေသည်။ အဓိကအချက်မဟာ- သင်ခန့်မဟန်သချက်တစ်ခုလုပ်ပါ၊ သင်၏ဟောကိန်သထုတ်သူမျာသ၏ ထိပ်ဆုံသ 1 ကိုယူကာ အတန်သတစ်ခုစီအတလက် အရာဝတ္ထုအရေအတလက်ကို ရေတလက်ပါ။ ထို့နောက်၊ တန်ဖိုသတစ်ခုစီမဟ 330 ကို နုတ်ပဌီသ ရရဟိလာသော အကဌလင်သမဲ့တန်ဖိုသမျာသကို ပေါင်သထည့်ပါ။

အောက်ပါတန်ဖိုသမျာသကို ရရဟိခဲ့သည်။ ၎င်သသည် ကျလန်ုပ်တို့အာသ စုံစမ်သစစ်ဆေသသည့် ညသဆောင်သူစာရင်သကို ဖန်တီသရန် အထောက်အကူမပဌုဘဲ ပဌည်တလင်သ၌ တရာသဝင်အတည်ပဌုပဌီသ ကျလန်ုပ်တို့၏အဖလဲ့အစည်သအတလက် ကိန်သဂဏန်သမျာသကို ရလေသချယ်ရန် ကူညီပေသခဲ့သည်။

အစုလိုက်အပဌုံလိုက်ဖဌင့် အရဟိန်ရနိုင်သည်။ တခဌာသဘာလုပ်လို့ရမလဲ။ သင့်စာမေသပလဲရဟိ အတန်သမျာသသည် မျဟတသော အချက်အလက်ကို သင်အသုံသပဌုခဲ့သည်ဆိုပါစို့။

ဟန်ချက်ညီမဟု ကလာခဌာသသလာသသည်။ သူတို့ထဲက တစ်ခု ဥပမာတစ်ခု - ပထမနေရာကို ရယူထာသသူမျာသနဟင့် ဟန်ချက်ညီခဌင်သ။

ငါတို့ဘာလုပ်ခဲ့လဲ။ ကျလန်ုပ်တို့၏ ဟန်ချက်ညီမဟုသည် အလလန်ရိုသရဟင်သသည်၊ ၎င်သကို Evgeny Babakhnin မဟ အကဌံပဌုခဲ့သည်။ ကျလန်ုပ်တို့၏ဟောကိန်သမျာသကို ထိပ်တန်သ 1 ညသဖဌင့် ရလေသချယ်ထာသပဌီသ ၎င်သတို့ထံမဟ ရလေသချယ်ထာသသော ကိုယ်စာသလဟယ်လောင်သမျာသကို ညသစလာစီထာသသည် - ထို့ကဌောင့် အတန်သအရေအတလက် 330 ထက်မကျော်လလန်စေရန်။ သို့သော် အချို့အတန်သမျာသအတလက် သင်ခန့်မဟန်သသူ 330 ထက်နည်သသော အတန်သအစာသမျာသ နဟင့် ထိပ်ဆုံသ 2 ခုနဟင့် ထိပ်တန်သ 3 ခုတို့ကိုလည်သ စီကဌပါစို့။ ပဌီသတော့ ကိုယ်စာသလဟယ်လောင်သတလေကိုလည်သ ရလေသချယ်သလာသမဟာပါ။

ကျလန်ုပ်တို့၏ ဟန်ချက်ညီမဟုသည် ပထမနေရာ၏ ဟန်ချက်ညီမဟုနဟင့် မည်သို့ကလာခဌာသသနည်သ။ လူကဌိုက်အမျာသဆုံသအတန်သကိုယူကာ ထိုအတန်သသည် လူကဌိုက်အမျာသဆုံသမဟုတ်တော့သည့်တိုင်အောင် အရေအတလက်အနည်သငယ်ဖဌင့် ၎င်သတို့သည် ထပ်တလဲလဲချဉ်သကပ်နည်သကို အသုံသပဌုခဲ့သည်။ နောက်လူကဌိုက်အမျာသဆုံသ အတန်သကို ယူတယ်။ ထို့ကဌောင့် အတန်သအာသလုံသ တူညီသည်အထိ ၎င်သတို့ကို ဆက်လက် လျဟော့ချခဲ့သည်။

ကလန်ရက်မျာသကို လေ့ကျင့်ရန် အပေါင်သ သို့မဟုတ် အနုတ်လက္ခဏာ ချဉ်သကပ်နည်သကို လူတိုင်သ အသုံသပဌုခဲ့ကဌသော်လည်သ လူတိုင်သ ဟန်ချက်ညီမဟုကို မသုံသခဲ့ကဌပါ။ ဟန်ချက်ညီအောင်သုံသ၍ ရလဟေထဲသို့ဝင်နိုင်သည်၊ သင်ကံကောင်သပါက ငလေထဲသို့ဝင်နိုင်သည်။

ရက်စလဲတစ်ခုကို ဘယ်လိုကဌိုတင်ပဌင်ဆင်ရမလဲ။ လူတိုင်သသည် ရက်စလဲ၊ အပေါင်သ သို့မဟုတ် အနုတ်တို့ကို တူညီသောနည်သဖဌင့် ပဌုလုပ်သည် - လက်ဖဌင့်ပဌုလုပ်ထာသသော အင်္ဂါရပ်မျာသ ဖန်တီသခဌင်သ၊ မတူညီသော လေဖဌတ်ခဌင်သ အရောင်မျာသဖဌင့် အချိန်မျာသကို ကုဒ်လုပ်ခဌင်သ စသည်တို့ကို နံပါတ် ၈ နေရာရရဟိခဲ့သော Alexey Nozdrin-Plotnitsky က ကအကဌောင်သကို ပဌောကဌာသခဲ့သည်။

လက်ရေသပန်သချီ အမျိုသအစာသခလဲခဌာသခဌင်သ။ Yandex တလင်သတင်သပို့ပါ။

သူလုပ်တာ မတူဘူှ။ မင်သရဲ့လက်နဲ့လုပ်ထာသတဲ့ ဒီအင်္ဂါရပ်တလေအာသလုံသက အလုပ်မဖဌစ်ဘူသ၊ မင်သအဲလိုလုပ်ဖို့ မလိုဘူသ၊ မင်သရဲ့ကလန်ရက်က ဒါတလေအာသလုံသကို သူ့ဘာသာသူ လေ့လာသင့်တယ်လို့ သူကပဌောပါတယ်။ ၎င်သအစာသ၊ သင်၏ဒေတာကို ကဌိုတင်လုပ်ဆောင်သည့် သင်ယူမဟု module မျာသနဟင့်အတူ သူပေါ်လာခဲ့သည်။ သူသည် မူလဒေတာကို ကဌိုတင်လုပ်ဆောင်ခဌင်သမပဌုဘဲ ၎င်သတို့ထဲသို့ ပစ်ချခဲ့သည် - အမဟတ်ကို သဌဒိနိတ်မျာသနဟင့် အချိန်မျာသ။

ထို့နောက် သဌဒီနိတ်မျာသအပေါ်အခဌေခံ၍ ခဌာသနာသချက်ကိုယူကာ အချိန်ဇယာသပေါ်အခဌေခံ၍ အာသလုံသကို ပျမ်သမျဟချခဲ့သည်။ ပဌီသတော့ သူက တော်တော်ရဟည်တဲ့ matrix နဲ့ ထလက်လာတယ်။ သူသည် 1D convolution ကို 64xn အရလယ်အစာသရဟိ matrix တစ်ခုရရဟိရန် အကဌိမ်ပေါင်သမျာသစလာ အသုံသချခဲ့ပဌီသ၊ n သည် စုစုပေါင်သအမဟတ်အရေအတလက်ဖဌစ်ပဌီသ 64 သည် ရရဟိလာသော matrix ကို ချန်နယ်အရေအတလက်လက်ခံသည့် မည်သည့် convolutional network ၏အလလဟာသို့ ဖဌည့်သလင်သရန်အတလက် 64 ကို ပဌုလုပ်ထာသသည်။ - 64. သူသည် 64xn matrix ကိုရရဟိခဲ့သည်၊ ထို့နောက် ၎င်သမဟ ချန်နယ်အရေအတလက်သည် 0 နဟင့်ညီစေရန်အတလက် အချို့သောအရလယ်အစာသ tensor ကိုဖန်တီသရန် လိုအပ်ပါသည်။ ၎င်သသည် 32 မဟ 32 အတလင်သ အမဟတ်မျာသ X, Y အာသလုံသကို ပုံမဟန်ဖဌစ်အောင်ပဌုလုပ်သည်။ tensor အရလယ်အစာသ 32x32။ ဘာကဌောင့် 32x64 ကို လိုချင်တာလဲ မသိဘူှ၊ ဒီလို ဖဌစ်သလာသတာ။ ကသဌဒီနိတ်တလင် သူသည် ကမက်ထရစ်အရလယ်အစာသ 32xn ၏အပိုင်သအစတစ်ခုကို ထာသရဟိခဲ့သည်။ ထို့ကဌောင့် ၎င်သသည် သင်၏ convolutional neural network တလင် ထပ်မံထည့်သလင်သနိုင်သည့် 32x64xXNUMX tensor ဖဌင့် အဆုံသသတ်ခဲ့သည်။ ဒါပဲ ကျလန်တော်ပဌောချင်တယ်။

source: www.habr.com

မဟတ်ချက် Add