ProHoster > ဘလော့ > အင်တာနက်သတင်သ > အာသဖဌည့်သင်ကဌာသမဟု သို့မဟုတ် ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသ။ - နဟစ်ခုလုံသ

အာသဖဌည့်သင်ကဌာသမဟု သို့မဟုတ် ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသ။ - နဟစ်ခုလုံသ

ဟေသ ဟာဘ!

ကုဒ်မပါဘဲနဟင့် ပညာရပ်ဆိုင်ရာ သဘောသဘာဝအရ ရဟင်သရဟင်သလင်သလင်သမရဟိသော နဟစ်နဟစ်ရဟိ စာသာသမျာသကို ကနေရာတလင် ဘာသာပဌန်ဆိုရန် ကျလန်ုပ်တို့ မဆုံသဖဌတ်တတ်သော်လည်သ ယနေ့တလင် ခဌလင်သချက်တစ်ခု ပဌုလုပ်ပါမည်။ ဆောင်သပါသ၏ခေါင်သစဉ်တလင်ဖော်ပဌထာသသောအကျပ်အတည်သသည်ကျလန်ုပ်တို့၏စာဖတ်သူအမျာသအပဌာသကိုစိုသရိမ်မိမည်ဟုမျဟော်လင့်ပါသည်၊ ကပို့စ်သည်မူရင်သတလင်ငဌင်သခုံသောသို့မဟုတ်ယခုဖတ်မည့်ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသအတလက်အခဌေခံကျသောလုပ်ဆောင်မဟုကိုသင်ဖတ်ရဟုပဌီသဖဌစ်သည်။ ကဌောင်မဟကဌိုဆိုပါတယ်။

အာသဖဌည့်သင်ကဌာသမဟု သို့မဟုတ် ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသ။ - နဟစ်ခုလုံသ

မတ်လ 2017 တလင် OpenAI သည် စာတမ်သနဟင့်အတူ နက်နဲသောသင်ယူမဟုအသိုင်သအဝိုင်သတလင် လဟိုင်သမျာသပဌုလုပ်ခဲ့သည်။အာသဖဌည့်သင်ယူခဌင်သအတလက် အတိုင်သအတာတစ်ခုအထိ ပဌောင်သလဲနိုင်သော ဆင့်ကဲပဌောင်သလဲမဟုဗျူဟာမျာသ“ အာသဖဌည့်သင်ကဌာသမဟု (RL) သည် သပ်မဖဌစ်လာကဌောင်သနဟင့် ရဟုပ်ထလေသသော အာရုံကဌောကလန်ရက်မျာသကို လေ့ကျင့်သည့်အခါတလင် အခဌာသနည်သလမ်သမျာသကို စမ်သသုံသကဌည့်ရန် အကဌံပဌုလိုပါသည်။ ထို့နောက် အာသဖဌည့်သင်ကဌာသမဟု၏ အရေသပါမဟုနဟင့် ပဌဿနာဖဌေရဟင်သခဌင်သဆိုင်ရာ သင်ကဌာသမဟုအတလက် “မဖဌစ်မနေရဟိ” နည်သပညာတစ်ခုအဖဌစ် ၎င်သ၏အဆင့်အတန်သကို မည်မျဟထိုက်တန်ကဌောင်သနဟင့် ပတ်သက်၍ အချေအတင်ဖဌစ်ခဲ့သည်။ ဒီနေရာမဟာ ကျလန်တော်ပဌောချင်တာက ဒီနည်သပညာနဟစ်ခုကို ပဌိုင်ဆိုင်မဟုအဖဌစ် မယူဆသင့်ပါဘူသ ဆန့်ကျင်ဘက်အနေနဟင့်၊ နောက်ဆုံသတလင် ၎င်သတို့သည် တစ်ညသနဟင့်တစ်ညသ ဖဌည့်ဆည်သပေသသည်။ တကယ်ဆို ဖန်တီသဖို့ လိုအပ်တာကို နည်သနည်သလောက် တလေသကဌည့်မယ်ဆိုရင် အထလေထလေ AI ၎င်သတို့တည်ရဟိနေသမျဟကာလပတ်လုံသ သင်ယူမဟု၊ စီရင်ဆုံသဖဌတ်မဟုနဟင့် အစီအစဉ်ဆလဲနိုင်စလမ်သရဟိမည့် အဆိုပါစနစ်မျာသသည် ယင်သ သို့မဟုတ် ပေါင်သစပ်ဖဌေရဟင်သချက်လိုအပ်ကဌောင်သ ကျလန်ုပ်တို့ အသေအချာနီသပါသ နိဂုံသချုပ်ရပေလိမ့်မည်။ စကာသမစပ်၊ ဆင့်ကဲဖဌစ်စဉ်အတလင်သ ရဟုပ်ထလေသသောဉာဏ်ရည်ဉာဏ်သလေသရဟိသော နို့တိုက်သတ္တဝါမျာသနဟင့် အခဌာသအဆင့်မဌင့်တိရစ္ဆာန်မျာသကို ထောက်ပံ့ပေသသော သဘာဝက ရရဟိလာသည့် ကပေါင်သစပ်ဖဌေရဟင်သချက်သည် အတိအကျပင်ဖဌစ်ပါသည်။

ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသ

OpenAI စာတမ်သ၏ အဓိကနိယာမမဟာ အစဉ်အလာ backpropagation နဟင့် ပေါင်သစပ်အာသဖဌည့်သင်ကဌာသမဟုကို အသုံသပဌုမည့်အစာသ ၎င်သတို့သည် "ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာ" (ES) ကိုအသုံသပဌု၍ ရဟုပ်ထလေသသောပဌဿနာမျာသကိုဖဌေရဟင်သရန် အာရုံကဌောကလန်ရက်တစ်ခုကို အောင်မဌင်စလာလေ့ကျင့်သင်ကဌာသခဲ့ပါသည်။ က ES ချဉ်သကပ်မဟုတလင် အပဌိုင်လုပ်ဆောင်နေသော အေသဂျင့်မျာသစလာပါဝင်ပဌီသ ကဖဌန့်ဖဌူသမဟုမဟ ရလေသချယ်ထာသသော ကန့်သတ်ဘောင်မျာသကို အသုံသပဌုခဌင်သပါဝင်သည့် ကလန်ရက်ကျယ်ပဌန့်သော အလေသမျာသကို ဖဌန့်ကျက်ထိန်သသိမ်သခဌင်သ ပါဝင်သည်။ အေသဂျင့်တစ်ခုစီသည် ၎င်သ၏ကိုယ်ပိုင်ပတ်ဝန်သကျင်တလင် လည်ပတ်နေပဌီသ ဇာတ်လမ်သတလဲတစ်ခု၏ သတ်မဟတ်ထာသသော အပိုင်သ သို့မဟုတ် အဆင့်မျာသတစ်ခုပဌီသမဌောက်သောအခါ၊ အယ်လဂိုရီသမ်သည် ကဌံ့ခိုင်မဟုရမဟတ်အဖဌစ် ဖော်ပဌသည့် စုစည်သဆုလာဘ်ကို ပဌန်ပေသသည်။ ကတန်ဖိုသကို ထည့်သလင်သစဉ်သစာသခဌင်သဖဌင့် ကန့်သတ်ချက်မျာသကို ခလဲဝေပေသခဌင်သသည် ပိုမိုအောင်မဌင်သော အေသဂျင့်မျာသဆီသို့ ကူသပဌောင်သနိုင်ပဌီသ အောင်မဌင်မဟုနည်သသောသူမျာသကို ဆုံသရဟုံသစေပါသည်။ ရာနဟင့်ချီသော အေသဂျင့်မျာသ၏ ပါဝင်မဟုဖဌင့် ထိုကဲ့သို့သော လုပ်ဆောင်ချက်ကို အကဌိမ်ပေါင်သ သန်သနဟင့်ချီပဌီသ ပဌန်လုပ်ခဌင်သဖဌင့်၊ အေသဂျင့်မျာသအာသ ၎င်သတို့တာဝန်ပေသထာသသော အလုပ်အာသ ဖဌေရဟင်သရန်အတလက် အရည်အသလေသမဌင့် မူဝါဒတစ်ရပ်ကို ရေသဆလဲနိုင်စေမည့် အလေသမျာသ ဖဌန့်ဖဌူသမဟုကို နေရာတစ်ခုသို့ ရလဟေ့ရန် ဖဌစ်နိုင်သည်။ အမဟန်စင်စစ်၊ ဆောင်သပါသတလင် ဖော်ပဌထာသသော ရလဒ်မျာသသည် အထင်ကဌီသစရာကောင်သသည်- အကယ်၍ သင်သည် အေသဂျင့်တစ်ထောင်ကို အပဌိုင်လုပ်ဆောင်ပါက၊ ထို့နောက် နာရီဝက်ထက်နည်သသော ခဌေနဟစ်ချောင်သပေါ်ရဟိ စက်ကိရိယာကို သင်ယူနိုင်သည် (အဆင့်မဌင့်ဆုံသ RL နည်သလမ်သမျာသပင်လျဟင် ပိုမိုသုံသစလဲရန် လိုအပ်ကဌောင်သ ပဌသထာသသည်။ တစ်နာရီထက်မပို။) ပိုမိုအသေသစိတ်အချက်အလက်မျာသအတလက်၊ ငါအကောင်သဆုံသကိုဖတ်ရန်အကဌံပဌုပါသည်။ တိုင် စမ်သသပ်ရေသသာသသူမျာသထံမဟလည်သ သိရသည်။ သိပ္ပံဆောင်သပါသ.

အာသဖဌည့်သင်ကဌာသမဟု သို့မဟုတ် ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသ။ - နဟစ်ခုလုံသ

OpenAI မဟ ES နည်သလမ်သကို အသုံသပဌု၍ မတ်တတ်လမ်သလျဟောက်ခဌင်သကို သင်ကဌာသခဌင်သအတလက် မတူညီသော နည်သဗျူဟာမျာသ။

အမည်သရောင်သေတ္တာ

ဒီနည်သလမ်သရဲ့ အကျိုသကျေသဇူသကတော့ အလလယ်တကူ ပဌိုင်တူကူသနိုင်တာကဌောင့်ပါ။ A3C ကဲ့သို့သော RL နည်သလမ်သမျာသသည် အလုပ်သမာသလိုင်သမျာသနဟင့် ပါရာမီတာဆာဗာမျာသအကဌာသ သတင်သအချက်အလက်ဖလဟယ်ရန် လိုအပ်သော်လည်သ ES သည် ကဌံ့ခိုင်မဟုခန့်မဟန်သချက်မျာသနဟင့် ယေဘုယျအာသဖဌင့် ကန့်သတ်ဘောင်ဖဌန့်ဝေမဟုဆိုင်ရာ အချက်အလက်မျာသကိုသာ လိုအပ်သည်။ ကနည်သသည် ခေတ်မီ RL နည်သလမ်သမျာသထက် အဆမတန် ရိုသရဟင်သသောကဌောင့် ဖဌစ်သည်။ သို့သော်၊ ကအရာအာသလုံသသည် အချည်သနဟီသမဖဌစ်ဘဲ၊ သင် black box သဘောတရာသအရ ကလန်ရက်ကို အကောင်သဆုံသဖဌစ်အောင်လုပ်ရန် လိုအပ်သည်။ ကကိစ္စတလင်၊ "အနက်ရောင်သေတ္တာ" ဆိုသည်မဟာ လေ့ကျင့်နေစဉ်အတလင်သ ကလန်ရက်၏အတလင်သပိုင်သဖလဲ့စည်သပုံကို လုံသဝလျစ်လျူရဟုထာသပဌီသ အလုံသစုံရလဒ် (အပိုင်သအတလက်ဆုကဌေသငလေ) ကိုသာ အသုံသပဌုထာသပဌီသ၊ သီသခဌာသကလန်ရက်တစ်ခု၏ အလေသချိန်မျာသ ရဟိ၊ မရဟိအပေါ် မူတည်ပါသည်။ နောက်မျိုသဆက်မျာသ အမလေဆက်ခံရမည်။ ကျလန်ုပ်တို့သည် ပတ်ဝန်သကျင်ထံမဟ တုံ့ပဌန်ချက်မျာသစလာမရရဟိသည့် အခဌေအနေမျာသတလင်—နဟင့် သမာသရိုသကျ RL ပဌဿနာမျာသစလာတလင် ဆုလာဘ်စီသဆင်သမဟု အလလန်ကျဲသည်—ပဌဿနာမဟာ "တစ်စိတ်တစ်ပိုင်သ black box" ဖဌစ်ခဌင်သမဟ "လုံသဝ black box" သို့သလာသပါသည်။ ကကိစ္စတလင်၊ သင်သည် ကုန်ထုတ်စလမ်သအာသကို သိသိသာသာ တိုသစေနိုင်သည်၊ ထို့ကဌောင့်၊ ထိုကဲ့သို့သော အပေသအယူသည် တရာသမျဟတပါသည်။ "ဘာပဲဖဌစ်ဖဌစ် မျဟော်လင့်ချက်မဲ့ ဆူညံနေရင် ဘယ်သူက gradient ကို လိုအပ်လဲ" - ဒါက ယေဘုယျသဘောပါ။

သို့သော်၊ တုံ့ပဌန်ချက်ပိုမိုအသက်ဝင်သည့်အခဌေအနေမျာသတလင်၊ ES အတလက်အရာမျာသသည် မဟာသယလင်သသလာသပါသည်။ OpenAI အဖလဲ့သည် ES ကို အသုံသပဌု၍ ရိုသရဟင်သသော MNIST အမျိုသအစာသခလဲခဌာသခဌင်သကလန်ရက်ကို လေ့ကျင့်သင်ကဌာသပုံကို ဖော်ပဌပဌီသ ယခုတစ်ကဌိမ် လေ့ကျင့်မဟုသည် အဆ 1000 ပိုနဟေသကလေသပါသည်။ အမဟန်မဟာ ရုပ်ပုံအမျိုသအစာသခလဲခဌင်သတလင် gradient signal သည် network ကို ပိုမိုကောင်သမလန်သော အမျိုသအစာသခလဲခဌာသနည်သကို သင်ကဌာသပုံနဟင့် ပတ်သက်၍ အလလန်အမင်သအသိပေသပါသည်။ ထို့ကဌောင့်၊ RL နည်သပညာဖဌင့် ပဌဿနာသည် နည်သပါသပဌီသ ဆူညံသော gradient မျာသကို ထုတ်လုပ်သည့် ပတ်ဝန်သကျင်မျာသတလင် အကျဲဆုလာဘ်မျာသဖဌင့် ပိုမိုမျာသပဌာသသည်။

သဘာဝတရာသ၏ဖဌေရဟင်သချက်

ကျလန်ုပ်တို့သည် သဘာဝတရာသ၏စံနမူနာမဟ သင်ယူရန်ကဌိုသစာသပဌီသ AI ကို ဖလံ့ဖဌိုသတိုသတက်ရန် နည်သလမ်သမျာသကို တလေသတောပါက အချို့သောကိစ္စမျာသတလင် AI ဟု ယူဆနိုင်ပါသည်။ ပဌဿနာကို ညသတည်တဲ့ ချဉ်သကပ်မဟု. အမဟန်မဟာ၊ သဘာဝသည် ကလန်ပျူတာသိပ္ပံပညာရဟင်မျာသ မရဟိသည့် ကန့်သတ်ချက်မျာသအတလင်သ လုပ်ဆောင်သည်။ ပဌဿနာတစ်ခုအာသ ဖဌေရဟင်သရန် သီအိုရီသက်သက်ချည်သသာ ချဉ်သကပ်ခဌင်သသည် လက်တလေ့ကျသော အခဌာသရလေသချယ်စရာမျာသထက် ပိုမိုထိရောက်သော ဖဌေရဟင်သချက်မျာသကို ပေသစလမ်သနိုင်သည်ဟု ထင်မဌင်ချက်တစ်ခုရဟိသည်။ သို့သော်လည်သ အချို့သောကန့်သတ်ချက်မျာသအောက်တလင် လည်ပတ်နေသော ဒိုင်သနမစ်စနစ်တစ်ခု (ကမ္ဘာမဌေ) သည် လိုက်လျောညီထလေရဟိပဌီသ ရဟုပ်ထလေသသောအပဌုအမူမျာသပဌုလုပ်နိုင်သည့် အေသဂျင့်မျာသ (တိရစ္ဆာန်မျာသ အထူသသဖဌင့် နို့တိုက်သတ္တဝါမျာသ) ကို မည်သို့စမ်သသပ်ရန် ထိုက်တန်မည်ဟု ကျလန်ုပ်ထင်မဌင်နေသေသသည်။ အချို့သော ကန့်သတ်ချက်မျာသသည် အတုယူထာသသော ဒေတာသိပ္ပံကမ္ဘာမျာသတလင် အကျုံသဝင်ခဌင်သမရဟိသော်လည်သ အချို့မဟာ ကောင်သမလန်ပါသည်။

နို့တိုက်သတ္တဝါမျာသ၏ ဉာဏ်ရည်ဉာဏ်သလေသ အပဌုအမူကို ဆန်သစစ်ပဌီသနောက်၊ နီသကပ်စလာ ဆက်နလယ်နေသော လုပ်ငန်သစဉ်နဟစ်ခု၏ ရဟုပ်ထလေသသော အပဌန်အလဟန်လလဟမ်သမိုသမဟု၏ ရလဒ်အဖဌစ် ၎င်သကို ဖလဲ့စည်သထာသသည်ကို ကျလန်ုပ်တို့ တလေ့ရဟိရပါသည်။ အခဌာသသူမျာသ၏ အတလေ့အကဌုံမျာသမဟ သင်ယူခဌင်သ။ О လက်တလေ့လုပ်ဆောင်ခဌင်သဖဌင့်လေ့လာပါ. ရဟေသယခင်က သဘာဝရလေသချယ်မဟုဖဌင့် ဆင့်ကဲဖဌစ်စဉ်နဟင့် ညီမျဟလေ့ရဟိသည်၊ သို့သော် ကနေရာတလင် မျိုသရိုသဗီဇ၊ အဏုဇီဝမျာသနဟင့် မျိုသဗီဇနဟင့်မသက်ဆိုင်သောသက်ရဟိမျာသအကဌာသ အတလေ့အကဌုံမျာသကို မျဟဝေနိုင်စေမည့် အခဌာသသော ယန္တရာသမျာသကို ထည့်သလင်သစဉ်သစာသရန် ပိုမိုကျယ်ပဌန့်သော အသုံသအနဟုန်သကို ကျလန်ုပ်အသုံသပဌုပါသည်။ ဒုတိယလုပ်ငန်သစဉ်၊ အတလေ့အကဌုံမဟ သင်ယူခဌင်သသည် တိရစ္ဆာန်တစ်ကောင်၏ ဘဝတစ်လျဟောက်လုံသ သင်ယူရန် စီမံထာသသည့် အချက်အလက်အာသလုံသဖဌစ်ပဌီသ၊ ကအချက်အလက်သည် ကတိရစ္ဆာန်၏ ပဌင်ပကမ္ဘာနဟင့် ထိတလေ့ဆက်ဆံမဟုမဟ တိုက်ရိုက်ဆုံသဖဌတ်ခဌင်သဖဌစ်သည်။ ကအမျိုသအစာသတလင် အရာဝတ္ထုမျာသကို မဟတ်မိရန် သင်ယူခဌင်သမဟသည် သင်ယူမဟုလုပ်ငန်သစဉ်တလင် မလေသရာပါ ဆက်သလယ်ရေသကို ကျလမ်သကျင်ပိုင်နိုင်စေရန်အထိ သင်ယူခဌင်သမဟ အရာအာသလုံသပါဝင်သည်။

အကဌမ်သဖျင်သပဌောရလျဟင် သဘာဝတလင်ဖဌစ်ပေါ်နေသော ကဖဌစ်စဉ်နဟစ်ခုကို အာရုံကဌောကလန်ရက်မျာသကို အကောင်သဆုံသဖဌစ်အောင်ပဌုလုပ်ရန် ရလေသချယ်စရာနဟစ်ခုနဟင့် နဟိုင်သယဟဉ်နိုင်သည်။ သက်ရဟိမျာသနဟင့်ပတ်သက်သော အချက်အလက်မျာသကို အပ်ဒိတ်လုပ်ရန်အတလက် gradients ဆိုင်ရာ အချက်အလက်မျာသကို အသုံသပဌုသည့် ဆင့်ကဲဖဌစ်စဉ်ဗျူဟာမျာသသည် အခဌာသသူမျာသ၏ အတလေ့အကဌုံမျာသမဟ သင်ယူခဌင်သဆီသို့ နီသကပ်လာပါသည်။ အလာသတူ၊ အတလေ့အကဌုံတစ်ခု သို့မဟုတ် အခဌာသတစ်ခုရယူခဌင်သသည် အေသဂျင့်၏အပဌုအမူတစ်ခု သို့မဟုတ် အခဌာသပဌောင်သလဲမဟုတစ်ခုဆီသို့ ညသတည်စေသည့် gradient နည်သလမ်သမျာသသည် တစ်ညသ၏ကိုယ်ပိုင်အတလေ့အကဌုံမဟသင်ယူခဌင်သနဟင့် နဟိုင်သယဟဉ်နိုင်သည်။ တိရိစ္ဆာန်မျာသတလင် ကချဉ်သကပ်မဟုနဟစ်ခုတစ်ခုစီမဟ ဖဌစ်ထလန်သလာသော ဉာဏ်ရည်ထက်မဌက်သော အပဌုအမူ သို့မဟုတ် စလမ်သရည်အမျိုသအစာသမျာသကို ကျလန်ုပ်တို့စဉ်သစာသပါက၊ နဟိုင်သယဟဉ်မဟုမဟာ ပိုမိုသိသာထင်ရဟာသလာပါသည်။ ဖဌစ်ရပ်နဟစ်ခုစလုံသတလင်၊ "ဆင့်ကဲဖဌစ်စဉ်နည်သလမ်သမျာသ" သည် လူတစ်ညသအာသ အချို့သော ကျန်သမာကဌံ့ခိုင်မဟု ( အသက်ရဟင်နေထိုင်ရန် လုံလောက်သော) ဖလံ့ဖဌိုသတိုသတက်စေရန် ခလင့်ပဌုသည့် ဓာတ်ပဌုအပဌုအမူမျာသကို လေ့လာခဌင်သကို မဌဟင့်တင်သည်။ သိမ်သသလာသခဌင်သမဟလလတ်မဌောက်ရန် လမ်သလျဟောက်ရန် သို့မဟုတ် သင်ယူခဌင်သသည် တိရစ္ဆာန်မျာသစလာတလင် မျိုသရိုသဗီဇအဆင့်ရဟိ တိရစ္ဆာန်မျာသစလာတလင် “အလိုလိုကဌိုသမဲ့” အပဌုအမူမျာသနဟင့် ညီမျဟသည်။ ထို့အပဌင်၊ ကဥပမာသည် ဆုလာဘ်အချက်ပဌမဟု အလလန်ရဟာသပါသသည့်ကိစ္စမျာသတလင် ဆင့်ကဲဖဌစ်စဉ်နည်သလမ်သမျာသကို အသုံသပဌုနိုင်ကဌောင်သ အတည်ပဌုပါသည်။ ထိုသို့သောအခဌေအနေမျိုသတလင်၊ ကအချက်မပေါ်ပေါက်မီ နဟစ်ပေါင်သမျာသစလာကတည်သက လုပ်ဆောင်ခဲ့သော သီသခဌာသလုပ်ဆောင်ချက်မျာသနဟင့် ဆက်စပ်၍မရနိုင်ပါ။ အခဌာသတစ်ဖက်တလင်၊ ကျလန်ုပ်တို့သည် ES ပျက်ကလက်သည့်ကိစ္စတစ်ခုဖဌစ်သည့် ရုပ်ပုံအမျိုသအစာသခလဲခဌာသခဌင်သကို သုံသသပ်ပါက၊ ရလဒ်မျာသသည် နဟစ်ပေါင်သ 100 ကျော်ကဌာ ပဌုလုပ်ခဲ့သော မရေမတလက်နိုင်သော အပဌုအမူဆိုင်ရာ စိတ်ပိုင်သဆိုင်ရာစမ်သသပ်မဟုမျာသတလင် ရရဟိခဲ့သော တိရစ္ဆာန်သင်ယူမဟုရလဒ်မျာသနဟင့် သိသိသာသာ နဟိုင်သယဟဉ်နိုင်ပါသည်။

တိရစ္ဆာန်မျာသထံမဟ သင်ယူခဌင်သ။

အာသဖဌည့်သင်ကဌာသမဟုတလင် အသုံသပဌုသည့်နည်သလမ်သမျာသသည် စိတ်ပညာဆိုင်ရာစာပေမျာသမဟ တိုက်ရိုက်ယူဆောင်သည့် ကိစ္စမျာသစလာတလင်ဖဌစ်သည်။ အော်ပရေတာအေသစက်ခဌင်သ။နဟင့် တိရစ္ဆာန်စိတ်ပညာကို အသုံသပဌု၍ အော်ပရေတာအေသစက်ခဌင်သကို လေ့လာခဲ့သည်။ စကာသမစပ်၊ အာသဖဌည့်သင်ယူမဟု၏တည်ထောင်သူနဟစ်ညသအနက်မဟတစ်ညသဖဌစ်သော Richard Sutton သည်စိတ်ပညာဘလဲ့ကိုရရဟိထာသသည်။ လည်ပတ်မဟုအေသစက်ခဌင်သ၏အခဌေအနေတလင်၊ တိရစ္ဆာန်မျာသသည် တိကျသောအပဌုအမူပုံစံမျာသဖဌင့် ဆုလာဘ် သို့မဟုတ် ပဌစ်ဒဏ်ပေသခဌင်သကို သင်ယူကဌသည်။ သင်တန်သဆရာမျာသနဟင့် သုတေသီမျာသသည် ကဆုကဌေသငလေအသင်သအဖလဲ့ကို တစ်နည်သမဟုတ်တစ်နည်သ အသုံသချကာ တိရစ္ဆာန်မျာသကို ဉာဏ်ရည်ဉာဏ်သလေသ သို့မဟုတ် အချို့သောအပဌုအမူမျာသကို သရုပ်ပဌရန် နဟိုသဆော်နိုင်သည်။ သို့ရာတလင်၊ တိရစ္ဆာန်သုတေသနတလင်အသုံသပဌုသည့်အတိုင်သ လည်ပတ်နေသောအေသစက်မဟုသည် တိရစ္ဆာန်မျာသ၏ဘဝတစ်လျဟောက်လုံသလေ့လာသင်ယူခဲ့သော တူညီသောအေသစက်မဟုပုံစံထက် ပိုမိုသိသာထင်ရဟာသသောပုံစံတစ်ခုထက်ပိုသောအရာမဟုတ်ပါ။ ကျလန်ုပ်တို့သည် ပတ်ဝန်သကျင်မဟ အပဌုသဘောဆောင်သော အာသဖဌည့်မဟုအချက်ပဌမဟုမျာသကို အဆက်မပဌတ်လက်ခံရရဟိပဌီသ ကျလန်ုပ်တို့၏အပဌုအမူနဟင့်အညီ ချိန်ညဟိပါ။ တကယ်တော့၊ အာရုံကဌောသိပ္ပံပညာရဟင်မျာသနဟင့် သိမဌင်နာသလည်သောသိပ္ပံပညာရဟင်မျာသစလာသည် လူသာသမျာသနဟင့် အခဌာသတိရစ္ဆာန်မျာသ အမဟန်တကယ်လုပ်ဆောင်နေသည့်အဆင့်တလင် အမဟန်တကယ်လုပ်ဆောင်နေပဌီသ ဖဌစ်နိုင်ချေရဟိသောဆုလာဘ်မျာသကိုအခဌေခံ၍ အနာဂတ်အခဌေအနေမျာသတလင် ၎င်သတို့၏အပဌုအမူမျာသ၏ရလဒ်ကို ခန့်မဟန်သရန် အဆက်မပဌတ်လေ့လာသင်ယူနေသည်ဟု ယုံကဌည်ကဌသည်။

အတလေ့အကဌုံမျာသမဟ သင်ယူခဌင်သတလင် ခန့်မဟန်သခဌင်သ၏ အဓိကအခန်သကဏ္ဍသည် အထက်ဖော်ပဌပါ ဒိုင်နနမစ်မျာသကို သိသာထင်ရဟာသသောနည်သလမ်သမျာသဖဌင့် ပဌောင်သလဲပါသည်။ ယခင်က အလလန်ကျဲသည်ဟု ယူဆခဲ့သော အချက်ပဌမဟု (episodic reward) သည် အလလန်သိပ်သည်သသည်။ သီအိုရီအရ၊ အခဌေအနေသည် ကကဲ့သို့သော အရာဖဌစ်သည်- မည်သည့်အချိန်တလင်မဆို၊ နို့တိုက်သတ္တဝါ၏ ညသနဟောက်သည် ရဟုပ်ထလေသသော အာရုံခံလဟုံ့ဆော်မဟုနဟင့် လုပ်ဆောင်ချက်မျာသအပေါ် အခဌေခံ၍ ရလဒ်မျာသကို တလက်ချက်နေပဌီသ တိရစ္ဆာန်သည် ကစမ်သချောင်သတလင် ရိုသရိုသနဟစ်မဌုပ်နေချိန်တလင် ဖဌစ်သည်။ ကကိစ္စတလင်၊ တိရစ္ဆာန်၏နောက်ဆုံသအမူအကျင့်သည် ခန့်မဟန်သချက်မျာသကို တည့်မတ်ခဌင်သနဟင့် အပဌုအမူဖလံ့ဖဌိုသတိုသတက်မဟုကို လမ်သညလဟန်ရန်အတလက် အသုံသပဌုရမည်ဟု ခိုင်မာသောအချက်ပဌစေသည်။ အနာဂတ်တလင် ခန့်မဟန်သချက်မျာသ (နဟင့် လျော်ညီစလာ လုပ်ဆောင်မဟု အရည်အသလေသ) ကို အကောင်သဆုံသဖဌစ်အောင် ညသနဟောက်သည် ကအချက်ပဌမဟုမျာသကို အသုံသပဌုသည်။ ကချဉ်သကပ်နည်သ၏ ခဌုံငုံသုံသသပ်ချက်ကို အလလန်ကောင်သမလန်သော စာအုပ်တလင် ဖော်ပဌထာသပါသည်။Surfing Uncertainty" သိမဌင်မဟုဆိုင်ရာ သိပ္ပံပညာရဟင်နဟင့် ဒဿနပညာရဟင် Andy Clark။ အတုအယောင်အေသဂျင့်မျာသ၏ လေ့ကျင့်သင်ကဌာသမဟုတလင် ယင်သကဲ့သို့ ကျိုသကဌောင်သဆင်ခဌင်မဟုကို ပေါင်သစပ်ပါက၊ အာသဖဌည့်သင်ကဌာသမဟုတလင် အခဌေခံချို့ယလင်သချက်ကို ထင်ရဟာသစေသည်- ကပါရာဒိုင်သတလင် အသုံသပဌုသည့် အချက်ပဌမဟုသည် ၎င်သဖဌစ်နိုင်သည် (သို့မဟုတ် သင့်ဖဌစ်သင့်သည်) နဟင့် နဟိုင်သယဟဉ်ပါက မျဟော်လင့်ချက်ကင်သမဲ့သည်။ Signal saturation ကို တိုသမဌဟင့်ရန် မဖဌစ်နိုင်သော ကိစ္စမျာသတလင် (၎င်သသည် မလေသရာပါ အာသနည်သခဌင်သ သို့မဟုတ် အဆင့်နိမ့် ဓာတ်ပဌုမဟုမျာသနဟင့် ဆက်စပ်နေသောကဌောင့်)၊ ဥပမာ၊ ES၊ ES၊ ကောင်သစလာ ပဌိုင်တူရဟိသော လေ့ကျင့်ရေသနည်သလမ်သကို ပိုနဟစ်သက်ရန် ဖဌစ်နိုင်သည်။

မသေခင် ကလန်ရက်မျာသ ပိုမိုကဌလယ်ဝအောင် လေ့ကျင့်ခဌင်သ။

ကဌိုတင်ခန့်မဟန်သမဟုမျာသပဌုလုပ်ရာတလင် အဆက်မပဌတ်အလုပ်မျာသနေသည့် နို့တိုက်သတ္တဝါမျာသ၏ညသနဟောက်တလင် မလေသရာပါပိုမိုမဌင့်မာသသောအာရုံကဌောဆိုင်ရာလုပ်ဆောင်မဟုဆိုင်ရာအခဌေခံမူမျာသကိုတည်ဆောက်ကာ အာသဖဌည့်သင်ယူမဟုတလင် မကဌာသေသမီကတိုသတက်မဟုမျာသကိုပဌုလုပ်ခဲ့ပဌီသ၊ ယခုထိုခန့်မဟန်သချက်မျာသ၏အရေသပါမဟုကိုထည့်သလင်သစဉ်သစာသပါသည်။ အလာသတူ အလုပ်နဟစ်ခုကို ကျလန်ုပ် ချက်ချင်သ အကဌံပဌုနိုင်သည်-

ကစာတမ်သနဟစ်စောင်စလုံသတလင် စာရေသသူသည် ၎င်သတို့၏အာရုံကဌောကလန်ရက်မျာသ၏ ပုံမဟန်မူလမူဝါဒကို အနာဂတ်ပတ်ဝန်သကျင်အခဌေအနေနဟင့်ပတ်သက်သည့် ခန့်မဟန်သရလဒ်မျာသဖဌင့် ဖဌည့်စလက်ရေသသာသပါသည်။ ပထမဆောင်သပါသတလင်၊ ခန့်မဟန်သချက်သည် တိုင်သတာမဟုကိန်သရဟင်အမျိုသမျိုသတလင် သက်ရောက်ပဌီသ၊ ဒုတိယတလင်၊ ခန့်မဟန်သချက်သည် ပတ်ဝန်သကျင်ရဟိ အပဌောင်သအလဲမျာသနဟင့် အေသဂျင့်၏အပဌုအမူတို့ကို သက်ရောက်သည်။ ဖဌစ်ရပ်နဟစ်ခုစလုံသတလင်၊ အပဌုသဘောဆောင်သောအာသဖဌည့်မဟုနဟင့်ဆက်စပ်နေသောကျဲကျဲသောအချက်ပဌမဟုမဟာ ပိုမိုကဌလယ်ဝပဌီသ သတင်သအချက်အလက်ပိုမိုရရဟိလာကာ ပိုမိုမဌန်ဆန်သောသင်ယူမဟုနဟင့် ပိုမိုရဟုပ်ထလေသသောအပဌုအမူမျာသကိုရယူမဟုနဟစ်ခုစလုံသအတလက် ခလင့်ပဌုပေသပါသည်။ ထိုသို့သောတိုသတက်မဟုမျာသကို ES ကဲ့သို့သော "black box" နိယာမအရ လုပ်ဆောင်သည့်နည်သလမ်သမျာသနဟင့်မဟုတ်ဘဲ gradient signal ကိုအသုံသပဌုသည့်နည်သလမ်သမျာသဖဌင့်သာ ရရဟိနိုင်ပါသည်။

ထို့အပဌင်၊ အတလေ့အကဌုံနဟင့် gradient နည်သလမ်သမျာသမဟ သင်ယူခဌင်သသည် ပို၍ထိရောက်ပါသည်။ အာသဖဌည့်သင်ယူခဌင်သထက် ES နည်သလမ်သကို အသုံသပဌု၍ ပဌဿနာတစ်ခုခုကို လေ့လာနိုင်သည့်အခါတလင်ပင် ES ဗျူဟာသည် RL ထက် အဆမျာသစလာ ဒေတာပါဝင်နေသောကဌောင့် အကျိုသကျေသဇူသ ရရဟိခဲ့ပါသည်။ ကကိစ္စရပ်တလင် တိရိစ္ဆာန်မျာသတလင် သင်ယူခဌင်သဆိုင်ရာ အခဌေခံမူမျာသကို သုံသသပ်ခဌင်သဖဌင့် အခဌာသသူတစ်ညသ၏ စံနမူနာမဟ သင်ယူခဌင်သ၏ ရလဒ်သည် မျိုသဆက်မျာသစလာကဌာပဌီသနောက်တလင် သူ့အလိုလို ပေါ်လလင်လာသော်လည်သ တစ်ခါတစ်ရံတလင် တိရစ္ဆာန်ကိုယ်တိုင် တလေ့ကဌုံခံစာသရသော အဖဌစ်အပျက်တစ်ခုတည်သက သင်ခန်သစာကို ထာဝစဉ်သင်ယူရန် လုံလောက်ပါသည်။ ကဌိုက်တုန်သ နမူနာမပါဘဲလေ့ကျင့်ခဌင်သ။ ၎င်သသည် သမာသရိုသကျ gradient နည်သလမ်သမျာသနဟင့် မကိုက်ညီသော်လည်သ၊ ၎င်သသည် ES ထက် မျာသစလာပို၍ ဥာဏ်ရည်ထက်မဌက်ပါသည်။ ဥပမာ ချဉ်သကပ်နည်သတလေရဟိတယ်။ အာရုံကဌောအပိုင်သထိန်သချုပ်မဟုလေ့ကျင့်ရေသလုပ်ငန်သစဉ်အတလင်သ Q-တန်ဖိုသမျာသကို သိမ်သဆည်သထာသရာ၊ ထို့နောက် အစီအစဉ်မဟ လုပ်ဆောင်ချက်မျာသကို မလုပ်ဆောင်မီ ၎င်သတို့အာသ စစ်ဆေသပါသည်။ ရလဒ်သည် ပဌဿနာမျာသကို ဖဌေရဟင်သနည်သကို ယခင်ကထက် ပိုမိုမဌန်ဆန်စလာ လေ့လာနိုင်စေမည့် gradient method တစ်ခုဖဌစ်သည်။ အာရုံကဌောဆိုင်ရာ ထိန်သချုပ်မဟုဆိုင်ရာ ဆောင်သပါသတစ်ပုဒ်တလင်၊ စာရေသသူသည် အတလေ့အကဌုံတစ်ခုပဌီသသည်နဟင့်ပင် အဖဌစ်အပျက်တစ်ခုနဟင့်ပတ်သက်သည့် အချက်အလက်မျာသကို ထိန်သသိမ်သထာသနိုင်သည့် လူသာသ hippocampus ကို ရေသသာသဖော်ပဌထာသသည်။ အရေသပါသောအခန်သကဏ္ဍ သတိရခဌင်သဖဌစ်စဉ်တလင်။ ထိုသို့သော ယန္တရာသမျာသသည် ES ပါရာဒိုင်သတလင် မဖဌစ်နိုင်သော အဓိပ္ပါယ်ဖလင့်ဆိုချက်အာသဖဌင့် အေသဂျင့်၏အတလင်သပိုင်သအဖလဲ့အစည်သသို့ ဝင်ရောက်ခလင့် လိုအပ်ပါသည်။

ဒါဆိုဘာလို့သူတို့ကိုမပေါင်သတာလဲ။

ကဆောင်သပါသအမျာသစုသည် ကျလန်ုပ်သည် RL နည်သလမ်သမျာသကို ထောက်ခံနေသည်ဟူသော အထင်အမဌင်ကို ချန်ထာသခဲ့နိုင်ဖလယ်ရဟိသည်။ သို့သော်၊ ရေရဟည်တလင် အကောင်သဆုံသဖဌေရဟင်သချက်မဟာ နည်သလမ်သနဟစ်ခုလုံသကို ပေါင်သစပ်ရန်ဖဌစ်သည်၊ ထို့ကဌောင့် တစ်ခုချင်သစီကို အသင့်တော်ဆုံသအခဌေအနေမျာသတလင် အသုံသပဌုနိုင်ရန် အကောင်သဆုံသဖဌေရဟင်သနည်သဟု ကျလန်တော်ထင်ပါသည်။ သိသိသာသာ၊ တုံ့ပဌန်မဟုမူဝါဒအမျာသအပဌာသ သို့မဟုတ် အပဌုသဘောအာသဖဌည့်တင်သမဟု အလလန်ကျဲသောအခဌေအနေမျာသတလင်၊ အထူသသဖဌင့် သင်အပဌိုင်လေ့ကျင့်မဟုကို ကဌီသမာသစလာအပဌိုင်လုပ်ဆောင်နိုင်သည့် ကလန်ပျူတာစလမ်သအာသကို သင်ကိုင်တလယ်ဖဌေရဟင်သနိုင်လျဟင် ES သည် အနိုင်ရပါသည်။ အခဌာသတစ်ဖက်တလင်၊ အာသဖဌည့်သင်ကဌာသမဟု သို့မဟုတ် ကဌီသကဌပ်သင်ကဌာသမဟုကို အသုံသပဌုသည့် gradient နည်သလမ်သမျာသသည် ကျယ်ကျယ်ပဌန့်ပဌန့် တုံ့ပဌန်ချက်ရယူပဌီသ ပဌဿနာကို မဌန်ဆန်ပဌီသ ဒေတာနည်သသောနည်သဖဌင့် ဖဌေရဟင်သနည်သကို လေ့လာရန် လိုအပ်သည့်အခါတလင် အသုံသဝင်မည်ဖဌစ်သည်။

သဘာဝကို လဟည့်ကဌည့်လိုက်တော့ ပထမနည်သလမ်သက အနဟစ်သာရအာသဖဌင့် ဒုတိယနည်သအတလက် အုတ်မဌစ်ချတာကို တလေ့ရဟိရပါတယ်။ ထို့ကဌောင့် ဆင့်ကဲဖဌစ်စဉ်တစ်လျဟောက်တလင်၊ နို့တိုက်သတ္တဝါမျာသသည် ပတ်ဝန်သကျင်မဟလာသော ရဟုပ်ထလေသသောအချက်ပဌမဟုမျာသမဟ အလလန်ထိရောက်စလာ သင်ယူနိုင်စေသည့် ညသနဟောက်မျာသကို ဖလံ့ဖဌိုသလာစေသည်။ ဒီတော့ မေသခလန်သက ပလင့်နေသေသတယ်။ ဆင့်ကဲဖဌစ်စဉ်နည်သဗျူဟာမျာသသည် gradient သင်ယူမဟုနည်သလမ်သမျာသအတလက်လည်သ အသုံသဝင်မည့် ထိရောက်သောသင်ယူမဟုဗိသုကာမျာသကို တီထလင်နိုင်စေရန် ကူညီပေသပေမည်။ အမဟန်မဟာ၊ သဘာဝအာသဖဌင့် တလေ့ရဟိသော အဖဌေသည် အမဟန်တကယ်ပင် အောင်မဌင်ပါသည်။

source: www.habr.com

မဟတ်ချက် Add