Hey Habr!
A ko pinnu nigbagbogbo lati fiweranṣẹ nibi awọn itumọ ti awọn ọrọ ti o jẹ ọmọ ọdun meji, laisi koodu ati ni gbangba ti iseda ti ẹkọ - ṣugbọn loni a yoo ṣe imukuro. A nireti pe atayanyan ti o wa ninu akọle nkan naa ṣe aibalẹ ọpọlọpọ awọn oluka wa, ati pe o ti ka iṣẹ ipilẹ tẹlẹ lori awọn ilana itiranya pẹlu eyiti ifiweranṣẹ yii jiyan ni atilẹba tabi yoo ka ni bayi. Kaabo si ologbo!
Ni Oṣu Kẹta ọdun 2017, OpenAI ṣe awọn igbi ni agbegbe ikẹkọ jinlẹ pẹlu iwe naa “.” Iṣẹ yii ṣapejuwe awọn abajade iwunilori ni ojurere ti otitọ pe ẹkọ imuduro (RL) ko ti di wedge, ati nigbati ikẹkọ awọn nẹtiwọọki iṣọn eka, o ni imọran lati gbiyanju awọn ọna miiran. Jomitoro kan lẹhinna jade nipa pataki ti ẹkọ imuduro ati bii o ṣe yẹ si ipo rẹ gẹgẹbi imọ-ẹrọ “gbọdọ-ni” fun ikọniyanju iṣoro. Nibi Mo fẹ lati sọ pe awọn imọ-ẹrọ meji wọnyi ko yẹ ki o gbero bi idije, ọkan ninu eyiti o han gbangba dara ju ekeji lọ; lori ilodi si, nwọn be iranlowo kọọkan miiran. Nitootọ, ti o ba ronu diẹ nipa ohun ti o nilo lati ṣẹda ati iru awọn ọna ṣiṣe, eyiti jakejado aye wọn yoo ni agbara lati kọ ẹkọ, idajọ ati igbero, lẹhinna a yoo fẹrẹ rii daju pe eyi tabi ojutu apapọ yoo nilo. Nipa ọna, o jẹ deede ojutu apapọ yii ti iseda wa si, eyiti o fun awọn ẹran-ọsin ati awọn ẹranko ti o ga julọ pẹlu oye ti o nipọn lakoko ilana itankalẹ.
Awọn ilana itiranya
Iwe akọọlẹ akọkọ ti iwe OpenAI ni pe, dipo lilo ẹkọ imuduro ni idapo pẹlu isọdọtun ti aṣa, wọn ṣe ikẹkọ ni aṣeyọri nẹtiwọọki nkankikan lati yanju awọn iṣoro idiju nipa lilo ohun ti wọn pe ni “ ete itiranya” (ES). Ọna ES yii ni mimu mimu pinpin kaakiri nẹtiwọọki ti awọn iwuwo, pẹlu awọn aṣoju pupọ ti n ṣiṣẹ ni afiwe ati lilo awọn aye ti a yan lati pinpin yii. Aṣoju kọọkan n ṣiṣẹ ni agbegbe tirẹ, ati lẹhin ipari nọmba pàtó kan ti awọn iṣẹlẹ tabi awọn ipele ti iṣẹlẹ kan, algoridimu pada ere akopọ kan, ti a fihan bi Dimegilio amọdaju. Gbigba iye yii sinu apamọ, pinpin awọn paramita le ṣee yipada si awọn aṣoju aṣeyọri diẹ sii, ti o dinku awọn aṣeyọri ti o kere si. Nipa tun iru iṣẹ bẹ ni awọn miliọnu awọn akoko pẹlu ikopa ti awọn ọgọọgọrun awọn aṣoju, o ṣee ṣe lati gbe pinpin awọn iwuwo si aaye kan ti yoo gba awọn aṣoju laaye lati ṣe agbekalẹ eto imulo ti o ga julọ fun ipinnu iṣẹ-ṣiṣe ti a yàn si wọn. Nitootọ, awọn abajade ti a gbekalẹ ninu nkan naa jẹ iwunilori: o fihan pe ti o ba ṣiṣẹ awọn aṣoju ẹgbẹrun ni afiwe, lẹhinna locomotion anthropomorphic lori awọn ẹsẹ meji le kọ ẹkọ ni o kere ju idaji wakati kan (lakoko ti awọn ọna RL ti ilọsiwaju julọ nilo lilo diẹ sii. ju wakati kan lọ lori eyi). Fun alaye diẹ sii, Mo ṣeduro kika ti o dara julọ lati awọn onkọwe ti awọn ṣàdánwò, bi daradara bi .
Awọn ọgbọn oriṣiriṣi fun kikọ ẹkọ anthropomorphic ti o tọ, ṣe iwadi ni lilo ọna ES lati OpenAI.
Apoti dudu
Anfani nla ti ọna yii ni pe o le ni irọrun ni afiwe. Lakoko ti awọn ọna RL, bii A3C, nilo alaye lati paarọ laarin awọn okun oṣiṣẹ ati olupin paramita kan, ES nilo awọn iṣiro amọdaju nikan ati alaye pinpin paramita gbogbogbo. O jẹ nitori ayedero yii pe ọna yii wa niwaju awọn ọna RL ode oni ni awọn ofin ti awọn agbara iwọn. Sibẹsibẹ, gbogbo eyi ko wa ni asan: o ni lati mu nẹtiwọki pọ si ni ibamu si ipilẹ apoti dudu. Ni ọran yii, “apoti dudu” tumọ si pe lakoko ikẹkọ eto inu ti nẹtiwọọki jẹ aibikita patapata, ati pe abajade gbogbogbo nikan (ẹsan fun iṣẹlẹ) ni a lo, ati pe o da lori boya awọn iwuwo ti nẹtiwọọki kan yoo jẹ jogun nipasẹ awọn iran ti o tẹle. Ni awọn ipo nibiti a ko ti gba esi pupọ lati agbegbe — ati ninu ọpọlọpọ awọn iṣoro RL ibile sisan ti awọn ere jẹ fọnka - iṣoro naa n lọ lati jijẹ “apoti dudu apakan” si “apoti dudu patapata.” Ni ọran yii, o le ṣe alekun iṣelọpọ pọ si, nitorinaa, nitorinaa, iru adehun jẹ idalare. “Ta ni o nilo awọn gradients ti wọn ba pariwo laini ireti lọnakọna?” - Eyi ni ero gbogbogbo.
Sibẹsibẹ, ni awọn ipo nibiti awọn esi ti n ṣiṣẹ diẹ sii, awọn nkan bẹrẹ lati lọ si aṣiṣe fun ES. Ẹgbẹ OpenAI ṣapejuwe bii nẹtiwọọki isọdi MNIST ti o rọrun kan ti ṣe ikẹkọ nipa lilo ES, ati ni akoko yii ikẹkọ jẹ awọn akoko 1000 losokepupo. Otitọ ni pe ifihan agbara gradient ni isọdi aworan jẹ alaye pupọ julọ nipa bi o ṣe le kọ awọn nẹtiwọọki ipinya to dara julọ. Nitorinaa, iṣoro naa kere si pẹlu ilana RL ati diẹ sii pẹlu awọn ere fọnka ni awọn agbegbe ti o ṣe agbejade awọn gradients alariwo.
Iseda ojutu
Ti a ba gbiyanju lati kọ ẹkọ lati apẹẹrẹ ti iseda, ni ero nipa awọn ọna lati ṣe idagbasoke AI, lẹhinna ni awọn igba miiran AI le ni ero bi . Lẹhinna, iseda n ṣiṣẹ laarin awọn ihamọ ti awọn onimọ-jinlẹ kọnputa ko ni lasan. Ero kan wa pe ọna imọ-jinlẹ nikan lati yanju iṣoro kan pato le pese awọn ojutu ti o munadoko diẹ sii ju awọn omiiran ti agbara. Sibẹsibẹ, Mo tun ro pe yoo jẹ anfani lati ṣe idanwo bii eto ti o ni agbara ti n ṣiṣẹ labẹ awọn idiwọ kan (Ilẹ-aye) ti ṣe ipilẹṣẹ awọn aṣoju (awọn ẹranko, paapaa awọn ẹranko) ti o ni irọrun ati ihuwasi eka. Lakoko ti diẹ ninu awọn inira wọnyi ko lo ni awọn agbaye imọ-jinlẹ data ti afọwọṣe, awọn miiran dara dara.
Lẹhin ti ṣe ayẹwo ihuwasi ọgbọn ti awọn ẹran-ọsin, a rii pe o ti ṣẹda bi abajade ti ipa ipapọpọpọpọ ti awọn ilana ibaraenisepo meji: eko lati elomiran iriri и ẹkọ nipa ṣiṣe. Awọn tele ni igbagbogbo dọgba pẹlu itankalẹ ti o wa nipasẹ yiyan adayeba, ṣugbọn nibi Mo lo ọrọ ti o gbooro lati ṣe akiyesi epigenetics, microbiomes, ati awọn ọna ṣiṣe miiran ti o jẹ ki pinpin awọn iriri laarin awọn ohun alumọni ti ko ni ibatan nipa jiini. Ilana keji, ikẹkọ lati iriri, jẹ gbogbo alaye ti ẹranko ṣakoso lati kọ ẹkọ ni gbogbo igbesi aye rẹ, ati pe alaye yii jẹ ipinnu taara nipasẹ ibaraenisepo ti ẹranko yii pẹlu agbaye ita. Ẹka yii pẹlu ohun gbogbo lati kikọ ẹkọ lati ṣe idanimọ awọn nkan si ṣiṣakoso ibaraẹnisọrọ ti o wa ninu ilana ikẹkọ.
Ni aijọju, awọn ilana meji wọnyi ti o waye ni iseda ni a le ṣe afiwe pẹlu awọn aṣayan meji fun iṣapeye awọn nẹtiwọọki nkankikan. Awọn ilana itiranya, nibiti a ti lo alaye nipa awọn gradients lati ṣe imudojuiwọn alaye nipa ara-ara, wa nitosi ikẹkọ lati iriri awọn miiran. Bakanna, awọn ọna gradient, nibiti gbigba ọkan tabi iriri miiran yorisi ọkan tabi iyipada miiran ninu ihuwasi aṣoju, jẹ afiwera si kikọ ẹkọ lati iriri tirẹ. Ti a ba ronu nipa awọn iru ihuwasi ti oye tabi awọn agbara ti ọkọọkan awọn ọna meji wọnyi ndagba ninu awọn ẹranko, lafiwe yoo di alaye diẹ sii. Ni awọn ọran mejeeji, “awọn ọna itiranya” ṣe agbega ikẹkọ ti awọn ihuwasi ifaseyin ti o gba eniyan laaye lati ṣe agbekalẹ amọdaju kan (to lati wa laaye). Kọ ẹkọ lati rin tabi sa fun igbekun jẹ ni ọpọlọpọ igba deede si awọn ihuwasi “iwadi” diẹ sii ti o jẹ “lile-firanṣẹ” ni ọpọlọpọ awọn ẹranko ni ipele jiini. Ni afikun, apẹẹrẹ yii jẹri pe awọn ọna itiranya jẹ iwulo ni awọn ọran nibiti ami ifihan ere jẹ toje pupọ (fun apẹẹrẹ, otitọ ti igbega ọmọ ti aṣeyọri). Ni iru ọran bẹ, ko ṣee ṣe lati ṣe atunṣe ere naa pẹlu eyikeyi eto iṣe kan pato ti o le ti ṣe ni ọpọlọpọ ọdun ṣaaju iṣẹlẹ ti otitọ yii. Ni apa keji, ti a ba gbero ọran kan ninu eyiti ES kuna, eyun ipin aworan aworan, awọn abajade jẹ afiwera ti iyalẹnu si awọn abajade ti ẹkọ ẹranko ti o waye ni awọn adanwo ihuwasi ainiye ti a ṣe ni awọn ọdun 100-plus.
Eko lati Eranko
Awọn ọna ti a lo ninu ẹkọ imuduro ni ọpọlọpọ awọn ọran ti a mu taara lati awọn iwe-ẹkọ imọ-jinlẹ lori , ati operant karabosipo ti a iwadi nipa lilo eranko oroinuokan. Nipa ọna, Richard Sutton, ọkan ninu awọn oludasilẹ meji ti ẹkọ imuduro, ni alefa bachelor ni imọ-ọkan. Ni agbegbe ti imudara ẹrọ, awọn ẹranko kọ ẹkọ lati ṣepọ ere tabi ijiya pẹlu awọn ilana ihuwasi kan pato. Awọn olukọni ati awọn oniwadi le ṣe afọwọyi ẹgbẹ ẹsan yii ni ọna kan tabi omiiran, ti nfa awọn ẹranko lati ṣafihan oye tabi awọn ihuwasi kan. Bibẹẹkọ, iṣiṣẹ amuṣiṣẹ, bi a ti lo ninu iwadii ẹranko, kii ṣe nkan diẹ sii ju fọọmu ti o sọ diẹ sii ti imudara kanna lori ipilẹ eyiti awọn ẹranko kọ ẹkọ jakejado igbesi aye wọn. A n gba awọn ifihan agbara nigbagbogbo ti imuduro rere lati agbegbe ati ṣatunṣe ihuwasi wa ni ibamu. Ni otitọ, ọpọlọpọ awọn onimọ-jinlẹ ati awọn onimọ-jinlẹ oye gbagbọ pe eniyan ati awọn ẹranko miiran n ṣiṣẹ ni ipele giga paapaa ati nigbagbogbo kọ ẹkọ lati ṣe asọtẹlẹ abajade ihuwasi wọn ni awọn ipo iwaju ti o da lori awọn ere ti o pọju.
Iṣe agbedemeji ti asọtẹlẹ ni kikọ lati iriri ṣe iyipada awọn agbara ti a ṣalaye loke ni awọn ọna pataki. Awọn ifihan agbara ti a ti ro tẹlẹ pupọ fọnka (ẹsan episodic) wa ni ipon pupọ. Ni imọ-jinlẹ, ipo naa jẹ nkan bii eyi: ni eyikeyi akoko ti a fun, ọpọlọ ẹran-ọsin n ṣe iṣiro awọn abajade ti o da lori ṣiṣan ti o nipọn ti awọn iwuri ifarako ati awọn iṣe, lakoko ti ẹranko naa jẹ ibọmi ni irọrun ni ṣiṣan yii. Ni ọran yii, ihuwasi ikẹhin ti ẹranko funni ni ifihan agbara ti o lagbara ti o gbọdọ lo lati ṣe itọsọna atunṣe ti awọn asọtẹlẹ ati idagbasoke ihuwasi. Ọpọlọ nlo gbogbo awọn ifihan agbara wọnyi lati le mu awọn asọtẹlẹ dara si (ati, ni ibamu, didara awọn iṣe ti a ṣe) ni ọjọ iwaju. Akopọ ti ọna yii ni a fun ni iwe ti o dara julọ ""Onimo ijinle sayensi imo ati philosopher Andy Clark. Ti a ba ṣe afikun iru ero bẹ si ikẹkọ ti awọn aṣoju atọwọda, lẹhinna abawọn ipilẹ kan ninu ẹkọ imuduro ti han: ifihan agbara ti a lo ninu paragile yii jẹ alailagbara ainireti ni akawe si ohun ti o le jẹ (tabi yẹ ki o jẹ). Ni awọn ọran nibiti ko ṣee ṣe lati mu iwọn ifihan agbara pọ si (boya nitori pe o jẹ alailagbara tabi ni nkan ṣe pẹlu ifaseyin ipele kekere), o ṣee ṣe dara julọ lati fẹ ọna ikẹkọ ti o ni afiwe daradara, fun apẹẹrẹ, ES.
Ikẹkọ ọlọrọ ti awọn nẹtiwọọki nkankikan
Ilé lori awọn ilana ti iṣẹ ṣiṣe ti iṣan ti o ga julọ ti o wa ninu ọpọlọ mammalian, eyiti o nšišẹ nigbagbogbo ṣiṣe awọn asọtẹlẹ, awọn ilọsiwaju aipẹ ti ṣe ni ikẹkọ imuduro, eyiti o ṣe akiyesi pataki iru awọn asọtẹlẹ bẹẹ. Mo le ṣeduro lẹsẹkẹsẹ awọn iṣẹ iru meji si ọ:
Ninu awọn iwe mejeeji wọnyi, awọn onkọwe ṣe afikun eto imulo aiyipada aṣoju ti awọn nẹtiwọọki nkankikan wọn pẹlu awọn abajade asọtẹlẹ nipa ipo agbegbe ni ọjọ iwaju. Ninu nkan akọkọ, asọtẹlẹ ni a lo si ọpọlọpọ awọn oniyipada wiwọn, ati ni keji, asọtẹlẹ jẹ lilo si awọn ayipada ninu agbegbe ati ihuwasi ti aṣoju bii iru. Ni awọn ọran mejeeji, ami ifihan fọnka ti o ni nkan ṣe pẹlu imudara rere di pupọ ati alaye diẹ sii, gbigba fun ikẹkọ iyara mejeeji ati gbigba awọn ihuwasi eka diẹ sii. Iru awọn ilọsiwaju bẹ wa pẹlu awọn ọna ti o lo ifihan agbara gradient, kii ṣe pẹlu awọn ọna ti o ṣiṣẹ lori ipilẹ “apoti dudu”, gẹgẹbi ES.
Ni afikun, ikẹkọ lati iriri ati awọn ọna gradient jẹ imunadoko diẹ sii. Paapaa ni awọn ọran nibiti o ti ṣee ṣe lati ṣe iwadi iṣoro kan pato nipa lilo ọna ES yiyara ju lilo ikẹkọ imuduro, ere naa ni aṣeyọri nitori otitọ pe ilana ES kan ni ọpọlọpọ igba diẹ sii data ju pẹlu RL. Ti o ṣe afihan ninu ọran yii lori awọn ilana ti ẹkọ ninu awọn ẹranko, a ṣe akiyesi pe abajade ti ẹkọ lati apẹẹrẹ ẹlomiran ṣe afihan ararẹ lẹhin ọpọlọpọ awọn iran, nigba ti nigbamiran iṣẹlẹ kan ti o ni iriri funrararẹ jẹ to fun ẹranko lati kọ ẹkọ naa lailai. Lakoko ti o fẹran Lakoko ti o ko ni ibamu si awọn ọna itọsi aṣa, o jẹ oye pupọ diẹ sii ju ES. Nibẹ ni o wa, fun apẹẹrẹ, awọn ọna bii , nibiti a ti fipamọ awọn iye-Q lakoko ikẹkọ, lẹhinna eto naa ṣayẹwo wọn ṣaaju ṣiṣe awọn iṣe. Abajade jẹ ọna gradient ti o fun ọ laaye lati kọ ẹkọ bi o ṣe le yanju awọn iṣoro ni iyara ju ti iṣaaju lọ. Ninu nkan kan lori iṣakoso episodic neural, awọn onkọwe mẹnuba hippocampus eniyan, eyiti o lagbara lati ṣe idaduro alaye nipa iṣẹlẹ paapaa lẹhin iriri kan ati, nitorinaa, ṣere ninu ilana ti iranti. Iru awọn ọna ṣiṣe nilo iraye si eto inu ti oluranlowo, eyiti o tun jẹ, nipasẹ asọye, ko ṣee ṣe ni paragi ES.
Nitorina, kilode ti o ko darapọ wọn?
O ṣeese pe pupọ ninu nkan yii le fi sami pe Mo n ṣeduro awọn ọna RL. Sibẹsibẹ, Mo ro pe ni igba pipẹ ojutu ti o dara julọ ni lati darapo awọn ọna mejeeji, ki a lo ọkọọkan ni awọn ipo ti o dara julọ. O han ni, ninu ọran ti ọpọlọpọ awọn eto imulo ifaseyin tabi ni awọn ipo pẹlu awọn ifihan agbara ṣoki pupọ ti imuduro rere, ES bori, ni pataki ti o ba ni agbara iširo ni isọnu rẹ lori eyiti o le ṣiṣe ikẹkọ ni afiwe pupọ. Ni ọwọ keji, awọn ọna mimuuwọn nipa lilo ẹkọ imuduro tabi ikẹkọ abojuto yoo wulo nigba ti a ni iwọle si awọn esi lọpọlọpọ ati nilo lati kọ bii o ṣe le yanju iṣoro kan ni iyara ati pẹlu data ti o dinku.
Titan si iseda, a rii pe ọna akọkọ, ni pataki, gbe ipilẹ fun keji. Eyi ni idi ti, ni akoko itankalẹ, awọn osin ti ni idagbasoke awọn opolo ti o gba wọn laaye lati kọ ẹkọ ni imunadoko lati awọn ifihan agbara eka ti o nbọ lati agbegbe. Nitorinaa, ibeere naa wa ni sisi. Boya awọn ilana itankalẹ yoo ṣe iranlọwọ fun wa lati ṣẹda awọn ile-ẹkọ ẹkọ ti o munadoko ti yoo tun wulo fun awọn ọna ikẹkọ gradient. Lẹhinna, ojutu ti a rii nipasẹ ẹda jẹ aṣeyọri pupọ nitootọ.
orisun: www.habr.com