Hei Habr!
Hatiwanzo sarudza kutumira pano shanduro dzemagwaro anga aine makore maviri ekuberekwa, asina kodhi uye zvakajeka zvemhando yezvidzidzo - asi nhasi tichasiya. Tinovimba kuti dambudziko rakaunzwa mumusoro wechinyorwa rinonetsa vazhinji vevaverengi vedu, uye iwe wakatoverenga basa rakakosha pamazano ekushanduka-shanduka anopokana nawo positi iyi mukutanga kana kuti uchaiverenga izvozvi. Kugamuchirwa kukati!
Muna Kurume 2017, OpenAI yakaita mafungu munharaunda yekudzidza yakadzika nebepa "" Iri basa rakatsanangura zvinokatyamadza mhedzisiro yekufarira iyo yekusimbisa kudzidza (RL) haina kuita wedge, uye kana uchidzidzisa yakaoma neural network, zvinokurudzirwa kuedza dzimwe nzira. Gakava rakazomuka maererano nekukosha kwekusimbisa kudzidza uye kuti yakakodzera sei chimiro chayo se "inofanira-kuve" tekinoroji yekudzidzisa kugadzirisa matambudziko. Pano ndinoda kutaura kuti matekinoroji maviri aya haafanire kutorwa seanokwikwidza, imwe yacho iri nani zviri nani pane imwe; pane kudaro, pakupedzisira vanozadzisana. Chokwadi, kana iwe uchifunga zvishoma nezve izvo zvinotora kugadzira uye masisitimu akadaro, ayo mukuvapo kwavo kwese kwaizokwanisa kudzidza, kutonga uye kuronga, ipapo isu tichasvika pachokwadi kusvika pakugumisa kuti ichi kana icho chakasanganiswa mhinduro ichadikanwa. Nenzira, ndiyo chaiyo mhinduro yakasanganiswa iyo zvisikwa zvakauya, izvo zvakapa mhuka dzinoyamwisa nedzimwe mhuka dzepamusoro nehuchenjeri hwakaoma munguva yekushanduka-shanduka.
Evolutionary Strategies
Mhedziso huru yebepa reOpenAI yaive yekuti, pachinzvimbo chekushandisa kusimbisa kudzidza kwakasanganiswa neyechinyakare backpropagation, vakabudirira kudzidzisa neural network kugadzirisa matambudziko akaomarara vachishandisa yavanodaidza kuti "evolutionary strategy" (ES). Iyi nzira yeES inosanganisira kuchengetedza network-yakafara kugovera huremu, inosanganisira akawanda maajenti anoshanda mukufanana uye kushandisa maparameter akasarudzwa kubva mukugovera uku. Mumiririri wega wega anoshanda munzvimbo yake, uye pakupera kwenhamba yakatarwa yezvikamu kana nhanho dzechikamu, iyo algorithm inodzosa mubairo wekuwedzera, unoratidzwa sechiratidzo chekusimba. Tichifunga nezve kukosha uku, kugoverwa kweparameter kunogona kuchinjirwa kune vanobudirira vamiririri, vachinyima vashoma vanobudirira. Nokudzokorora kushanda kwakadaro mamiriyoni enguva nekubatanidzwa kwemazana evamiririri, zvinokwanisika kufambisa kugoverwa kwezviyero kune imwe nzvimbo inobvumira vamiririri kuti vagadzire mutemo wepamusoro wekugadzirisa basa ravakapiwa. Chokwadi, mhedzisiro yakapihwa muchinyorwa inoshamisa: zvinoratidzwa kuti kana iwe uchimhanyisa churu chevamiririri vakafanana, ipapo anthropomorphic locomotion pamakumbo maviri inogona kudzidzwa isingasviki hafu yeawa (apo kunyangwe nzira dzepamusoro dzeRL dzinoda kushandisa yakawanda. kupfuura awa imwe chete pane izvi). Kuti uwane rumwe ruzivo rwakadzama, ndinokurudzira kuverenga zvakanakisa kubva kuvanyori vekuedza, uyewo .
Nzira dzakasiyana dzekudzidzisa anthropomorphic kufamba kwakatwasuka, kudzidzwa uchishandisa nzira yeES kubva kuOpenAI.
Black box
Kubatsira kukuru kweiyi nzira ndeyokuti inogona kuenzaniswa nyore nyore. Nepo nzira dzeRL, dzakaita seA3C, dzichida kuti ruzivo ruchichinjane pakati peshinda dzevashandi neparamita sevha, ES inongoda fungidziro yekusimba uye ruzivo rwekugovera paramita. Imhaka yekureruka uku kuti nzira iyi iri kumberi kwemaitiro emazuva ano eRL maererano nekuyera kugona. Nekudaro, zvese izvi hazviuye pasina: iwe unofanirwa kukwidziridza network zvinoenderana neiyo dema bhokisi musimboti. Muchiitiko ichi, "bhokisi dema" rinoreva kuti panguva yekudzidzira chimiro chemukati chetiweki chinoregeredzwa zvachose, uye chete mhedzisiro (mubairo wechikamu) ndiyo inoshandiswa, uye zvinoenderana nazvo kana zviremu zveimwe network zvichave. kugarwa nhaka nezvizvarwa zvinotevera. Mumamiriro ezvinhu apo isu tisingagamuchire mhinduro yakawanda kubva kune zvakatipoteredza-uye mumatambudziko akawanda echinyakare RL kuyerera kwemubairo kushoma kwazvo-dambudziko rinobva pakuva "chikamu chebhokisi dema" kuenda ku "bhokisi dema rakazara." Muchiitiko ichi, iwe unogona kuwedzera zvakanyanya kubereka, saka, hongu, kubvumirana kwakadaro kwakarurama. "Ndiani anoda ma gradients kana aine ruzha rusina tariro zvakadaro?" - iyi ndiyo pfungwa huru.
Zvisinei, mumamiriro ezvinhu apo mhinduro inonyanya kushanda, zvinhu zvinotanga kuipa kune ES. Chikwata cheOpenAI chinotsanangura nzira yakapfava yeMNIST classification network yakadzidziswa kushandisa ES, uye panguva ino kudzidziswa kwaive kunonoka ka1000. Icho chokwadi ndechekuti iyo gradient chiratidzo muchikamu chemufananidzo inodzidzisa zvakanyanya nezve nzira yekudzidzisa network zvirinani kurongedza. Nekudaro, dambudziko rakaderera neiyo RL tekinoroji uye yakawanda ine mibairo mishoma munzvimbo dzinoburitsa mhere mhere.
Mhinduro yezvisikwa
Kana tikaedza kudzidza kubva kumuenzaniso wezvakasikwa, tichifunga nezve nzira dzekuvandudza AI, saka mune dzimwe nguva AI inogona kufungidzirwa se . Mushure mezvose, zvisikwa zvinoshanda mukati mezvipingamupinyi izvo masayendisiti ekombuta asina. Pane fungidziro yekuti nzira yedzidziso yekugadzirisa rimwe dambudziko inogona kupa mhinduro dzinoshanda pane dzimwe nzira dzakasimba. Nekudaro, ini ndichiri kufunga kuti zvingave zvakakosha kuti ndiedze kuti sisitimu ine simba inoshanda sei pasi pezvimwe zvipingaidzo (Pasi) yakagadzira vamiririri (mhuka, kunyanya mhuka dzinoyamwisa) dzinokwanisa kushanduka uye hunhu hwakaoma. Nepo zvimwe zvezvipingaidzo izvi zvisingashande mune yakateedzerwa data sainzi nyika, zvimwe zvakangonaka.
Mushure mekuongorora maitiro ehungwaru emhuka dzinoyamwisa, tinoona kuti inoumbwa semhedzisiro yekunetsana kwakaomarara kwemaitiro maviri akanyatso dyidzana: kudzidza kubva pane zvakaitika kune vamwe ΠΈ kudzidza nekuita. Iyo yekutanga inowanzofananidzwa nekushanduka-shanduka kunotungamirirwa nekusarudzwa kwechisikigo, asi pano ndinoshandisa izwi rakawanda kuti nditarise epigenetics, microbiomes, uye dzimwe nzira dzinogonesa kugovana kwezviitiko pakati pezvipenyu zvisina hukama. Nzira yechipiri, kudzidza kubva pane zvakaitika, ndiyo yose ruzivo iyo mhuka inokwanisa kudzidza muupenyu hwayo hwose, uye ruzivo urwu runotsanangurwa zvakananga nekubatana kwemhuka iyi nenyika yekunze. Ichi chikamu chinosanganisira zvese kubva pakudzidza kuziva zvinhu kusvika kugona kutaurirana kuripo mukuita kudzidza.
Zvichireva kutaura, aya maviri maitiro anoitika muzvisikwa anogona kuenzaniswa nesarudzo mbiri dzekugadzirisa neural network. Evolutionary marongero, uko ruzivo nezve gradients rinoshandiswa kugadzirisa ruzivo nezve chipenyu, huya pedyo nekudzidza kubva pane zvakaitika kune vamwe. Saizvozvowo, nzira dze gradient, uko kuwana chimwe kana chimwe chiitiko kunotungamira kune imwe kana imwe shanduko mumafambiro emumiririri, inofananidzwa nekudzidza kubva kune yako ruzivo. Kana tikafunga nezvemhando dzehungwaru maitiro kana kugona izvo imwe neimwe yeiyi nzira mbiri inokura mumhuka, kuenzanisa kunowedzera kujeka. Muzviitiko zvose zviri zviviri, "mitoo yemhindumupindu" inosimudzira chidzidzo chemaitiro akasimba anobvumira munhu kukudziridza humwe hutano (hwakakwana kuti urambe uri mupenyu). Kudzidzira kufamba kana kutiza kubva muusungwa mune dzakawanda zviitiko zvakaenzana neakawanda "yemusikirwo" maitiro ayo ari "akaoma-waya" mumhuka dzakawanda padanho remajini. Mukuwedzera, uyu muenzaniso unosimbisa kuti nzira dzekushanduka-shanduka dzinoshanda mumamiriro ezvinhu apo chiratidzo chemubairo hachiwanzoitiki (semuenzaniso, chokwadi chekubudirira kurera mwana). Muchiitiko chakadaro, hazvibviri kuwiriranisa mubairo nechero chaiyo seti yezviito zvingave zvakaitwa makore mazhinji kusati kwaitika chokwadi ichi. Kune rumwe rutivi, kana tikafunga nyaya iyo ES inokundikana, kureva kuiswa kwechifananidzo, migumisiro yacho inofananidzwa zvinoshamisa nemigumisiro yekudzidza kwemhuka inowanikwa mukuedza kusingaverengeki kwemaitiro epfungwa kwakaitwa pamusoro pe100-pamwe nemakore.
Kudzidza kubva kuMhuka
Nzira dzinoshandiswa mukusimbisa kudzidza dziri muzviitiko zvakawanda dzinotorwa zvakananga kubva kumabhuku epfungwa pa , uye oparenti conditioning yakadzidzwa pachishandiswa mhuka psychology. Nenzira, Richard Sutton, mumwe wevaviri vakatanga kudzidza kwekusimbisa, ane dhigirii reBachelor mune psychology. Muchirevo chekushanda kwekugadzirisa, mhuka dzinodzidza kubatanidza mubairo kana chirango nemaitiro chaiwo ekuita. Vadzidzisi nevatsvakurudzi vanogona kushandisa iyi mubairo wekubatana neimwe nzira kana imwe nzira, vachikurudzira mhuka kuratidza hungwaru kana mamwe maitiro. Zvisinei, operanting conditioning, sezvinoshandiswa mukutsvakurudza kwemhuka, haisi chimwe chinhu kunze kwechimiro chakajeka chechimiro chimwe chete pahwaro hwekuti mhuka dzinodzidza muupenyu hwavo hwose. Isu tinogara tichigamuchira zviratidzo zvekusimbiswa kwakanaka kubva kune zvakatipoteredza uye kugadzirisa maitiro edu zvakakodzera. Muchokwadi, vazhinji vezvesainzi uye masayendisiti ekuziva vanotenda kuti vanhu nedzimwe mhuka vanonyatsoshanda padanho repamusoro uye vanoramba vachidzidza kufanotaura mhedzisiro yemaitiro avo mune ramangwana mamiriro zvichienderana nemubairo unogona.
Basa guru rekufanotaura mukudzidza kubva pane zvakaitika rinoshandura masimba anotsanangurwa pamusoro apa nenzira dzakakosha. Chiratidzo icho chaimboonekwa sechishoma (episodic mubayiro) chinoshanduka kuve chakaonda kwazvo. Nechepfungwa, mamiriro acho akaita seizvi: chero nguva, uropi hwemhuka inoyamwisa huri kuverenga mhedzisiro zvichienderana nerukova rwakaoma rwekunzwa uye zviito, nepo mhuka ichingonyudzwa murukova urwu. Muchiitiko ichi, mufambiro wekupedzisira wemhuka unopa chiratidzo chakasimba chinofanira kushandiswa kutungamirira kugadziriswa kwemafanotaura uye kukura kwemaitiro. Uropi hunoshandisa ese aya masaini kuitira kuti akwanise kufembera (uye, maererano, kunaka kwezviito zvakatorwa) mune ramangwana. Mhedziso yeiyi nzira inopiwa mubhuku rakanakisa "β musayendisiti anonzwisisa uye muzivi Andy Clark. Kana tikawedzera kufunga kwakadaro kune kudzidziswa kwevashandi vekugadzira, ipapo kukanganisa kwakakosha mukusimbisa kudzidza kunoburitswa: chiratidzo chinoshandiswa muparadigm iyi haina tariro isina simba kana ichienzaniswa nezvachingave (kana chinofanira kuva). Mumamiriro ezvinhu apo zvisingakwanisi kuwedzera kuzara kwechiratidzo (zvichida nokuti inenge isina simba kana kuti yakabatana ne-low-level reactivity), zvichida zviri nani kusarudza nzira yekudzidzisa yakanyatsofananidzwa, somuenzaniso, ES.
Yakapfuma kudzidziswa kweneural network
Kuvaka pamusoro penheyo dzepamusoro neural chiitiko chinowanikwa muuropi hwemammalian, iyo inogara yakabatikana kuita fungidziro, kufambira mberi kwazvino kwakaitwa mukusimbisa kudzidza, izvo zvino zvinotora kukosha kwekufembera kwakadaro. Ini ndinogona kukurudzira nekukurumidza mabasa maviri akafanana kwauri:
Mune ese ari maviri mapepa aya, vanyori vanowedzera iyo yakajairwa default mutemo yavo neural network nekufanotaura nezvemamiriro ezvakatipoteredza mune ramangwana. Muchinyorwa chekutanga, kufanotaura kunoshandiswa kune zvakasiyana-siyana zvekuyerwa, uye mune yechipiri, kufanotaura kunoshandiswa kune shanduko yemamiriro ekunze uye maitiro emumiririri akadaro. Muzviitiko zvese izvi, iyo sparse chiratidzo chakabatana nekusimbisa kwakanaka inova yakapfuma uye inodzidzisa zvakanyanya, ichibvumira kukurumidza kudzidza uye kuwanikwa kwemaitiro akaomarara. Kuvandudzwa kwakadaro kunongowanikwa nenzira dzinoshandisa chiratidzo chegradient, uye kwete nenzira dzinoshanda pa "black box" nheyo, yakadai seES.
Uye zvakare, kudzidza kubva kune ruzivo uye gradient nzira dzinonyanya kushanda. Kunyange mumamiriro ezvinhu apo zvaive zvichibvira kudzidza imwe dambudziko uchishandisa nzira yeES nokukurumidza kupfuura kushandisa kusimbisa kudzidza, pfuma yakawanikwa nekuda kwekuti ES strategy yakabatanidza kakawanda data kupfuura neRL. Tichifunga munyaya iyi pamusoro pemitemo yekudzidza mumhuka, tinocherechedza kuti mugumisiro wekudzidza kubva kune mumwe munhu muenzaniso unozviratidza mushure mezvizvarwa zvakawanda, nepo dzimwe nguva chiitiko chimwe chete chakaitika pachacho chakakwana kuti mhuka idzidze chidzidzo zvachose. Kunyange zvakadaro Kunyange isinganyatso kuenderana nemaitiro echinyakare gradient, inonzwisisika zvakanyanya kupfuura ES. Kune, semuenzaniso, maitiro akadai , uko Q-tsika dzinochengetwa panguva yekudzidzira, mushure mezvo chirongwa chinovatarisa vasati vatora zviito. Mhedzisiro inzira yegradient inobvumidza iwe kuti udzidze kugadzirisa matambudziko nekukurumidza kupfuura kare. Mune chinyorwa cheneural episodic control, vanyori vanotaura nezve hippocampus yemunhu, iyo inokwanisa kuchengetedza ruzivo nezve chiitiko kunyangwe mushure mechiitiko chimwe chete uye, nekudaro, inotamba. mukurangarira. Nzira dzakadaro dzinoda kupinda kune sangano remukati remumiririri, iro zvakare, netsanangudzo, hazvibviri muES paradigm.
Saka, wadii kuzvibatanidza?
Zvingangodaro kuti yakawanda yechinyorwa ichi inogona kusiya fungidziro yekuti ndiri kutsigira RL nzira. Zvisinei, ini chaizvoizvo ndinofunga kuti munguva refu mhinduro yakanakisisa ndeyokubatanidza nzira mbiri, kuitira kuti imwe neimwe ishandiswe mumamiriro ezvinhu ayo anonyatsokodzera. Zviripachena, kana iri yeakawanda reactive marongero kana mumamiriro ezvinhu ane mashoma masaini ekusimbisa kwakanaka, iyo ES inohwina, kunyanya kana uine simba rekombuta raunaro raunogona kumhanyisa kudzidziswa kwakafanana. Nekune rimwe divi, nzira dze gradient tichishandisa kudzidzira kwekusimbisa kana kudzidza kwakatariswa kuchabatsira kana tave neruzivo rwakadzama uye tichida kudzidza kugadzirisa dambudziko nekukurumidza uye nedata shoma.
Kutendeukira kune zvakasikwa, tinoona kuti nzira yekutanga, muchidimbu, inoisa hwaro hwechipiri. Ichi ndicho chikonzero, mukufamba kwekushanduka-shanduka, mhuka dzinoyamwisa dzakagadzira huropi hunovabvumira kudzidza zvinobudirira kubva kumasaini akaoma kunzwisisa anobva kunharaunda. Saka, mubvunzo unoramba wakavhurika. Zvichida nzira dzekushanduka-shanduka dzichatibatsira kugadzira zvivakwa zvekudzidzira zvinozobatsirawo panzira dzekudzidza dzakapfava. Pashure pokurangarira zvose, mhinduro inowanikwa nomusikirwo zvirokwazvo inobudirira zvikuru.
Source: www.habr.com