Hey Habr!
Matetika izahay no tsy manapa-kevitra ny hametraka eto ny dikantenin'ny lahatsoratra efa roa taona, tsy misy fehezan-dalàna ary mazava ho azy fa manana toetra akademika - fa anio dia hanao fanavahana izahay. Manantena izahay fa ny olana apetraka amin'ny lohatenin'ny lahatsoratra dia mampanahy ny maro amin'ireo mpamaky anay, ary efa namaky ny asa fototra momba ny paikadin'ny evolisiona izay iadian'ity lahatsoratra ity amin'ny tany am-boalohany ianao na hamaky azy izao. Tongasoa eto amin'ny saka!
Tamin'ny volana martsa 2017, nanao onja tao amin'ny vondrom-piarahamonina fianarana lalina ny OpenAI tamin'ny taratasy “" Ity asa ity dia nanoritsoritra vokatra mahavariana ho an'ny tsy fisian'ny fianarana fanamafisana (RL), ary rehefa manofana tambajotra neural sarotra, dia tsara ny manandrana fomba hafa. Nipoitra avy eo ny adihevitra momba ny maha-zava-dehibe ny fianarana fanamafisana sy ny mendrika ny maha-teknolojia "tsy maintsy ananana" amin'ny fampianarana famahana olana. Eto aho dia te-hilaza fa tsy tokony hoheverina ho mifaninana ireo teknolojia roa ireo, izay mazava ho azy fa tsara kokoa noho ny iray; mifanohitra amin'izany, mifameno amin'ny farany. Eny tokoa, raha mieritreritra kely momba ny zavatra ilaina mba hamoronana ary ny rafitra toy izany, izay afaka mianatra, mitsara ary manao drafitra mandritra ny fisiany, dia azo antoka fa ho tonga amin'ny fanatsoahan-kevitra isika fa izany na izany vahaolana mitambatra izany. Raha ny marina, io vahaolana mitambatra io no nahatonga ny natiora, izay nanome ny biby mampinono sy ny biby ambony hafa manana faharanitan-tsaina sarotra nandritra ny evolisiona.
Tetikady evolisiona
Ny foto-kevitra fototra amin'ny taratasy OpenAI dia ny hoe, raha tokony hampiasa fianarana fanamafisana miaraka amin'ny backpropagation nentim-paharazana izy ireo, dia nahavita nampiofana tambajotra neural hamahana olana sarotra amin'ny alàlan'ny antsoin'izy ireo hoe "paikady evolisiona" (ES). Ity fomba fiasa ES ity dia ny fitazonana ny fizarana lanja manerana ny tambajotra, ahitana mpiasa maromaro miasa mifanitsy ary mampiasa masontsivana nofantenana avy amin'ity fizarana ity. Ny mpiasa tsirairay dia miasa ao amin'ny tontolo iainany, ary rehefa vita ny fizarana maromaro na dingan'ny fizarana iray, ny algorithm dia mamerina valisoa mitambatra, aseho ho toy ny isa ara-batana. Raha raisina io sanda io, dia azo afindra any amin'ny mpiasa mahomby kokoa ny fizarana ny mason-tsivana, ka manaisotra ireo tsy mahomby. Amin'ny famerimberenana an-tapitrisany ny hetsika toy izany miaraka amin'ny fandraisan'anjaran'ny mpiasa an-jatony, dia azo atao ny mamindra ny fizarana lanja amin'ny habaka ahafahan'ny mpiasa mamolavola politika avo lenta amin'ny famahana ny asa nomena azy ireo. Tena mahavariana tokoa ny vokatra aseho ao amin'ny lahatsoratra: aseho fa raha mitantana mpiasa an'arivony mifanitsy ianao, dia azo ianarana ao anatin'ny antsasak'adiny ny anthropomorphic locomotion amin'ny tongotra roa (fa na dia ny fomba RL mandroso indrindra aza dia mitaky fandaniana bebe kokoa. mihoatra ny adiny iray amin'ity). Raha mila fanazavana fanampiny dia manoro hevitra aho hamaky ny tsara indrindra avy amin'ny mpanoratra ny fanandramana, ary koa .
Paikady samihafa amin'ny fampianarana anthropomorphic mandeha mahitsy, nodinihina tamin'ny fampiasana ny fomba ES avy amin'ny OpenAI.
Boaty mainty
Ny tombony lehibe amin'ity fomba ity dia ny maha-mora ny fampifanarahana azy. Raha ny fomba RL, toy ny A3C, dia mitaky fampahalalana hifanakalozana eo amin'ny kofehy mpiasa sy ny mpizara parameter, ny ES dia mila tombana ara-batana sy fampahalalana momba ny fizarana mari-pamantarana ankapobeny. Noho io fahatsorana io dia io fomba io dia mialoha lavitra ny fomba RL maoderina amin'ny resaka fahaiza-manao scaling. Na izany aza, tsy tonga foana izany rehetra izany: tsy maintsy manatsara ny tambajotra araka ny fitsipiky ny boaty mainty ianao. Amin'ity tranga ity, ny "boaty mainty" dia midika fa mandritra ny fiofanana dia tsy raharahaina tanteraka ny rafitra anatiny ao amin'ny tambajotra, ary ny vokatra ankapobeny (valisoa ho an'ny fizarana) ihany no ampiasaina, ary miankina amin'izany ny lanjan'ny tambajotra iray manokana. ho lovan’ny taranaka manaraka. Amin'ny toe-javatra izay tsy dia mahazo valiny betsaka avy amin'ny tontolo iainana isika — ary amin'ny olana RL nentim-paharazana maro dia vitsy dia vitsy ny fikorianan'ny valisoa — ny olana dia avy amin'ny hoe "boaty mainty ampahany" mankany amin'ny "boaty mainty tanteraka." Amin'ity tranga ity dia afaka mampitombo be ny vokatra ianao, noho izany, mazava ho azy, ny marimaritra iraisana toy izany dia hamarinina. "Iza no mila gradients raha toa ka mitabataba be izy ireo?" - izany no hevitra ankapobeny.
Na izany aza, amin'ny toe-javatra misy fanehoan-kevitra mavitrika kokoa, manomboka tsy mety ny ES. Ny ekipa OpenAI dia mamaritra ny fomba nampiofanana tambajotra fanasokajiana MNIST tsotra tamin'ny fampiasana ES, ary tamin'ity indray mitoraka ity dia niadana in-1000 ny fiofanana. Ny zava-misy dia ny mari-pamantarana gradient amin'ny fanasokajiana sary dia tena mampahafantatra ny fomba hampianarana ny fanasokajiana tsara kokoa ny tambajotra. Noho izany, ny olana dia kely kokoa amin'ny teknika RL ary bebe kokoa amin'ny valisoa kely amin'ny tontolo izay mamokatra gradients mitabataba.
Vahaolana voajanahary
Raha miezaka mianatra amin'ny ohatry ny natiora isika, mieritreritra ny fomba hampivelarana AI, dia amin'ny toe-javatra sasany dia azo heverina ho toy ny AI ny AI. . Rehefa dinihina tokoa, ny natiora dia miasa ao anatin'ny teritery izay tsy ananan'ny mpahay siansa informatika. Misy ny fiheverana fa ny fomba fiasa ara-teorika fotsiny amin'ny famahana olana manokana dia afaka manome vahaolana mahomby kokoa noho ny safidy empirika. Na izany aza, mbola heveriko fa mendrika ny hizaha toetra ny fomba fiasan'ny rafitra mavitrika iray ao anatin'ny faneriterena sasany (ny Tany) no nahatonga ireo mpiasa (biby, indrindra fa ny biby mampinono) afaka manao fihetsika mora sy sarotra. Na dia tsy mihatra amin'ny tontolon'ny siansa momba ny angona aza ny sasany amin'ireo teritery ireo, ny hafa dia tsara.
Rehefa avy nandinika ny fitondran-tena ara-tsaina ny biby mampinono, dia hitantsika fa miforona ho toy ny vokatry ny fifandraisana sarotra ny dingana roa mifandray akaiky: mianatra avy amin’ny zavatra niainan’ny hafa и fianarana amin'ny fanaovana. Ny teo aloha dia matetika ampitoviana amin'ny evolisiona entin'ny fifantenana voajanahary, fa eto aho dia mampiasa teny midadasika kokoa hijerena ny epigenetika, microbiome ary mekanika hafa ahafahan'ny fizarana traikefa eo amin'ny zavamananaina tsy misy ifandraisany. Ny dingana faharoa, fianarana avy amin'ny traikefa, dia ny fampahalalana rehetra azon'ny biby ianarana mandritra ny androm-piainany, ary io fampahalalana io dia voafaritra mivantana amin'ny fifandraisan'ity biby ity amin'ny tontolo ivelany. Ity sokajy ity dia ahitana ny zava-drehetra manomboka amin'ny fianarana mamantatra zavatra ka hatramin'ny fifehezana ny fifandraisana misy eo amin'ny dingana fianarana.
Amin'ny ankapobeny, ireo dingana roa mitranga amin'ny natiora ireo dia azo ampitahaina amin'ny safidy roa amin'ny fanatsarana ny tambajotra neural. Ny paikadin'ny evolisiona, izay ampiasaina ny fampahalalana momba ny gradient mba hanavaozana ny vaovao momba ny zavamananaina, dia manakaiky ny fianarana avy amin'ny traikefan'ny hafa. Toy izany koa, ny fomba gradient, izay ny fahazoana traikefa iray na iray hafa dia mitondra fiovana iray na hafa amin'ny fitondran-tenan'ilay mpiasa, dia azo ampitahaina amin'ny fianarana avy amin'ny traikefan'ny tena manokana. Raha mieritreritra ny karazana fitondran-tena marani-tsaina na fahaiza-manao izay ivelaran'ny tsirairay amin'ireo fomba roa ireo amin'ny biby isika, dia mihamitombo kokoa ny fampitahana. Amin'ireo tranga roa ireo, ny "fomba evolisiona" dia mampiroborobo ny fandalinana ny fihetsika mihetsiketsika izay mamela ny olona iray hampivelatra fahaiza-manao manokana (afaka mijanona ho velona). Ny fianarana mandeha na mandositra ny fahababoana dia amin'ny toe-javatra maro dia mitovy amin'ny fitondran-tena "instinctive" bebe kokoa izay "sarotra" amin'ny biby maro amin'ny ambaratonga fototarazo. Ankoatr'izay, ity ohatra ity dia manamafy fa ny fomba evolisiona dia azo ampiharina amin'ny tranga izay tsy fahita firy ny mari-pankasitrahana (ohatra, ny fahombiazan'ny fitaizana zaza). Amin'ny toe-javatra toy izany dia tsy azo atao ny mampifandray ny valisoa amin'ny hetsika manokana izay mety ho natao taona maro talohan'ny nisehoan'io zava-misy io. Amin'ny lafiny iray, raha mandinika tranga iray izay tsy nahomby ny ES, dia ny fanasokajiana sary, ny vokatra dia azo oharina amin'ny vokatry ny fianarana biby vita tamin'ny fanandramana ara-tsaina tsy tambo isaina natao nandritra ny 100 taona mahery.
Mianara avy amin'ny Biby
Ny fomba ampiasaina amin'ny fianarana fanamafisana dia amin'ny tranga maro nalaina mivantana avy amin'ny literatiora ara-tsaina , ary ny fifehezana operant dia nodinihina tamin'ny fampiasana psikolojia biby. Raha ny marina, Richard Sutton, iray amin'ireo mpanorina ny fianarana fanamafisana, dia manana mari-pahaizana licence momba ny psikolojia. Ao anatin'ny tontolon'ny fifehezana opérant, ny biby dia mianatra mampifandray valisoa na sazy amin'ny fomba fitondran-tena manokana. Ny mpampiofana sy ny mpikaroka dia afaka manodinkodina ity fikambanana valisoa ity amin'ny fomba iray na hafa, mandrisika ny biby haneho faharanitan-tsaina na fitondran-tena sasany. Na izany aza, ny opérant conditioning, araka ny ampiasaina amin'ny fikarohana biby, dia tsy inona fa endrika iray miharihary kokoa amin'ny fepetra mitovy amin'ny fototry ny fianaran'ny biby mandritra ny androm-piainany. Mahazo mariky ny fanamafisana tsara avy amin'ny tontolo iainana isika ary manitsy ny fitondrantenantsika araka izany. Raha ny marina, maro ny neuroscientist sy ny mpahay siansa ara-tsaina no mino fa ny olombelona sy ny biby hafa dia miasa amin'ny ambaratonga avo kokoa ary mianatra maminavina ny vokatry ny fitondran-tenany amin'ny toe-javatra ho avy mifototra amin'ny valisoa mety hitranga.
Ny anjara asan'ny vinavina amin'ny fianarana avy amin'ny traikefa dia manova ny dinamika voalaza etsy ambony amin'ny fomba manan-danja. Ny famantarana izay noheverina ho kely dia kely (valisoa episodika) dia mivadika ho matevina be. Ara-teorika, ny zava-misy dia toy izao: amin'ny fotoana rehetra, ny atidohan'ny biby mampinono dia manao kajy ny vokatra mifototra amin'ny fikorianan'ny fientanam-po sy ny fihetsika be pitsiny, fa ny biby kosa dia miroboka ao anatin'io renirano io. Amin'ity tranga ity, ny fitondran-tena farany ny biby dia manome famantarana mafy izay tsy maintsy ampiasaina hitarika ny fanitsiana ny vinavina sy ny fampandrosoana ny fitondran-tena. Mampiasa ireo famantarana rehetra ireo ny atidoha mba hanatsara ny vinavina (ary, araka izany, ny kalitaon'ny hetsika atao) amin'ny ho avy. Ny topimaso momba an'io fomba io dia omena ao amin'ny boky tsara indrindra "” mpahay siansa sy filozofa Andy Clark. Raha ampitahaina amin'ny fanofanana mpiasa artifisialy ny fisainana toy izany, dia hita ny lesoka fototra amin'ny fianarana fanamafisana: ny famantarana ampiasaina amin'ity paradigma ity dia malemy tsy misy antenaina raha oharina amin'izay mety ho izy (na tokony ho izy). Amin'ny toe-javatra izay tsy azo atao ny mampitombo ny mari-pamantarana saturation (angamba noho izy io dia malemy na mifandray amin'ny hetsika ambany kokoa), dia tsara kokoa ny misafidy fomba fanofanana izay mifanitsy tsara, ohatra, ES.
Fiofanana manankarena kokoa amin'ny tambajotra neural
Miorina amin'ny foto-kevitry ny hetsika neural avo lenta ao amin'ny atidohan'ny biby mampinono, izay variana manao faminaniana, dia nisy fandrosoana vao haingana natao tamin'ny fianarana fanamafisana, izay mihevitra ny maha-zava-dehibe ny faminaniana toy izany. Afaka manolotra asa roa mitovy aminao avy hatrany aho:
Ao amin'ireo taratasy roa ireo, ny mpanoratra dia mameno ny politika mahazatra mahazatra amin'ny tambajotra neural miaraka amin'ny valin'ny faminaniana momba ny toetry ny tontolo iainana amin'ny ho avy. Ao amin'ny lahatsoratra voalohany, ny vinavina dia ampiharina amin'ny fari-pandrefesana isan-karazany, ary amin'ny faharoa, ny vinavina dia ampiharina amin'ny fiovan'ny tontolo iainana sy ny fitondran-tenan'ny mpiasa toy izany. Amin'ireo tranga roa ireo, ny mari-pamantarana vitsy mifandray amin'ny fanamafisana tsara dia lasa manankarena kokoa sy manome fampahalalana bebe kokoa, mamela ny fianarana haingana kokoa sy ny fahazoana fitondran-tena sarotra kokoa. Ny fanatsarana toy izany dia tsy misy afa-tsy amin'ny fomba mampiasa mari-pamantarana gradient, fa tsy amin'ny fomba miasa amin'ny fitsipika "boaty mainty", toy ny ES.
Ankoatra izany, ny fianarana avy amin'ny traikefa sy ny fomba gradient dia mahomby kokoa. Na dia amin'ny toe-javatra izay azo atao ny mandalina olana manokana amin'ny fampiasana ny fomba ES haingana kokoa noho ny fampiasana ny fianarana fanamafisana, dia tratra ny tombony noho ny zava-misy fa ny tetika ES dia tafiditra im-betsaka kokoa noho ny amin'ny RL. Rehefa mandinika ny fitsipiky ny fianarana amin'ny biby isika amin'ity tranga ity, dia manamarika fa ny vokatry ny fianarana avy amin'ny ohatr'olon-kafa dia miseho aorian'ny taranaka maro, ary indraindray ny zava-nitranga iray niaina ho azy dia ampy ho an'ny biby hianatra ny lesona mandrakizay. Rehefa tia Na dia tsy mifanaraka amin'ny fomba gradient nentim-paharazana aza izy io, dia azo fantarina kokoa noho ny ES. Misy, ohatra, ny fomba fiasa toy ny , izay misy ny sanda Q dia voatahiry mandritra ny dingan'ny fampiofanana, ary avy eo ny programa dia manamarina azy ireo alohan'ny hanaovana hetsika. Ny vokatr'izany dia fomba gradient izay ahafahanao mianatra mamaha olana haingana kokoa noho ny teo aloha. Ao amin'ny lahatsoratra momba ny fanaraha-maso episodika neural, ny mpanoratra dia manonona ny hippocampus olombelona, izay afaka mitazona fampahalalana momba ny hetsika iray na dia aorian'ny traikefa tokana aza ary noho izany dia milalao. eo amin’ny fitadidiana. Ny mekanika toy izany dia mitaky ny fidirana amin'ny fandaminana anatiny ao amin'ny mpiasa, izay tsy azo atao ihany koa, raha ny famaritana, ao amin'ny paradigma ES.
Noho izany, nahoana no tsy manambatra azy ireo?
Azo inoana fa ny ankamaroan'ity lahatsoratra ity dia mety hamela ny fahatsapana fa manohana ny fomba RL aho. Na izany aza, mieritreritra aho fa amin'ny farany dia ny vahaolana tsara indrindra dia ny manambatra ny fomba roa, ka ny tsirairay dia ampiasaina amin'ny toe-javatra izay mety indrindra. Mazava ho azy, amin'ny trangan'ny politika mihetsika maro na amin'ny toe-javatra misy famantarana tsy dia fahita firy amin'ny fanamafisana tsara, ny ES dia mandresy, indrindra raha manana ny herin'ny informatika azonao ampiasaina ianao, izay ahafahanao manao fiofanana mifanandrify. Amin'ny lafiny iray, ny fomba gradient amin'ny fampiasana ny fianarana fanamafisana na ny fianarana voaara-maso dia hahasoa rehefa afaka mahazo fanehoan-kevitra be dia be isika ary mila mianatra ny fomba hamahana olana haingana sy tsy misy data.
Raha mitodika any amin'ny natiora isika dia mahita fa ny fomba voalohany, raha ny tena izy, dia mametraka ny fototra ho an'ny faharoa. Izany no antony, nandritra ny fivoaran'ny evolisiona, ny biby mampinono dia namolavola atidoha izay mamela azy ireo hianatra amin'ny fomba mahomby avy amin'ny famantarana sarotra avy amin'ny tontolo iainana. Noho izany, mbola misokatra ny fanontaniana. Angamba ny paikadin'ny evolisiona dia hanampy antsika hamorona rafitra fianarana mahomby izay ilaina ihany koa amin'ny fomba fianarana miandalana. Tena mahomby tokoa ny vahaolana hitan'ny natiora.
Source: www.habr.com