Ei Habr!
E le masani ona matou filifili e lafo iinei faaliliuga o tusitusiga e lua tausaga le matutua, e aunoa ma se faʻailoga ma manino le natura faʻale-aʻoaʻoga - ae o le asō o le a matou faia se tuusaunoaga. Matou te faʻamoemoe o le faʻafitauli o loʻo faʻaalia i le ulutala o le tusiga e popole ai le toʻatele o le au faitau, ma ua uma ona e faitau i le galuega autu i luga o fuafuaga faʻaleleia lea o loʻo finau ai lenei pou i le uluaʻi tusitusiga pe o le a faitauina nei. Susu mai i le pusi!
Ia Mati 2017, na faia ai e OpenAI ni galu i totonu o le sosaiete aʻoaʻoga loloto ma le pepa ".” O lenei galuega na faʻamatalaina iʻuga mataʻina e lagolagoina ai le mea moni o le faʻamalosia o le aʻoaʻoina (RL) e leʻi avea ma se tina, ma pe a aʻoaʻoina fesoʻotaʻiga neural lavelave, e fautuaina e faʻataʻitaʻi isi metotia. Ona tulai mai ai lea o se finauga e uiga i le taua o le faamalosia o le aoaoina ma le talafeagai o lona tulaga o se tekinolosi "e tatau ona i ai" mo le aoaoina o le foia o faafitauli. O iinei ou te fia fai atu ai o nei tekinolosi e lua e le tatau ona manatu e tauva, o le tasi e manino lelei nai lo le isi; i se isi itu, latou te faaatoatoaina e le tasi le isi. Ioe, pe a e mafaufau teisi i mea e manaʻomia e fai ai ma ia faiga, lea i lo latou olaga atoa o le a mafai ai ona aoao, faamasinoga ma fuafuaga, ona toetoe lava a mautinoa ai o le a tatou oo i le faaiuga o lenei po o lena fofo tuufaatasi o le a manaomia. I le auala, o le mea tonu lava lea o le fofo tuʻufaʻatasia na oʻo mai ai le natura, lea na faʻatagaina ai mammals ma isi manu maualuluga ma le poto faʻalavelave i le faagasologa o le evolusione.
Fuafuaga Evolutionary
O le suʻesuʻega autu o le OpenAI pepa o le, nai lo le faʻaogaina o le faʻamalosia o aʻoaʻoga faʻatasi ma le faʻasalalauga masani, na latou aʻoaʻoina ma le manuia se fesoʻotaʻiga neural e foia ai faʻafitauli faigata e faʻaaoga ai le mea na latou taʻua o le "evolutionary strategy" (ES). O lenei faiga ES e aofia ai le tausia o se fesoʻotaʻiga-lautele tufatufaina o le mamafa, e aofia ai le tele o sui o loʻo galulue faʻatasi ma le faʻaogaina o tapulaʻa filifilia mai lenei tufatufaga. O sui taʻitasi e galue i lona lava siosiomaga, ma a maeʻa se numera faʻamaonia o vaega poʻo vaega o se mea, o le algorithm e toe faʻafoʻi mai se taui faʻaopoopo, faʻaalia o se sikoa malosi. I le faʻaogaina o lenei tau, o le tufatufaina atu o faʻamaufaʻailoga e mafai ona faʻafeiloaʻi i sui sili atu ona manuia, faʻateʻaina i latou e le manuia. E ala i le toe faia o sea gaioiga i le faitau miliona o taimi ma le auai o le faitau selau o sui, e mafai ona faʻagasolo le tufatufaina o le mamafa i se avanoa e mafai ai e le au ofisa ona faʻatulagaina se faiga faʻavae maualuga mo le foia o le galuega na tuʻuina atu ia i latou. O le mea moni, o taunuʻuga o loʻo tuʻuina atu i totonu o le tusiga e ofoofogia: e faʻaalia ai afai e te faʻatautaia le afe o sui faʻatasi, ona mafai lea ona aʻoaʻoina le anthropomorphic locomotion i vae e lua i lalo ifo o le afa itula (e oʻo lava i metotia RL sili ona maualuga e manaʻomia ai le faʻaaluina atili nai lo le tasi le itula i lenei mea). Mo nisi faʻamatalaga faʻamatalaga, ou te fautuaina e faitau le sili mai tusitala o le suʻega, faʻapea foʻi ma .
'ese'ese ta'iala mo le a'oa'oina o le anthropomorphic savali sa'o, su'esu'e ile ala ES mai OpenAI.
Pusa uliuli
O le aoga tele o lenei metotia e mafai ona faigofie ona faʻatusatusa. E ui o auala RL, e pei o le A3C, e mana'omia ai fa'amatalaga e fesuia'i i le va o filo a tagata faigaluega ma se fa'aumau fa'amaufa'ailoga, e na'o le ES e mana'omia fua fa'atatau o le malosi ma fa'amatalaga fa'asalalau lautele. E mafua ona o lenei faigofie o lenei metotia e sili atu i luma o metotia RL faʻaonaponei i tulaga o le faʻaogaina o gafatia. Ae ui i lea, o nei mea uma e le maua fua: e tatau ona e faʻaleleia le fesoʻotaʻiga e tusa ai ma le mataupu faavae pusa uliuli. I lenei tulaga, o le "pusa uliuli" o lona uiga i le taimi o aʻoaʻoga o le fausaga i totonu o le fesoʻotaʻiga e matua le amanaiaina, ma naʻo le taunuuga atoa (taui mo le mea na tupu) e faʻaaogaina, ma e faʻalagolago i ai pe o le mamafa o se fesoʻotaʻiga faapitoa o le a ia tuufaasolo mai i tupulaga e mulimuli mai. I tulaga tatou te le maua ai ni manatu se tele mai le siosiomaga-ma i le tele o faʻafitauli masani RL o le tafe o taui e matua le lava-o le faʻafitauli e amata mai i le avea o se "pusa uliuli vaega" i se "pusa uliuli atoa." I lenei tulaga, e mafai ona e matua faateleina le gaosiga, o lea, ioe, o sea fetuunaiga e tauamiotonuina. "O ai e manaʻomia ni faʻailoga pe afai latou te pisapisao leai se faamoemoe?" - o le manatu lautele lea.
Ae ui i lea, i tulaga e sili atu le malosi o faʻamatalaga, e amata ona faʻaletonu mea mo le ES. O loʻo faʻamatalaina e le vaega OpenAI le auala na aʻoaʻoina ai se fesoʻotaʻiga faʻavasegaga faigofie o le MNIST e faʻaaoga ai le ES, ma o le taimi lea o le aʻoaʻoga na 1000 taimi faʻagesegese. O le mea moni o le faʻailoga gradient i le faʻavasegaina o ata e matuaʻi faʻamatalaga e uiga i le auala e aʻoaʻo ai le faʻavasegaga sili atu. O le mea lea, o le faʻafitauli e laʻititi i le RL technique ma sili atu i ni taui seasea i siosiomaga e maua ai le pisa gradients.
Fofo a le natura
Afai tatou te taumafai e aʻoaʻo mai le faʻataʻitaʻiga o le natura, mafaufau i auala e atiaʻe ai AI, ona i ai lea i nisi tulaga AI e mafai ona mafaufauina . A uma mea uma, o le natura e galue i totonu o tapulaʻa e le o maua e saienitisi komepiuta. O lo'o i ai se manatu e fa'apea, o se fa'ata'ita'iga fa'apitoa e fo'ia ai se fa'afitauli fa'apitoa e mafai ona maua ai ni fofo sili atu ona lelei nai lo isi fa'ata'ita'iga. Ae ui i lea, ou te manatu lava e aoga le suʻeina pe faʻapefea ona faʻaogaina e se faiga faʻamalosi i lalo o ni faʻalavelave faʻapitoa (le Lalolagi) na faʻatupuina ai sui (manu, aemaise lava mama) e mafai ona fetuutuunai ma lavelave amioga. E ui o nisi o nei faʻagata e le faʻaaogaina i lalolagi faʻasaienisi faʻataʻitaʻiga, o isi e lelei.
I le suʻesuʻeina o amioga faʻapitoa a mammals, tatou te vaʻaia o loʻo faia ona o se faʻalavelave faʻalavelave faʻatasi o ni faiga vavalalata se lua: aoao mai aafiaga o isi и aoaoina e ala i le faia. O le mea muamua e masani ona faʻatusa ma le evolusione e faʻaosoina e le natura filifiliga, ae o iinei ou te faʻaogaina ai se faaupuga lautele e amanaia ai epigenetics, microbiomes, ma isi auala e mafai ai ona fefaʻasoaaʻi aafiaga i le va o meaola e le fesootai. O le faagasologa lona lua, aʻoaʻo mai le poto masani, o faʻamatalaga uma ia e mafai e se manu ona aʻoaʻoina i lona olaga atoa, ma o lenei faʻamatalaga e faʻatatau tonu i le fegalegaleaiga a lenei manu ma le lalolagi i fafo. O lenei vaega e aofia ai mea uma mai le aʻoaʻoina e iloa ai mea faitino i le faʻatautaia o fesoʻotaʻiga faʻapitoa i le faagasologa o aʻoaʻoga.
I le tautala faʻapitoa, o nei faiga e lua o loʻo tutupu i le natura e mafai ona faʻatusatusa i ni filifiliga se lua mo le faʻaleleia o fesoʻotaʻiga neural. Evolutionary taʻiala, lea e faʻaaogaina ai faʻamatalaga e uiga i gradients e faʻafouina ai faʻamatalaga e uiga i le tino, latalata i le aʻoaʻoina mai le poto masani o isi. E fa'apena fo'i, o metotia fa'asolosolo, pe a maua se tasi po'o se isi poto masani e ta'ita'i atu i se tasi po'o se isi suiga i le amio a le sui sooupu, e fa'atusaina i le a'oa'oina mai le poto masani a le tagata lava ia. Afai tatou te mafaufau i ituaiga o amio atamai poʻo tomai e faʻatupuina e nei auala e lua i manu, o le faʻatusatusaga e sili atu ona faʻaalia. I tulaga uma e lua, "auala faʻaleleia" faʻalauiloaina le suʻesuʻeina o amioga faʻaalia e mafai ai e se tasi ona atiaʻe se malosi (lava e ola ai). O le aʻoaʻoina e savali pe sola ese mai le faʻatagataotauaina i le tele o tulaga e tutusa ma le tele o amioga "naunau" e "faigata-uaea" i le tele o manu i le tulaga faʻavae. E le gata i lea, o lenei faʻataʻitaʻiga e faʻamaonia ai o metotia faʻafuainumera e faʻaaogaina i tulaga e seasea maua ai le faʻailoga taui (mo se faʻataʻitaʻiga, o le mea moni o le manuia o le tausia o se pepe). I se tulaga faapena, e le mafai ona faʻafetaui le taui ma soʻo se seti o gaioiga faʻapitoa atonu na faia i le tele o tausaga aʻo leʻi tupu lenei mea moni. I le isi itu, afai tatou te mafaufau i se mataupu e le mafai ai e le ES, o le faʻavasegaina o ata, o taunuuga e matua faʻatusatusa i taunuʻuga o aʻoaʻoga manu na ausia i le anoanoai o faʻataʻitaʻiga o le mafaufau na faia i luga o le 100-plus tausaga.
Aoao mai Manu
O metotia o lo'o fa'aaogaina i le fa'amalosia o a'oa'oga o lo'o i le tele o tulaga e ave sa'o mai tusitusiga fa'ale-mafaufau i luga , ma sa suʻesuʻeina le operant conditioning e faʻaaoga ai mafaufauga o manu. Ile auala, Richard Sutton, o se tasi o le toʻalua na faʻavaeina le faʻamalosia o aʻoaʻoga, ei ai lona tikeri o le tagata malaga i le mafaufau. I le tulaga o le faʻaogaina o gaioiga, e aʻoaʻo ai manu e faʻafesoʻotaʻi le taui poʻo le faʻasalaga ma faʻataʻitaʻiga faʻapitoa. E mafai e le au aʻoaʻo ma tagata suʻesuʻe ona faʻaogaina lenei mafutaga taui i se tasi auala poʻo se isi, faʻaosofia manu e faʻaalia le atamai poʻo ni amioga. Ae ui i lea, o le faʻaogaina o le faʻaogaina, e pei ona faʻaaogaina i suʻesuʻega manu, e leai se mea e sili atu nai lo se faʻaaliga sili atu o le tulaga tutusa i luga o le faʻavae o manu e aʻoaʻoina io latou olaga atoa. Matou te mauaina pea faʻailoga o le faʻamalosia lelei mai le siosiomaga ma fetuutuunai a matou amio e tusa ai. O le mea moni, o le tele o neuroscientists ma saienitisi mafaufau e talitonu o tagata ma isi meaola o loʻo galulue moni lava i se tulaga maualuga atu ma faʻaauau ona aʻoaʻo e vaʻai le taunuuga oa latou amioga i tulaga i le lumanaʻi e faʻavae i luga o taui e mafai.
O le matafaioi tutotonu o le vavalo i le aʻoaʻoina mai le poto masani e suia ai le malosi o loʻo faʻamatalaina i luga i auala taua. O le faailo na manatu muamua e le tele (taui faʻasologa) e foliga mai e matua mafiafia. O le talitonuga, o le tulaga e pei o lenei: i soo se taimi lava, o le faiʻai o le mamame o loʻo faʻatatauina taunuuga e faʻavae i luga o se vaitafe lavelave o lagona faʻaosofia ma gaioiga, ae o le manu e na o le faatofuina i totonu o lenei vaitafe. I lenei tulaga, o le amio mulimuli a le manu e maua ai se faailo malosi e tatau ona faʻaaogaina e taʻitaʻia ai le fetuunaiga o faʻamatalaga ma le atinaʻeina o amioga. E fa'aogaina e le fai'ai nei fa'ailoga uma ina ia fa'amanino ai fa'amatalaga (ma, e tusa ai, le lelei o gaioiga na faia) i le lumana'i. O se aotelega o lenei auala o loʻo tuʻuina atu i le tusi sili ona lelei "” o le saienitisi atamai ma le faifilosofia Andy Clark. Afai tatou te faʻaalia sea manatu i le aʻoaʻoina o mea faʻapitoa, ona faʻaalia lea o se faʻaletonu autu i le faʻamalosia o aʻoaʻoga: o le faailo o loʻo faʻaaogaina i lenei faʻataʻitaʻiga e matua vaivai lava pe a faʻatusatusa i le mea e mafai (pe tatau foi). I tulaga e le mafai ai ona faʻateleina le saturation faʻailoga (atonu ona e matua vaivai pe fesoʻotaʻi ma le faʻalavelave maualalo), atonu e sili atu le filifilia o se metotia aʻoaʻoga e fetaui lelei, mo se faʻataʻitaʻiga, ES.
A'oa'oga sili atu o feso'ota'iga neural
Fausiaina i luga o mataupu faavae o gaoioiga neural maualuga o loʻo iai i le faiʻai mammalian, lea o loʻo pisi i taimi uma i le faia o valoʻaga, o le alualu i luma lata mai ua faia i le faʻamalosia o aʻoaʻoga, lea ua manatu nei i le taua o ia valoʻaga. E mafai ona ou vave fautuaina atu ni galuega tutusa se lua ia te oe:
I totonu o nei pepa uma e lua, e faʻaopoopo e tusitala le faiga faʻavae masani o latou fesoʻotaʻiga neural faʻatasi ai ma taunuʻuga vavalo e uiga i le tulaga o le siosiomaga i le lumanaʻi. I totonu o le tusiga muamua, o le vaʻaiga o loʻo faʻaogaina i le tele o fua faʻatatau, ma i le lona lua, o le vaʻaiga e faʻaaogaina i suiga i le siosiomaga ma amioga a le sooupu e pei o. I tulaga uma e lua, o le faʻailoga faʻapitoa e fesoʻotaʻi ma le faʻamalosia lelei e sili atu ona mauoa ma sili atu faʻamatalaga, faʻatagaina mo le vave aʻoaʻoga ma le mauaina o amioga sili atu ona lavelave. O ia faʻaleleia e naʻo auala e faʻaogaina ai se faʻailoga gradient, ae le o auala e faʻaogaina i luga o se "pusa uliuli" mataupu faavae, pei ole ES.
E le gata i lea, o le aʻoaʻoina mai le poto masani ma metotia faʻasolosolo e sili atu ona aoga. E oo lava i tulaga na mafai ai ona suʻesuʻeina se faʻafitauli faʻapitoa e faʻaaoga ai le auala ES vave nai lo le faʻaaogaina o le faʻamalosia o aʻoaʻoga, na maua le manuia ona o le mea moni o le fuafuaga a le ES e aofia ai le tele o taimi e sili atu faʻamaumauga nai lo le RL. Mafaufau i lenei tulaga i luga o mataupu faavae o le aoaoina i manu, tatou te matauina o le taunuuga o le aoaoina mai le faataitaiga a se isi tagata e faaalia ia lava ina ua mavae le tele o augatupulaga, ae o nisi taimi o se mea na tupu e tasi e lava mo le manu e aoao ai le lesona e faavavau. A o pei E ui e le fetaui lelei i metotia faʻasolosolo masani, e sili atu le malamalama nai lo le ES. E iai, mo se faʻataʻitaʻiga, auala e pei o , lea e teu ai Q-taua i le taimi o aʻoaʻoga, pe a maeʻa ona siakiina e le polokalame aʻo leʻi faia ni gaioiga. O le taunuuga o se auala faʻasolosolo e mafai ai ona e aʻoaʻo pe faʻafefea ona foia faʻafitauli sili atu le vave nai lo le taimi muamua. I se tusiga i luga o le neural episodic control, o loʻo taʻua e tusitala le hippocampus o le tagata, lea e mafai ona taofia faʻamatalaga e uiga i se mea na tupu e tusa lava pe uma se poto masani ma, o le mea lea, taʻalo. i le faagasologa o le manatuaina. O ia faiga e manaʻomia ai le avanoa i le faʻalapotopotoga i totonu o le sooupu, lea e le mafai foi, i le faʻamatalaga, i le ES paradigm.
O lea la, aisea e le tuufaatasia ai?
E foliga mai o le tele o lenei tusiga atonu e tuua ai le lagona o loʻo ou fautuaina RL metotia. Ae ui i lea, ou te manatu moni lava i le taimi umi o le fofo sili ona lelei o le tuʻufaʻatasia o auala uma e lua ina ia faʻaaogaina taʻitasi i tulaga e sili ona fetaui. E manino lava, i le tulaga o le tele o faiga faʻavae poʻo i tulaga e le tele ni faʻailoga o le faʻamalosia lelei, e manumalo le ES, aemaise lava pe afai o loʻo ia te oe le mana faʻakomepiuta e mafai ona e faʻatautaia aʻoaʻoga tutusa tutusa. I le isi itu, o metotia faʻasolosolo e faʻaaoga ai le faʻamalosia o aʻoaʻoga poʻo le vaavaaia o le aʻoaʻoga o le a aoga pe a tatou maua le tele o faʻamatalaga ma manaʻomia le aʻoaʻoina pe faʻafefea ona foia se faʻafitauli vave ma itiiti faʻamaumauga.
O le liliu atu i le natura, tatou te iloa ai o le auala muamua, o lona uiga, e faataatia ai le faavae mo le lona lua. O le mea lea, i le gasologa o le evolusione, ua atiaʻe e mamame ni faiʻai e mafai ai ona latou aʻoaʻoina lelei mai faʻailoga lavelave e sau mai le siosiomaga. O lea la, o lo'o tumau pea le fesili. Masalo o fuafuaga fa'aletausaga o le a fesoasoani ia i tatou e fa'atupu fa'ata'ita'iga lelei a'oa'oga e aoga fo'i mo metotia fa'aa'oa'oga fa'asolosolo. A uma mea uma, o le fofo e maua e le natura e moni lava e matua manuia.
puna: www.habr.com