Hei Habr!
Kaore matou i te nuinga o te wa ka whakatau ki te whakairi ki konei nga whakamaoritanga o nga tuhinga e rua tau te pakeke, kaore he waehere, he maamaa te ahua o te matauranga - engari i tenei ra ka whakatauhia e matou. Te ti'aturi nei matou ko te raruraru i puta i te taitara o te tuhinga ka awangawanga te nuinga o a maatau kaipanui, a kua panuihia e koe nga mahi matua mo nga rautaki whanaketanga e tautohetohe ana tenei pou i roto i te tuhinga taketake, ka panuihia ranei inaianei. Nau mai ki te ngeru!
I te Maehe 2017, i hanga ngaru a OpenAI ki te hapori ako hohonu me te pepa ".” I whakaahuahia e tenei mahi nga hua whakamiharo i runga i te meka kaore ano te ako whakakaha (RL) i noho hei poro, a, i te wa e whakangungu ana i nga whatunga neural uaua, he pai ki te whakamatau i etahi atu tikanga. Ka pupū ake he tautohetohe mo te hiranga o te whakapakari i te ako me te tika o tona mana hei hangarau "me whai" mo te whakaako whakaoti rapanga. I konei e hiahia ana ahau ki te kii kia kaua enei hangarau e rua e kiia he whakataetae, he tino pai ake tetahi i tetahi; engari, i te mutunga ka whakakiia tetahi ki tetahi. Ae, ki te whakaaro koe he aha nga mea hei hanga me nga punaha e taea ai te ako, te whakawa me te whakamahere i roto i to ratau oranga, katahi ka tino tae ki te whakatau ko tenei, ko tera otinga ranei ka hiahiatia. Ma te ara, na tenei otinga whakakotahitanga i puta mai te natura, i whakawhiwhia ki nga whakangote me etahi atu kararehe teitei ake te mohiotanga uaua i te wa o te kukuwhatanga.
Rautaki Kunenga
Ko te kaupapa matua o te pepa OpenAI ko te mea, kaua ki te whakamahi i te ako whakakaha kua honoa me te whakahiato tuara tuku iho, i angitu ratou ki te whakangungu i tetahi whatunga neural ki te whakaoti rapanga uaua ma te whakamahi i ta ratou i kiia he "rautaki whanaketanga" (ES). Ko tenei huarahi ES ko te pupuri i te tohatoha o nga taumahatanga puta noa i te whatunga, ka uru mai nga kaihoko maha e mahi whakarara ana me te whakamahi i nga tawhā kua tohua mai i tenei tohatoha. Ka mahi ia kaihoko i roto i tona ake taiao, a, i te otinga o te maha o nga waahanga, nga waahanga ranei o tetahi waahanga, ka whakahokia mai e te algorithm he utu whakahiato, e tohuhia ana hei tohu tinana. Ma te whai whakaaro ki tenei uara, ka taea te nukuhia te tohatoha o nga tawhā ki nga kaihoko angitu ake, me te whakakore i nga mea angitu. Ma te whakahoki ano i nga mahi penei i nga miriona wa me te whakauru mai o nga rau o nga kaihoko, ka taea te neke i te tohatoha o nga taumaha ki tetahi waahi ka taea e nga kaihoko te hanga kaupapa here-kounga teitei mo te whakaoti i nga mahi kua tohua ki a raatau. Ae ra, he mea whakamiharo nga hua e whakaatuhia ana i roto i te tuhinga: kua whakaatuhia mena ka whakahaere koe i te kotahi mano nga kaihoko i roto i te whakarara, katahi ka taea te ako i te anthropomorphic locomotion i runga i nga waewae e rua i roto i te iti iho i te hawhe haora. neke atu i te kotahi haora mo tenei). Mo nga korero taipitopito, ka tūtohu ahau ki te panui i te pai mai i nga kaituhi o te whakamatautau, me .
He rerekee nga rautaki mo te whakaako i te anthropomorphic hikoi tika, i akohia ma te whakamahi i te tikanga ES mai i OpenAI.
Pouaka pango
Ko te painga nui o tenei tikanga he ngawari te whakarara. Ahakoa ko nga tikanga RL, penei i te A3C, me whakawhiti korero i waenga i nga miro kaimahi me te tūmau tawhā, ko te ES anake e hiahia ana ki nga whakatau tata tinana me nga korero tohatoha tawhā whanui. Na tenei ngawari kei mua noa atu tenei tikanga i nga tikanga RL hou i runga i te kaha o te whakatauine. Heoi, kaore tenei katoa e puta noa: me arotau koe i te whatunga kia rite ki te kaupapa pouaka pango. I tenei keehi, ko te "pouaka pango" te tikanga i te wa e whakangungu ana te hanganga o roto o te whatunga ka tino warewarehia, ka whakamahia anake te hua katoa (te utu mo te waahanga), a ka whakawhirinaki ki a ia mehemea ka pa te taumaha o tetahi whatunga. ka tuku iho ki nga reanga o muri mai. I roto i nga ahuatanga karekau e whiwhi urupare nui mai i te taiao—a i roto i te maha o nga raru RL tuku iho he iti noa te rere o nga utu—ka puta te raru mai i te "pouaka pango" ki te "pouaka pango katoa." I tenei keehi, ka taea e koe te whakanui ake i te hua, na, ko te tikanga, ka tika te whakatau. "Ko wai e hiahia ana ki nga rōnaki mena ka haruru tonu?" - koinei te whakaaro whanui.
Engari, i nga waahi ka kaha ake te urupare, ka timata nga mea ki te he mo te ES. Ko te roopu OpenAI e whakaatu ana i pehea te whakangungu o te whatunga whakarōpūtanga MNIST ma te whakamahi i te ES, a, i tenei wa he 1000 nga wa poto ake te whakangungu. Ko te meka ko te tohu rōnaki i roto i te whakarōpū whakaahua he tino korero mo te whakaako i te whatunga kia pai ake te whakarōpūtanga. No reira, he iti ake te raru ki te tikanga RL me te nui ake o nga utu iti i roto i nga taiao e whakaputa ana i nga rōnaki haruru.
Te otinga o te taiao
Mena ka ngana tatou ki te ako mai i te tauira o te taiao, me te whakaaro mo nga huarahi ki te whakawhanake AI, na, i etahi wa ka taea te whakaaro ko AI. . Ka mutu, ka mahi te taiao i roto i nga here karekau o nga kaiputaiao rorohiko. E ai ki te whakaaro ko te huarahi whakaaro noa ki te whakaoti rapanga ka nui ake te pai o nga otinga atu i nga huarahi whaimana. Heoi ano, ki taku whakaaro he mea tika ki te whakamatau me pehea te mahi a te punaha hihiri i raro i etahi here (te Whenua) i hanga ai nga maataki (kararehe, inaa ko nga whakangote) e kaha ana ki te mahi ngawari me te uaua. Ahakoa karekau etahi o enei here e pa ana ki nga ao pūtaiao raraunga whakatairite, he pai noa atu etahi.
I muri i te tirotiro i te whanonga hinengaro o nga kararehe whakangote, ka kite tatou i puta mai i te awe o te awe tahi o nga tukanga e rua e hono ana: ako mai i nga wheako o etahi atu и ako ma te mahi. Ko te mea o mua ka whakatauritea ki te kukuwhatanga e akiakihia ana e te kowhiringa taiao, engari i konei ka whakamahia e au he kupu whanui ake ki te whai whakaaro ki nga epigenetics, microbiome me etahi atu tikanga e taea ai te tiritiri i nga wheako i waenga i nga rauropi kore hononga. Ko te tukanga tuarua, ko te ako mai i te wheako, ko nga korero katoa ka whakahaerehia e te kararehe ki te ako puta noa i tona oranga, a ko enei korero ka whakatau tika ma te taunekeneke o tenei kararehe ki te ao o waho. Kei roto i tenei waahanga nga mea katoa mai i te ako ki te mohio ki nga taonga tae noa ki te mohio ki te whakawhitiwhiti korero i roto i te tukanga ako.
Ko te tikanga, ko enei tukanga e rua e puta ana i roto i te taiao ka taea te whakataurite ki nga whiringa rua mo te arotau i nga whatunga neural. Ko nga rautaki kunenga, ka whakamahia nga korero mo nga rōnaki hei whakahou i nga korero mo te rauropi, ka tata ki te ako mai i nga wheako o etahi atu. Waihoki, ko nga tikanga rōnaki, ko te whiwhi i tetahi, tetahi atu wheako ranei ka arahi ki tetahi, ki tetahi atu huringa ranei o te whanonga o te kaihoko, he rite ki te ako mai i tana ake wheako. Mena ka whakaarohia e tatou nga momo whanonga mohio me nga kaha e whakawhanakehia ana e enei huarahi e rua i roto i nga kararehe, ka kaha ake te whakataurite. I roto i nga take e rua, ko nga "tikanga whanaketanga" e whakatairanga ana i te ako o nga whanonga urupare e taea ai e te tangata te whakawhanake i te ahua o te tinana (he ranea ki te noho ora). Ko te ako ki te hikoi, ki te mawhiti mai ranei i te mauheretanga he maha nga ahuatanga e rite ana ki nga whanonga "parapara" he "maamaa" i roto i nga kararehe maha i te taumata ira. I tua atu, ko tenei tauira e whakapumau ana ko nga tikanga kunenga e tika ana mo nga keehi he tino onge te tohu utu (hei tauira, ko te pono o te whakatipu pepi). I roto i tenei ahuatanga, kaore e taea te hono i te utu ki tetahi huinga mahi motuhake kua mahia pea i nga tau maha i mua i te puta mai o tenei meka. I tetahi atu taha, ki te whakaaro tatou ki tetahi keehi i rahua ai te ES, ara te whakarōpū whakaahua, ka tino rite nga hua ki nga hua o te ako kararehe i tutuki i roto i te maha o nga whakamatautau hinengaro whanonga i whakahaerehia i roto i nga tau 100-nui atu.
Ako mai i nga Kararehe
Ko nga tikanga e whakamahia ana i roto i te ako whakapakari he maha nga take i tangohia tika mai i nga tuhinga hinengaro i runga , me te whakahaere whakahaere i akohia ma te whakamahi i te hinengaro kararehe. Ae ra, ko Richard Sutton, tetahi o nga kaihanga e rua o te ako whakapakari, he tohu paetahi i roto i te hinengaro. I roto i te horopaki o te whakahaere whakahaere, ka ako nga kararehe ki te hono i te utu, te whiu ranei ki nga tauira whanonga motuhake. Ka taea e nga kaiwhakangungu me nga kairangahau te whakahaere i tenei hononga utu i tetahi huarahi, i tetahi atu huarahi, hei whakapataritari i nga kararehe ki te whakaatu i te mohio me etahi whanonga. Heoi ano, ko te whakahaere whakahaere, pera i whakamahia i roto i te rangahau kararehe, he mea noa ake i te ahua o te ahua o te ahua o te ahua o te ahua o nga kararehe e ako ana puta noa i to ratau oranga. Ka whiwhi tatou i nga tohu whakakaha pai mai i te taiao me te whakatika i o tatou whanonga kia rite. Ko te mea pono, he maha nga tohunga neuroscientists me nga kaiputaiao hinengaro e whakapono ana ko te tangata me etahi atu kararehe kei te mahi i te taumata teitei ake, me te ako tonu ki te matapae i te putanga o o raatau whanonga i roto i nga ahuatanga kei te heke mai i runga i nga utu ka taea.
Ko te mahi matua o te matapae i roto i te ako mai i nga wheako ka huri i nga hihiko i whakaahuatia i runga ake nei i roto i nga huarahi tino nui. Ko te tohu i kiia i mua he iti rawa (te utu wahanga) ka puta he tino kiko. Ki te ariā, he penei te ahuatanga: i nga wa katoa, kei te tatau te roro o te whakangote i nga putanga i runga i te rerenga uaua o nga whakaohooho me nga mahi, i te mea ka rumakina noa te kararehe ki tenei awa. I tenei keehi, ko te whanonga whakamutunga o te kararehe he tohu kaha me whakamahi hei arahi i te whakatikatika o nga matapae me te whanaketanga o te whanonga. Ka whakamahia e te roro enei tohu katoa hei arotau i nga matapae (a, na reira, ko te kounga o nga mahi ka mahia) a meake nei. Ko tetahi tirohanga o tenei huarahi ka tukuna i roto i te pukapuka pai "” he kaiputaiao mohio me te tohunga a Andy Clark. Mena ka taapirihia e tatou nga whakaaro penei ki te whakangungu o nga tohunga hangai, katahi ka kitea te koha o te ako whakapakari: ko te tohu e whakamahia ana i roto i tenei tauira he tino ngoikore ki te whakataurite ki tera pea (me waiho ranei). I nga keehi kaore e taea te whakanui ake i te whakamaaramatanga o te tohu (penei na te mea he ngoikore, he hononga ranei ki te tauhohenga taumata-iti), he pai ake te hiahia ki te tikanga whakangungu he pai te whakarara, hei tauira, ES.
He pai ake te whakangungu o nga whatunga neural
Ko te hanga i runga i nga maataapono o nga mahi neural teitei ake i roto i te roro whakangote, e pukumahi tonu ana ki te mahi matapae, kua ahu whakamua i na tata nei i roto i nga akoranga whakapakari, e whai whakaaro ana inaianei ki te hiranga o aua matapae. Ka taea e au te tūtohu kia rua nga mahi rite ki a koe:
I roto i enei pepa e rua, ka taapiri nga kaituhi i te kaupapa here taunoa o o raatau whatunga neural me nga hua matapae mo te ahua o te taiao a meake nei. I te tuhinga tuatahi, ka whakamahia te matapae ki nga momo taurangi inenga, i te tuarua, ka whakamahia te matapae ki nga huringa o te taiao me te whanonga o te kaihoko penei. I roto i nga take e rua, ko te tohu iti e hono ana ki te whakakaha pai ka tino whai taonga, ka nui ake nga korero, ka taea te ako tere me te whiwhi i nga whanonga uaua ake. Ko enei whakapainga e waatea ana me nga tikanga e whakamahi ana i te tohu rōnaki, kaua ki nga tikanga e mahi ana i runga i te kaupapa "pouaka pango", penei i te ES.
I tua atu, ko te ako mai i nga wheako me nga tikanga rōnaki he tino whai hua. Ahakoa i roto i nga keehi ka taea te ako i tetahi raruraru ma te whakamahi i te tikanga ES tere ake i te whakamahi i te ako whakapakari, i tutuki te painga na te mea he maha nga wa i uru atu ai te rautaki ES ki nga raraunga nui atu i te RL. I roto i tenei take i runga i nga tikanga o te ako i nga kararehe, ka kite tatou ko te hua o te ako mai i te tauira o tetahi atu ka puta mai i muri i nga whakatipuranga maha, i etahi wa ko tetahi huihuinga e pa ana ki a ia ano ka nui mo te kararehe ki te ako i te akoranga ake ake. Ahakoa rite Ahakoa kaore e tino uru ki nga tikanga rōnaki tuku iho, he maamaa ake i te ES. He, hei tauira, nga huarahi penei , kei te rongoa nga uara-Q i te wa e whakangungu ana, ka tirotirohia e te hotaka i mua i te mahi. Ko te hua he tikanga rōnaki e taea ai e koe te ako me pehea te whakaoti rapanga tere ake i to mua. I roto i tetahi tuhinga mo te whakahaere episodic neural, ka whakahuahia e nga kaituhi te hippocampus tangata, e kaha ana ki te pupuri korero mo tetahi huihuinga ahakoa i muri i te wheako kotahi, na reira, ka takaro. i roto i te tukanga o te mahara. Ko enei tikanga e hiahia ana kia uru atu ki te whakahaere o roto o te kaihoko, he mea hoki, ma te whakamaramatanga, kaore e taea i roto i te tauira ES.
Na, he aha e kore ai e whakakotahi?
Ko te mea pea ko te nuinga o tenei tuhinga ka waiho i te whakaaro kei te tautoko ahau i nga tikanga RL. Heoi, ki taku whakaaro mo te wa roa ko te otinga tino pai ko te whakakotahi i nga tikanga e rua, kia whakamahia ai ia ahuatanga i roto i nga ahuatanga e tino pai ana. Ko te tikanga, mo te maha o nga kaupapa here urupare, i nga ahuatanga ranei he iti noa nga tohu o te whakakaha pai, ka wikitoria te ES, ina koa kei a koe te mana rorohiko e taea ai e koe te whakahaere whakangungu whakarara nui. I tetahi atu taha, ka whai hua nga tikanga rōnaki e whakamahi ana i te ako whakakaha, i te ako maataki ranei i te wa e uru ana tatou ki nga urupare whanui me te ako me pehea te whakatika tere me te iti o nga raraunga.
Ka huri ki te taiao, ka kitea ko te tikanga tuatahi, ko te tikanga, ka whakatakoto te turanga mo te tuarua. Koinei te take, i te wa o te kukuwhatanga, kua whanakehia e nga kararehe whakangote nga roro e taea ai e ratou te ako tino whai hua mai i nga tohu uaua ka puta mai i te taiao. Na, ka noho tuwhera tonu te patai. Tena pea ka awhina nga rautaki kukuwhatanga i a tatou ki te hanga hoahoanga ako whai hua ka whai hua ano mo nga tikanga ako rōnaki. I muri i nga mea katoa, ko te otinga i kitea e te taiao he tino angitu.
Source: will.com