Ndewo, Habr!
Anyị anaghị ekpebikarị ibipute ntụgharị asụsụ nke ederede dị afọ abụọ ebe a, na-enweghị koodu yana doro anya na ọdịdị agụmakwụkwọ - mana taa, anyị ga-ewepu. Anyị na-atụ anya na nsogbu ahụ dị na isiokwu nke isiokwu na-echegbu ọtụtụ ndị na-agụ akwụkwọ anyị, ma ị gụọlarị ọrụ bụ isi na atụmatụ evolushọn nke post a na-arụ ụka na mbụ ma ọ bụ gụọ ya ugbu a. Nabata na pusi!
Na Machị 2017, OpenAI ji akwụkwọ akụkọ ahụ mee ebili mmiri na mpaghara mmụta miri emi." Ọrụ a kọwara nsonaazụ dị egwu na-akwado eziokwu ahụ bụ na mmụta nkwalite (RL) aghọbeghị wedge, yana mgbe ị na-azụ netwọkụ akwara dị mgbagwoju anya, ọ bụ ihe amamihe dị na ya ịnwale ụzọ ndị ọzọ. Arụmụka bilitere gbasara mkpa mmụta nkwado na etu o siri kwesị ọnọdụ ya dị ka teknụzụ “kwesịrị ịnwe” maka nkuzi idozi nsogbu. N'ebe a, achọrọ m ịsị na teknụzụ abụọ a ekwesịghị ka a na-atụle dị ka asọmpi, otu n'ime ha doro anya karịa nke ọzọ; N'ụzọ megidere nke ahụ, ha na-emecha na-akwado ibe ha. N'ezie, ọ bụrụ na ị na-eche ntakịrị ihe ọ na-ewe iji mepụta na usoro ndị dị otú ahụ, nke n'ime ịdị adị ha niile ga-enwe ike ịmụta, ikpe na atụmatụ, mgbe ahụ, anyị ga-emecha na-abịa na nkwubi na nke a ma ọ bụ ngwakọta ngwọta ga-achọrọ. Site n'ụzọ, ọ bụ kpọmkwem ngwọta a jikọtara ọnụ ka ọdịdị bịara, nke nyere mammals na anụmanụ ndị ọzọ dị elu nwere ọgụgụ isi dị mgbagwoju anya n'oge evolushọn.
Atụmatụ evolushọn
Isi akwụkwọ akụkọ nke akwụkwọ OpenAI bụ na, kama iji mmụta nkwado yana nkwado ọdịnala, ha zụrụ netwọkụ akwara nke ọma iji dozie nsogbu ndị siri ike site na iji ihe ha kpọrọ “atụmatụ evolushọn” (ES). Usoro ES a gụnyere idobe nkesa nha nha netwọkụ, gụnyere ọtụtụ ndị ọrụ na-arụ ọrụ n'otu oge yana iji paramita ahọpụtara na nkesa a. Onye nnọchi anya ọ bụla na-arụ ọrụ na gburugburu nke ya, na mgbe emechara ọnụ ọgụgụ ngosipụta akọwapụtara ma ọ bụ ọkwa nke ihe omume, algọridim na-eweghachi ụgwọ ọrụ nchikota, gosipụtara dị ka akara ahụike. N'iburu uru a n'uche, nkesa nke paramita nwere ike gbanwee gaa na ndị ọrụ na-aga nke ọma karị, na-anapụ ndị na-enweghị ihe ịga nke ọma. Site n'ịmeghachi ọrụ dị otú ahụ ọtụtụ nde ugboro na ntinye aka nke narị otu narị ndị ọrụ, ọ ga-ekwe omume ịkwaga nkesa nkesa na oghere nke ga-eme ka ndị ọrụ ahụ nwee ike ịmepụta amụma dị elu maka idozi ọrụ e kenyere ha. N'ezie, nsonaazụ ndị a gosipụtara n'isiokwu ahụ dị oke mma: a na-egosi na ọ bụrụ na ị na-agba ọsọ otu puku mmadụ n'otu n'otu, mgbe ahụ, anthropomorphic locomotion na ụkwụ abụọ nwere ike ịmụta n'ime ihe na-erughị ọkara otu awa (ebe ọbụna usoro RL kachasị elu na-achọ itinyekwu ego). karịa otu awa na nke a). Maka ozi zuru oke, ana m akwado ịgụ ihe kacha mma site na ndị edemede nke nnwale, yana .
Usoro dị iche iche maka nkuzi anthropomorphic ije kwụ ọtọ, mụọ site na iji usoro ES sitere na OpenAI.
Igbe ojii
Uru dị ukwuu nke usoro a bụ na ọ nwere ike ịmekọrịta ngwa ngwa. Ọ bụ ezie na ụzọ RL, dị ka A3C, chọrọ ka a gbanwee ozi n'etiti eriri ndị ọrụ na ihe nkesa oke, ES chọrọ naanị atụmatụ ahụike yana ozi nkesa n'ozuzu oke. Ọ bụ n'ihi ịdị mfe a na usoro a dị n'ihu ụzọ RL nke oge a n'ihe gbasara ike ịcha. Otú ọ dị, ihe a nile adịghị abịa n'efu: ị ga-ebuli netwọk dị ka ụkpụrụ igbe ojii si dị. N'okwu a, "igbe ojii" pụtara na n'oge ọzụzụ, a na-eleghara usoro nke ime netwọk ahụ anya kpamkpam, ma ọ bụ naanị n'ozuzu ya (nkwụghachi ụgwọ maka ihe omume ahụ) na-eji ya, ọ dabere na ya ma ịdị arọ nke otu netwọk ga-abụ. ga-eketa site n'ọgbọ ndị ọzọ. N'ọnọdụ ebe anyị na-enwetaghị nzaghachi dị ukwuu site na gburugburu ebe obibi-na n'ọtụtụ nsogbu RL omenala, ụgwọ ọrụ na-akwụ ụgwọ dị ntakịrị - nsogbu ahụ na-esi n'ịbụ "igbe ojii dị ntakịrị" gaa na "igbe ojii zuru oke." N'okwu a, ị nwere ike ịbawanye mmepụta nke ukwuu, yabụ, n'ezie, nkwenye dị otú ahụ ziri ezi. "Ònye chọrọ gradients ma ọ bụrụ na ha enweghị olileanya na-eme mkpọtụ na agbanyeghị?" - nke a bụ echiche izugbe.
Otú ọ dị, n'ọnọdụ ebe nzaghachi na-arụsi ọrụ ike karị, ihe na-amalite na-ezighị ezi maka ES. Ndị otu OpenAI na-akọwa etu esi zụọ netwọk nhazi ọkwa MNIST dị mfe site na iji ES, na oge a ọzụzụ ahụ ji nwayọọ nwayọọ 1000. Nke bụ eziokwu bụ na mgbama gradient dị na nhazi onyonyo na-enye nkọwa nke ukwuu gbasara otu esi akụzi nhazi netwọkụ ka mma. Ya mere, nsogbu ahụ dị obere na usoro RL yana karịa na ụgwọ ọrụ dị nta na gburugburu na-emepụta gradients na-eme mkpọtụ.
Ngwọta okike
Ọ bụrụ na anyị na-agbalị ịmụta ihe site na ihe atụ nke okike, na-eche echiche banyere ụzọ ịzụlite AI, mgbe ahụ n'ọnọdụ ụfọdụ AI nwere ike na-eche dị ka. . A sị ka e kwuwe, okike na-arụ ọrụ n'ime ihe mgbochi ndị sayensị kọmputa na-enweghị. Enwere echiche na ụzọ usoro echiche naanị iji dozie otu nsogbu nwere ike inye azịza dị irè karịa ụzọ ndị ọzọ siri ike. Otú ọ dị, m ka na-eche na ọ ga-aba uru iji nwalee otú usoro ike na-arụ ọrụ n'okpuru ụfọdụ mgbochi (Ụwa) si mee ka ndị ọrụ (anụmanụ, karịsịa mammals) nwee ike ime mgbanwe na àgwà mgbagwoju anya. Ọ bụ ezie na ụfọdụ n'ime mmachi ndị a anaghị etinye aka na ụwa sayensị data emepụtara, ndị ọzọ dị mma.
Mgbe anyị nyochachara omume ọgụgụ isi nke anụ mammals, anyị na-ahụ na a malitere ya n'ihi mmetụta dị mgbagwoju anya nke usoro abụọ nwere njikọ chiri anya: ịmụta site n'ahụmahụ ndị ọzọ и ịmụta site n'ime. A na-ejikọta nke mbụ na evolushọn nke nhọrọ okike na-akwali, ma ebe a, m na-eji okwu sara mbara na-eburu n'uche epigenetics, microbiomes, na usoro ndị ọzọ na-enyere aka ikesa ahụmịhe n'etiti ihe ndị na-enweghị ihe jikọrọ ya na mkpụrụ ndụ ihe nketa. Usoro nke abụọ, ịmụta site na ahụmahụ, bụ ozi niile nke anụmanụ na-achịkwa ịmụta n'oge ndụ ya niile, na ozi a na-ekpebi kpọmkwem site na mmekọrịta nke anụmanụ a na ụwa dị n'èzí. Otu a gụnyere ihe niile site n'ịmụta iji mata ihe ruo n'ịmụta nzikọrịta ozi dị na usoro mmụta.
N'ikwu okwu n'ụzọ dị mfe, usoro abụọ a na-eme na okike nwere ike iji tụnyere nhọrọ abụọ maka ịkwalite netwọkụ akwara ozi. Usoro evolushọn, ebe a na-eji ozi gbasara gradients emelite ozi gbasara akụkụ ahụ, bịaruo nso ịmụta site na ahụmịhe nke ndị ọzọ. N'otu aka ahụ, ụzọ gradient, ebe ịnweta otu ma ọ bụ ahụmahụ ọzọ na-eduga n'otu mgbanwe ma ọ bụ ọzọ na omume onye ọrụ ahụ, dị ka ịmụta site na ahụmahụ nke onwe ya. Ọ bụrụ na anyị na-eche banyere ụdị omume ọgụgụ isi ma ọ bụ ikike nke ọ bụla n'ime ụzọ abụọ a na-amalite na ụmụ anụmanụ, ntụnyere ahụ na-apụtawanye ìhè. N'okwu abụọ ahụ, "ụzọ evolushọn" na-akwalite ọmụmụ nke omume mmeghachi omume nke na-eme ka mmadụ nwee ike ịzụlite ụfọdụ ahụike (zuru ezu iji nọgide na-adị ndụ). Ịmụta ịga ije ma ọ bụ gbanarị n'agha bụ n'ọtụtụ ọnọdụ, ọ dabara na omume "mmetụta mmuo" ndị "nwere ike siri ike" n'ọtụtụ anụmanụ na ọkwa mkpụrụ ndụ ihe nketa. Na mgbakwunye, ihe atụ a na-akwado na usoro evolushọn na-adabara n'ọnọdụ ebe mgbaàmà ụgwọ ọrụ dị ụkọ (dịka ọmụmaatụ, eziokwu nke ịzụ nwa nke ọma). N'ọnọdụ dị otú ahụ, ọ gaghị ekwe omume ijikọta ụgwọ ọrụ ahụ na ihe omume ọ bụla a kapịrị ọnụ nke nwere ike ime ọtụtụ afọ tupu eziokwu a emee. N'aka nke ọzọ, ọ bụrụ na anyị na-atụle ikpe nke ES ada ada, ya bụ image nhazi ọkwa, pụta bụ n'ụzọ dị ịrịba ama na nsonaazụ nke ụmụ anụmanụ na-enweta n'ime imerime omume uche nnwale mere n'elu 100-gbakwunyere afọ.
Ịmụta n'aka ụmụ anụmanụ
A na-ewere usoro ndị a na-eji n'ịkwalite mmụta n'ọtụtụ ọnọdụ ozugbo site na akwụkwọ ọgụgụ isi , na operant conditioning ka a mụrụ site na iji akparamàgwà anụmanụ. Site n'ụzọ, Richard Sutton, otu n'ime mmadụ abụọ guzobere mmụta nkwado, nwere akara ugo mmụta bachelor na akparamaagwa. N'ihe gbasara nrụnye ọrụ, ụmụ anụmanụ na-amụta ijikọ ụgwọ ọrụ ma ọ bụ ntaramahụhụ na ụkpụrụ omume akọwapụtara. Ndị na-enye ọzụzụ na ndị na-eme nchọpụta nwere ike ịmegharị mkpakọrịta ụgwọ ọrụ a n'otu ụzọ ma ọ bụ ọzọ, na-akpali ụmụ anụmanụ iji gosipụta ọgụgụ isi ma ọ bụ ụfọdụ àgwà. Otú ọ dị, operant conditioning, dị ka a na-eji na-eme nchọpụta anụmanụ, bụ ihe ọ bụla ọzọ karịa a na-akpọ ụdị oyi oyi na ndabere nke ụmụ anụmanụ na-amụta ná ndụ ha nile. Anyị na-enweta akara ngosi nke nkwado dị mma site na gburugburu ebe obibi ma gbanwee omume anyị nke ọma. N'ezie, ọtụtụ ndị ọkà mmụta sayensị na ndị ọkà mmụta sayensị na-eche echiche kwenyere na ụmụ mmadụ na anụmanụ ndị ọzọ na-arụ ọrụ n'ezie n'ogo dị elu ma na-aga n'ihu na-amụta ịkọ ihe ga-esi na omume ha pụta na ọnọdụ n'ọdịnihu dabere na ụgwọ ọrụ ha nwere.
Ọrụ bụ isi nke amụma n'ịmụta site na ahụmịhe na-agbanwe ọnọdụ ndị akọwara n'elu n'ụzọ dị ịrịba ama. Mgbama nke a na-ewerebu na ọ dị obere (ụgwọ ọrụ episodic) na-atụgharị na ọ dị oke oke. N'echiche, ọnọdụ dị ka nke a: n'oge ọ bụla, ụbụrụ anụ ahụ na-agbakọ ihe ga-esi na ya pụta dabere na mgbagwoju anya nke mkpali na omume, ebe anụ ahụ na-emikpu n'ime iyi a. N'okwu a, omume ikpeazụ nke anụmanụ na-enye mgbaàmà siri ike nke a ghaghị iji mee ihe iji duzie mgbanwe nke amụma na mmepe nke omume. Ụbụrụ na-eji akara ngosi ndị a niile iji kwalite amụma (yana, ya mere, àgwà omume emere) n'ọdịnihu. E nyere nkọwa nke usoro a n'akwụkwọ magburu onwe ya "" ọkà mmụta sayensị na onye ọkà ihe ọmụma Andy Clark. Ọ bụrụ na anyị akọwapụta echiche dị otú ahụ na ọzụzụ nke ndị na-emepụta ihe, mgbe ahụ, a na-ekpughe ntụpọ bụ isi na mmụta nkwado: mgbaàmà ejiri na paradaịs a enweghị olileanya na-adịghị ike ma e jiri ya tụnyere ihe ọ nwere ike ịbụ (ma ọ bụ kwesịrị ịbụ). N'ọnọdụ ebe ọ na-agaghị ekwe omume ịbawanye saturation mgbaàmà (ikekwe n'ihi na ọ na-esighị ike ma ọ bụ jikọtara ya na mmeghachi omume dị ala), ọ ga-aka mma ịhọrọ usoro ọzụzụ nke dabara nke ọma, dịka ọmụmaatụ, ES.
Ọzụzụ ka ukwuu nke netwọkụ akwara ozi
Iwuli n'ụkpụrụ nke ọrụ akwara dị elu dị na ụbụrụ mammalian, nke na-arụsi ọrụ ike mgbe niile na-ebu amụma, enwere ọganihu n'oge na-adịbeghị anya n'ịkwalite mmụta, nke ugbu a na-eburu n'uche mkpa amụma dị otú ahụ dị. Enwere m ike ịkwado gị ọrụ abụọ yiri ya ozugbo:
N'ime akwụkwọ abụọ a, ndị odee na-agbakwunye ụkpụrụ ndabara nke netwọkụ akwara ha na nsonaazụ amụma banyere ọnọdụ gburugburu ebe obibi n'ọdịnihu. N'okwu nke mbụ, a na-etinye amụma amụma n'ụdị mgbanwe nha dị iche iche, na nke abụọ, a na-etinye amụma amụma maka mgbanwe na gburugburu ebe obibi na omume nke onye ọrụ ahụ. N'okwu abụọ ahụ, mgbama dị nta nke jikọtara ya na nkwado dị mma na-abawanye ụba ma na-enye ihe ọmụma, na-enye ohere maka mmụta ngwa ngwa yana inweta àgwà ndị dị mgbagwoju anya. Ọganihu ndị dị otú ahụ dị naanị site na ụzọ ndị na-eji mgbama gradient, ọ bụghị na usoro na-arụ ọrụ na ụkpụrụ "igbe ojii", dị ka ES.
Na mgbakwunye, mmụta site na ahụmịhe na ụzọ gradient na-arụ ọrụ nke ọma karị. Ọbụlagodi n'ọnọdụ ebe enwere ike ịmụ otu nsogbu site na iji usoro ES ngwa ngwa karịa iji mmụta nkwado, uru a nwetara n'ihi na atụmatụ ES gụnyere ọtụtụ data karịa na RL. N'ịtụgharị uche na nke a na ụkpụrụ nke mmụta n'ime ụmụ anụmanụ, anyị mara na n'ihi na-amụta site onye ọzọ ihe atụ na-egosipụta onwe ya mgbe ọtụtụ ọgbọ, mgbe ụfọdụ otu ihe omume na-enweta n'onwe ya na-ezuru anụmanụ ịmụta ihe ruo mgbe ebighị ebi. Mgbe dị ka Ọ bụ ezie na ọ dabaraghị na usoro gradient ọdịnala, ọ nwere nghọta karịa ES. Enwere, dịka ọmụmaatụ, ụzọ dị ka , ebe a na-echekwa ụkpụrụ Q n'oge ọzụzụ, mgbe nke ahụ gasịrị, mmemme ahụ na-enyocha ha tupu ịme ihe. Nsonaazụ bụ usoro gradient nke na-enye gị ohere ịmụta otu esi edozi nsogbu ngwa ngwa karịa ka ọ dị na mbụ. N'ime edemede gbasara nchịkwa episodic neural, ndị edemede kwuru banyere hippocampus mmadụ, nke nwere ike idowe ozi gbasara ihe omume ọbụlagodi otu ahụmahụ na, ya mere, na-egwu egwu. na usoro nke icheta. Usoro ndị dị otú ahụ chọrọ ịnweta nhazi nke n'ime ụlọ nke onye ọrụ ahụ, nke bụkwa, site na nkọwa, agaghị ekwe omume na paradaịs ES.
Yabụ, gịnị ma ị jikọta ha?
O yikarịrị ka ọtụtụ n'ime akụkọ a nwere ike ịhapụ echiche na m na-akwado usoro RL. Otú ọ dị, echere m n'ezie na n'ikpeazụ ihe ngwọta kasị mma bụ ijikọta ụzọ abụọ ahụ, nke mere na a na-eji nke ọ bụla mee ihe n'ọnọdụ ndị kachasị mma. N'ụzọ doro anya, n'ihe banyere ọtụtụ atumatu mmeghachi omume ma ọ bụ n'ọnọdụ nwere akara ngosi dị mma nke nkwado dị mma, ES na-emeri, ọkachasị ma ọ bụrụ na ị nwere ike ịgbakọ n'aka gị nke ị nwere ike ịgba ọsọ ọzụzụ yiri ya. N'aka nke ọzọ, usoro gradient site na iji mmụta nkwado ma ọ bụ mmụta a na-elekọta ga-aba uru mgbe anyị nwere ike nweta nzaghachi buru ibu ma chọọ ịmụta otu esi edozi nsogbu ngwa ngwa yana obere data.
N'ịtụgharị na okike, anyị na-ahụ na usoro nke mbụ, n'eziokwu, na-atọ ntọala maka nke abụọ. Nke a bụ ya mere, n'ime oge evolushọn, ụmụ anụmanụ na-emepụta ụbụrụ na-enye ha ohere ịmụta nke ọma site na mgbaàmà mgbagwoju anya na-abịa site na gburugburu ebe obibi. Yabụ, ajụjụ a ka ghere oghe. Ikekwe atụmatụ evolushọn ga-enyere anyị aka ịmepụta ụlọ mmụta dị irè nke ga-abakwa uru maka usoro mmụta gradient. A sị ka e kwuwe, ngwọta a chọtara site n'okike bụ n'ezie ihe ịga nke ọma.
isi: www.habr.com