Ere ti o dara ti igba atijọ ti tọju ati wiwa le jẹ idanwo nla fun awọn bot itetisi atọwọda (AI) lati ṣafihan bi wọn ṣe ṣe awọn ipinnu ati ibaraenisepo pẹlu ara wọn ati awọn nkan oriṣiriṣi ni ayika wọn.
Ninu tirẹ , ti a tẹjade nipasẹ awọn oniwadi lati OpenAI, ile-iṣẹ iwadii itetisi atọwọda ti kii ṣe èrè ti o ti di olokiki ninu ere kọmputa Dota 2, awọn onimo ijinlẹ sayensi ṣe apejuwe bi awọn aṣoju ti a ṣakoso nipasẹ itetisi atọwọda ti ni ikẹkọ lati ni ilọsiwaju diẹ sii ni wiwa ati fifipamọ si ara wọn ni agbegbe foju kan. Awọn abajade iwadi naa ṣe afihan pe ẹgbẹ kan ti awọn bot meji kọ ẹkọ ni imunadoko ati yiyara ju eyikeyi aṣoju kan laisi awọn ọrẹ.
Awọn onimo ijinlẹ sayensi ti lo ọna ti o ti gba olokiki fun igba pipẹ , ninu eyiti a gbe itetisi atọwọda si agbegbe ti a ko mọ si, lakoko ti o ni awọn ọna kan ti ibaraenisepo pẹlu rẹ, bakannaa eto awọn ere ati awọn itanran fun abajade ọkan tabi miiran ti awọn iṣe rẹ. Ọna yii jẹ doko gidi nitori agbara AI lati ṣe ọpọlọpọ awọn iṣe ni agbegbe foju ni iyara nla, awọn miliọnu awọn akoko yiyara ju eniyan le fojuinu lọ. Eyi ngbanilaaye idanwo ati aṣiṣe lati wa awọn ilana ti o munadoko julọ fun ipinnu iṣoro ti a fun. Ṣugbọn ọna yii tun ni diẹ ninu awọn idiwọn, fun apẹẹrẹ, ṣiṣẹda agbegbe kan ati ṣiṣe awọn akoko ikẹkọ lọpọlọpọ nilo awọn orisun iširo nla, ati pe ilana funrararẹ nilo eto deede fun ifiwera awọn abajade ti awọn iṣe AI pẹlu ibi-afẹde rẹ. Ni afikun, awọn ọgbọn ti o gba nipasẹ aṣoju ni ọna yii ni opin si iṣẹ-ṣiṣe ti a ṣalaye ati, ni kete ti AI kọ ẹkọ lati koju rẹ, kii yoo ni awọn ilọsiwaju siwaju sii.
Lati ṣe ikẹkọ AI lati ṣere tọju ati wiwa, awọn onimo ijinlẹ sayensi lo ọna kan ti a pe ni “Iwakiri ti ko ni itọsọna,” eyiti o jẹ nibiti awọn aṣoju ti ni ominira pipe lati ṣe idagbasoke oye wọn nipa agbaye ere ati dagbasoke awọn ọgbọn bori. Eyi jẹ iru si ọna ikẹkọ aṣoju-pupọ ti awọn oniwadi ni DeepMind lo nigbati ọpọlọpọ awọn eto itetisi atọwọda . Gẹgẹbi ọran yii, awọn aṣoju AI ko ni ikẹkọ tẹlẹ ninu awọn ofin ti ere, ṣugbọn ni akoko pupọ wọn kọ awọn ilana ipilẹ ati paapaa ni anfani lati ṣe iyalẹnu awọn oniwadi pẹlu awọn solusan ti kii ṣe pataki.
Ninu ere fifipamọ ati wiwa, ọpọlọpọ awọn aṣoju ti iṣẹ wọn jẹ lati tọju ni a nilo lati yago fun laini oju ti awọn alatako wọn lẹhin ibẹrẹ ori diẹ lakoko ti ẹgbẹ ti awọn aṣoju wiwa ko le gbe. Pẹlupẹlu, “ila oju” ni aaye yii jẹ konu iwọn 135 ni iwaju bot ẹni kọọkan. Awọn aṣoju ko le ṣe adaṣe jinna si ita agbegbe ere ati pe wọn fi agbara mu lati lọ kiri awọn yara ti a ṣẹda laileto pẹlu agbara lati lo diẹ ninu awọn ohun ita (awọn apoti, awọn odi gbigbe, awọn ramps pataki) ti o tuka ni ayika ti o le ṣee lo mejeeji lati ṣẹda ideri ati lati wọ inu wọn. .
Nipasẹ ilana ikẹkọ gigun, awọn aṣoju AI kọ ẹkọ awọn ọgbọn alailẹgbẹ mẹfa, ọkọọkan eyiti o ṣe iranlọwọ fun wọn ni ilọsiwaju si ipele atẹle ti ere naa. Lákọ̀ọ́kọ́, àwọn ẹgbẹ́ olùwá àti olùfipamọ́ sá lọ, wọ́n sì lépa ara wọn, ṣùgbọ́n lẹ́yìn nǹkan bí mílíọ̀nù mẹ́ẹ̀ẹ́dọ́gbọ̀n ó lé mẹ́ẹ̀ẹ́dọ́gbọ̀n, ẹgbẹ́ olùfíṣọ́nà kọ́ bí a ṣe ń dí àwọn ọ̀nà àbáwọlé pẹ̀lú àwọn àpótí kí wọ́n sì kọ́ àwọn ibi ààbò nínú wọn. Lẹhin awọn ere-kere 25 miliọnu miiran, ẹgbẹ naa ṣe awari awọn ọna lati lo awọn ramps lati wọle si awọn ibi ipamọ wọnyi. Lẹhin awọn iyipo miliọnu 75 miiran, awọn olufoju kọ ẹkọ lati fa awọn ramps si eti agbegbe ere ati tii wọn si aaye lati yago fun awọn alatako lati lo wọn.
Lẹhin awọn ere-kere 388 miliọnu, awọn ti n wa ti kọ ẹkọ lati lo awọn ramps dina lati gun lori awọn apoti ti a mu wa si wọn, ati lẹhinna, gbigbe taara si wọn, wọ awọn ibi ipamọ ọta ti a ṣẹda lati awọn odi to ṣee gbe. Ati nikẹhin, lẹhin awọn ere-kere miliọnu 458, ẹgbẹ fifipamọ pinnu pe wọn nilo lati dènà gbogbo awọn nkan ati lẹhinna kọ ibi aabo kan, eyiti o han gbangba yori si iṣẹgun ikẹhin wọn.
Ohun ti o ṣe iyanilenu ni pataki ni pe lẹhin awọn ere-kere 22 milionu, awọn aṣoju kọ ẹkọ lati ṣakojọpọ awọn iṣe wọn ati ṣiṣe ti ifowosowopo wọn pọ si ni ọjọ iwaju, fun apẹẹrẹ, ọkọọkan mu apoti tirẹ tabi odi lati ṣẹda ibi aabo ati yan ipin ti awọn nkan si Àkọsílẹ, lati complicate awọn isoro ere si awọn alatako.
Awọn onimo ijinlẹ sayensi tun ṣe akiyesi aaye pataki kan ti o ni ibatan si ipa ti nọmba awọn ohun ikẹkọ (iye data ti o kọja nipasẹ nẹtiwọọki nkankikan - “Iwọn Iwọn”) lori iyara ikẹkọ. Awoṣe aiyipada ti o nilo awọn ere-kere 132,3 milionu lori awọn wakati 34 ti ikẹkọ lati de ibi ti ẹgbẹ ti o fi ara pamọ kọ ẹkọ lati dènà awọn ramps, lakoko ti data diẹ sii ti o mu ki idinku ti o ṣe akiyesi ni akoko ikẹkọ. Fun apẹẹrẹ, jijẹ nọmba awọn paramita (apakan ti data ti a gba lakoko gbogbo ilana ikẹkọ) lati 0,5 million si 5,8 million pọ si ṣiṣe iṣapẹẹrẹ nipasẹ awọn akoko 2,2, ati jijẹ iwọn data titẹ sii lati 64 KB si 128 KB dinku ikẹkọ. akoko fere ọkan ati idaji igba.
Ni ipari iṣẹ wọn, awọn oniwadi pinnu lati ṣe idanwo iye ikẹkọ inu-ere le ṣe iranlọwọ fun awọn aṣoju lati koju awọn iṣẹ ṣiṣe kanna ni ita ere naa. Awọn idanwo marun wa ni apapọ: imọ nọmba awọn nkan (oye pe ohun kan tẹsiwaju lati wa paapaa ti ko ba wa ni oju ati pe ko lo); “Titiipa ati pada” - agbara lati ranti ipo atilẹba ti ẹnikan ati pada si ọdọ rẹ lẹhin ipari iṣẹ-ṣiṣe afikun; “Idina atẹle” - Awọn apoti 4 wa laileto ni awọn yara mẹta laisi awọn ilẹkun, ṣugbọn pẹlu awọn rampu lati wọle, awọn aṣoju nilo lati wa ati dènà gbogbo wọn; gbigbe awọn apoti lori awọn aaye ti a ti pinnu tẹlẹ; ṣiṣẹda ibi aabo ni ayika ohun kan ni irisi silinda.
Bi abajade, ni mẹta ninu awọn iṣẹ-ṣiṣe marun, awọn bot ti o ti gba ikẹkọ alakoko ninu ere kọ ẹkọ ni iyara ati ṣafihan awọn abajade to dara julọ ju AI ti o ti kọ lati yanju awọn iṣoro lati ibere. Wọn ṣe diẹ ti o dara julọ ni ipari iṣẹ-ṣiṣe ati ipadabọ si ipo ibẹrẹ, awọn apoti idena lẹsẹsẹ ni awọn yara pipade, ati gbigbe awọn apoti ni awọn agbegbe ti a fun, ṣugbọn ṣe alailagbara diẹ ni mimọ nọmba awọn nkan ati ṣiṣẹda ideri ni ayika ohun miiran.
Awọn oniwadi ṣe ikalara awọn abajade adalu si bii AI ṣe kọ ẹkọ ati ranti awọn ọgbọn kan. “A ro pe awọn iṣẹ-ṣiṣe nibiti ikẹkọ iṣaaju-ere ṣe ti o dara julọ pẹlu lilo awọn ọgbọn ti a kọ tẹlẹ ni ọna ti o faramọ, lakoko ṣiṣe awọn iṣẹ ṣiṣe ti o ku dara julọ ju AI ti a kọ lati ibere yoo nilo lilo wọn ni ọna ti o yatọ, eyiti o pọ si. idiju diẹ sii,” kọ awọn onkọwe ti iṣẹ naa. Abajade yii ṣe afihan iwulo lati ṣe agbekalẹ awọn ọna fun lilo imunadoko awọn ọgbọn ti o gba nipasẹ ikẹkọ nigba gbigbe wọn lati agbegbe kan si ekeji.”
Iṣẹ́ tí a ṣe yìí wúni lórí gan-an, níwọ̀n bí ìfojúsọ́nà láti lo ọ̀nà ìkọ́nilẹ́kọ̀ọ́ yìí ré kọjá ààlà àwọn eré èyíkéyìí. Awọn oniwadi sọ pe iṣẹ wọn jẹ igbesẹ pataki si ṣiṣẹda AI pẹlu “orisun-fisiksi” ati ihuwasi “iru eniyan” ti o le ṣe iwadii aisan, asọtẹlẹ awọn ẹya ti awọn ohun elo amuaradagba eka ati itupalẹ awọn ọlọjẹ CT.
Ninu fidio ti o wa ni isalẹ o le rii ni kedere bi gbogbo ilana ikẹkọ ṣe waye, bawo ni AI ṣe kọ ẹkọ iṣiṣẹpọ, ati awọn ọgbọn rẹ di arekereke ati eka sii.
orisun: 3dnews.ru