Laba, vecmodÄ«ga paslÄpes spÄle var bÅ«t lielisks mÄkslÄ«gÄ intelekta (AI) robotu tests, lai parÄdÄ«tu, kÄ tie pieÅem lÄmumus un mijiedarbojas savÄ starpÄ un dažÄdiem apkÄrtÄjiem objektiem.
viÅa , ko publicÄjuÅ”i pÄtnieki no OpenAI, bezpeļÅas mÄkslÄ«gÄ intelekta pÄtniecÄ«bas organizÄcijas, kas ir kļuvusi slavena datorspÄlÄ Dota 2 zinÄtnieki apraksta, kÄ mÄkslÄ«gÄ intelekta kontrolÄtie aÄ£enti tika apmÄcÄ«ti, lai virtuÄlajÄ vidÄ bÅ«tu daudz izsmalcinÄtÄk meklÄt un slÄpties viens no otra. PÄtÄ«juma rezultÄti parÄdÄ«ja, ka divu robotu komanda mÄcÄs efektÄ«vÄk un ÄtrÄk nekÄ jebkurÅ” aÄ£ents bez sabiedrotajiem.
ZinÄtnieki ir izmantojuÅ”i metodi, kas jau sen ir ieguvusi savu slavu , kurÄ mÄkslÄ«gais intelekts tiek novietots tam nezinÄmÄ vidÄ, vienlaikus izmantojot noteiktus mijiedarbÄ«bas veidus ar to, kÄ arÄ« atlÄ«dzÄ«bas un naudas sodu sistÄma par vienu vai otru tÄ darbÄ«bas rezultÄtu. Å Ä« metode ir diezgan efektÄ«va, pateicoties AI spÄjai veikt dažÄdas darbÄ«bas virtuÄlajÄ vidÄ ar milzÄ«gu Ätrumu, miljoniem reižu ÄtrÄk, nekÄ cilvÄks spÄj iedomÄties. Tas ļauj izmÄÄ£inÄjumiem un kļūdÄm atrast visefektÄ«vÄkÄs stratÄÄ£ijas konkrÄtas problÄmas risinÄÅ”anai. TaÄu Å”ai pieejai ir arÄ« daži ierobežojumi, piemÄram, vides izveidei un daudzu apmÄcÄ«bu ciklu veikÅ”anai ir nepiecieÅ”ami milzÄ«gi skaitļoÅ”anas resursi, un paÅ”am procesam ir nepiecieÅ”ama precÄ«za sistÄma AI darbÄ«bu rezultÄtu salÄ«dzinÄÅ”anai ar mÄrÄ·i. TurklÄt aÄ£enta Å”ÄdÄ veidÄ iegÅ«tÄs prasmes aprobežojas ar aprakstÄ«to uzdevumu, un, tiklÄ«dz AI iemÄcÄ«sies ar to tikt galÄ, turpmÄku uzlabojumu nebÅ«s.
Lai apmÄcÄ«tu mÄkslÄ«go intelektu spÄlÄt paslÄpes, zinÄtnieki izmantoja pieeju, ko sauc par āNevirzÄ«to izpÄtiā, kurÄ aÄ£entiem ir pilnÄ«ga brÄ«vÄ«ba attÄ«stÄ«t savu izpratni par spÄļu pasauli un izstrÄdÄt uzvaras stratÄÄ£ijas. Tas ir lÄ«dzÄ«gs vairÄku aÄ£entu mÄcÄ«Å”anÄs pieejai, ko DeepMind pÄtnieki izmantoja vairÄkÄs mÄkslÄ«gÄ intelekta sistÄmÄs . TÄpat kÄ Å”ajÄ gadÄ«jumÄ, AI aÄ£enti iepriekÅ” nebija apmÄcÄ«ti spÄles noteikumos, taÄu laika gaitÄ viÅi apguva pamata stratÄÄ£ijas un pat spÄja pÄrsteigt pÄtniekus ar netriviÄliem risinÄjumiem.
PaslÄpes spÄlÄ vairÄkiem aÄ£entiem, kuru uzdevums bija slÄpties, bija jÄizvairÄs no pretinieku redzesloka pÄc nelielas pÄrsvara, kamÄr meklÄÅ”anas aÄ£entu komanda bija imobilizÄta. TurklÄt "redzes lÄ«nija" Å”ajÄ kontekstÄ ir 135 grÄdu konuss atseviŔķa robota priekÅ”Ä. AÄ£enti nevarÄja izkļūt pÄrÄk tÄlu Ärpus spÄles laukuma un bija spiesti pÄrvietoties nejauÅ”i Ä£enerÄtÄs telpÄs ar iespÄju izmantot dažus ÄrÄjos objektus (kastes, pÄrvietojamas sienas, Ä«paÅ”as rampas), kas bija izkaisÄ«ti un kurus varÄja izmantot gan seguma izveidoÅ”anai, gan iefiltrÄÅ”anai tajÄs. .
IlgÄ mÄcÄ«bu procesÄ AI aÄ£enti apguva seÅ”as unikÄlas stratÄÄ£ijas, no kurÄm katra palÄ«dzÄja viÅiem pÄriet uz nÄkamo spÄles posmu. SÄkumÄ meklÄtÄju un slÄpÅotÄju komandas vienkÄrÅ”i aizbÄga un dzenÄja viena otru, bet pÄc aptuveni 25 miljoniem maÄu slÄpÅotÄju komanda iemÄcÄ«jÄs bloÄ·Ät ejas ar kastÄm un uzbÅ«vÄt no tÄm patversmes. PÄc vÄl 75 miljoniem spÄļu komanda atklÄja veidus, kÄ izmantot rampas, lai iekļūtu Å”ajos slÄpÅos. VÄl pÄc 10 miljoniem kÄrtu slÄpÅotÄji iemÄcÄ«jÄs vilkt rampas lÄ«dz spÄles laukuma malai un nofiksÄt tÄs vietÄ, lai neļautu pretiniekiem tÄs izmantot.
PÄc 388 miljoniem sÄrkociÅu meklÄtÄji ir iemÄcÄ«juÅ”ies izmantot bloÄ·Ätas rampas, lai uzkÄptu uz viÅiem atnestajÄm kastÄm, un pÄc tam, pÄrvietojoties tieÅ”i uz tÄm, iekļūtu ienaidnieka slÄpÅos, kas izveidoti no pÄrnÄsÄjamÄm sienÄm. Un visbeidzot, pÄc 458 miljoniem spÄļu, slÄpÅojoÅ”Ä komanda secinÄja, ka viÅiem ir nepiecieÅ”ams bloÄ·Ät visus objektus un pÄc tam uzbÅ«vÄt pajumti, kas acÄ«mredzot noveda pie viÅu galÄ«gÄs uzvaras.
ÄŖpaÅ”i iespaidÄ«gi ir tas, ka pÄc 22 miljoniem spÄļu aÄ£enti iemÄcÄ«jÄs koordinÄt savas darbÄ«bas un viÅu sadarbÄ«bas efektivitÄte nÄkotnÄ tikai pieauga, piemÄram, katrs paÅÄma lÄ«dzi savu kastÄ«ti vai sienu, lai izveidotu pajumti un izvÄlÄjÄs savu daļu objektu. bloÄ·Ät, lai padarÄ«tu spÄli grÅ«tÄku pretiniekiem.
ZinÄtnieki atzÄ«mÄja arÄ« svarÄ«gu punktu, kas saistÄ«ts ar mÄcÄ«bu objektu skaita (caur neironu tÄ«klu nodoto datu apjomu - āPartijas lielumsā) ietekmi uz mÄcÄ«Å”anÄs Ätrumu. NoklusÄjuma modelim bija nepiecieÅ”ami 132,3 miljoni spÄļu 34 stundu treniÅu laikÄ, lai sasniegtu punktu, kurÄ slÄpÅojoÅ”Ä komanda iemÄcÄ«jÄs bloÄ·Ät rampas, savukÄrt vairÄk datu izraisÄ«ja ievÄrojamu treniÅu laika samazinÄjumu. PiemÄram, palielinot parametru skaitu (daļa no visa apmÄcÄ«bas procesa laikÄ iegÅ«tajiem datiem) no 0,5 miljoniem lÄ«dz 5,8 miljoniem palielinÄja izlases efektivitÄti 2,2 reizes, bet ievades datu apjoma palielinÄÅ”ana no 64 KB lÄ«dz 128 KB samazinÄja apmÄcÄ«bu. laiku gandrÄ«z pusotru reizi.
Darba beigÄs pÄtnieki nolÄma pÄrbaudÄ«t, cik daudz apmÄcÄ«bas spÄlÄ varÄtu palÄ«dzÄt aÄ£entiem tikt galÄ ar lÄ«dzÄ«giem uzdevumiem Ärpus spÄles. KopumÄ tika veikti pieci testi: objektu skaita apzinÄÅ”anÄs (izpratne, ka objekts turpina pastÄvÄt arÄ« tad, ja tas ir Ärpus redzesloka un netiek lietots); ābloÄ·Ät un atgrieztiesā - spÄja atcerÄties savu sÄkotnÄjo stÄvokli un atgriezties tajÄ pÄc kÄda papildu uzdevuma veikÅ”anas; āsecÄ«gÄ bloÄ·ÄÅ”anaā - 4 kastes tika nejauÅ”i izvietotas trÄ«s telpÄs bez durvÄ«m, bet ar rampÄm, lai iekļūtu iekÅ”Ä, aÄ£entiem vajadzÄja tÄs visas atrast un bloÄ·Ät; kastu izvietoÅ”ana iepriekÅ” noteiktÄs vietÄs; veidojot pajumti ap objektu cilindra formÄ.
RezultÄtÄ trijos no pieciem uzdevumiem robotprogrammatÅ«ras, kas bija iepriekÅ” apmÄcÄ«tas spÄlÄ, mÄcÄ«jÄs ÄtrÄk un uzrÄdÄ«ja labÄkus rezultÄtus nekÄ AI, kas tika apmÄcÄ«tas atrisinÄt problÄmas no nulles. ViÅiem veicas nedaudz labÄk, izpildot uzdevumu un atgriežoties sÄkuma pozÄ«cijÄ, secÄ«gi bloÄ·Äjot kastes slÄgtÄs telpÄs un novietojot kastes noteiktajÄs zonÄs, bet nedaudz vÄjÄk veica objektu skaita atpazÄ«Å”anu un aizsegu ap citu objektu.
PÄtnieki attiecina pretrunÄ«gus rezultÄtus uz to, kÄ AI apgÅ«st un atceras noteiktas prasmes. "MÄs domÄjam, ka uzdevumi, kuros spÄles pirmsapmÄcÄ«ba bija vislabÄkÄ, bija iepriekÅ” apgÅ«to prasmju atkÄrtota izmantoÅ”ana pazÄ«stamÄ veidÄ, savukÄrt, lai atlikuÅ”os uzdevumus veiktu labÄk nekÄ mÄkslÄ«gais intelekts, kas apmÄcÄ«ts no nulles, bÅ«tu nepiecieÅ”ams tos izmantot citÄ veidÄ, kas sarežģītÄk,ā raksta darba lÄ«dzautori. "Å is rezultÄts uzsver nepiecieÅ”amÄ«bu izstrÄdÄt metodes, kÄ efektÄ«vi atkÄrtoti izmantot apmÄcÄ«bas laikÄ iegÅ«tÄs prasmes, pÄrnesot tÄs no vienas vides uz citu."
Paveiktais darbs ir patiesi iespaidÄ«gs, jo izredzes izmantot Å”o mÄcÄ«bu metodi ir tÄlu Ärpus jebkuras spÄles robežas. PÄtnieki saka, ka viÅu darbs ir nozÄ«mÄ«gs solis ceÄ¼Ä uz mÄkslÄ«gÄ intelekta izveidi ar "fiziku balstÄ«tu" un "cilvÄkam lÄ«dzÄ«gu" uzvedÄ«bu, kas var diagnosticÄt slimÄ«bas, paredzÄt sarežģītu proteÄ«nu molekulu struktÅ«ras un analizÄt CT skenÄjumus.
ZemÄk esoÅ”ajÄ videoklipÄ varat skaidri redzÄt, kÄ notika viss mÄcÄ«bu process, kÄ AI apguva komandas darbu, un tÄ stratÄÄ£ijas kļuva arvien viltÄ«gÄkas un sarežģītÄkas.
Avots: 3dnews.ru