Гирифтани парчам як усули хеле оддии рақобат аст, ки дар бисёре аз тирандозҳои машҳур пайдо мешавад. Ҳар як даста дорои маркерест, ки дар пойгоҳи худ ҷойгир аст ва ҳадаф ин аст, ки маркери дастаи рақибро ба даст оварда, бомуваффақият ба худ биёрад. Аммо он чизе, ки барои одамон фаҳмидан осон аст, барои мошинҳо он қадар осон нест. Барои гирифтани парчам, аломатҳои ғайриплеер (ботҳо) ба таври анъанавӣ бо истифода аз эвристика ва алгоритмҳои оддӣ барномарезӣ карда мешаванд, ки озодии маҳдуди интихобро таъмин мекунанд ва аз одамон хеле пасттаранд. Аммо зеҳни сунъӣ ва омӯзиши мошинҳо ваъда медиҳанд, ки ин вазъиятро комилан тағир медиҳанд.
В , ин ҳафта дар маҷаллаи Science тақрибан як сол пас аз нашр шуд , инчунин дар , муҳаққиқони DeepMind, як фаръии Alphabet дар Лондон, системаеро тавсиф мекунанд, ки на танҳо метавонад бозӣ кардани парчамро дар харитаҳои id Software Quake III Arena ёд гирад, балки инчунин стратегияҳои комилан нави дастаро таҳия кунад, ки ба ҳеҷ ваҷҳ аз одам кам нестанд.
"Ҳеҷ кас ба AI нагуфт, ки ин бозӣ чӣ гуна бояд бозӣ кунад, он танҳо натиҷа дод - оё AI рақибашро мағлуб кард ё не. Зебоии истифодаи ин равиш дар он аст, ки шумо ҳеҷ гоҳ намедонед, ки ҳангоми омӯзонидани агентҳо чӣ гуна рафтор ба вуҷуд меояд "гуфт Макс Ҷадерберг, олими тадқиқотии DeepMind, ки қаблан дар системаи омӯзиши мошини AlphaStar кор мекард (ба наздикӣ). дастаи инсонии мутахассисон дар StarCraft II). Вай минбаъд шарҳ дод, ки усули асосии кори нави онҳо, пеш аз ҳама, омӯзиши пурқувват аст, ки як намуди системаи мукофотро барои тела додани агентҳои нармафзор барои ноил шудан ба ҳадафҳои муқарраршуда истифода мебарад ва системаи мукофот новобаста аз он ки дастаи AI ғолиб омад ё не, кор мекард. , аммо дар - дуюм, агентҳо дар гурӯҳҳо омӯзонида шуданд, ки ин AI-ро маҷбур кард, ки ҳамкории дастаро аз аввал азхуд кунад.
"Аз нуқтаи назари тадқиқот, ин як навоварии равиши алгоритмӣ аст, ки воқеан ҳаяҷоновар аст" илова кард Макс. "Усуле, ки мо AI-и худро омӯзонидем, нишон медиҳад, ки чӣ гуна миқёс ва татбиқи баъзе ғояҳои классикии эволютсионӣ мумкин аст."
Агентҳои DeepMind ба таври иғвоангез номи For The Win (FTW) бо истифода аз шабакаи нейронҳои конволютсионӣ, маҷмӯи функсияҳои математикӣ (нейронҳо), ки дар қабатҳои пас аз кортекси визуалии инсон модел карда шудаанд, мустақиман аз пикселҳои экран меомӯзанд. Маълумоти гирифташуда ба ду шабакаи дорои хотираи кӯтоҳмуддати сершумор (хотираи кӯтоҳмуддати дарозмуддати англисӣ - LSTM) интиқол дода мешавад, ки қодир аст вобастагии дарозмуддатро эътироф кунад. Яке аз онҳо маълумоти амалиётиро бо суръати вокуниши зуд идора мекунад, дар ҳоле ки дигаре барои таҳлил ва таҳияи стратегияҳо оҳиста кор мекунад. Ҳардуи онҳо бо хотираи вариантӣ алоқаманданд, ки онҳоро якҷоя барои пешгӯии тағирот дар ҷаҳони бозӣ истифода мебаранд ва тавассути контролери бозии тақлидшуда амал мекунанд.
Дар маҷмӯъ, DeepMind 30 агентро омӯзонд, ба онҳо як қатор шарикон ва рақибонро дод, ки бо онҳо бозӣ кунанд ва кортҳои бозиро ба таври тасодуфӣ интихоб карданд, то AI онҳоро дар хотир нагирад. Ҳар як агент сигнали мукофоти худро дошт, ки ба он имкон медиҳад, ки ҳадафҳои дохилии худро эҷод кунад, ба монанди гирифтани парчам. Ҳар як AI ба таври инфиродӣ тақрибан 450 ҳазор бозиро барои гирифтани парчам бозӣ кардааст, ки ба таҷрибаи тақрибан чаҳор соли бозӣ баробар аст.
Агентҳои пурра омӯзонидашудаи FTW истифода бурдани стратегияҳоеро, ки барои ҳама гуна харита, феҳристи даста ва андозаи даста маъмуланд, омӯхтанд. Онҳо рафтори инсониро, аз қабили пайравӣ ба ҳамкорон, ӯрду задан дар пойгоҳи душман ва дифоъ аз пойгоҳи худ аз ҳамлагарон омӯхтанд ва онҳо тадриҷан намунаҳои камтар фоидаоварро аз қабили тамошои иттифоқчӣ аз наздик аз даст доданд.
Пас чй гуна натичахо ба даст оварда шуданд? Дар як мусобиқаи 40-нафара, ки дар он одамон ва агентҳо ба таври тасодуфӣ ҳам якҷоя ва ҳам бар зидди ҳамдигар бозӣ мекарданд, агентҳои FTW аз сатҳи пирӯзии бозигарони инсонӣ хеле баландтар буданд. Рейтинги Elo дар AI, ки эҳтимоли пирӯзӣ аст, 1600 буд, дар муқоиса бо 1300 барои бозигарони "қавӣ" инсон ва 1050 барои бозигари "миёна".
Ин тааҷҷубовар нест, зеро суръати реаксияи AI назар ба суръати инсон хеле баландтар аст, ки дар таҷрибаҳои аввал ба аввал бартарии назаррас дод. Аммо ҳатто вақте ки дақиқии агентҳо коҳиш ёфт ва вақти реаксия ба туфайли таъхири дарунсохташудаи 257 миллисония зиёд шуд, AI ҳанӯз ҳам аз одамон бартарӣ дошт. Бозингарони пешрафта ва тасодуфӣ ҳамагӣ 21% ва 12% аз бозиҳои умумӣ ғолиб шуданд.
Ғайр аз он, пас аз нашри тадқиқот, олимон тасмим гирифтанд, ки агентҳоро дар харитаҳои пурраи Quake III Arena бо меъмории сатҳи мураккаб ва объектҳои иловагӣ, ба монанди Future Crossings ва Ironwood, ки дар он ҷо AI ба одамон дар бозиҳои санҷишӣ бомуваффақият мубориза барад. . Вақте ки муҳаққиқон ба намунаҳои фаъолсозии шабакаи нейронии агентҳо, яъне функсияҳои нейронҳое, ки барои муайян кардани натиҷа дар асоси иттилооти воридотӣ масъуланд, аз назар гузарониданд, онҳо кластерҳои намояндагии ҳуҷраҳо, ҳолати парчамҳо, намуди зоҳирии ҳамкорон ва рақибон ва ҳузур ё набудани агентҳо дар пойгоҳи душман. ё ба даста асосёфта ва дигар ҷанбаҳои муҳими бозӣ. Агентҳои омӯзонидашуда ҳатто нейронҳоро дар бар мегирифтанд, ки ҳолатҳои мушаххасро мустақиман рамзгузорӣ мекарданд, масалан, вақте ки парчам аз ҷониби агент гирифта шуд ё иттифоқчӣ онро дар даст дошт.
"Ман фикр мекунам, ки яке аз чизҳое, ки бояд ба назар гирифта шавад, ин аст, ки ин дастаҳои бисёр агентӣ бениҳоят пурқувватанд ва омӯзиши мо инро нишон медиҳад" мегӯяд Ҷадерберг. "Ин он чизест, ки мо дар тӯли чанд соли охир беҳтар ва беҳтар кор карданро омӯхтаем - чӣ гуна ҳалли мушкилоти омӯзиши такмили ихтисос." Ва омӯзиши мукаммалшуда воқеан хуб кор кард. ”
Торе Грепел, профессори илмҳои компютерӣ дар Коллеҷи Донишгоҳи Лондон ва як олими DeepMind, бар ин назар аст, ки кори онҳо потенсиали омӯзиши бисёрсоҳавӣ барои ояндаи AI-ро нишон медиҳад. Он инчунин метавонад ҳамчун асос барои тадқиқот оид ба ҳамкории одамон ва мошинҳо ва системаҳое, ки якдигарро пурра мекунанд ё якҷоя кор мекунанд, хизмат кунанд.
"Натиҷаҳои мо нишон медиҳанд, ки омӯзиши тақвияти бисёрҷониба метавонад як бозии мураккабро бомуваффақият азхуд кунад, то он даме, ки бозигарони инсонӣ ҳатто бовар мекунанд, ки бозигарони компютер ҳамтоёни беҳтаре мешаванд. Таҳқиқот инчунин таҳлили амиқи хеле ҷолиберо пешниҳод мекунад, ки агентҳои омӯзонидашуда чӣ гуна рафтор ва якҷоя кор мекунанд, мегӯяд Грепел. "Он чизе ки ин натиҷаҳоро ин қадар ҳаяҷоновар мегардонад, ин аст, ки ин агентҳо муҳити худро дар шахси аввал, [яъне] мисли бозигари инсонӣ дарк мекунанд. Барои омӯхтани тарзи бозӣ ва ҳамкорӣ бо ҳамдастони худ, ин агентҳо бояд ба фикру мулоҳизаҳо аз натиҷаҳои бозӣ такя кунанд, бе ягон муаллим ё мураббӣ ба онҳо чӣ кор карданро нишон намедиҳад."
Манбаъ: 3dnews.ru