OpenAI учи AI работа в екип в игра на криеница

Добрата старомодна игра на криеница може да бъде чудесен тест за ботовете с изкуствен интелект (AI), за да демонстрират как вземат решения и взаимодействат помежду си и с различни обекти около тях.

В своята нова статия, публикувана от изследователи от OpenAI, организация с нестопанска цел за изследване на изкуствения интелект, която стана известна победа над световните шампиони в компютърната игра Dota 2 учените описват как агенти, контролирани от изкуствен интелект, са били обучени да бъдат по-усъвършенствани в търсенето и криенето един от друг във виртуална среда. Резултатите от проучването показаха, че екип от двама бота се учи по-ефективно и по-бързо от всеки отделен агент без съюзници.

Учените са използвали метод, който отдавна е спечелил своята слава машинно обучение с подсилване, при който изкуственият интелект е поставен в непозната за него среда, като същевременно има определени начини за взаимодействие с него, както и система от награди и глоби за един или друг резултат от неговите действия. Този метод е доста ефективен поради способността на AI да извършва различни действия във виртуална среда с огромна скорост, милиони пъти по-бърза, отколкото човек може да си представи. Това позволява чрез проба и грешка да се намерят най-ефективните стратегии за решаване на даден проблем. Но този подход има и някои ограничения, например създаването на среда и провеждането на многобройни цикли на обучение изисква огромни изчислителни ресурси, а самият процес изисква точна система за сравняване на резултатите от действията на AI с неговата цел. В допълнение, уменията, придобити от агента по този начин, са ограничени до описаната задача и след като AI се научи да се справя с нея, няма да има допълнителни подобрения.

За да обучат AI да играе на криеница, учените използваха подход, наречен „Ненасочено изследване“, при който агентите имат пълната свобода да развият своето разбиране за света на играта и да разработят печеливши стратегии. Това е подобно на подхода за обучение с множество агенти, който изследователите от DeepMind използваха, когато множество системи с изкуствен интелект бяха обучени да играят режим на улавяне на флага в Quake III Arena. Както в този случай, агентите на AI не са били предварително обучени в правилата на играта, но с течение на времето са научили основни стратегии и дори са успели да изненадат изследователите с нетривиални решения.

В игра на криеница няколко агенти, чиято работа беше да се крият, трябваше да избегнат линията на видимост на опонентите си след лека преднина, докато екипът от издирващите агенти беше неподвижен. Освен това „линията на видимост“ в този контекст е конус от 135 градуса пред отделен бот. Агентите не можеха да излизат твърде далеч извън зоната за игра и бяха принудени да навигират в произволно генерирани стаи с възможността да използват някои външни обекти (кутии, подвижни стени, специални рампи), разпръснати наоколо, които могат да се използват както за създаване на прикритие, така и за проникване в тях .

Чрез дълъг процес на обучение агентите на AI научиха шест уникални стратегии, всяка от които им помогна да преминат към следващия етап от играта. Първоначално екипите на търсачите и скрителите просто избягаха и се преследваха, но след около 25 милиона мача екипът на скрителите се научи да блокира проходи с кутии и да изгражда убежища от тях. След още 75 милиона мача екипът откри начини да използва рампи, за да влезе в тези скривалища. След още 10 милиона кръга криещите се се научиха да плъзгат рампи до края на игралната зона и да ги заключват на място, за да попречат на противниците да ги използват.

След 388 милиона съвпадения търсачите са се научили да използват блокирани рампи, за да се катерят върху сандъците, донесени до тях, и след това, придвижвайки се директно върху тях, проникват в скривалищата на врага, създадени от преносими стени. И накрая, след 458 милиона мача, криещият се екип стигна до заключението, че трябва да блокират всички обекти и след това да построят убежище, което очевидно доведе до крайната им победа.

Това, което е особено впечатляващо е, че след 22 милиона съвпадения агентите се научиха да координират действията си и ефективността на тяхното сътрудничество само се увеличи в бъдеще, например всеки донесе своя кутия или стена, за да създаде подслон и избра своя дял от обекти, за да блокирайте, за да усложните играта на трудност за противниците.

Учените също отбелязаха важен момент, свързан с влиянието на броя на обучаващите обекти (количеството данни, преминали през невронната мрежа - „Размер на партидата“) върху скоростта на обучение. Моделът по подразбиране изискваше 132,3 милиона съвпадения за 34 часа обучение, за да достигне точката, в която скриващият се екип се научи да блокира рампи, докато повече данни доведоха до забележимо намаляване на времето за обучение. Например, увеличаването на броя на параметрите (част от данните, получени по време на целия процес на обучение) от 0,5 милиона на 5,8 милиона увеличи ефективността на вземане на проби с 2,2 пъти, а увеличаването на размера на входните данни от 64 KB на 128 KB намали обучението време почти един път и половина.

В края на работата си изследователите решиха да тестват доколко обучението в играта може да помогне на агентите да се справят с подобни задачи извън играта. Имаше общо пет теста: осъзнаване на броя на обектите (разбиране, че даден обект продължава да съществува, дори ако е извън полезрението и не се използва); „заключване и връщане“ - способността да запомните първоначалната си позиция и да се върнете към нея след изпълнение на някаква допълнителна задача; „последователно блокиране“ - 4 кутии бяха произволно разположени в три стаи без врати, но с рампи за влизане вътре, агентите трябваше да ги намерят и блокират всички; поставяне на кутии на предварително определени места; създаване на подслон около обект под формата на цилиндър.

В резултат на това в три от пет задачи ботовете, които са преминали предварително обучение в играта, се учат по-бързо и показват по-добри резултати от AI, който е обучен да решава проблеми от нулата. Те се представиха малко по-добре при изпълнение на задачата и връщане в изходна позиция, последователно блокиране на кутии в затворени помещения и поставяне на кутии в дадени зони, но се представиха малко по-слабо при разпознаване на броя на обектите и създаване на прикритие около друг обект.

Изследователите приписват смесени резултати на начина, по който AI научава и запомня определени умения. „Смятаме, че задачите, при които предварителното обучение по време на игра се представи най-добре, включват повторно използване на предишни умения по познат начин, докато изпълнението на останалите задачи по-добре от AI, обучено от нулата, би изисквало използването им по различен начин, което много по-сложно“, пишат съавторите на работата. „Този ​​резултат подчертава необходимостта от разработване на методи за ефективно повторно използване на умения, придобити чрез обучение, когато се прехвърлят от една среда в друга.“

Свършената работа е наистина впечатляваща, тъй като перспективата за използване на този метод на обучение е далеч отвъд границите на всякакви игри. Изследователите казват, че тяхната работа е значителна стъпка към създаването на AI с „базирано на физиката“ и „човешко“ поведение, което може да диагностицира заболявания, да предсказва структурите на сложни протеинови молекули и да анализира компютърна томография.

Във видеото по-долу можете ясно да видите как протича целият процес на обучение, как AI се научи на работа в екип и стратегиите му ставаха все по-хитри и сложни.

Източник: 3dnews.ru