ОпенАИ учи АИ тимском раду у игри скривача

Добра старомодна игра скривача може бити одличан тест за ботове вештачке интелигенције (АИ) да покажу како доносе одлуке и комуницирају једни са другима и разним објектима око себе.

у свом нови чланак, коју су објавили истраживачи из ОпенАИ, непрофитне истраживачке организације за вештачку интелигенцију која је постала позната победа над светским шампионима у компјутерској игрици Дота 2, научници описују како су агенти под контролом вештачке интелигенције обучени да буду софистициранији у тражењу и скривању једни од других у виртуелном окружењу. Резултати студије су показали да тим од два бота учи ефикасније и брже од било ког појединачног агента без савезника.

Научници су користили методу која је одавно освојила своју славу машинско учење са појачањем, у којој је вештачка интелигенција смештена у њој непознато окружење, а има одређене начине интеракције са њом, као и систем награда и казни за један или други резултат својих акција. Ова метода је прилично ефикасна због способности вештачке интелигенције да у виртуелном окружењу обавља различите радње огромном брзином, милионима пута брже него што човек може да замисли. Ово омогућава покушајима и грешкама да пронађу најефикасније стратегије за решавање датог проблема. Али овај приступ такође има нека ограничења, на пример, стварање окружења и спровођење бројних циклуса обуке захтевају огромне рачунарске ресурсе, а сам процес захтева тачан систем за поређење резултата АИ акција са његовим циљем. Поред тога, вештине које је агент стекао на овај начин су ограничене на описани задатак и, чим АИ научи да се носи са њим, неће бити даљих побољшања.

Да би обучили вештачку интелигенцију да игра скривача, научници су користили приступ под називом „Неусмерено истраживање“, где агенти имају потпуну слободу да развију своје разумевање света игре и развију победничке стратегије. Ово је слично приступу учења са више агената који су истраживачи у ДеепМинд-у користили када је више система вештачке интелигенције били су обучени да играју режим снимања заставе у Куаке ИИИ Арени. Као иу овом случају, АИ агенти нису претходно били обучени за правила игре, али су временом научили основне стратегије и чак су били у стању да изненаде истраживаче нетривијалним решењима.

У игри жмурке, неколико агената чији је посао био да се сакрију морали су да избегну линију видокруга својих противника након благог старта док је тим агената у потрази био имобилисан. Штавише, „линија вида“ у овом контексту је конус од 135 степени испред појединачног бота. Агенти нису могли да оду предалеко изван простора за игру и били су приморани да се крећу насумично генерисаним собама са могућношћу да користе неке спољне објекте (кутије, покретне зидове, специјалне рампе) разбацане унаоколо који су могли да се користе и за стварање заклона и за инфилтрацију у њих. .

Кроз дуг процес учења, АИ агенти су научили шест јединствених стратегија, од којих им је свака помогла да пређу у следећу фазу игре. У почетку су тимови трагача и скривача једноставно бежали и јурили једни друге, али након око 25 милиона мечева, тим скривача је научио да блокира пролазе кутијама и од њих прави склоништа. Након још 75 милиона утакмица, тим је открио начине да користи рампе да уђе у ова скровишта. После још 10 милиона рунди, скривачи су научили да вуку рампе до ивице простора за игру и закључавају их на месту како би спречили противнике да их користе.

После 388 милиона утакмица, трагаоци су научили да користе блокиране рампе да се попну на сандуке које су им донете, а затим, крећући се директно на њих, продру у непријатељска скровишта направљена од преносивих зидова. И коначно, након 458 милиона утакмица, тим скривања је закључио да треба да блокира све објекте и потом изгради склониште, што је очигледно довело до њихове коначне победе.

Оно што је посебно импресивно је да су након 22 милиона мечева, агенти научили да координирају своје акције и да се ефикасност њихове сарадње у будућности само повећавала, на пример, свако је донео своју кутију или зид како би направио склониште и бирао свој део предмета за блок, да закомпликује игру тежине противницима.

Научници су такође приметили важну тачку која се односи на утицај броја објеката за обуку (количина података који се пропуштају кроз неуронску мрежу - „Величина серије“) на брзину учења. Подразумевани модел захтевао је 132,3 милиона мечева током 34 сата тренинга да би дошао до тачке у којој је тим за скривање научио да блокира рампе, док је више података резултирало приметним смањењем времена тренинга. На пример, повећање броја параметара (део података добијених током целог процеса обуке) са 0,5 милиона на 5,8 милиона повећало је ефикасност узорковања за 2,2 пута, а повећање величине улазних података са 64 КБ на 128 КБ смањило је обуку. време скоро један и по пута.

На крају свог рада, истраживачи су одлучили да тестирају колико обука у игри може помоћи агентима да се носе са сличним задацима ван игре. Укупно је било пет тестова: свест о броју објеката (разумевање да објекат наставља да постоји чак и ако је ван видокруга и не користи се); „закључај и врати“ – способност да се запамти нечија првобитна позиција и врати се у њу након завршетка неког додатног задатка; „узастопно блокирање“ – 4 кутије су насумично лоциране у три собе без врата, али са рампама за улазак унутра, агенти су морали да их све пронађу и блокирају; постављање кутија на унапред одређене локације; стварање заклона око предмета у виду цилиндра.

Као резултат тога, у три од пет задатака, ботови који су прошли прелиминарну обуку у игрици су брже учили и показали боље резултате од вештачке интелигенције која је била обучена да решава проблеме од нуле. Они су нешто боље обавили задатак и вратили се на почетну позицију, узастопно блокирали кутије у затвореним просторијама и постављали кутије у дате области, али су били нешто слабије у препознавању броја објеката и стварању покривача око другог објекта.

Истраживачи приписују различите резултате томе како АИ учи и памти одређене вештине. „Сматрамо да су задаци у којима је пре-тренинг у игри био најбољи, укључивали поновну употребу претходно научених вештина на познат начин, док би обављање преосталих задатака боље од АИ обучене од нуле захтевало њихово коришћење на другачији начин, што много теже“, пишу коаутори дела. „Овај резултат наглашава потребу да се развију методе за ефикасну поновну употребу вештина стечених кроз обуку приликом њиховог преношења из једног окружења у друго.”

Обављени посао је заиста импресиван, јер изгледи за коришћење ове наставне методе су далеко ван граница било које игре. Истраживачи кажу да је њихов рад значајан корак ка стварању АИ са понашањем „заснованим на физици“ и „људским“ које може да дијагностикује болести, предвиди структуре сложених протеинских молекула и анализира ЦТ скенирање.

У видеу испод можете јасно видети како се одвијао цео процес учења, како је АИ научила тимски рад, а његове стратегије су постајале све лукавије и сложеније.

Извор: 3дневс.ру