OpenAI учи тимска работа со вештачка интелигенција во игра на криенка

Добрата старомодна игра на криенка може да биде одличен тест за ботови со вештачка интелигенција (АИ) за да покажат како тие донесуваат одлуки и комуницираат едни со други и разни предмети околу нив.

Во него нова статија, објавена од истражувачи од OpenAI, непрофитна истражувачка организација за вештачка интелигенција која стана позната победа над светските шампиони во компјутерската игра Dota 2, научниците опишуваат како агентите контролирани од вештачката интелигенција биле обучени да бидат пософистицирани во пребарувањето и криењето едни од други во виртуелна средина. Резултатите од студијата покажаа дека тим од два бота учи поефикасно и побрзо од кој било поединечен агент без сојузници.

Научниците користеа метод кој долго време ја освои својата слава машинско учење со засилување, во која вештачката интелигенција е сместена во средина непозната за неа, притоа има одредени начини на интеракција со неа, како и систем на награди и казни за еден или друг резултат од нејзините постапки. Овој метод е доста ефикасен поради способноста на вештачката интелигенција да врши различни дејства во виртуелна средина со огромна брзина, милиони пати побрзо отколку што човек може да замисли. Ова овозможува обиди и грешки да се најдат најефективните стратегии за решавање на даден проблем. Но, овој пристап има и некои ограничувања, на пример, создавањето средина и спроведувањето на бројни циклуси на обука бара огромни компјутерски ресурси, а самиот процес бара точен систем за споредување на резултатите од активностите на вештачката интелигенција со неговата цел. Дополнително, вештините што ги стекнува агентот на овој начин се ограничени на опишаната задача и штом вештачката интелигенција ќе научи да се справува со неа, нема да има дополнителни подобрувања.

За да ја обучат вештачката интелигенција да игра криенка, научниците користеа пристап наречен „Ненасочено истражување“, каде што агентите имаат целосна слобода да го развијат своето разбирање за светот на играта и да развијат победнички стратегии. Ова е слично на пристапот за учење со повеќе агенти што го користеа истражувачите од DeepMind кога се користат повеќе системи со вештачка интелигенција беа обучени да играат режим на фаќање знаме во Quake III Arena. Како и во овој случај, агентите со вештачка интелигенција претходно не биле обучени за правилата на играта, но со текот на времето ги научиле основните стратегии и дури можеле да ги изненадат истражувачите со нетривијални решенија.

Во играта на криенка, неколку агенти чија задача беше да се кријат, требаше да ја избегнат видната линија на нивните противници по благ удар со глава додека тимот од агенти за пребарување беше имобилизиран. Покрај тоа, „линијата на видот“ во овој контекст е конус од 135 степени пред индивидуален бот. Агентите не можеа да се осмелуваат премногу надвор од просторот за играње и беа принудени да навигираат случајно создадени соби со можност да користат некои надворешни предмети (кутии, подвижни ѕидови, специјални рампи) расфрлани наоколу кои може да се користат и за создавање покривка и за инфилтрирање во нив. .

Преку долг процес на учење, агентите со вештачка интелигенција научија шест уникатни стратегии, од кои секоја им помогна да напредуваат во следната фаза од играта. Отпрвин, тимовите на трагачите и скривниците едноставно бегаа и се бркаа меѓусебно, но по околу 25 милиони натпревари, тимот на скривници научи да блокира премини со кутии и да гради засолништа од нив. По уште 75 милиони натпревари, тимот откри начини како да користи рампи за да влезе во овие засолништа. По уште 10 милиони кругови, кријачите научија да влечат рампи до работ на просторот за играње и да ги заклучуваат на место за да ги спречат противниците да ги користат.

По 388 милиони натпревари, трагачите научија да користат блокирани рампи за да се качуваат на гајби донесени до нив, а потоа, движејќи се директно на нив, да навлезат во непријателските скривалишта создадени од преносливи ѕидови. И, конечно, по 458 милиони натпревари, тимот за криење заклучил дека треба да ги блокираат сите предмети и потоа да изградат засолниште, што очигледно довело до нивната конечна победа.

Она што е особено импресивно е тоа што по 22 милиони натпревари, агентите научија да ги координираат своите акции и ефикасноста на нивната соработка само се зголеми во иднина, на пример, секој донесе своја кутија или ѕид за да создаде засолниште и го избра својот дел од предметите. блок за да им ја отежне играта на противниците.

Научниците забележаа и важна точка поврзана со влијанието на бројот на објекти за обука (количината на податоци што се пренесуваат низ невронската мрежа - „Големина на серија“) врз брзината на учење. Стандардниот модел бараше 132,3 милиони натпревари во текот на 34 часа тренинг за да стигне до точката каде што тимот што се крие научи да ги блокира рампите, додека повеќе податоци резултираа со забележително намалување на времето за тренирање. На пример, зголемувањето на бројот на параметри (дел од податоците добиени во текот на целиот процес на обука) од 0,5 милиони на 5,8 милиони ја зголеми ефикасноста на земање примероци за 2,2 пати, а зголемувањето на големината на влезните податоци од 64 KB на 128 KB ја намали обуката време речиси еден и пол пати.

На крајот од нивната работа, истражувачите одлучија да тестираат колку обуката во играта може да им помогне на агентите да се справат со слични задачи надвор од играта. Имаше вкупно пет тестови: свесност за бројот на предмети (разбирање дека објектот продолжува да постои дури и ако е надвор од видното поле и не се користи); „заклучување и враќање“ - способност да се запамети првобитната положба и да се врати на неа по завршување на некоја дополнителна задача; „Секвенцијално блокирање“ - 4 кутии беа случајно лоцирани во три соби без врати, но со рампи за да влезат внатре, агентите требаше да ги најдат и блокираат сите; поставување на кутии на однапред одредени локации; создавање засолниште околу објект во форма на цилиндар.

Како резултат на тоа, во три од пет задачи, ботови кои биле подложени на прелиминарна обука во играта научиле побрзо и покажале подобри резултати од вештачката интелигенција која била обучена да решава проблеми од нула. Тие се покажаа малку подобри во завршувањето на задачата и враќањето на почетната позиција, последователно блокирање кутии во затворени простории и поставување кутии во дадени области, но беа малку послаби во препознавањето на бројот на предмети и создавање покривка околу друг објект.

Истражувачите припишуваат мешани резултати на тоа како вештачката интелигенција учи и памти одредени вештини. „Сметаме дека задачите каде што пред-тренингот во играта најдобро се изведуваше вклучуваше повторна употреба на претходно научените вештини на познат начин, додека преостанатите задачи подобро ги извршуваа од вештачката интелигенција тренирана од нула ќе бара нивна употреба на поинаков начин, што многу потешко“, пишуваат коавторите на делото. „Овој резултат ја нагласува потребата да се развијат методи за ефикасно повторно користење на вештините стекнати преку обука при нивното пренесување од една средина во друга“.

Завршената работа е навистина импресивна, бидејќи изгледите за користење на овој метод на настава се многу подалеку од границите на која било игра. Истражувачите велат дека нивната работа е значаен чекор кон создавање вештачка интелигенција со „физичко“ и „човечко“ однесување кое може да дијагностицира болести, да ги предвиди структурите на сложените протеински молекули и да анализира КТ скенови.

На видеото подолу можете јасно да видите како се одвиваше целиот процес на учење, како вештачката интелигенција научи тимска работа, а нејзините стратегии стануваа сè полукави и покомплексни.

Извор: 3dnews.ru