У мінулым годзе некамерцыйная арганізацыя OpenAI сутыкнула сваю сістэму штучнага інтэлекту з прафесіяналамі па Dota 2. І тады машына не змагла перасягнуць людзей. Цяпер жа сістэма ўзяла рэванш.
У Сан-Францыска на выходных прайшоў чэмпіянат OpenAI Five, падчас якога адбылася сустрэча ІІ з пяццю кіберспартсменамі з каманды OG. Гэта каманда ў 2018 годзе ўзяла вышэйшую ўзнагароду ў кіберспорце, заняўшы першае месца на турніры The International па Dota 2 з прызавым фондам $25 млн. Члены каманды сустрэліся з ботамі OpenAI, якіх навучалі па адзінай методыцы. І людзі прайгралі.
Паведамяцца, што робаты OpenAI вучыліся з падмацаваннем і незалежна адзін ад аднаго. Гэта значыць яны патрапілі ў гульню без папярэдняга праграмавання і налад і змушаныя былі вучыцца метадам спроб і памылак. Сузаснавальнік і старшыня OpenAI Грэг Брокман (Greg Brockman) заявіў, што за 10 месяцаў свайго існавання штучны інтэлект ужо згуляў 45 тысяч гадоў гульнявога працэсу ў Dota 2.
Што да самой гульні ў Сан-Францыска, то кожны атрад меў 17 герояў на выбар (усяго ў гульні іх больш за сотню). Пры гэтым ІІ абраў рэжым, у якім кожная каманда можа забараняць выбар тых герояў, якіх выбрала сама. Гэта дазваляе нарошчваць моцныя бакі і мінімізаваць слабыя. Таксама былі адключаныя ілюзіі і функцыі выкліку новых герояў, хаця ўваскрашаць загінулых было можна.
Паведамяцца, што ІІ выкарыстаў тактыку, якая прыводзіла да кароткатэрміновай выгады, аднак яна апраўдалася. Пры гэтым сістэма ажыўляла загінуўшых герояў нават у пачатку сутычкі. У цэлым жа машына выкарыстоўвала вельмі агрэсіўны падыход, своеасаблівы «бліцкрыг», які людзі не змаглі адбіць, паколькі першы матч працягнуўся толькі паўгадзіны.
Другі апынуўся яшчэ карацей, паколькі ІІ разграміў людзей вельмі хутка, акцэнтуючыся на нападзе, а не на абароне. У цэлым жа аказалася, што схема навучання з падмацаваннем дае вынік. Гэта дазволіць выкарыстоўваць яе і ў будучыні для розных задач.
Крыніца: 3dnews.ru