Ang pagpapatuloy ng paksang minsang itinaas sa ating blog Pag-usapan natin kung gaano naaangkop ang machine learning dito at sa anong anyo. Gagamitin namin ang aming karanasan at ang mga solusyon na aming pinili batay dito. Jakob Rasmussen, eksperto sa AI sa Apex Game Tools.
Sa mga nakalipas na taon, napakaraming usapan tungkol sa kung paano radikal na babaguhin ng machine learning ang industriya ng paglalaro, dahil napatunayan na ng teknolohiyang ito ang groundbreaking sa maraming iba pang digital application. Ngunit mahalagang tandaan na ang mga laro ay mas kumplikado kaysa sa isang driving simulator, isang drone control program, o facial recognition algorithm.
Bagama't ang industriya ng paglalaro ay lubos na umaasa sa mga tradisyonal na pamamaraan ng AI, tulad ng mga finite state machine, mga puno ng pag-uugali, at—kamakailan lamang—ang AI na nakabatay sa utility. Ang nasabing AI ay kilala rin bilang nakabatay sa disenyo o mga expert system. Gayunpaman, nagiging mas malinaw—lalo na sa mga manlalaro—na ang mga system na ito ay lalong hindi angkop para sa paglikha ng mga tunay na advanced na kalaban na maaaring gayahin ang gawi ng manlalaro. Ito ay totoo lalo na para sa mga malikhaing solusyon. Ito ay maaaring ipaliwanag sa pamamagitan ng kawalan ng kakayahan ng mga developer ng AI na isaalang-alang ang lahat ng posibleng taktika at estratehiya at matagumpay na ipatupad ang mga ito sa mga tradisyonal na AI system. Para sa mga manlalaro, madalas itong nagreresulta sa mga nakakainip at predictable na laro laban sa mga kalaban na ang mga pattern ng pag-uugali ay madaling kabisado.
Mayroong maraming mga dahilan para sa kinalabasan na ito, ngunit ang isa sa mga pangunahing ay ang kawalan ng kakayahan ng AI na matuto. Samakatuwid, kapag lumilikha ng artificial intelligence ng isang kalaban, ang malinaw na pagpipilian ay lumipat sa machine learning, na napatunayan ang sarili nito sa maraming iba pang mga application. Gayunpaman, mayroong ilang mga nuances na nagkakahalaga ng pagsasaalang-alang. Halimbawa, ang AI sa paglalaro ay dapat na makaangkop sa anumang sitwasyon at mapagsamantalahan ang mga pakinabang na inaalok nito, gayundin na umangkop sa iba't ibang istilo ng paglalaro ng mga kalaban—kapwa mga manlalaro ng tao at iba pang AI.
Paano na ang mga bagay ngayon?
Ipinakita kamakailan ng British artificial intelligence company na DeepMind kung paano matututo ang AI na maglaro nang mag-isa, matutunan ang kanilang mga panuntunan, at maghanap ng mga paraan para kumpletuhin o manalo sa laro—bagama't hanggang ngayon ay sa mga simpleng laro lang, gaya ng mga maagang laro. Halimbawa, ang chess at ang Japanese logic game na Go. Ang mga resulta na nakuha para sa mga larong ito ay nagpapakita na ang artificial intelligence ay may kakayahang bumuo ng isang sapat na pagtatasa ng kung ano ang nangyayari sa board. Gayunpaman, pagdating sa pag-angkop ng AI sa iba't ibang istilo ng paglalaro ng kalaban, hindi pa gaanong kahanga-hanga ang mga resulta.
Sa ngayon, natutunan na ng mga neural network na makilala ang mga larawan at magmaneho ng mga kotse. Ngunit ang mga pag-andar na ito ay maaaring ipatupad gamit ang medyo simpleng mga arkitektura, kahit na sila ay nagiging medyo malalim at kumplikado. Halimbawa, ang AI sa pagkilala sa imahe ng Facebook ay may lalim na humigit-kumulang 100 layer, na ginagawa itong nagpapaalala sa isang biological na utak sa mga tuntunin ng bilang at pagiging kumplikado ng mga koneksyon sa pagitan ng mga neuron na bumubuo ng isang solong, malaking network.
Laro AI
Pagdating sa aplikasyon ng machine learning sa industriya ng paglalaro, mayroong ilang limitasyon na pumipigil sa ganitong uri ng arkitektura na palaging gamitin. Kabilang dito ang mga kinakailangan ng system, partikular ang mga nauugnay sa CPU, na tumutukoy sa kakayahan ng isang computer na magproseso ng mga kumplikadong istruktura ng laro at ang pagiging angkop nito para sa pagkukuwento at gameplay ng laro.
Kaya, lumalabas na sa maraming mga laro, ang kinakailangang hardware, mas mababa ang isang kumpol ng server na tulad ng ginamit, halimbawa, para sa mga network ng pagkilala sa imahe ng Facebook, ay hindi sapat upang ipatupad ang isang kumplikadong sistema ng AI. Kung minsan, maraming AI system ang dapat gumana nang sabay-sabay—hindi lang sa mga computer, kundi pati na rin sa mga mobile device at iba pang hindi gaanong makapangyarihang mga platform. Ang lahat ng ito ay nagpapataw ng mga limitasyon sa laki at pagiging kumplikado ng arkitektura ng machine learning, dahil ang lahat ng mga kalkulasyon ay dapat gawin na may mga tagal ng frame na humigit-kumulang 1 o 2 millisecond. Bagama't maaaring gamitin ang iba't ibang teknolohiya sa pag-optimize at pagbabalanse ng load sa pagitan ng mga frame, hindi maaaring ganap na maalis ang mga limitasyong ito.
Ang pagiging kumplikado ng laro ay maaaring magdulot ng malubhang hamon para sa AI. Pagkatapos ng lahat, sa mga laro tulad ng StarCraft II, ang mga mekanika ay mas kumplikado kaysa sa mga pamagat ng Atari. Samakatuwid, hindi makatotohanang asahan na, dahil sa ibinigay na frame rate at kilalang mga kinakailangan sa system, mauunawaan at mauunawaan ng machine learning ang buong estado ng laro. Kung paanong ang isang manlalaro ay madalas na umaasa sa intuwisyon sa mga unang yugto ng isang laro, dapat ding matutunan ng AI kung paano iproseso ang estado ng laro sa simula upang pasimplehin ang kasunod na pag-unlad. Halimbawa, sa isang kamakailang laro, Ang mga mapa ay nagpapakita lamang ng impormasyon na itinuturing ng mga developer na mahalaga: sa isang kaso, ang AI ay gumamit ng pinababang view ng buong lugar ng mapa; sa pangalawa, tulad ng player, maaari nitong ilipat ang camera, at pagkatapos ay limitado ang perception nito sa impormasyon sa screen.
Isang visualization ng AlphaStar AI kumpara sa isang manlalaro ng tao sa StarSraft II: ipinapakita ng screenshot ang mga obserbasyon ng raw input, aktibidad ng neural network, ilan sa mga posibleng aksyon at coordinate nito, at ang inaasahang resulta ng laban.
Ito ay partikular na may kaugnayan para sa mga laro. Kadalasang hindi naaangkop sa gaming AI ang mga conventional machine learning approach. Halimbawa, hindi karaniwang kinakailangan na manalo o gawin ang lahat ng makakaya nito upang makamit ang tagumpay, tulad ng nangyari sa mga laro ng Atari. Mas madalas, ang tungkulin ng AI ay gawing mas nakakaengganyo ang laro. Maaaring kailanganin nitong kumilos at kumilos sa paraang naaayon sa karakter na responsable nito. Samakatuwid, ang mga gaming AI ay mas malapit na nauugnay sa disenyo ng laro at pagkukuwento at dapat mayroong mga kinakailangang tool upang pamahalaan ang kanilang pag-uugali upang makamit ang isang partikular na layunin. Ang dalisay na pag-aaral ng makina ay hindi palaging angkop para dito, ibig sabihin, iba ang dapat hanapin.
Mga praktikal na problema ng machine learning
Ang mga isyung ito ay lumitaw sa pagbuo ng machine learning-based na artificial intelligence para sa , kung saan dapat kumilos ang AI tulad ng mga regular na manlalaro - iyon ay, maging kasing flexible at maparaan.
Tulad ng Starcraft II, ang Unleashed ay mas kumplikado kaysa sa Atari chess at Go. Ang gameplay nito ay intuitive at madaling matutunan, ngunit upang tunay na maging mahusay, ang ilang mga kasanayan sa pamamahala ng meta ay kinakailangan. Ang mga manlalaro ay dapat gumawa ng mga maze, magpakawala ng mga halimaw sa kanilang mga kaaway, at mag-strategize sa buong laro, na tumutuon sa ekonomiya, pag-atake, at pagtatanggol sa mga istruktura. Nangangailangan ito ng bluffing at pag-asam ng mga galaw ng mga kalaban, pati na rin ang pamamahala sa sikolohikal na meta—ito ang meta na ginagawang higit pa sa istatistikang laro ang poker.
Screenshot mula sa Unleashed
Sa paghahanap ng pinaka-angkop na arkitektura para sa mga layuning ito, ang mga teknolohiya tulad ng at malalim na pag-aaral, at sinubukan kung paano sila gaganap sa kanilang raw form bilang adversarial AI.
Ito ay kakila-kilabot.
Mabilis na naging maliwanag na kailangan ng Unleashed na lutasin ang maraming malalaking problema na mahirap iangkop sa machine learning.
Ang isa sa mga ito ay ang pagbuo ng isang epektibong labirint. Tulad ng sa maraming laro sa pagtatanggol sa tore, ang mga manlalaro ay dapat bumuo ng isang labirint sa paligid ng tore, na nagpapahintulot sa mga halimaw na makalusot. Ang mga halimaw na ito, sa turn, ay dapat na alisin gamit ang mga armas na inilagay sa buong labirint. Sa isip, ang labirint ay dapat na hangga't maaari upang harapin ang sapat na pinsala sa mga halimaw at maiwasan ang mga ito na maabot ang tore. Ang mga halimaw ay mas mahina sa ilang mga armas kaysa sa iba, kaya para sa maximum na pagiging epektibo, dapat silang ilagay sa labyrinth nang mas maaga kaysa sa iba. Ang isang natatanging tampok ng Unleash ay walang labyrinth na perpekto: napakaraming uri ng mga halimaw sa laro na, sa isang paraan o iba pa, ang ilan ay dadaan sa ilang seksyon ng labyrinth nang walang harang. Anumang labyrinth ay dapat na iakma upang mapaunlakan ang mga bagong halimaw na inilunsad ng ibang mga manlalaro. Samakatuwid, kinailangan hindi lamang na turuan ang artificial intelligence na bumuo ng mga labyrinth ngunit turuan din itong lumikha ng mga epektibong labyrinth para sa iba't ibang mga sitwasyong nakatagpo sa parehong maaga at huling mga bersyon ng laro.
Kinailangan ding matutunan ng AI na hulaan kung aling mga halimaw ang lilitaw sa labirint. Ito ay isang uri ng kabaligtaran na problema sa disenyo ng labirint. Tulad ng sa maraming iba pang mga laro, sa Unleash hindi sapat na magtayo lang ng hukbo at ipadala ito sa kampo ng kaaway: kailangan mo ring tiktikan ang mga depensa ng kalaban at buuin ang iyong mga pwersa upang pinakamabisang tamaan ang kanilang mga kahinaan. Ang hukbo ng mga halimaw ay dapat makipag-ugnayan sa isa't isa upang pinakamatagumpay na masira ang labirint. Minsan kailangan ding maglabas ng mga halimaw sa isang partikular na pagkakasunud-sunod depende sa kanilang mga function at tungkulin. Pinapataas din nito ang bilang ng iba't ibang kumbinasyon.
Sa wakas, dahil ang manlalaro ay dapat parehong lumikha ng mga labirint at magtipon ng hukbo ng mga halimaw, ang AI ay dapat ding matutong balansehin ang opensa at depensa. Ito rin ay nagkakahalaga ng pagsasaalang-alang na ang mas maraming mga manlalaro ay bumubuo ng kanilang hukbo ng mga halimaw at ang mas maraming mga labyrinth na kanilang ginagawa, mas maraming mapagkukunan ang kailangan nila. Samakatuwid, ang tamang diskarte sa opensiba ay mahalaga para sa ekonomiya ng laro at para sa panalo. Upang matiyak ang pagiging mapagkumpitensya, ang AI ay dapat na pamahalaan ang mga mapagkukunan sa isang paraan na lumilikha ng isang malakas na hukbo ng mga halimaw nang hindi nakompromiso ang lakas ng labirint. Ang malaking pamumuhunan sa mga halimaw ay maaaring maging kapaki-pakinabang sa ekonomiya, ngunit pinapataas nito ang panganib ng mga halimaw ng kaaway na mahuli ang labirint. Ang pag-asa sa pagpapalakas ng mga panlaban ng labirint ay maaaring makasira sa iyong ekonomiya. Wala sa alinmang senaryo ang humahantong sa tagumpay. Kaya, ang problema sa pag-optimize sa Unleashed ay mas malaki sa saklaw kaysa sa chess o StarCraft, at kinapapalooban nito ang pangangailangang magsakripisyo at kalkulahin ang iyong mga benepisyo sa ilang mga hakbang sa hinaharap.
Habang natututo ang artificial intelligence, maraming mga hindi inaasahang isyu ang lumalabas. Sa una, ang AI ay madalas na umabot sa isang tiyak na antas ng pag-unlad kung saan nagsimula itong maunawaan ang ilang mga aspeto ng laro—halimbawa, kung aling mga sandata sa labirint ang epektibo laban sa mga partikular na uri ng mga halimaw o kung aling mga halimaw ang pinakamahusay sa pag-navigate sa ilang mga seksyon ng labyrinth. Ngunit ang pag-aaral ay mabagal at humantong sa pagbuo ng mga paulit-ulit na estratehiya.
Ang pangangailangan para sa parallel approach
Habang ang pagsasanay sa AI na nakabatay sa machine learning ay dahan-dahang umuunlad at may limitadong tagumpay, ang mas mahusay na AI at mas matatag na adversarial AI ay naging kailangan para sa iba pang mga yugto ng pagsubok at pag-unlad. Upang ipatupad ang mga kakayahang ito, ginamit ang arkitektura ng Utility, na nagbibigay-daan para sa paglikha ng mga dalubhasang AI para sa pagsubok ng laro at kasiguruhan sa kalidad, pagsubok sa in-game at pagbabalanse ng mga armas at halimaw, at ang paglikha ng mga partikular na labyrinth at halimaw. Gayunpaman, sa panahon ng pagbuo ng Unleash, hinasa ng mga tagalikha ang kanilang mga kasanayan sa paglalaro ng laro at pagkatapos ay nagpasya na gamitin ang kaalamang ito upang lumikha ng isang mas kumplikadong Utility AI. Ito ay humantong sa pagkaunawa na maraming problemang nararanasan sa mga machine learning-based na AI system ay madaling malutas ng mga Utility system na gumagamit ng kanilang likas na kaalaman, at vice versa.
Halimbawa, ang mga mas mahusay na labyrinth ay pinakamahusay na ginawa gamit ang mga Utility AI batay sa mga base ng kaalaman na pinagsama-sama mula sa panloob na pagsubok. Ang algorithm para sa paggawa ng labyrinth at paglalagay ng mga armas sa loob nito ay madaling mailarawan at mai-program sa paraang magpapadali para sa isang manlalaro ng tao na ipagtanggol ang isang tore laban sa mga partikular na halimaw. Gayunpaman, ang paglikha ng isang hukbo ng mga halimaw batay sa kaalaman sa base ng kaaway ay isang mahirap na gawain para sa mga naturang AI, dahil ang bilang ng iba't ibang mga kondisyon at kumbinasyon na kailangang isaalang-alang ay nakakagulat. Sa ganitong uri ng arkitektura ng AI, ang paghahanap ng mga angkop na hanay ng mga halimaw ay aabutin ng walang katapusang tagal ng oras. Dahil sa ibinigay na mga hadlang, ang malalim na pag-aaral ang magiging perpektong solusyon para sa problemang ito.
Paglikha ng hybrid AI
Kaya, napagpasyahan na pagsamahin ang dalawang diskarte, na lumikha ng isang hybrid na AI system batay sa machine learning at Utility. Ang ideya ay gumamit ng machine learning kung saan ang malaking bilang ng mga kumbinasyon ng gameplay at estado ay kailangang iproseso, o kung saan kinakailangan ang partikular na pag-aaral. Para sa iba pang mga gawain, kung saan mas mabuting umasa sa personal na karanasan ng mga developer, ginamit ang mga Utility system. Ang isa pang bentahe ng diskarteng ito ay nagbibigay-daan ito para sa higit na kontrol sa pag-uugali ng AI, kung kinakailangan, upang matiyak na mas tumpak itong sumusunod sa isang partikular na layunin. Halimbawa, ang Utility AI ay maaaring gamitin upang balansehin ang opensa at depensa, sa gayon ay lumikha ng iba't ibang antas ng pagsalakay, o iba't ibang mga configuration ng maze ay maaaring gawin para sa iba't ibang AI upang bumuo ng mga indibidwal na playstyle. Ang mga neural network ay maaari ding i-program gamit ang mga partikular na sistema ng halaga upang makabuo ng iba't ibang mga kagustuhan kapag nagre-recruit ng mga halimaw sa hangin o lupa, kaya nagdaragdag ng personalidad sa indibidwal na AI. Mayroong maraming iba pang mga opsyon para sa pagpapatupad ng mga solusyon sa disenyo, na lahat ay nagtatampok sa mga lakas ng isang partikular na uri ng arkitektura ng AI.
Tinugunan din ng hybrid na diskarte ang isa pang tanong na kinakaharap ng development team habang binubuo ang AI for Unleash: dapat ba silang gumamit ng isang solong, global deep neural network batay sa machine learning para i-account ang lahat ng input at output, o mas mainam bang idisenyo ang AI na may hierarchical na istraktura?
Ang dalawang arkitektura na ginamit sa Unleash: sa kaliwa ay isang malaking malalim na neural network na may sariling pinag-isang arkitektura, sa kanan ay isang hierarchical system kung saan ang bawat network ay may sariling gawain.
Gayunpaman, kanais-nais na lumikha ng isang pangkalahatang diskarte sa isang artificial intelligence system, isa na ang arkitektura ng mga developer ay hindi umaasa sa kanilang sariling karanasan. Gayunpaman, mas maraming manlalaro ang naka-log in sa laro, mas lumaki ang neural network. Kasabay nito, imposibleng paghiwalayin ang pagsasanay sa AI at turuan ito ng isang kasanayan lamang: pagtatanggol o pagkakasala. At may mga alalahanin na ang isang mas pangkalahatang diskarte ay hahantong sa isang makabuluhang pagtaas sa mga pagkalkula.
Nagbunga ito ng ideya ng paglikha ng isang hierarchical na arkitektura, kung saan ang bawat partikular na gawain ay isasagawa ng isang dalubhasang neural network. Ayon sa ideyang ito, kailangan munang magpasya ng artificial intelligence kung maglalaan ng mga mapagkukunan sa pagitan ng pag-atake (pagpapataas ng hukbo ng halimaw) at pagtatanggol (pagbuo ng labirint). Kapag nagawa na nito, lilipat ito sa susunod na layer batay sa pinili nito at magkakaroon ng access sa may-katuturang bahagi ng estado ng laro, pagkatapos nito ay gagawa ito ng mga detalyadong desisyon tungkol sa kung aling mga halimaw ang pipiliin at kung anong mga armas ang ilalagay sa labyrinth.
Konklusyon at mga susunod na hakbang
Sa hybrid na diskarte ng Utility, ang AI na may naka-embed na machine learning network ay kahawig ng isang hierarchical architecture. Ito, sa turn, ay kahawig ng isang biological na utak, kung saan ang iba't ibang mga neural center ay responsable para sa kanilang sariling gawain.
Sa kasalukuyan, ang kaaway na AI sa Unleash ay napakahirap talunin: maaari silang umangkop sa anumang sitwasyon sa laro, ngunit maaari ring i-tweak ng mga developer ang kanilang mga setting sa kanilang paghuhusga. Ayon sa may-akda ng artikulo, sa paglipas ng panahon, ang hybrid na diskarte ay dapat na maging mas laganap at lumitaw sa maraming iba pang mga laro. Marahil balang araw, posibleng isama ang purong machine learning-based AI sa gameplay. Gayunpaman, ito ay malinaw na magtatagal. Sa ngayon, ang layunin ay makahanap ng isang arkitektura na aangkop sa mga hamon na kinakaharap nito at makahanap ng mga pinakamainam na solusyon.
Pinagmulan: www.habr.com
