Gure blogean aipatutako gaiarekin jarraituz Hitz egin dezagun zenbateraino aplikagarria den makina-ikaskuntza horri eta zer formatan. Gure esperientzia eta horretan oinarrituta aukeratu ditugun irtenbideak erabiliko ditugu. Jakob Rasmussen, Apex Game Tools-eko adimen artifizialaren aditua.
Azken urteotan, asko hitz egin da ikaskuntza automatikoak jokoen industria erabat aldatuko duela, teknologia honek dagoeneko beste hainbat aplikazio digitaletan iraultzailea dela frogatu baitu. Baina garrantzitsua da gogoratzea jokoak gidatzeko simulagailu bat, droneen kontrol programa bat edo aurpegiak ezagutzeko algoritmoak baino askoz konplexuagoak direla.
Bideo-jokoen industriak oraindik ere IA metodo tradizionaletan oinarritzen den arren, hala nola egoera finituko makinak, portaera-zuhaitzak eta, duela gutxi, erabilgarritasunean oinarritutako IA. IA horri diseinuan oinarritutako edo aditu-sistemak ere deitzen zaio. Hala ere, gero eta argiago dago, batez ere jokalarientzat, sistema hauek gero eta desegokiak direla jokalarien portaera imitatu dezaketen aurkari aurreratuak sortzeko. Hori bereziki egia da irtenbide sortzaileetarako. Hori azal daiteke IA garatzaileek taktika eta estrategia posible guztiak kontuan hartzeko eta IA sistema tradizionaletan arrakastaz ezartzeko duten ezintasunagatik. Jokalarientzat, horrek askotan joko aspergarriak eta aurreikusgarriak sortzen ditu, eta haien portaera-ereduak erraz memorizatzen dira.
Emaitza horren arrazoi asko daude, baina nagusietako bat IAren ikasteko ezintasuna da. Beraz, aurkari baten adimen artifiziala sortzerakoan, aukera nabaria makina-ikaskuntzara aldatzea da, beste aplikazio askotan frogatu baitu bere balioa. Hala ere, kontuan hartzeko hainbat ñabardura daude. Adibidez, joko-IA batek edozein egoeratara egokitu eta eskaintzen dituen abantailak ustiatu ahal izan behar ditu, baita aurkarien jokatzeko estilo desberdinetara egokitu ere —bai jokalari gizatiarrenetara, bai beste IA batzuenetara—.
Nola daude gauzak orain?
DeepMind adimen artifizialeko enpresa britainiarrak duela gutxi erakutsi zuen nola ikas dezakeen IAk bere kabuz jokoetan jolasten, haien arauak ikasten eta jokoa osatzeko edo irabazteko moduak aurkitzen —nahiz eta orain arte joko sinpleetan bakarrik, hala nola hasierako jokoetan—. Adibidez, xakea eta Japoniako Go logika-jokoa. Joko hauetan lortutako emaitzek erakusten dute adimen artifiziala gai dela taulan gertatzen denaren ebaluazio egokia egiteko. Hala ere, IA aurkarien jokatzeko estilo desberdinetara egokitzeari dagokionez, emaitzak ez dira oraindik hain ikusgarriak.
Gaur egun, sare neuronalek dagoeneko ikasi dute irudiak ezagutzen eta autoak gidatzen. Baina funtzio horiek arkitektura nahiko sinpleak erabiliz inplementa daitezke, nahiz eta azkenean nahiko sakonak eta konplexuak izan. Adibidez, Facebooken irudiak ezagutzeko adimen artifizialak 100 geruza inguruko sakonera du, eta horrek garun biologiko baten antza du sare handi eta bakarra osatzen duten neuronen arteko konexioen kopuruari eta konplexutasunari dagokionez.
Jokoen IA
Bideo-jokoen industrian makina-ikaskuntza aplikatzeari dagokionez, hainbat muga daude arkitektura mota hau beti erabiltzea eragozten dutenak. Horien artean, sistemaren eskakizunak daude, batez ere CPUari lotutakoak, ordenagailu batek joko-egitura konplexuak prozesatzeko duen gaitasuna eta jokoen istorioak kontatzeko eta jokatzeko duen egokitasuna zehazten baitute.
Horrela, bada, joko askotan beharrezko hardwarea, are gutxiago Facebooken irudiak ezagutzeko sareetarako erabiltzen den bezalako zerbitzari-kluster bat, ez da nahikoa IA sistema konplexu bat ezartzeko. Batzuetan, IA sistema anitz exekutatu behar dira aldi berean, ez bakarrik ordenagailuetan, baita gailu mugikorretan eta beste plataforma ez hain indartsuetan ere. Horrek guztiak mugak ezartzen ditu makina-ikaskuntzaren arkitekturaren tamainari eta konplexutasunari dagokionez, kalkulu guztiak gutxi gorabehera 1 edo 2 milisegundoko fotograma-iraupekin egin behar baitira. Hainbat optimizazio-teknologia eta fotograma arteko karga-oreka erabil daitezkeen arren, muga horiek ezin dira guztiz ezabatu.
Jokoaren konplexutasunak erronka larriak sor ditzake IArentzat. Azken finean, StarCraft II bezalako jokoetan, mekanikak askoz konplexuagoak dira Atari tituluetan baino. Beraz, ez da errealista espero izatea, fotograma-tasa jakin bat eta sistemaren eskakizun ezagunak kontuan hartuta, ikaskuntza automatikoak jokoaren egoera osoa ulertu eta harekin elkarreragin ahal izango duela. Jokalari batek joko baten hasierako faseetan intuizioan oinarritzen den bezala, IAk ere ikasi behar du jokoaren egoera nola prozesatu hasieran, ondorengo aurrerapena errazteko. Adibidez, duela gutxiko joko batean, Mapek garatzaileek garrantzitsutzat jotzen duten informazioa bakarrik erakusten dute: kasu batean, IAk mapa-eremu osoaren ikuspegi murriztua erabili zuen; bigarrenean, jokalariak bezala, kamera mugitu zezakeen, eta orduan bere pertzepzioa pantailan zegoen informaziora mugatu zen.
AlphaStar AI jokalari baten aurka StarSraft II-n: pantaila-argazkiak sarrerako behaketa gordinak, sare neuronalaren jarduera, ekintza eta koordenatu posible batzuk eta partidaren espero den emaitza erakusten ditu.
Hau bereziki garrantzitsua da jokoetarako. Ohiko makina-ikaskuntzako ikuspegiak askotan ez dira aplikagarriak jokoetako IArako. Adibidez, normalean ez da beharrezkoa irabaztea edo garaipena lortzeko ahal duen guztia egitea, Atari jokoekin gertatzen zen bezala. Maizago, IAren eginkizuna jokoa erakargarriagoa egitea da. Baliteke bere ardura duen pertsonaiarekin bat datorren moduan jokatu eta jokatu behar izatea. Hori dela eta, jokoetako IAk lotura estuagoa dute jokoen diseinuarekin eta istorioen kontalaritzarekin eta beharrezko tresnak izan behar dituzte helburu jakin bat lortzeko beren portaera kudeatzeko. Makina-ikaskuntza hutsa ez da beti egokia horretarako, hau da, beste zerbait bilatu behar da.
Makina-ikaskuntzaren arazo praktikoak
Arazo hauek ikaskuntza automatikoan oinarritutako adimen artifizialaren garapenean sortu dira , non IAk ohiko jokalariek bezala jokatu behar duen, hau da, malgua eta baliabidetsua izan behar duen.
Starcraft II bezala, Unleashed Atari xakea eta Go baino askoz konplexuagoa da. Bere jokatzeko modua intuitiboa eta ikasteko erraza da, baina benetan bikain aritzeko, meta kudeatzeko trebetasun batzuk behar dira. Jokalariek labirintoak eraiki, munstroak askatu etsaien aurka eta estrategiak egin behar dituzte jokoan zehar, ekonomian, erasoan eta egiturak defendatzean arreta jarriz. Horrek bluffa egitea eta aurkarien mugimenduak aurreikustea eskatzen du, baita meta psikologikoa kudeatzea ere; meta horrek pokerra joko estatistiko bat baino gehiago bihurtzen du.
Unleashed-eko pantaila-argazkia
Helburu horietarako arkitektura egokienaren bila, teknologiak, hala nola eta ikaskuntza sakona, eta probatu zuten nola funtzionatuko luketen aurkari diren IA gisa.
Izugarria izan zen.
Azkar agerian geratu zen Unleashed-ek ikaskuntza automatikora egokitzea zaila zen eskala handiko arazo asko konpondu behar zituela.
Horietako bat labirinto eraginkor bat eraikitzea da. Dorre defentsako joko askotan bezala, jokalariek labirinto bat eraiki behar dute dorrearen inguruan, munstroei zeharkatzen utziz. Munstro hauek, aldi berean, labirintoan zehar jarritako armak erabiliz ezabatu behar dira. Egokiena, labirintoa ahalik eta luzeena izan beharko litzateke munstroei kalte nahikoa eragiteko eta dorrera iristea eragozteko. Munstroak arma batzuen aurrean beste batzuk baino zaurgarriagoak dira, beraz, eraginkortasun handiena lortzeko, labirintoan besteak baino lehenago jarri behar dira. Unleash-en ezaugarri berezi bat da ez dagoela labirinto perfekturik: hainbeste munstro mota daude jokoan, non, modu batera edo bestera, batzuk labirintoaren atal batzuetatik oztoporik gabe igaroko diren. Edozein labirinto egokitu behar da beste jokalariek jaurtitako munstro berriak hartzeko. Beraz, ez zen beharrezkoa adimen artifiziala labirintoak eraikitzen irakastea bakarrik, baita jokoaren hasierako eta azken bertsioetan aurkitutako hainbat egoeratarako labirinto eraginkorrak sortzen irakastea ere.
IA-k labirintoan zein munstro agertuko ziren aurreikusten ere ikasi behar izan zuen. Labirintoaren diseinuaren alderantzizko problema moduko bat da hau. Beste joko askotan bezala, Unleash-en ez da nahikoa armada bat eraiki eta etsaien kanpalekura bidaltzea: etsaien defentsak zelatatu eta indarrak egituratu behar dituzu haien puntu ahulak modu eraginkorrenean erasotzeko. Munstroen armadak elkarren artean elkarreragin behar du labirintoa ahalik eta arrakastatsuen apurtzeko. Batzuetan, munstroak ordena zehatz batean askatu behar dira, haien funtzioen eta rolen arabera. Horrek konbinazio desberdinen kopurua ere handitzen du.
Azkenik, jokalariak labirintoak sortu eta munstro armada bat bildu behar duenez, IA-k erasoa eta defentsa orekatzen ere ikasi behar du. Kontuan izan behar da, halaber, jokalariak zenbat eta munstro armada gehiago eraiki eta zenbat eta labirinto gehiago eraiki, orduan eta baliabide gehiago beharko dituela. Beraz, eraso estrategia egoki bat funtsezkoa da bai jokoaren ekonomiarako, bai irabazteko. Lehiakortasuna bermatzeko, IA-k baliabideak kudeatu ahal izan behar ditu, munstro armada indartsu bat sortzeko, labirintoaren indarra arriskuan jarri gabe. Munstroetan asko inbertitzea ekonomikoki onuragarria izan daiteke, baina etsaien munstroek labirintoa hartzeko arriskua handitzen du. Labirintoaren defentsak indartzean oinarritzeak zure ekonomia ahuldu dezake. Ez bata ez bestea ez dira garaipenera eramaten. Horrela, Unleashed-eko optimizazio arazoa xakean edo StarCraft-en baino handiagoa da, eta sakrifizioak egin eta zure onurak hainbat mugimendu lehenago kalkulatu beharra dakar.
Adimen artifizialak ikasten duen heinean, aurretik aurreikusi gabeko arazo asko agertzen dira. Hasieran, IA-k garapen maila jakin batera iristen zen askotan, non jokoaren alderdi batzuk ulertzen hasten zen; adibidez, labirintoan zein arma ziren eraginkorrak munstro mota espezifikoen aurka edo zein munstro ziren onenak labirintoko atal batzuetan nabigatzen. Baina ikaskuntza motela zen eta estrategia errepikakorrak garatzera eraman zuen.
Ikuspegi paraleloen beharra
Makina-ikaskuntzan oinarritutako IA prestakuntza poliki eta arrakasta mugatuarekin aurrera egin zuen bitartean, IA hobea eta aurkari-IA sendoagoak beharrezkoak bihurtu ziren probak eta garapenaren beste etapa batzuetarako. Gaitasun horiek ezartzeko, Utility arkitektura erabili zen, eta horrek jokoen probak eta kalitatea bermatzeko IA espezializatuak sortzea ahalbidetzen du, armak eta munstroak jokoan probatu eta orekatzeko, eta labirinto eta munstro espezifikoak sortzea. Hala ere, Unleash-en garapenean, sortzaileek jokoan jolastuz trebetasunak hobetu zituzten eta gero ezagutza hori erabiltzea erabaki zuten Utility IA konplexuago bat sortzeko. Horrek konturatzera eraman zuen makina-ikaskuntzan oinarritutako IA sistemetan aurkitzen ziren arazo asko erraz konpondu zitezkeela haien berezko ezagutza erabiltzen duten Utility sistemek, eta alderantziz.
Adibidez, labirinto eraginkorragoak eraikitzeko modurik onena barne-probetatik bildutako ezagutza-baseetan oinarritutako Erabilgarritasun IAk erabiltzea da. Labirinto bat eraikitzeko eta bertan armak jartzeko algoritmoa erraz deskribatu eta programatu daiteke, jokalari batek dorre bat munstro espezifikoen aurka defendatzea errazteko moduan. Hala ere, etsaiaren oinarriaren ezagutzan oinarritutako munstroen armada bat sortzea erronka handia zen IA horientzat, kontuan hartu behar ziren baldintza eta konbinazio desberdinen kopurua izugarria baitzen. IA arkitektura mota honekin, munstro multzo egokiak aurkitzeak denbora infinitua beharko luke. Emandako mugak kontuan hartuta, ikaskuntza sakona izango litzateke arazo honen irtenbide aproposa.
IA hibridoaren sorrera
Beraz, bi ikuspegiak konbinatzea erabaki zen, ikaskuntza automatikoan eta Erabilgarritasunean oinarritutako IA sistema hibrido bat sortuz. Ideia zen ikaskuntza automatikoa erabiltzea jokatzeko konbinazio eta egoera kopuru handia prozesatu behar zen lekuetan, edo ikaskuntza espezifikoa behar zen lekuetan. Beste zeregin batzuetarako, non hobe zen garatzaileen esperientzia pertsonalean oinarritzea, Erabilgarritasun sistemak erabili ziren. Ikuspegi honen beste abantaila bat da IAren portaeraren gaineko kontrol handiagoa ahalbidetzen duela, behar izanez gero, helburu jakin bat zehatzago jarraitzen duela ziurtatzeko. Adibidez, Erabilgarritasun IA erabil liteke erasoa eta defentsa orekatzeko, horrela eraso maila desberdinak sortuz, edo labirinto konfigurazio desberdinak sor litezke IA desberdinek jokatzeko estilo indibidualak garatzeko. Sare neuronalak balio sistema espezifikoekin ere programatu litezke aireko edo lurreko munstroak errekrutatzerakoan lehentasun desberdinak sortzeko, horrela nortasuna gehituz IA indibidualari. Diseinu irtenbideak ezartzeko beste aukera asko daude, eta horiek guztiek IA arkitektura mota jakin baten indarguneak nabarmentzen dituzte.
Ikuspegi hibridoak garapen-taldeak Unleash-erako IA garatzean izan zuen beste galdera bati ere erantzun zion: ikaskuntza automatikoan oinarritutako sare neuronal sakon global bakarra erabili beharko lukete sarrera eta irteera guztiak kontuan hartzeko, edo hobe litzateke IA egitura hierarkiko batekin diseinatzea?
Unleash-en erabiltzen diren bi arkitekturak: ezkerrean bere arkitektura bateratua duen sare neuronal sakon handi bat dago, eskuinean sistema hierarkiko bat dago, non sare bakoitzak bere zeregina duen.
Hala ere, desiragarria izango zen adimen artifizialeko sistema baterako ikuspegi orokor bat sortzea, garatzaileek beren esperientzian oinarrituko ez luketen arkitektura bat. Hala ere, jokoan zenbat eta jokalari gehiago sartu, orduan eta handiagoa hazten zen sare neuronala. Aldi berean, ezinezkoa zen IA entrenamendua bereiztea eta trebetasun bakarra irakastea: defentsa edo erasoa. Eta kezka zegoen ikuspegi orokorrago batek kalkuluen igoera nabarmena ekarriko zuelakoan.
Hortik sortu zen arkitektura hierarkiko bat sortzeko ideia, non zeregin espezifiko bakoitza sare neuronal espezializatu batek egingo lukeen. Ideia honen arabera, adimen artifizialak lehenik erabaki behar du baliabideak erasoaren (munstroen armada handitzea) eta defentsaren (labirintoa eraikitzea) artean esleitu behar dituen. Hori eginda, hurrengo geruzara igarotzen da bere aukeraren arabera eta jokoaren egoeraren zati garrantzitsura sartzen da, eta ondoren erabaki zehatzak hartzen ditu zein munstro hautatu eta zein arma erabili labirintoan.
Ondorioa eta hurrengo urratsak
Utility-ren ikuspegi hibridoan, makina-ikaskuntzako sare txertatuak dituen IA arkitektura hierarkiko baten antza du. Honek, aldi berean, garun biologiko baten antza du, non neurona-zentro desberdinak bakoitza bere zereginaren arduraduna den.
Gaur egun, Unleash-eko etsaien IA oso zaila da garaitzen: jokoaren edozein egoeratara egokitu daitezke, baina garatzaileek beren ezarpenak ere alda ditzakete nahi duten moduan. Artikuluaren egilearen arabera, denborarekin, ikuspegi hibridoa zabalduago egongo da eta beste joko askotan agertuko da. Agian, egunen batean, ikaskuntza automatikoan oinarritutako IA hutsa jokoan integratzea posible izango da. Hala ere, horrek denbora beharko du, noski. Oraingoz, helburua aurrean dituen erronkei egokituko zaion arkitektura bat aurkitzea eta irtenbide optimoak aurkitzea da.
Iturria: www.habr.com
