Durant l'anunci del servei de streaming de jocs Stadia, Google va anunciar que serà possible aplicar diversos filtres (per exemple, a l'estil d'artistes famosos) per canviar l'aspecte de les seves emissions mitjançant eines d'aprenentatge automàtic. El científic de Stadia Ryan Poplin i l'enginyer de programari de servei Adam Prins van tenir una visió de la creació de la tecnologia.
L'estil implica el procés de combinar el contingut d'una imatge i el caràcter d'una altra per crear alguna cosa nova. Aquesta és una tasca ben investigada en aprenentatge automàtic amb moltes implementacions de codi obert disponibles. Molts mètodes poden produir imatges estàtiques estèticament agradables, però quan es creen animacions i es processen vídeos, els resultats de vegades deixen molt a desitjar. Els elements que es mostren en un marc, com ara els colors, les textures i les pinzellades, poden desaparèixer en el següent, donant lloc a un parpelleig molest. Aquests problemes s'han resolt, però anteriorment requerien recursos de processament que feien impossible el processament en temps real a resolucions de 1080p o superiors.
A Google li va agradar el model d'estil d'imatges en temps real de l'equip Magenta (el codi i la documentació estan oberts a tothom) i va decidir buscar millores que es podrien fer per aplicar aquest mètode als jocs en temps real. En primer lloc, es van eliminar aquelles parts del model que no es podien calcular de manera eficaç mitjançant la GPU, perquè l'èmfasi principal estava en la velocitat. Sorprenentment, els blocs restants encara eren capaços de produir un estil d'alta qualitat. Aleshores, el gegant de la cerca va augmentar el nombre de blocs residuals a les capes mitjanes del model fins que la qualitat visual va deixar de millorar.
Per millorar la consistència del processament de fotogrames, es va utilitzar un paràmetre addicional basat en la predicció del moviment de píxels (aquests desenvolupaments estan implicats). Com que aquesta anàlisi pot ser computacionalment intensiva, només s'hauria de calcular en entrenar el model. Com a resultat, el model, processant només un fotograma actual, crea una seqüència estable.
Perquè aquest estil es pugui aplicar a qualsevol joc sense necessitat d'accedir al codi font, Google va crear un conjunt d'ombrejadors de postprocessament Vulkan parametritzables. La mida del model final va resultar ser relativament petita (uns 512 KB) i els shaders poden funcionar en temps real a la part superior del flux del joc.
Aquesta eina, segons Google, obre noves formes d'interacció per als desenvolupadors, inclòs el canvi de l'estil visual durant el joc. Això dóna al jugador la possibilitat de personalitzar els estils d'art pel seu compte, inclòs basant-se en dibuixos personalitzats.
Font: 3dnews.ru
