NVIDIA está experimentando activamente en el campo del aprendizaje profundo y los resultados de su trabajo a veces son bastante interesantes. La compañía anunció en GDC 2019 la creación de GauGAN, una aplicación de dibujo inteligente que utiliza un modelo de aprendizaje profundo para crear versiones fotorrealistas de dibujos simples. El nombre de la aplicación se refiere al artista postimpresionista francés Paul Gauguin y al uso que hace el software de redes generativas adversarias (GAN) para crear imágenes que imitan pinturas de manera realista.
¿Cómo funciona GauGAN? Según explica la empresa, la aplicación es como un "pincel inteligente" que completa los detalles del boceto de un usuario (NVIDIA lo llama "mapa de segmentación"). Básicamente, el usuario o artista simplemente establece un plan para lo que quiere ver al final y etiqueta cada segmento, indicando cuál debería ser. Luego, GauGAN se hace cargo, completando detalles adicionales y haciendo que los dibujos sean más realistas.
Formado con millones de imágenes artísticas, el modelo de aprendizaje profundo puebla el paisaje con resultados impresionantes (pero no siempre perfectos). Si dibujas un estanque, los elementos cercanos como árboles y rocas se reflejarán en el agua. Basta con cambiar la etiqueta del segmento de "hierba" a "nieve", y toda la imagen cambiará, convirtiéndose en una imagen invernal, y los árboles frondosos quedarán desnudos. Para entender de qué estamos hablando, puedes ver el vídeo a continuación.
También vale la pena señalar que, aunque GauGAN utiliza un amplio conocimiento basado en una serie de otras imágenes para crear los trabajos finales, estos últimos todavía se consideran originales ya que la aplicación genera imágenes resultantes completamente nuevas.
El nuevo editor de gráficos inteligente de NVIDIA no se limita solo a escenas o paisajes naturales: la aplicación puede agregar edificios, carreteras e incluso personas. GauGAN también permite a los usuarios aplicar filtros y diseñar el resultado para adaptarlo al estilo deseado. Estos filtros, entre otras cosas, pueden imitar el estilo de un artista específico (por ejemplo, Van Gon) o ajustar la iluminación de una escena, cambiando las imágenes del día a la noche.
No está claro si GauGAN alguna vez se lanzará para el uso diario del consumidor, pero creo que tarde o temprano los usuarios comunes pueden obtener algunas herramientas bastante útiles como esta, simplificando el trabajo en una variedad de áreas: desde arquitectura e ilustración hasta desarrollo de juegos.
Sin embargo, en el recurso NVIDIA AI Playground, los interesados pueden familiarizarse con algunas capacidades de aprendizaje automático. Por ejemplo, en la demostración de Transferencia de estilo artístico presente allí, puede procesar cualquier fotografía al estilo de artistas famosos.
Otros experimentos similares de NVIDIA incluyen un estudio que muestra cómo los efectos visuales generados por IA se pueden combinar con un proceso de rasterización tradicional. El resultado es un sistema de gráficos híbrido que podría usarse en juegos, películas y realidad virtual. Otro ejemplo similar es un algoritmo para convertir calles llenas de nieve en calles de verano, desarrollado por especialistas de la empresa para entrenar el piloto automático de manera más eficiente.
Fuente: 3dnews.ru