NVIDIA ha publicado el código fuente del sistema de aprendizaje automático SPADE (GauGAN), que puede sintetizar paisajes realistas a partir de bocetos, así como modelos no entrenados asociados con el proyecto. El sistema se demostró en marzo en la conferencia GTC 2019, pero el código no se publicó hasta ayer. Los desarrollos están abiertos bajo licencia libre CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), permitiendo su uso únicamente con fines no comerciales. El código está escrito en Python utilizando el marco PyTorch.
Los bocetos están elaborados en forma de un mapa segmentado que determina la ubicación aproximada de los objetos en la escena. La naturaleza de los objetos generados se especifica mediante marcas de color. Por ejemplo, un relleno azul se transforma en cielo, el azul en agua, el verde oscuro en árboles, el verde claro en hierba, el marrón claro en piedras, el marrón oscuro en montañas, el gris en nieve, una línea marrón se transforma en una carretera y un relleno azul línea hacia un río. Además, en función de la selección de imágenes de referencia, se determina el estilo general de la composición y la hora del día. La herramienta propuesta para crear mundos virtuales puede resultar útil para una amplia gama de especialistas, desde arquitectos y urbanistas hasta desarrolladores de juegos y paisajistas.
Los objetos son sintetizados por una red neuronal generativa adversaria (GAN), que crea imágenes realistas basadas en un mapa esquemático segmentado, tomando prestados detalles de un modelo previamente entrenado en varios millones de fotografías. A diferencia de los sistemas de síntesis de imágenes desarrollados anteriormente, el método propuesto se basa en el uso de transformación espacial adaptativa seguida de transformación basada en aprendizaje automático. Procesar un mapa segmentado en lugar de un marcado semántico le permite lograr resultados de coincidencia exacta y controlar el estilo.
Para lograr el realismo, dos redes neuronales compiten entre sí: un generador y un discriminador. El generador genera imágenes mezclando elementos de fotografías reales y el discriminador identifica posibles desviaciones de las imágenes reales. Como resultado, se forma retroalimentación, a partir de la cual el generador comienza a componer muestras cada vez mejores hasta que el discriminador deja de distinguirlas de las reales.
Fuente: opennet.ru