NVIDIA abre el código de un sistema de aprendizaje automático que sintetiza paisajes a partir de bocetos

empresa nvidia опубликовала códigos fuente del sistema de aprendizaje automático PALA (GauGAN), que permite sintetizar paisajes realistas a partir de bocetos, así como los asociados al proyecto. modelos entrenados. El sistema era demostrado en marzo en la conferencia GTC 2019, pero el código se publicó ayer. Desarrollos abrir bajo una licencia propietaria CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), permitiendo únicamente uso no comercial. El código está escrito en Python usando el marco. PyTorch.

Los bocetos están elaborados en forma de un mapa segmentado que determina la ubicación aproximada de los objetos en la escena. La naturaleza de los objetos generados se especifica mediante marcas de color. Por ejemplo, un relleno azul se transforma en cielo, el azul en agua, el verde oscuro en árboles, el verde claro en hierba, el marrón claro en rocas, el marrón oscuro en montañas, el gris en nieve, una línea marrón se transforma en una carretera y un relleno azul línea hacia el río Además, en función de la selección de imágenes de referencia, se determina el estilo general de la composición y la hora del día. La herramienta propuesta para crear mundos virtuales puede resultar útil para una amplia gama de especialistas, desde arquitectos y urbanistas hasta desarrolladores de juegos y paisajistas.

Los objetos son sintetizados por una red neuronal generativa adversaria (GAN), que crea imágenes realistas basadas en un mapa esquemático segmentado, tomando prestados detalles de un modelo previamente entrenado en varios millones de fotografías. A diferencia de los sistemas de síntesis de imágenes desarrollados anteriormente, el método propuesto se basa en el uso de transformación espacial adaptativa seguida de una transformación basada en aprendizaje automático. Procesar un mapa segmentado en lugar de un marcado semántico le permite lograr resultados de coincidencia exacta y controlar el estilo.

Para lograr el realismo, dos redes neuronales compiten entre sí: un generador y un discriminador. El generador genera imágenes mezclando elementos de fotografías reales y el discriminador identifica posibles desviaciones de las imágenes reales. Como resultado, se forma retroalimentación, a partir de la cual el generador comienza a componer muestras cada vez mejores hasta que el discriminador deja de distinguirlas de las reales.

Fuente: opennet.ru