NVIDIA abre o código para un sistema de aprendizaxe automática que sintetiza paisaxes a partir de bosquexos

Empresa NVIDIA publicado códigos fonte do sistema de aprendizaxe automática ESPADAS (GauGAN), que permite sintetizar paisaxes realistas a partir de esbozos aproximados, así como os asociados ao proxecto modelos adestrados. O sistema era demostrado en marzo na conferencia GTC 2019, pero o código foi publicado só onte. Desenvolvementos aberto baixo unha licenza propietaria CC BY-NC-SA 4.0 (Creative Commons Recoñecemento-NonComercial-CompartirIgual 4.0), permitindo só o uso non comercial. O código está escrito en Python usando o framework PyTorch.

Os bosquexos están elaborados en forma de mapa segmentado que determina a colocación aproximada de obxectos na escena. A natureza dos obxectos xerados especifícase mediante marcas de cores. Por exemplo, un recheo azul transfórmase no ceo, o azul en auga, o verde escuro en árbores, o verde claro en herba, o marrón claro en rochas, o marrón escuro en montañas, o gris en neve, unha liña marrón en estrada e unha azul. liña ao río Ademais, en función da selección de imaxes de referencia, determínase o estilo de composición xeral e a hora do día. A ferramenta proposta para crear mundos virtuais pode ser útil para unha ampla gama de especialistas, desde arquitectos e urbanistas ata desenvolvedores de xogos e deseñadores de paisaxes.

Os obxectos son sintetizados por unha rede neuronal adversaria xerativa (GAN), que crea imaxes realistas baseadas nun mapa segmentado esquemático, tomando prestados detalles dun modelo previamente adestrado en varios millóns de fotografías. A diferenza dos sistemas de síntese de imaxes desenvolvidos anteriormente, o método proposto baséase no uso da transformación espacial adaptativa seguida da transformación baseada na aprendizaxe automática. O procesamento dun mapa segmentado en lugar do marcado semántico permítelle conseguir resultados de coincidencia exacta e controlar o estilo.

Para acadar o realismo, dúas redes neuronais compiten entre si: un xerador e un discriminador. O xerador xera imaxes baseándose na mestura de elementos de fotografías reais, e o discriminador identifica posibles desviacións das imaxes reais. Como resultado, fórmase retroalimentación, en base á cal o xerador comeza a compoñer mostras cada vez mellores ata que o discriminador deixa de distinguilos das reais.

Fonte: opennet.ru