NVIDIA a publié le code source du système d'apprentissage automatique SPADE (GauGAN), capable de synthétiser des paysages réalistes à partir d'esquisses, ainsi que de modèles non entraînés associés au projet. Le système a été présenté en mars lors de la conférence GTC 2019, mais le code n'a été publié qu'hier. Les développements sont ouverts sous une licence gratuite CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), permettant une utilisation uniquement à des fins non commerciales. Le code est écrit en Python en utilisant le framework PyTorch.
Les croquis sont réalisés sous la forme d'une carte segmentée qui détermine l'emplacement approximatif des objets sur la scène. La nature des objets générés est précisée à l'aide de repères de couleur. Par exemple, un remplissage bleu se transforme en ciel, bleu en eau, vert foncé en arbres, vert clair en herbe, marron clair en pierres, marron foncé en montagnes, gris en neige, une ligne marron se transforme en route et un remplissage bleu se jeter dans une rivière. De plus, sur la base de la sélection d’images de référence, le style de composition global et l’heure de la journée sont déterminés. L'outil proposé pour créer des mondes virtuels peut être utile à un large éventail de spécialistes, des architectes et urbanistes aux développeurs de jeux et paysagistes.
Les objets sont synthétisés par un réseau neuronal antagoniste génératif (GAN), qui crée des images réalistes basées sur une carte schématique segmentée, empruntant les détails d'un modèle pré-entraîné sur plusieurs millions de photographies. Contrairement aux systèmes de synthèse d’images développés précédemment, la méthode proposée est basée sur l’utilisation d’une transformation spatiale adaptative suivie d’une transformation basée sur l’apprentissage automatique. Le traitement d'une carte segmentée au lieu d'un balisage sémantique vous permet d'obtenir des résultats de correspondance exacts et de contrôler le style.
Pour parvenir au réalisme, deux réseaux de neurones s'affrontent : un générateur et un discriminateur. Le générateur génère des images basées sur le mélange d'éléments de photographies réelles, et le discriminateur identifie les écarts possibles par rapport aux images réelles. En conséquence, une rétroaction se forme, sur la base de laquelle le générateur commence à composer des échantillons de plus en plus meilleurs jusqu'à ce que le discriminateur cesse de les distinguer des vrais.
Source: opennet.ru