NVIDIA öffnet den Code für ein maschinelles Lernsystem, das Landschaften aus Skizzen synthetisiert

NVIDIA-Unternehmen опубликовала Quellcodes für maschinelles Lernen SPATEN (GauGAN), mit dem Sie realistische Landschaften basierend auf groben Skizzen sowie mit dem Projekt verbundenen Skizzen synthetisieren können trainierte Modelle. Das System war gezeigt im März auf der GTC 2019-Konferenz, aber der Code wurde erst gestern veröffentlicht. Entwicklungen offen unter einer proprietären Lizenz CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), erlaubt nur die nichtkommerzielle Nutzung. Der Code wird mithilfe des Frameworks in Python geschrieben PyTorch.

Die Skizzen werden in Form einer segmentierten Karte erstellt, die die Platzierung ungefährer Objekte auf der Szene bestimmt. Die Beschaffenheit der erzeugten Objekte wird durch Farbmarkierungen spezifiziert. Beispielsweise verwandelt sich eine blaue Füllung in den Himmel, Blau in Wasser, Dunkelgrün in Bäume, Hellgrün in Gras, Hellbraun in Felsen, Dunkelbraun in Berge, Grau in Schnee, eine braune Linie in eine Straße und ein Blau Linie in den Fluss Darüber hinaus werden anhand der Auswahl der Referenzbilder der Gesamtkompositionsstil und die Tageszeit bestimmt. Das vorgeschlagene Tool zum Erstellen virtueller Welten kann für ein breites Spektrum von Spezialisten nützlich sein, von Architekten und Stadtplanern bis hin zu Spieleentwicklern und Landschaftsarchitekten.

Objekte werden durch ein generatives kontradiktorisches neuronales Netzwerk synthetisiert (GAN), das realistische Bilder auf der Grundlage einer schematischen segmentierten Karte erstellt und dabei Details von einem Modell übernimmt, das auf mehreren Millionen Fotos vorab trainiert wurde. Im Gegensatz zu zuvor entwickelten Bildsynthesesystemen basiert die vorgeschlagene Methode auf der Verwendung einer adaptiven räumlichen Transformation, gefolgt von einer auf maschinellem Lernen basierenden Transformation. Durch die Verarbeitung einer segmentierten Karte anstelle von semantischem Markup können Sie exakte Übereinstimmungsergebnisse erzielen und den Stil steuern.

Um Realismus zu erreichen, konkurrieren zwei neuronale Netze miteinander: ein Generator und ein Diskriminator. Der Generator generiert Bilder basierend auf Mischelementen realer Fotos und der Diskriminator identifiziert mögliche Abweichungen von realen Bildern. Dadurch entsteht eine Rückkopplung, auf deren Grundlage der Generator beginnt, immer bessere Samples zusammenzustellen, bis der Diskriminator sie nicht mehr von den echten unterscheidet.

Source: opennet.ru