NVIDIA heeft de broncode gepubliceerd voor het SPADE (GauGAN) machine learning-systeem, dat realistische landschappen kan synthetiseren uit ruwe schetsen, evenals ongetrainde modellen die bij het project horen. Het systeem werd in maart gedemonstreerd tijdens de GTC 2019-conferentie, maar de code werd pas gisteren gepubliceerd. De ontwikkelingen zijn open onder een vrije licentie CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), waardoor gebruik alleen voor niet-commerciële doeleinden mogelijk is. De code is geschreven in Python met behulp van het PyTorch-framework.
De schetsen worden opgesteld in de vorm van een gesegmenteerde kaart die de plaatsing van geschatte objecten op het toneel bepaalt. De aard van de gegenereerde objecten wordt gespecificeerd met behulp van kleurmarkeringen. Een blauwe vulling verandert bijvoorbeeld in de lucht, blauw in water, donkergroen in bomen, lichtgroen in gras, lichtbruin in stenen, donkerbruin in bergen, grijs in sneeuw, een bruine lijn verandert in een weg en een blauwe lijn verandert in een weg. lijn in een rivier. Bovendien worden op basis van de selectie van referentiebeelden de algehele compositiestijl en het tijdstip van de dag bepaald. Het voorgestelde hulpmiddel voor het creëren van virtuele werelden kan nuttig zijn voor een breed scala aan specialisten, van architecten en stedenbouwkundigen tot game-ontwikkelaars en landschapsontwerpers.
Objecten worden gesynthetiseerd door een generatief vijandig neuraal netwerk (GAN), dat realistische beelden creëert op basis van een schematische gesegmenteerde kaart, waarbij details worden ontleend aan een model dat vooraf is getraind op enkele miljoenen foto's. In tegenstelling tot eerder ontwikkelde systemen voor beeldsynthese, is de voorgestelde methode gebaseerd op het gebruik van adaptieve ruimtelijke transformatie gevolgd door transformatie op basis van machinaal leren. Door een gesegmenteerde kaart te verwerken in plaats van semantische opmaak, kunt u exacte matchresultaten verkrijgen en de stijl bepalen.
Om realisme te bereiken concurreren twee neurale netwerken met elkaar: een generator en een discriminator. De generator genereert afbeeldingen op basis van het mixen van elementen van echte foto's, en de discriminator identificeert mogelijke afwijkingen van echte afbeeldingen. Als gevolg hiervan wordt feedback gevormd, op basis waarvan de generator steeds betere monsters begint samen te stellen totdat de discriminator ze niet langer van de echte onderscheidt.
Bron: opennet.ru