NVIDIA-bedrijf broncodes van machine learning-systemen (GauGAN), waarmee u realistische landschappen kunt synthetiseren op basis van ruwe schetsen, maar ook op basis van schetsen die verband houden met het project . Het systeem was in maart op de GTC 2019-conferentie, maar de code werd pas gisteren gepubliceerd. Ontwikkelingen onder een eigen licentie (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), waarbij uitsluitend niet-commercieel gebruik is toegestaan. De code is geschreven in Python met behulp van het framework .
De schetsen worden opgesteld in de vorm van een gesegmenteerde kaart die de plaatsing van geschatte objecten op het toneel bepaalt. De aard van de gegenereerde objecten wordt gespecificeerd met behulp van kleurmarkeringen. Een blauwe vulling verandert bijvoorbeeld in de lucht, blauw in water, donkergroen in bomen, lichtgroen in gras, lichtbruin in rotsen, donkerbruin in bergen, grijs in sneeuw, een bruine lijn verandert in een weg en een blauwe lijn verandert in een weg. lijn in de rivier Bovendien worden op basis van de selectie van referentiebeelden de algehele compositiestijl en het tijdstip van de dag bepaald. Het voorgestelde hulpmiddel voor het creΓ«ren van virtuele werelden kan nuttig zijn voor een breed scala aan specialisten, van architecten en stedenbouwkundigen tot game-ontwikkelaars en landschapsontwerpers.
Objecten worden gesynthetiseerd door een generatief vijandig neuraal netwerk (), dat realistische beelden creΓ«ert op basis van een schematische gesegmenteerde kaart, waarbij details worden overgenomen van een model dat vooraf is getraind op enkele miljoenen foto's. In tegenstelling tot eerder ontwikkelde systemen voor beeldsynthese, is de voorgestelde methode gebaseerd op het gebruik van adaptieve ruimtelijke transformatie gevolgd door transformatie op basis van machinaal leren. Door een gesegmenteerde kaart te verwerken in plaats van semantische opmaak, kunt u exacte matchresultaten verkrijgen en de stijl bepalen.
Om realisme te bereiken concurreren twee neurale netwerken met elkaar: een generator en een discriminator. De generator genereert afbeeldingen op basis van het mixen van elementen van echte foto's, en de discriminator identificeert mogelijke afwijkingen van echte afbeeldingen. Als gevolg hiervan wordt feedback gevormd, op basis waarvan de generator steeds betere monsters begint samen te stellen totdat de discriminator ze niet langer van de echte onderscheidt.
Bron: opennet.ru