NVIDIA je objavila izvorno kodo za sistem strojnega učenja SPADE (GauGAN), ki lahko sintetizira realistične pokrajine iz grobih skic, pa tudi neobučene modele, povezane s projektom. Sistem je bil predstavljen marca na konferenci GTC 2019, koda pa je bila objavljena šele včeraj. Razvoj je odprt pod brezplačno licenco CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), ki omogoča uporabo le v nekomercialne namene. Koda je napisana v Pythonu z uporabo ogrodja PyTorch.
Skice so sestavljene v obliki segmentiranega zemljevida, ki določa približno postavitev objektov na sceni. Narava ustvarjenih objektov je določena z barvnimi oznakami. Na primer, modro polnilo se spremeni v nebo, modro v vodo, temno zeleno v drevesa, svetlo zeleno v travo, svetlo rjavo v kamne, temno rjavo v gore, sivo v sneg, rjava črta se spremeni v cesto in modra črto v reko. Poleg tega se na podlagi izbire referenčnih slik določi celoten slog kompozicije in čas dneva. Predlagano orodje za ustvarjanje virtualnih svetov je lahko uporabno za širok krog strokovnjakov, od arhitektov in urbanistov do razvijalcev iger in krajinskih oblikovalcev.
Predmeti so sintetizirani z generativno kontradiktorno nevronsko mrežo (GAN), ki ustvarja realistične slike na podlagi shematskega segmentiranega zemljevida, pri čemer si izposodi podrobnosti iz modela, ki je bil predhodno natreniran na več milijonih fotografij. Za razliko od predhodno razvitih sistemov za sintezo slike predlagana metoda temelji na uporabi prilagodljive prostorske transformacije, ki ji sledi transformacija na podlagi strojnega učenja. Obdelava segmentiranega zemljevida namesto semantične oznake vam omogoča doseganje rezultatov natančnega ujemanja in nadzor sloga.
Za doseganje realizma med seboj tekmujeta dve nevronski mreži: generator in diskriminator. Generator generira slike na podlagi mešanja elementov realnih fotografij, diskriminator pa identificira morebitna odstopanja od realnih slik. Posledično se oblikuje povratna informacija, na podlagi katere začne generator sestavljati vse boljše vzorce, dokler jih diskriminator ne preneha razlikovati od pravih.
Vir: opennet.ru