NVIDIA odpre kodo za sistem strojnega učenja, ki sintetizira pokrajine iz skic

Podjetje NVIDIA objavljeno izvorne kode sistema strojnega učenja SPADNA (GauGAN), ki vam omogoča sintezo realističnih pokrajin na podlagi grobih skic, pa tudi tistih, ki so povezane s projektom izurjeni modeli. Sistem je bil dokazano marca na konferenci GTC 2019, koda pa je bila objavljena šele včeraj. Razvoj dogodkov odprto pod lastniško licenco CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), ki dovoljuje samo nekomercialno uporabo. Koda je napisana v Pythonu z uporabo ogrodja PyTorch.

Skice so sestavljene v obliki segmentiranega zemljevida, ki določa približno postavitev objektov na sceni. Narava ustvarjenih predmetov je določena z barvnimi oznakami. Na primer, modro polnilo se spremeni v nebo, modro v vodo, temno zeleno v drevesa, svetlo zeleno v travo, svetlo rjavo v skale, temno rjavo v gore, sivo v sneg, rjava črta se spremeni v cesto in modra črto v reko Poleg tega se na podlagi izbire referenčnih slik določi celoten slog kompozicije in čas dneva. Predlagano orodje za ustvarjanje virtualnih svetov je lahko uporabno za širok krog strokovnjakov, od arhitektov in urbanistov do razvijalcev iger in krajinskih oblikovalcev.

Predmeti so sintetizirani z generativno kontradiktorno nevronsko mrežo (GAN), ki ustvarja realistične podobe na podlagi shematskega segmentiranega zemljevida, pri čemer si izposodi podrobnosti iz modela, ki je bil predhodno usposobljen na več milijonih fotografij. Za razliko od predhodno razvitih sistemov za sintezo slike predlagana metoda temelji na uporabi prilagodljive prostorske transformacije, ki ji sledi transformacija na podlagi strojnega učenja. Obdelava segmentiranega zemljevida namesto semantične oznake vam omogoča doseganje rezultatov natančnega ujemanja in nadzor sloga.

Za doseganje realizma med seboj tekmujeta dve nevronski mreži: generator in diskriminator. Generator generira slike na podlagi mešanja elementov realnih fotografij, diskriminator pa identificira morebitna odstopanja od realnih slik. Posledično se oblikuje povratna informacija, na podlagi katere začne generator sestavljati vse boljše vzorce, dokler jih diskriminator ne preneha razlikovati od pravih.

Vir: opennet.ru