NVIDIA on julkaissut lähdekoodin SPADE (GauGAN) koneoppimisjärjestelmälle, joka voi syntetisoida realistisia maisemia karkeista luonnoksista sekä projektiin liittyvistä kouluttamattomista malleista. Järjestelmää esiteltiin maaliskuussa GTC 2019 -konferenssissa, mutta koodi julkaistiin vasta eilen. Kehitys on avoinna ilmaisella lisenssillä CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), mikä sallii käytön vain ei-kaupallisiin tarkoituksiin. Koodi on kirjoitettu Pythonissa PyTorch-kehyksen avulla.
Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно зелёная в деревья, светло зелёная в траву, светло коричневая в камни, тёмно коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.
Kohteet syntetisoidaan generatiivisella adversarial-hermoverkolla (GAN), joka luo realistisia kuvia kaavamaisen segmentoidun kartan perusteella lainaten yksityiskohtia mallista, joka on esiopetettu useisiin miljooniin valokuviin. Toisin kuin aiemmin kehitetyt kuvasynteesijärjestelmät, ehdotettu menetelmä perustuu adaptiivisen spatiaalisen muunnoksen käyttöön, jota seuraa koneoppimiseen perustuva muunnos. Segmentoidun kartan käsitteleminen semanttisen merkinnän sijaan mahdollistaa tarkan vastaavuuden saavuttamisen ja tyylin hallinnan.
Realismin saavuttamiseksi kaksi neuroverkkoa kilpailee keskenään: generaattori ja erottaja. Generaattori luo kuvia, jotka perustuvat oikeiden valokuvien elementtien sekoittamiseen, ja erottelija tunnistaa mahdolliset poikkeamat todellisista kuvista. Tuloksena muodostuu palaute, jonka perusteella generaattori alkaa muodostaa yhä parempia näytteitä, kunnes erottelija lakkaa erottamasta niitä todellisista.
Lähde: opennet.ru