NVIDIA avaa koodin koneoppimisjärjestelmälle, joka syntetisoi maisemia luonnoksista

NVIDIA yritys julkaistu koneoppimisjärjestelmän lähdekoodit LAPIO (GauGAN), jonka avulla voit syntetisoida realistisia maisemia karkeiden luonnosten sekä projektiin liittyvien luonnosten perusteella. koulutetut mallit. Järjestelmä oli osoittanut maaliskuussa GTC 2019 -konferenssissa, mutta koodi julkaistiin vasta eilen. Kehitys avata omalla lisenssillä CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), sallii vain ei-kaupallisen käytön. Koodi on kirjoitettu Pythonissa kehyksen avulla PyTorch.

Luonnokset on laadittu segmentoidun kartan muodossa, joka määrittää likimääräisten kohteiden sijoittelun näyttämölle. Luotujen objektien luonne määritellään värimerkkien avulla. Esimerkiksi sininen täyte muuttuu taivaaksi, sininen vedeksi, tummanvihreä puiksi, vaaleanvihreä ruohoksi, vaaleanruskea kiviksi, tummanruskea vuoriksi, harmaa lumeksi, ruskea viiva muuttuu tieksi ja sininen. linja jokeen Lisäksi vertailukuvien valinnan perusteella määritetään yleinen sommittelutyyli ja vuorokaudenaika. Ehdotettu työkalu virtuaalimaailmojen luomiseen voi olla hyödyllinen monenlaisille asiantuntijoille arkkitehdeista ja kaupunkisuunnittelijoista pelinkehittäjiin ja maisemasuunnittelijoihin.

Objektit syntetisoi generatiivinen kontradiktorinen hermoverkko (GAN), joka luo realistisia kuvia kaavamaisen segmentoidun kartan perusteella lainaten yksityiskohtia mallista, joka on esiopetettu useisiin miljooniin valokuviin. Toisin kuin aiemmin kehitetyt kuvasynteesijärjestelmät, ehdotettu menetelmä perustuu adaptiivisen spatiaalisen muunnoksen käyttöön, jota seuraa koneoppimiseen perustuva muunnos. Segmentoidun kartan käsitteleminen semanttisen merkinnän sijaan mahdollistaa tarkan vastaavuuden saavuttamisen ja tyylin hallinnan.

Realismin saavuttamiseksi kaksi neuroverkkoa kilpailee keskenään: generaattori ja erottaja. Generaattori luo kuvia, jotka perustuvat oikeiden valokuvien elementtien sekoittamiseen, ja erottelija tunnistaa mahdolliset poikkeamat todellisista kuvista. Tuloksena muodostuu palaute, jonka perusteella generaattori alkaa muodostaa yhä parempia näytteitä, kunnes erottelija lakkaa erottamasta niitä todellisista.

Lähde: opennet.ru