NVIDIA parantos nyebarkeun kode sumber pikeun sistem pembelajaran mesin SPADE (GauGAN), anu tiasa nyintésis bentang réalistis tina sketsa kasar, ogé modél anu henteu terlatih anu aya hubunganana sareng proyék éta. Sistemna ditunjukkeun dina Maret dina konperénsi GTC 2019, tapi kodena ngan ukur diterbitkeun kamari. Kamekaran dibuka dina lisénsi gratis CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), ngan ukur tiasa dianggo pikeun tujuan non-komersial. Kodeu ditulis dina Python nganggo kerangka PyTorch.
Sketsa digambar dina bentuk peta ségméntasi anu nangtukeun panempatan objék perkiraan dina adegan. Sifat obyék anu dibangkitkeun ditetepkeun nganggo tanda warna. Contona, eusian biru robah jadi langit, biru jadi cai, héjo poék jadi tatangkalan, héjo ngora jadi jukut, coklat muda jadi batu, coklat poék jadi gunung, kulawu jadi salju, garis coklat robah jadi jalan, jeung biru. baris kana walungan. Salaku tambahan, dumasar kana pilihan gambar rujukan, gaya komposisi sakabéh sareng waktos beurang ditangtukeun. Alat anu diusulkeun pikeun nyiptakeun dunya maya tiasa mangpaat pikeun seueur spesialis, ti arsiték sareng perencanaan kota dugi ka pamekar kaulinan sareng desainer lansekap.
Objék disintésis ku jaringan saraf adversarial generatif (GAN), anu nyiptakeun gambar réalistis dumasar kana peta ségméntal skématik, nginjeum detil tina modél anu tos dilatih dina sababaraha juta poto. Beda sareng sistem sintésis gambar anu dikembangkeun sateuacana, metodeu anu diusulkeun dumasar kana panggunaan transformasi spasial adaptif dituturkeun ku transformasi dumasar kana pembelajaran mesin. Ngolah peta segmented tinimbang markup semantik ngidinan Anjeun pikeun ngahontal hasil cocok pasti tur kadalikeun gaya.
Pikeun ngahontal realisme, dua jaringan saraf saling bersaing: generator sareng diskriminator. Generator ngahasilkeun gambar dumasar kana campuran unsur poto nyata, sareng diskriminator ngaidentipikasi kamungkinan panyimpangan tina gambar nyata. Hasilna, eupan balik kabentuk, dina dasar nu generator mimiti nyusun sampel beuki hadé dugi discriminator ceases ngabedakeun aranjeunna ti nu nyata.
sumber: opennet.ru