NVIDIA muka kode pikeun sistem pembelajaran mesin anu nyintésis bentang tina sketsa

Perusahaan NVIDIA diterbitkeun kode sumber sistem learning mesin Pedang (GauGAN), anu ngamungkinkeun anjeun nyintésis bentang réalistis dumasar kana sketsa kasar, ogé anu aya hubunganana sareng proyék. model dilatih. Sistim éta nunjukkeun dina Maret di konferensi GTC 2019, tapi kode ieu diterbitkeun ngan kamari. Kamekaran muka handapeun lisénsi proprietary CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), ngamungkinkeun pikeun pamakéan non-komérsial wungkul. Kodeu ditulis dina Python nganggo kerangka PyTorch.

Sketsa digambar dina bentuk peta segmented anu nangtukeun panempatan objék perkiraan dina adegan. Sifat obyék anu dibangkitkeun ditetepkeun nganggo tanda warna. Contona, eusian biru robah jadi langit, biru jadi cai, héjo poék jadi tatangkalan, héjo ngora jadi jukut, coklat muda jadi batu, coklat poék jadi gunung, kulawu jadi salju, garis coklat robah jadi jalan, jeung biru. baris ka walungan Salaku tambahan, dumasar kana pilihan gambar rujukan, gaya komposisi sakabéh sareng waktos beurang ditangtukeun. Alat anu diusulkeun pikeun nyiptakeun dunya maya tiasa mangpaat pikeun seueur spesialis, ti arsiték sareng perencanaan kota dugi ka pamekar kaulinan sareng desainer lansekap.

Objék disintésis ku jaringan saraf adversarial generatif (Sukapura), nu nyiptakeun gambar realistis dumasar kana peta segmented skéma, injeuman rinci ti model tos dilatih dina sababaraha juta poto. Beda sareng sistem sintésis gambar anu dikembangkeun sateuacana, metodeu anu diusulkeun dumasar kana panggunaan transformasi spasial adaptif dituturkeun ku transformasi dumasar kana pembelajaran mesin. Ngolah peta segmented tinimbang markup semantik ngidinan Anjeun pikeun ngahontal hasil cocok pasti tur kadalikeun gaya.

Pikeun ngahontal realisme, dua jaringan saraf saling bersaing: generator sareng diskriminator. Generator ngahasilkeun gambar dumasar kana campuran unsur poto nyata, sareng diskriminator ngaidentipikasi kamungkinan panyimpangan tina gambar nyata. Hasilna, eupan balik kabentuk, dina dasar nu generator mimiti nyusun sampel beuki hadé dugi discriminator ceases ngabedakeun aranjeunna ti nu nyata.

sumber: opennet.ru