NVIDIA membuka kode untuk sistem pembelajaran mesin yang mensintesis lanskap dari sketsa

Perusahaan NVIDIA опубликовала kode sumber sistem pembelajaran mesin SWORDS (GauGAN), yang memungkinkan Anda mensintesis lanskap realistis berdasarkan sketsa kasar, serta lanskap yang terkait dengan proyek model terlatih. Sistemnya adalah didemonstrasikan pada bulan Maret di konferensi GTC 2019, tetapi kodenya baru dipublikasikan kemarin. Perkembangan membuka di bawah lisensi kepemilikan CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), hanya mengizinkan penggunaan non-komersial. Kode ini ditulis dengan Python menggunakan kerangka kerja PyTorch.

Sketsa-sketsa tersebut disusun dalam bentuk peta tersegmentasi yang menentukan penempatan perkiraan objek pada tempat kejadian. Sifat objek yang dihasilkan ditentukan menggunakan tanda warna. Misalnya, isian biru berubah menjadi langit, biru menjadi air, hijau tua menjadi pepohonan, hijau muda menjadi rumput, coklat muda menjadi bebatuan, coklat tua menjadi pegunungan, abu-abu menjadi salju, garis coklat berubah menjadi jalan, dan biru garis ke sungai Selain itu, berdasarkan pemilihan gambar referensi, keseluruhan gaya komposisi dan waktu ditentukan. Alat yang diusulkan untuk menciptakan dunia virtual dapat bermanfaat bagi berbagai spesialis, mulai dari arsitek dan perencana kota hingga pengembang game dan perancang lanskap.

Objek disintesis oleh jaringan saraf permusuhan generatif (Gan), yang menciptakan gambar realistis berdasarkan peta tersegmentasi skematis, meminjam detail dari model yang telah dilatih sebelumnya pada beberapa juta foto. Berbeda dengan sistem sintesis gambar yang dikembangkan sebelumnya, metode yang diusulkan didasarkan pada penggunaan transformasi spasial adaptif yang diikuti dengan transformasi berdasarkan pembelajaran mesin. Memproses peta tersegmentasi alih-alih markup semantik memungkinkan Anda mencapai hasil pencocokan tepat dan mengontrol gaya.

Untuk mencapai realisme, dua jaringan saraf bersaing satu sama lain: generator dan diskriminator. Generator menghasilkan gambar berdasarkan pencampuran elemen foto asli, dan diskriminator mengidentifikasi kemungkinan penyimpangan dari gambar nyata. Akibatnya, umpan balik terbentuk, yang menjadi dasar generator mulai menyusun sampel yang semakin baik hingga diskriminator berhenti membedakannya dari sampel asli.

Sumber: opennet.ru