NVIDIA membuka kod untuk sistem pembelajaran mesin yang mensintesis landskap daripada lakaran

Syarikat NVIDIA опубликовала kod sumber sistem pembelajaran mesin Pedang (GauGAN), yang membolehkan anda mensintesis landskap realistik berdasarkan lakaran kasar, serta yang berkaitan dengan projek model terlatih. Sistem itu ditunjukkan pada Mac pada persidangan GTC 2019, tetapi kod itu diterbitkan hanya semalam. Perkembangan buka di bawah lesen proprietari CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), membenarkan penggunaan bukan komersial sahaja. Kod ini ditulis dalam Python menggunakan rangka kerja PyTorch.

Lakaran dilukis dalam bentuk peta bersegmen yang menentukan penempatan objek anggaran di tempat kejadian. Sifat objek yang dihasilkan ditentukan menggunakan tanda warna. Sebagai contoh, isi biru berubah menjadi langit, biru menjadi air, hijau tua menjadi pokok, hijau muda menjadi rumput, coklat muda menjadi batu, coklat gelap menjadi gunung, kelabu menjadi salji, garis coklat berubah menjadi jalan dan biru beratur ke sungai Selain itu, berdasarkan pemilihan imej rujukan, gaya gubahan keseluruhan dan masa dalam hari ditentukan. Alat yang dicadangkan untuk mencipta dunia maya boleh berguna kepada pelbagai pakar, daripada arkitek dan perancang bandar kepada pembangun permainan dan pereka landskap.

Objek disintesis oleh rangkaian neural adversarial generatif (GAN), yang mencipta imej realistik berdasarkan peta bersegmen skematik, meminjam butiran daripada model yang telah dilatih pada beberapa juta gambar. Tidak seperti sistem sintesis imej yang dibangunkan sebelum ini, kaedah yang dicadangkan adalah berdasarkan penggunaan transformasi spatial adaptif diikuti dengan transformasi berdasarkan pembelajaran mesin. Memproses peta bersegmen dan bukannya penanda semantik membolehkan anda mencapai hasil padanan tepat dan mengawal gaya.

Untuk mencapai realisme, dua rangkaian saraf bersaing antara satu sama lain: penjana dan diskriminator. Penjana menjana imej berdasarkan unsur pencampuran gambar sebenar, dan diskriminator mengenal pasti kemungkinan penyelewengan daripada imej sebenar. Akibatnya, maklum balas terbentuk, berdasarkan mana penjana mula menyusun sampel yang semakin baik sehingga diskriminator berhenti membezakannya daripada yang sebenar.

Sumber: opennet.ru