NVIDIA, kaba taslaklardan gerçekçi manzaraların yanı sıra projeyle ilişkili eğitimsiz modellerin sentezlenmesini sağlayan SPADE (GauGAN) makine öğrenimi sisteminin kaynak kodunu yayınladı. Sistem Mart ayında GTC 2019 konferansında gösterildi, ancak kod ancak dün yayınlandı. Geliştirmeler, CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0) ücretsiz lisansı altında açıktır ve yalnızca ticari olmayan amaçlarla kullanıma izin verir. Kod Python'da PyTorch çerçevesi kullanılarak yazılmıştır.
Eskizler, yaklaşık nesnelerin sahneye yerleştirilmesini belirleyen bölümlü bir harita biçiminde hazırlanır. Oluşturulan nesnelerin doğası renkli işaretler kullanılarak belirtilir. Örneğin mavi dolgu gökyüzüne, mavi suya, koyu yeşil ağaçlara, açık yeşil çime, açık kahverengi taşlara, koyu kahverengi dağlara, gri kara, kahverengi çizgi yola, mavi dolgu ise yola dönüşüyor. bir nehre doğru. Ayrıca referans görsellerin seçimine göre genel kompozisyon stili ve günün saati belirlenir. Sanal dünyalar yaratmaya yönelik önerilen araç, mimarlardan şehir planlamacılarına, oyun geliştiricilerinden peyzaj tasarımcılarına kadar çok çeşitli uzmanlar için faydalı olabilir.
Nesneler, birkaç milyon fotoğrafla önceden eğitilmiş bir modelden ayrıntılar ödünç alınarak şematik bölümlenmiş bir haritaya dayalı gerçekçi görüntüler oluşturan üretken bir rakip sinir ağı (GAN) tarafından sentezleniyor. Daha önce geliştirilen görüntü sentez sistemlerinden farklı olarak önerilen yöntem, uyarlanabilir mekansal dönüşümün ardından makine öğrenimine dayalı dönüşümün kullanımına dayanmaktadır. Anlamsal işaretleme yerine bölümlere ayrılmış bir haritanın işlenmesi, tam eşleşme sonuçları elde etmenize ve stili kontrol etmenize olanak tanır.
Gerçekçiliğe ulaşmak için iki sinir ağı birbiriyle rekabet eder: bir üreteç ve bir ayırıcı. Jeneratör, gerçek fotoğrafların öğelerini karıştırarak görüntüler üretir ve ayırıcı, gerçek görüntülerden olası sapmaları tanımlar. Sonuç olarak, jeneratörün, ayırıcı onları gerçek olanlardan ayırmayı bırakıncaya kadar giderek daha iyi örnekler oluşturmaya başladığı temelinde, geri bildirim oluşur.
Kaynak: opennet.ru