NVIDIA 發布了 SPADE (GauGAN) 機器學習系統的原始程式碼，該系統可以從草圖以及與該專案相關的未經訓練的模型合成現實景觀。該系統曾在 2019 月的 GTC 4.0 會議上進行過演示，但代碼昨天才發布。這些開發案在免費授權 CC BY-NC-SA 4.0（知識共享署名-非商業性-相同方式共享 XNUMX）下開放，僅允許用於非商業目的。該程式碼是使用 PyTorch 框架用 Python 編寫的。
草圖以分段地圖的形式繪製，以確定場景中近似物件的位置。產生的物件的性質是使用顏色標記指定的。例如，藍色填充變成天空，藍色填充為水，深綠色填充為樹木，淺綠色填充為草，淺棕色填充為石頭，深棕色填充為山脈，灰色填充為雪，棕色線填充為道路，藍色填充填充為道路。排成一條河。此外，根據參考影像的選擇，確定整體構圖風格和一天中的時間。所提出的用於創建虛擬世界的工具對於從建築師和城市規劃師到遊戲開發人員和景觀設計師等廣泛的專家來說都是有用的。
物件由生成對抗神經網路 (GAN) 合成，該網路根據示意性分段地圖創建逼真的圖像，借用在數百萬張照片上預先訓練的模型中的細節。與先前開發的影像合成系統不同，所提出的方法是基於使用自適應空間變換，然後是基於機器學習的變換。處理分段地圖而不是語義標記可以讓您獲得精確的匹配結果並控制樣式。
為了實現真實感，兩個神經網路相互競爭：生成器和鑑別器。 生成器根據真實照片的混合元素產生影像，鑑別器識別與真實影像可能存在的偏差。 結果，形成了回饋，在此基礎上，生成器開始組合越來越好的樣本，直到鑑別器不再將它們與真實樣本區分開來。
來源： opennet.ru