NVIDIA正在深度學習領域積極進行實驗，其工作結果有時相當有趣。 該公司在 GDC 2019 上宣布創建 GauGAN，這是一款智慧繪圖應用程序，它使用深度學習模型來創建簡單繪圖的照片級真實版本。 該應用程式的名稱參考了法國後印象派藝術家保羅·高更（Paul Gauguin），該軟體使用生成對抗網路（GAN）來創建逼真地模仿繪畫的圖像。
GauGAN 是如何運作的？ 根據該公司的解釋，該應用程式就像一個“智慧畫筆”，可以填充用戶草圖的細節（NVIDIA 稱之為“分割圖”）。 本質上，使用者或藝術家只是為他最終想要看到的內容制定一個計劃，並標記每個片段，表明它應該是什麼。 然後 GauGAN 接管，填充額外的細節並使繪圖更加真實。
經過數百萬張藝術圖像的訓練，深度學習模型會以令人印象深刻（但並不總是完美）的結果填充景觀。 如果你畫一個池塘，附近的樹木和岩石等元素就會反映在水中。 只要將片段標籤從“草”改為“雪”，整個圖像就會發生變化，變成冬天的圖像，茂密的樹木也會變得光禿禿的。 要了解我們正在談論的內容，您可以觀看下面的影片。
還值得注意的是，儘管 GauGAN 使用基於大量其他圖像的廣泛知識來創建最終作品，但後者仍然被認為是原始的，因為該應用程式會產生全新的結果圖像。
NVIDIA 的全新智慧圖形編輯器不僅限於自然場景或風景，該應用程式還可以添加建築物、道路，甚至人物。 GauGAN 還允許用戶套用過濾器，對結果進行樣式設計以適合他們想要的風格。 除此之外，此類濾鏡可以模仿特定藝術家（例如 Van Gon）的風格或調整場景的照明，從白天到晚上改變影像。
目前尚不清楚 GauGAN 是否會發布供日常消費者使用，但我認為普通用戶遲早可能會得到一些像這樣非常有用的工具，簡化各個領域的工作：從架構和插圖到遊戲開發。
不過，在 NVIDIA AI Playground 資源上，有興趣的人可以熟悉一些機器學習功能。 例如，在那裡的藝術風格轉移演示中，您可以按照著名藝術家的風格處理任何照片。
NVIDIA 的其他類似實驗包括一項研究，展示人工智慧產生的視覺效果如何與傳統光柵化管道結合。 其結果是一個可用於遊戲、電影和虛擬實境的混合圖形系統。 另一個類似的例子是將積雪街道變成夏季街道的演算法，該演算法由公司專家開發，用於更有效的自動駕駛培訓。
來源： 3dnews.ru