來自特拉維夫大學的一組研究人員展示了 HyperStyle，這是 NVIDIA StyleGAN2 機器學習系統的倒置版本，經過重新設計，可以在編輯真實圖像時重新創建缺少的部分。 該程式碼是使用 PyTorch 框架用 Python 編寫的，並根據 MIT 許可證分發。
如果說StyleGAN允許你透過指定年齡、性別、頭髮長度、笑容特徵、鼻子形狀、膚色、眼鏡和拍攝角度等參數來合成逼真的新人臉，那麼HyperStyle則可以改變現有的類似參數在不改變其特徵的情況下拍攝照片，同時保持對原始臉部的辨識。 例如，使用 HyperStyle，您可以模擬照片中人的年齡變化、改變髮型、添加眼鏡、鬍鬚或小鬍子、使圖像呈現卡通人物或手繪繪畫的外觀、使悲傷或歡快的面部表情。 此外，該系統不僅可以訓練來改變人的臉孔，還可以訓練任何物體，例如編輯汽車的圖像。
所提出的方法旨在解決編輯期間重建影像缺失部分的問題。 在先前提出的方法中，透過微調影像產生器以在重新建立最初遺失的可編輯區域時替換目標影像的部分來解決重建和可編輯性之間的權衡。 這種方法的缺點是需要對每個影像的神經網路進行長期的有針對性的訓練。
基於 StyleGAN 演算法的方法使得可以使用在常見影像集合上預先訓練的標準模型來產生原始影像的特徵元素，其可靠性水平與需要對每個模型進行單獨訓練的演算法相當。影像。 新方法的另一個優點是能夠以接近即時的效能修改影像。
基於 Flickr-Faces-HQ（FFHQ，70 萬張高品質人臉 PNG 圖像）、Stanford Cars（16 萬張汽車圖像）和AFHQ（動物照片）。 此外，還提供了用於訓練模型的工具，以及適合與它們一起使用的標準編碼器和生成器的現成訓練模型。 例如，生成器可用於創建 Toonify 風格的圖像、皮克斯角色、生成草圖，甚至對迪士尼卡通中的公主進行風格化。
來源： opennet.ru