使用神經網路進行動畫合成的開放式程式碼

上海工業大學的一組研究人員 опубликовала 工具 冒領，它允許使用機器學習方法使用靜態圖像來模擬人的動作，以及更換衣服、將其轉移到另一個環境以及改變物體可見的角度。 程式碼是用Python寫的
使用框架 火炬。 組裝還需要 火炬視覺 和 CUDA 工具包。

此工具包接收二維影像作為輸入，並根據所選模型合成修改後的結果。 支援三種轉換選項：
建立一個跟隨模型訓練動作的移動物件。 將外觀元素從模型轉移到物件（例如，換衣服）。 產生新角度（例如，基於全臉照片合成個人資料圖像）。 所有三種方法都可以組合使用，例如，您可以從照片生成視頻，模擬穿著不同衣服的複雜雜技表演。

在合成過程中，選擇照片中的物體和形成移動時缺少的背景元素的操作是同時進行的。 神經網路模型可以訓練一次並用於各種變換。 用於裝載 可用的 現成的模型使您無需經過初步培訓即可立即使用這些工具。 需要記憶體大小至少為 8GB 的​​ GPU 才能運作。

與基於描述身體在二維空間中的位置的關鍵點進行變換的變換方法不同，Impersonator 嘗試使用機器學習方法合成具有身體描述的三維網格。
所提出的方法允許考慮個性化的體形和當前姿勢進行操作，模擬肢體的自然運動。

在變換過程中保留紋理、風格、顏色和臉部辨識等原始訊息， 生成對抗神經網絡 (液體扭曲 GAN）。 透過應用提取有關來源物件的資訊及其精確識別的參數 卷積神經網絡.

來源： opennet.ru