Отворен код за синтез на анимация с помощта на невронни мрежи

Група изследователи от Шанхайския технически университет публикувано инструменти интерпретатор, което позволява използването на методи за машинно обучение за симулиране на движенията на хората с помощта на статични изображения, както и замяна на дрехи, прехвърлянето им в друга среда и промяна на ъгъла, от който се вижда даден обект. Кодът е написан на Python
използване на рамка PyTorch. Сглобяването също изисква факелно виждане и CUDA Toolkit.

Инструментариумът получава двуизмерно изображение като вход и синтезира модифициран резултат въз основа на избрания модел. Поддържат се три опции за трансформация:
Създаване на движещ се обект, който следва движенията, върху които е трениран моделът. Прехвърляне на елементи на външен вид от модел към обект (например смяна на облекло). Генериране на нов ъгъл (например синтез на профилно изображение въз основа на снимка в анфас). И трите метода могат да се комбинират, например можете да генерирате видео от снимка, която симулира изпълнението на сложен акробатичен трик в различни дрехи.

По време на процеса на синтез едновременно се извършват операциите по избор на обект на снимка и формиране на липсващите фонови елементи при движение. Моделът на невронната мрежа може да бъде обучен веднъж и използван за различни трансформации. За зареждане на разположение готови модели, които ви позволяват незабавно да използвате инструментите без предварително обучение. За работа е необходим графичен процесор с размер на паметта поне 8 GB.

За разлика от методите за трансформация, базирани на трансформация чрез ключови точки, описващи местоположението на тялото в двуизмерното пространство, Impersonator се опитва да синтезира триизмерна мрежа с описание на тялото, използвайки методи за машинно обучение.
Предложеният метод позволява манипулации, съобразени с персонализираната форма на тялото и текущата стойка, симулиращи естествените движения на крайниците.

За да запазите оригиналната информация като текстури, стил, цветове и лицево разпознаване по време на процеса на трансформация, генеративна състезателна невронна мрежа (Течно изкривяване GAN). Чрез прилагане се извлича информация за обекта източник и параметри за прецизното му идентифициране конволюционна невронна мрежа.

Източник: opennet.ru