Код за синтез на анимации с помощта на невронни мрежи

Група изследователи от Шанхайския технически университет е публикувала инструменти Impersonator, който позволява чрез методи на машинното обучение да симулира движения на хора по статични изображения, както и да заменя облеклата, да пренася в различна среда и да променя ъгъла, от който е видим обектът. Кодът е написан на Python
с прилагане на фреймворка PyTorch. За компилирането също е необходимо torchvision и CUDA Toolkit.

Инструментариумът получава двумерно изображение на входа и синтезира променен резултат на базата на избрания модел. Поддържат се три варианта на трансформации:
Създаване на движещ се обект, който повтаря движенията, на които е обучен моделът. Прехвърляне на елементи на външния вид от модела към обекта (например, смяна на облекло). Генерация на нов ъгъл (например, синтезиране на изображение в профил на базата на снимка в анфас). Всички три метода могат да се комбинират, например, може по снимка да се генерира видео, имитиращо изпълнение на сложен акробатичен трик в друго облекло.

В процеса на синтеза допълнително се извършват операции по извличане на обекта на снимката и формиране на липсващите елементи на фона при преместване. Моделът за невронна мрежа може да бъде обучен един път и използван за различни преобразувания. За зареждане са налични готови модели, позволяващи веднага използване на инструментария без предварително провеждане на тренировка. За работа е необходим GPU с размер на паметта не по-малко от 8GB.

В отличие от методите за трансформация, основани на трансформация по ключови точки, описващи разположението на тялото в двумерно пространство, в Impersonator е направен опит за синтезиране на триизмерна мрежа (mesh) с описание на тялото, използвайки методи на машинното обучение.
Предложен метод позволява манипулиране с оглед на персонализираната форма на тялото и текущата поза, моделирайки естествени движения на крайниците.

За запазване на оригиналната информация, като текстури, стил, цветове и разпознаваемост на лицето, в процеса на трансформация се прилага генеративна състезателна невронна мрежа (Liquid Warping GAN). Информацията за оригиналния обект и параметри за неговата прецизна идентификация се извличат чрез прилагане на конволюционна невронна мрежа.

Източник: opennet.ru