Отворен код за синтез на анимация с помощта на невронни мрежи

Група изследователи от Шанхайския технически университет публикува инструментариум Impersonator, позволяващ чрез методи на машинно обучение да симулира движения на хора по статични изображения, а също така да замества дрехи, пренася в различна среда и променя ъгъла на виждане на обекта. Кодът е написан на езика Python
с прилагане на фреймуърка PyTorch. За компилация също е необходимо torchvision и CUDA Toolkit.

Инструментариумът получава на вход двумерно изображение и синтезира променен резултат на база избран модел. Поддържат се три варианта трансформации:
Създаване на движещ се обект, повтарящ движението, на което е обучен моделът. Прехвърляне на елементи на външния вид от модела в обекта (например смяна на дрехи). Генерация на нов ъгъл (например синтез на изображение в профил на основата на снимка в анфас). Всички три метода могат да бъдат комбинирани, например, може по снимка да се генерира видео, имитиращо изпълнението на сложен акробатичен трик в различни дрехи.

В процеса на синтез се изпълняват допълнителни операции по изолиране на обекта на снимката и формиране на липсващи елементи от фона при преместване. Моделът за невронната мрежа може да бъде обучен един път и използван за различни преобразувания. За зареждане на разположение готови модели, позволяващи веднага да се използва инструментарият без предварително обучение. За работа е необходим GPU с размер на паметта най-малко 8GB.

В отличие от методите на трансформация, основани на трансформация по ключови точки, описващи разположението на тялото в двумерно пространство, в Impersonator е предприета опит за синтез на триизмерна мрежа (mesh) с описание на тялото, използвайки методи на машинно обучение.
Предложеният метод позволява манипулации с оглед на персонализирана форма на тялото и текуща поза, моделирайки естествени движения на крайниците.

За запазване на изходната информация, като текстури, стил, цветове и разпознаваемост на лицето, в процеса на трансформация се прилага генеративно-състезателна невронна мрежа (Liquid Warping GAN). Информацията за изходния обект и параметрите за неговата точна идентификация се извличат чрез прилагане на конволюционна невронна мрежа.

Източник: opennet.ru