Отворете го кодот за синтеза на анимација користејќи невронски мрежи

Група истражувачи од Шангајскиот технички универзитет објавено алатки Импонитор, што овозможува користење на методи за машинско учење за симулирање на движењата на луѓето користејќи статични слики, како и замена на облеката, нивно пренесување во друга средина и менување на аголот од кој објектот е видлив. Кодот е напишан во Python
користејќи рамка PyTorch. И собранието бара факелот и CUDA Toolkit.

Комплетот со алатки добива дводимензионална слика како влез и синтетизира изменет резултат врз основа на избраниот модел. Поддржани се три опции за трансформација:
Создавање на подвижен објект кој ги следи движењата на кои бил трениран моделот. Пренесување на елементи на изгледот од модел на предмет (на пример, промена на облека). Генерирање на нов агол (на пример, синтеза на слика на профил врз основа на фотографија со цело лице). Сите три методи може да се комбинираат, на пример, можете да генерирате видео од фотографија што симулира изведување на сложен акробатски трик во различна облека.

За време на процесот на синтеза, операциите на избор на објект на фотографија и формирање на елементите на позадината што недостасуваат при движење се извршуваат истовремено. Моделот на невронска мрежа може да се обучи еднаш и да се користи за различни трансформации. За вчитување достапни готови модели кои ви овозможуваат веднаш да ги користите алатките без претходна обука. За работа е потребен графички процесор со големина на меморија од најмалку 8 GB.

За разлика од методите на трансформација засновани на трансформација по клучни точки кои ја опишуваат локацијата на телото во дводимензионален простор, Имитатор се обидува да синтетизира тродимензионална мрежа со опис на телото користејќи методи на машинско учење.
Предложениот метод овозможува манипулации земајќи ја предвид персонализираната форма на телото и моменталната положба на телото, симулирајќи ги природните движења на екстремитетите.

За да се зачуваат оригиналните информации како што се текстурите, стилот, боите и препознавањето на лицето за време на процесот на трансформација, генеративна противничка невронска мрежа (Течни Warping GAN). Информациите за изворниот објект и параметрите за негова прецизна идентификација се извлекуваат со примена конволутивна невронска мрежа.

Извор: opennet.ru