Отворени код за синтезу анимације коришћењем неуронских мрежа

Група истраживача са Шангајског техничког универзитета опубликовала алата Имперсонатор, који омогућава коришћење метода машинског учења за симулацију покрета људи помоћу статичних слика, као и замену одеће, преношење у друго окружење и промену угла из којег је објекат видљив. Код је написан у Пајтону
користећи оквир ПиТорцх. Скупштина такође захтева торцхвисион и ЦУДА Тоолкит.

Комплет алата прима дводимензионалну слику као улаз и синтетише модификовани резултат на основу изабраног модела. Подржане су три опције трансформације:
Креирање покретног објекта који прати покрете на којима је модел обучен. Преношење елемената изгледа са модела на објекат (на пример, промена одеће). Генерисање новог угла (на пример, синтеза слике профила на основу фотографије целог лица). Све три методе се могу комбиновати, на пример, можете генерисати видео са фотографије који симулира извођење сложеног акробатског трика у различитој одећи.

Током процеса синтезе, истовремено се изводе операције одабира објекта на фотографији и формирања елемената позадине који недостају при кретању. Модел неуронске мреже може се једном обучити и користити за различите трансформације. За утовар доступан готови модели који вам омогућавају да одмах користите алате без претходне обуке. За рад је потребан ГПУ са величином меморије од најмање 8 ГБ.

За разлику од метода трансформације заснованих на трансформацији по кључним тачкама које описују локацију тела у дводимензионалном простору, Имперсонатор покушава да синтетише тродимензионалну мрежу са описом тела користећи методе машинског учења.
Предложени метод омогућава манипулације узимајући у обзир персонализовани облик тела и тренутно држање, симулирајући природне покрете удова.

Да бисте сачували оригиналне информације као што су текстуре, стил, боје и препознавање лица током процеса трансформације, генеративна адверсарна неуронска мрежа (Ликуид Варпинг ГАН). Информације о изворном објекту и параметрима за његову прецизну идентификацију издвајају се применом конволуциона неуронска мрежа.

Извор: опеннет.ру