A sanghai műszaki egyetem kutatócsoportja eszközkészlet , amely lehetővé teszi a gépi tanulási módszerek segítségével az emberek mozgásának szimulálását statikus képeken, valamint a ruhák cseréjét, a környezet áthelyezését és a nézőpont megváltoztatását. A kód Python nyelven íródott
a keretrendszer használatával és CUDA Toolkit.
Az eszközkészlet bemeneti adatai egy kétdimenziós kép, és az eredményt a kiválasztott modell alapján szintetizálja. Háromféle transzformáció támogatott:
Mozgó objektum létrehozása, amely azokon a mozgásokon alapul, amelyeken a modell tanult. A modell külső megjelenésének elemeinek átadása az objektumnak (például ruhacsere). Új nézőpont generálása (például profilképek szintetizálása szemből készült fényképek alapján). Mindhárom módszer kombinálható, például egy fényképről úgy lehet videót generálni, amely bonyolult akrobata trükkök végrehajtását imitálja más ruhában.
A szintézis folyamán a fényképen található objektum kiemelése és a háttér hiányzó elemeinek létrehozása is megtörténik az áthelyezés során. A neurális hálózathoz szükséges modell egyszeri tanítás után különböző transzformációkhoz felhasználható. Készen álló modellek tölthetők le, amelyek lehetővé teszik az eszközkészlet azonnali használatát előzetes tréning nélkül. A működéshez legalább 8 GB memória méretű GPU szükséges. Az Impersonator módszerében a kétdimenziós térben a test helyzetét leíró kulcspontokra alapozott transzformációs módszerektől eltérően próbálkozik egy háromdimenziós háló (mesh) szintézisével, amely a test leírására szolgál gépi tanulási módszerekkel.
A javasolt módszer lehetővé teszi a test személyre szabott alakjának és aktuális pózának figyelembevételével végzett manipulációkat, modellezve a végtagok természetes mozgását.
A származási információ, például textúrák, stílusok, színek és az arcfelismerés megőrzésére a transzformációs folyamat során
generatív ellenálló neurális hálózatot (konvolúciós neurális háló segítségével kerülnek kinyerésre. .
Forrás: opennet.ru
