Nyílt kód az animáció szintéziséhez neurális hálózatok használatával

A Shanghai Műszaki Egyetem kutatóinak csoportja közzétett eszközöket Megszemélyesítő, amely lehetővé teszi a gépi tanulási módszerek használatával az emberek mozgásának statikus képek segítségével történő szimulálását, valamint a ruhák cseréjét, áthelyezését egy másik környezetbe, és megváltoztathatja azt a szöget, ahonnan egy tárgy látható. A kód Pythonban van írva
keret segítségével PyTorch. Az összeszerelés is megköveteli fáklyalátás és a CUDA Toolkit.

Az eszköztár bemenetként egy kétdimenziós képet kap, és a kiválasztott modell alapján szintetizálja a módosított eredményt. Három átalakítási lehetőség támogatott:
Mozgó objektum létrehozása, amely követi azokat a mozgásokat, amelyekre a modellt betanították. A megjelenés elemeinek átvitele egy modellről egy tárgyra (például egy ruhaváltás). Új szög generálása (például profilkép szintézise egy teljes arcú fénykép alapján). Mindhárom módszer kombinálható, például egy fényképből videót generálhat, amely egy összetett akrobatikus trükk teljesítményét szimulálja különböző ruhákban.

A szintézis folyamata során egyszerre hajtják végre a fényképen lévő objektum kiválasztását és a mozgáskor hiányzó háttérelemek kialakítását. A neurális hálózati modell egyszer betanítható és különféle transzformációkhoz használható. A betöltéshez elérhető kész modellek, amelyek lehetővé teszik az eszközök azonnali használatát előzetes képzés nélkül. Legalább 8 GB memóriával rendelkező GPU szükséges.

A kétdimenziós térben a test helyzetét leíró kulcspontok általi transzformáción alapuló transzformációs módszerekkel ellentétben az Impersonator gépi tanulási módszerek segítségével egy háromdimenziós hálót próbál meg szintetizálni a test leírásával.
A javasolt módszer lehetővé teszi a személyre szabott testforma és aktuális testtartás figyelembe vételével végzett manipulációkat, a végtagok természetes mozgását szimulálva.

Az eredeti információk, például textúrák, stílus, színek és arcfelismerés megőrzése érdekében az átalakítási folyamat során, generatív ellenséges neurális hálózat (Folyékony vetemedés GAN). A forrásobjektumra vonatkozó információk és a pontos azonosítás paraméterei az alkalmazással nyerhetők ki konvolúciós neurális hálózat.

Forrás: opennet.ru