Neyron tarmoqlar yordamida animatsiya sintezi uchun ochiq kod

Shanxay texnika universiteti tadqiqotchilari guruhi e'lon qilindi asboblar Tushuntirish, bu statik tasvirlar yordamida odamlarning harakatlarini taqlid qilish, shuningdek, kiyimlarni almashtirish, ularni boshqa muhitga o'tkazish va ob'ektning ko'rinadigan burchagini o'zgartirish uchun mashinani o'rganish usullaridan foydalanish imkonini beradi. Kod Pythonda yozilgan
ramka yordamida PyTorch. Assambleya ham talab qiladi mash'al ko'rish va CUDA asboblar to'plami.

Asboblar to'plami kirish sifatida ikki o'lchovli tasvirni oladi va tanlangan model asosida o'zgartirilgan natijani sintez qiladi. Transformatsiyaning uchta varianti qo'llab-quvvatlanadi:
Model o'rgatilgan harakatlarni kuzatib boradigan harakatlanuvchi ob'ektni yaratish. Tashqi ko'rinish elementlarini modeldan ob'ektga o'tkazish (masalan, kiyimni almashtirish). Yangi burchakni yaratish (masalan, to'liq yuzli fotosuratga asoslangan profil tasvirini sintez qilish). Barcha uchta usulni birlashtirish mumkin, masalan, siz turli xil kiyimlarda murakkab akrobatik nayrangning bajarilishini taqlid qiluvchi fotosuratdan video yaratishingiz mumkin.

Sintez jarayonida fotosuratda ob'ektni tanlash va harakatlanayotganda etishmayotgan fon elementlarini shakllantirish operatsiyalari bir vaqtning o'zida amalga oshiriladi. Neyron tarmoq modeli bir marta o'qitilishi va turli transformatsiyalar uchun ishlatilishi mumkin. Yuklash uchun mavjud asboblarni dastlabki tayyorgarliksiz darhol ishlatishga imkon beruvchi tayyor modellar. Ishlash uchun kamida 8 Gb xotira hajmiga ega GPU talab qilinadi.

Ikki o'lchovli makonda tananing joylashishini tavsiflovchi asosiy nuqtalar bo'yicha transformatsiyaga asoslangan transformatsiya usullaridan farqli o'laroq, Impersonator mashinani o'rganish usullaridan foydalangan holda uch o'lchovli to'rni tananing tavsifi bilan sintez qilishga harakat qiladi.
Taklif etilgan usul oyoq-qo'llarning tabiiy harakatlarini taqlid qilib, shaxsiylashtirilgan tana shakli va hozirgi holatini hisobga olgan holda manipulyatsiya qilish imkonini beradi.

Transformatsiya jarayonida teksturalar, uslublar, ranglar va yuzni aniqlash kabi original ma'lumotlarni saqlab qolish uchun, generativ raqib neyron tarmog'i (Suyuqlikni burish GAN). Manba ob'ekti haqidagi ma'lumotlar va uni aniq identifikatsiyalash parametrlari qo'llash orqali chiqariladi konvolyutsion neyron tarmog'i.

Manba: opennet.ru