Buka kode pikeun sintésis animasi nganggo jaringan saraf

Sakelompok peneliti ti Universitas Téknis Shanghai diterbitkeun parabot Impersonator, Anu ngamungkinkeun ngagunakeun métode learning machine pikeun simulate gerakan jalma ngagunakeun gambar statik, kitu ogé ngaganti baju, mindahkeun ka lingkungan sejen tur ngarobah sudut ti mana hiji obyék katempo. Kodeu ditulis dina Python
ngagunakeun kerangka PyTorch. Majelis ogé merlukeun obor jeung CUDA Toolkit.

Buka kode pikeun sintésis animasi nganggo jaringan saraf

Toolkit nampi gambar dua diménsi salaku input sareng nyintésis hasil anu dirobih dumasar kana modél anu dipilih. Tilu pilihan transformasi dirojong:
Nyiptakeun obyék anu gerak anu nuturkeun gerakan dimana modél dilatih. Mindahkeun unsur penampilan tina modél ka hiji obyék (contona, ganti baju). Generasi sudut anyar (contona, sintésis gambar profil dumasar kana poto full-face). Katiluna métode bisa digabungkeun, contona, anjeun bisa ngahasilkeun video ti photograph nu simulates kinerja trik akrobat kompléks dina baju béda.

Salila prosés sintésis, operasi milih hiji obyék dina poto sareng ngabentuk unsur latar anu leungit nalika gerak sakaligus dilaksanakeun. Modél jaringan saraf tiasa dilatih sakali sareng dianggo pikeun sagala rupa transformasi. Pikeun loading aya model siap-dijieun nu ngidinan Anjeun pikeun langsung ngagunakeun parabot tanpa latihan awal. A GPU kalayan ukuran memori sahenteuna 8GB diperlukeun pikeun beroperasi.

Teu kawas métode transformasi dumasar kana transformasi ku titik konci ngajéntrékeun lokasi awak dina spasi dua diménsi, Impersonator nyoba nyintésis bolong tilu diménsi jeung déskripsi awak ngagunakeun métode learning mesin.
Metoda anu diusulkeun ngamungkinkeun pikeun manipulasi kalayan ngitung bentuk awak pribadi sareng sikep ayeuna, simulasi gerakan alami anggota awak.

Buka kode pikeun sintésis animasi nganggo jaringan saraf

Pikeun ngawétkeun inpormasi asli sapertos tékstur, gaya, warna sareng pangenal raray salami prosés transformasi, jaringan saraf adversarial generative (Cairan Warping GAN). Inpormasi ngeunaan obyék sumber sareng parameter pikeun idéntifikasi anu tepat diekstrak ku ngalamar jaringan saraf konvolusional.


sumber: opennet.ru

Tambahkeun komentar