Bukak kode kanggo sintesis animasi nggunakake jaringan saraf

Klompok peneliti saka Universitas Teknik Shanghai diterbitake piranti Impersonator, sing ngidini nggunakake cara machine learning kanggo simulasi obahe wong nggunakake gambar statis, uga ngganti sandhangan, nransfer menyang lingkungan liyane lan ngganti amba saka kang obyek katon. Kode ditulis ing Python
nggunakake kerangka PyTorch. Majelis uga mbutuhake obor lan CUDA Toolkit.

Bukak kode kanggo sintesis animasi nggunakake jaringan saraf

Toolkit nampa gambar rong dimensi minangka input lan nyintesis asil sing diowahi adhedhasar model sing dipilih. Telung opsi transformasi didhukung:
Nggawe obyek obah sing ngetutake obahe model sing dilatih. Nransfer unsur tampilan saka model menyang obyek (contone, ngganti sandhangan). Generasi sudut anyar (contone, sintesis gambar profil adhedhasar foto pasuryan lengkap). Kabeh telung cara bisa digabungake, contone, sampeyan bisa nggawe video saka foto sing simulates kinerja trick akrobat Komplek ing sandhangan beda.

Sajrone proses sintesis, operasi milih obyek ing foto lan mbentuk unsur latar mburi sing ilang nalika obah ditindakake bebarengan. Model jaringan saraf bisa dilatih sepisan lan digunakake kanggo macem-macem transformasi. Kanggo loading kasedhiya model siap sing ngidini sampeyan langsung nggunakake alat tanpa latihan awal. GPU kanthi ukuran memori paling sethithik 8GB dibutuhake supaya bisa digunakake.

Ora kaya cara transformasi adhedhasar transformasi kanthi titik-titik kunci sing nggambarake lokasi awak ing ruang rong dimensi, Impersonator nyoba nyintesis bolong telung dimensi kanthi deskripsi awak nggunakake metode pembelajaran mesin.
Cara sing diusulake ngidini manipulasi kanthi njupuk wangun awak sing dipersonalisasi lan postur saiki, simulasi gerakan alami saka anggota awak.

Bukak kode kanggo sintesis animasi nggunakake jaringan saraf

Kanggo njaga informasi asli kayata tekstur, gaya, warna lan pangenalan rai sajrone proses transformasi, jaringan syaraf generatif adversarial (Cairan Warping GAN). Informasi babagan obyek sumber lan paramèter kanggo identifikasi sing tepat dijupuk kanthi nglamar jaringan syaraf konvolusional.


Source: opennet.ru

Add a comment