Kode terbuka untuk sintesis animasi menggunakan jaringan saraf

Sekelompok peneliti dari Shanghai Technical University опубликовала peralatan Peniru, yang memungkinkan penggunaan metode pembelajaran mesin untuk mensimulasikan gerakan orang menggunakan gambar statis, serta mengganti pakaian, memindahkannya ke lingkungan lain, dan mengubah sudut pandang suatu objek. Kode ini ditulis dengan Python
menggunakan kerangka kerja PyTorch. Perakitan juga membutuhkan obor dan Perangkat CUDA.

Toolkit ini menerima gambar dua dimensi sebagai masukan dan mensintesis hasil yang dimodifikasi berdasarkan model yang dipilih. Tiga opsi transformasi didukung:
Membuat objek bergerak yang mengikuti gerakan model yang dilatih. Pemindahan unsur penampilan dari suatu model ke suatu objek (misalnya pakaian ganti). Menghasilkan sudut pandang baru (misalnya, sintesis gambar profil berdasarkan foto seluruh wajah). Ketiga metode tersebut dapat digabungkan, misalnya Anda dapat menghasilkan video dari sebuah foto yang mensimulasikan pertunjukan trik akrobatik yang rumit dengan pakaian yang berbeda.

Selama proses sintesis, operasi pemilihan objek dalam foto dan pembentukan elemen latar belakang yang hilang saat bergerak dilakukan secara bersamaan. Model jaringan saraf dapat dilatih satu kali dan digunakan untuk berbagai transformasi. Untuk memuat tersedia model siap pakai yang memungkinkan Anda untuk segera menggunakan alat tanpa pelatihan sebelumnya. GPU dengan ukuran memori minimal 8GB diperlukan untuk beroperasi.

Berbeda dengan metode transformasi yang didasarkan pada transformasi berdasarkan titik-titik kunci yang mendeskripsikan lokasi tubuh dalam ruang dua dimensi, Impersonator mencoba mensintesis mesh tiga dimensi dengan deskripsi tubuh menggunakan metode pembelajaran mesin.
Metode yang diusulkan memungkinkan manipulasi dengan mempertimbangkan bentuk tubuh yang dipersonalisasi dan postur saat ini, mensimulasikan gerakan alami anggota badan.

Untuk menjaga informasi asli seperti tekstur, gaya, warna dan pengenalan wajah selama proses transformasi, jaringan saraf permusuhan generatif (Warping Cair GAN). Informasi tentang objek sumber dan parameter untuk identifikasi yang tepat diekstraksi dengan menerapkan jaringan saraf konvolusional.

Sumber: opennet.ru