Sekumpulan penyelidik dari Universiti Teknikal Shanghai alatan , yang membenarkan penggunaan kaedah pembelajaran mesin untuk mensimulasikan pergerakan orang menggunakan imej statik, serta menggantikan pakaian, memindahkannya ke persekitaran lain dan menukar sudut dari mana objek boleh dilihat. Kod itu ditulis dalam Python
menggunakan rangka kerja . Perhimpunan juga memerlukan dan Kit Alat CUDA.
Kit alat menerima imej dua dimensi sebagai input dan mensintesis hasil yang diubah suai berdasarkan model yang dipilih. Tiga pilihan transformasi disokong:
Mencipta objek bergerak yang mengikuti pergerakan yang model dilatih. Memindahkan elemen penampilan daripada model kepada objek (contohnya, menukar pakaian). Penjanaan sudut baharu (contohnya, sintesis imej profil berdasarkan gambar muka penuh). Ketiga-tiga kaedah boleh digabungkan, sebagai contoh, anda boleh menjana video daripada gambar yang menyerupai prestasi helah akrobatik yang kompleks dalam pakaian yang berbeza.
Semasa proses sintesis, operasi memilih objek dalam gambar dan membentuk elemen latar belakang yang hilang apabila bergerak dilakukan serentak. Model rangkaian saraf boleh dilatih sekali dan digunakan untuk pelbagai transformasi. Untuk memuatkan model siap pakai yang membolehkan anda menggunakan alat dengan segera tanpa latihan awal. GPU dengan saiz memori sekurang-kurangnya 8GB diperlukan untuk beroperasi.
Tidak seperti kaedah transformasi berdasarkan transformasi dengan perkara utama yang menerangkan lokasi badan dalam ruang dua dimensi, Impersonator cuba mensintesis jaringan tiga dimensi dengan penerangan badan menggunakan kaedah pembelajaran mesin.
Kaedah yang dicadangkan membolehkan manipulasi dengan mengambil kira bentuk badan yang diperibadikan dan postur semasa, mensimulasikan pergerakan semula jadi anggota badan.
Untuk mengekalkan maklumat asal seperti tekstur, gaya, warna dan pengecaman muka semasa proses transformasi, (). Maklumat tentang objek sumber dan parameter untuk pengenalpastian tepatnya diekstrak dengan menggunakan .
Sumber: opennet.ru