Şangay Teknik Üniversitesi'nden bir grup araştırmacı aletler statik görüntüler kullanarak insanların hareketlerini simüle etmenin yanı sıra kıyafetleri değiştirmek, başka bir ortama aktarmak ve bir nesnenin göründüğü açıyı değiştirmek için makine öğrenimi yöntemlerinin kullanılmasına olanak tanır. Kod Python'da yazılmıştır
bir çerçeve kullanma . Montaj aynı zamanda gerektirir ve CUDA Araç Takımı.
Araç seti girdi olarak iki boyutlu bir görüntü alır ve seçilen modele dayalı olarak değiştirilmiş bir sonucu sentezler. Üç dönüştürme seçeneği desteklenir:
Modelin eğitildiği hareketleri takip eden hareketli bir nesne oluşturmak. Görünüm öğelerinin bir modelden bir nesneye aktarılması (örneğin, kıyafet değişikliği). Yeni bir açının oluşturulması (örneğin, tam yüz fotoğrafına dayalı bir profil görüntüsünün sentezi). Her üç yöntem de birleştirilebilir; örneğin, karmaşık bir akrobatik numaranın farklı kıyafetlerle performansını simüle eden bir fotoğraftan bir video oluşturabilirsiniz.
Sentez işlemi sırasında fotoğrafta bir nesnenin seçilmesi ve hareket halindeyken eksik olan arka plan elemanlarının oluşturulması işlemleri eş zamanlı olarak gerçekleştirilir. Sinir ağı modeli bir kez eğitilip çeşitli dönüşümler için kullanılabilir. Yükleme için Aletleri ön eğitim gerektirmeden hemen kullanmanıza olanak tanıyan hazır modeller. Çalıştırmak için en az 8 GB bellek boyutuna sahip bir GPU gereklidir.
Impersonator, iki boyutlu uzayda vücudun konumunu tanımlayan anahtar noktalara dayalı dönüşüme dayalı dönüşüm yöntemlerinden farklı olarak, makine öğrenimi yöntemlerini kullanarak vücudun tanımıyla üç boyutlu bir ağ sentezlemeye çalışır.
Önerilen yöntem, kişiselleştirilmiş vücut şeklini ve mevcut duruşu dikkate alarak uzuvların doğal hareketlerini simüle ederek manipülasyonlara izin verir.
Dönüşüm sürecinde doku, stil, renk ve yüz tanıma gibi orijinal bilgilerin korunması, (). Kaynak nesne hakkındaki bilgiler ve onun kesin tanımlanmasına yönelik parametreler uygulanarak çıkarılır. .
Kaynak: opennet.ru