Tek bir fotoğraftan insan vücudunun 3 boyutlu modellerini ve animasyonlu avatarlarını oluşturmanıza olanak tanıyan PIXIE makine öğrenimi sisteminin kaynak kodu açıldı. Ortaya çıkan modele orijinal fotoğrafta gösterilenden farklı gerçekçi yüz ve giyim dokuları eklenebilir. Sistem, örneğin farklı bir bakış noktasından görüntü oluşturmak, animasyon oluşturmak, yüzün şekline göre vücudu yeniden yapılandırmak ve parmakların 3 boyutlu modelini oluşturmak için kullanılabilir. Kod, Pytorch çerçevesi kullanılarak Python'da yazılmıştır ve yalnızca ticari olmayan kullanım lisansı altında dağıtılmaktadır.
Benzer projelerle karşılaştırıldığında PIXIE'nin, fotoğrafta başlangıçta kıyafetler tarafından gizlenen vücut hatlarını, yüzün şeklini ve el eklemlerinin konumunu daha doğru bir şekilde yeniden oluşturmanıza olanak sağladığı belirtiliyor. Yöntem, yüz, vücut ve el parametrelerini bir piksel görüntüsünden çıkaran bir sinir ağının kullanımına dayanıyor. Sinir ağının çalışması, aydınlatma analizine dayanarak, doğal olmayan pozların tespitini hariç tutmak için vücudun çeşitli bölümlerinin ağırlık katsayıları hakkında bilgi ekleyen özel bir denetleyici tarafından koordine edilir. Model oluşturulurken erkek ve kadın vücudu arasındaki anatomik farklılıklar, duruş parametreleri, aydınlatma, yüzey yansıması ve yüzün üç boyutlu düzlemde dönmesi dikkate alınır.
PIXIE'nin özellikleri:
- Yeniden oluşturulan 3D vücut modelinin yanı sıra poz, el pozisyonu ve yüz ifadesine ilişkin bilgiler bir dizi SMPL-X parametresi olarak kaydedilir ve bunlar daha sonra bir eklenti aracılığıyla Blender modelleme sisteminde kullanılabilir.
- Fotoğraftan yüzün şekli ve ifadesinin yanı sıra kırışıklıkların varlığı gibi özellikleri hakkında ayrıntılı bilgi belirlenir (kafa modeli oluşturmak için aynı yazarlar tarafından geliştirilen DECA makine öğrenme sistemi kullanılır) .
- Bir yüz dokusu oluşturulurken nesnenin albedosu tahmin edilir.
- Oluşturulan vücut modeli daha sonra canlandırılabilir veya farklı bir pozla sunulabilir.
- Bir kişinin doğal koşullarda sıradan fotoğraflarından model oluşturma desteği. PIXIE, farklı pozları, aydınlatma koşullarını tespit etme ve bir nesnenin bazı bölümlerinin görünürlüğünü engelleme konusunda iyi bir iş çıkarıyor.
- Yüksek performans, kamera görüntülerinin dinamik olarak işlenmesi için uygundur.
Kaynak: opennet.ru