Tək bir fotoşəkildən insan bədəninin 3D modellərini və animasiyalı avatarlarını yaratmağa imkan verən PIXIE maşın öyrənmə sisteminin mənbə mətnləri açıqdır. Orijinal fotoşəkildə təsvir olunanlardan fərqli olaraq ortaya çıxan modelə üzün və paltarın real fakturaları əlavə edilə bilər. Sistem, məsələn, fərqli baxış bucağından çəkmək, animasiya yaratmaq, üzün formasına uyğun olaraq bədəni yenidən qurmaq və barmaqların 3D modelini formalaşdırmaq üçün istifadə edilə bilər. Kod Pytorch çərçivəsindən istifadə etməklə Python-da yazılır və yalnız qeyri-kommersiya məqsədli istifadəyə icazə verən lisenziya əsasında paylanır.
Bildirilir ki, analoji layihələrlə müqayisədə PIXIE əvvəlcə fotoşəkildə geyimlə gizlədilən bədən konturlarını, üzün formasını və əllərin oynaqlarının mövqeyini daha dəqiq yenidən yaratmağa imkan verir. Metod piksel təsvirindən üz, bədən və əl parametrlərini çıxaran neyron şəbəkənin istifadəsinə əsaslanır. Neyron şəbəkənin işi işıqlandırmanın təhlili əsasında qeyri-təbii pozaların tərifini aradan qaldırmaq üçün bədənin müxtəlif hissələrinin çəki əmsalları haqqında məlumat əlavə edən xüsusi nəzarətçi tərəfindən əlaqələndirilir. Model yaradılarkən kişi və qadın bədənləri arasında anatomik fərqlər, poza parametrləri, işıqlandırma, səthin əks olunması və üçölçülü müstəvidə üzün fırlanması nəzərə alınır.
PIXIE Xüsusiyyətləri:
- Bədənin yenidən qurulmuş 3D modeli, eləcə də poza, əllərin mövqeyi və mimika haqqında məlumatlar SMPL-X parametrləri toplusu kimi saxlanılır ki, bu da sonradan plagin vasitəsilə Blender modelləşdirmə sistemində istifadə oluna bilər.
- Üzün forması və ifadəsi, eləcə də onun xüsusiyyətləri, məsələn, qırışların olması haqqında ətraflı məlumat fotoşəkildən müəyyən edilir (baş modelinin qurulması üçün eyni müəlliflər tərəfindən hazırlanmış DECA maşın öyrənmə sistemi istifadə olunur).
- Üz fakturasını yaradan zaman obyektin albedosu təxmin edilir.
- Quraşdırılmış bədən modeli daha sonra canlandırıla və ya fərqli pozada təqdim edilə bilər.
- Bir insanın təbii şəraitdə çəkildiyi adi fotoşəkillərdən bir modelin qurulmasına dəstək. PIXIE müxtəlif pozaları, işıqlandırma şərtlərini təyin etmək və obyektin hissələrinin görünməsini gizlətmək üçün yaxşı bir iş görür.
- Yüksək performans, kamera görüntüsünün dinamik işlənməsi üçün uyğundur.
Mənbə: opennet.ru