PIXIE машина үйрөнүү тутумунун баштапкы коду ачылды, бул бир сүрөттөн адам денесинин 3D моделдерин жана анимацияланган аватарларын түзүүгө мүмкүндүк берет. Түпнуска фотосүрөттө көрсөтүлгөндөн айырмаланган реалдуу бет жана кийим текстуралары пайда болгон моделге тиркелиши мүмкүн. Системаны, мисалы, башка көз караштан көрсөтүү, анимация түзүү, беттин формасынын негизинде денени реконструкциялоо жана манжалардын 3D моделин түзүү үчүн колдонсо болот. Код Pytorch алкагын колдонуу менен Python тилинде жазылган жана коммерциялык эмес колдонуу үчүн гана лицензия боюнча таратылат.
Окшош долбоорлорго салыштырмалуу PIXIE алгач фотосүрөттөгү кийимдер, беттин формасы жана колдун муундарынын абалы менен жашырылган дененин контурларын такыраак жасоого мүмкүндүк берери айтылат. Метод пикселдик сүрөттөлүштөн беттин, дененин жана колдун параметрлерин бөлүп алган нейрон тармагын колдонууга негизделген. Нейрондук тармактын ишин атайын контроллер координациялайт, ал жарыктандыруунун анализинин негизинде табигый эмес позаларды аныктоону болтурбоо үчүн дененин ар кандай бөлүктөрүнүн салмак коэффициенттери жөнүндө маалыматты кошот. Моделди түзүүдө эркек менен аялдын денесинин ортосундагы анатомиялык айырмачылыктар, поза параметрлери, жарыктандыруу, беттин чагылышы жана беттин үч өлчөмдүү тегиздикте айлануусу эске алынат.
PIXIE өзгөчөлүктөрү:
- Реконструкцияланган 3D дене модели, ошондой эле поза, колдун абалы жана мимика тууралуу маалымат SMPL-X параметрлеринин жыйындысы катары сакталат, аларды кийинчерээк Blender моделдөө системасында плагин аркылуу колдонууга болот.
- Сүрөттөн беттин формасы жана экспрессиясы, ошондой эле анын өзгөчөлүктөрү, мисалы, бырыштардын бар экендиги жөнүндө толук маалымат аныкталат (баш моделин куруу үчүн ошол эле авторлор тарабынан иштелип чыккан DECA машинаны үйрөнүү системасы колдонулат) .
- Беттин текстурасын түзүүдө объекттин альбедосу бааланат.
- Курулган дене модели кийинчерээк жанданып же башка позада көрсөтүлүшү мүмкүн.
- Табигый шарттарда адамдын кадимки фотосүрөттөрүнөн моделди курууга колдоо көрсөтүү. PIXIE ар кандай позаларды, жарык шарттарын аныктоодо жана объекттин бөлүктөрүнүн көрүнүүсүнө тоскоолдук кылууда жакшы иштейт.
- Жогорку өндүрүмдүүлүк, камера сүрөттөрүн динамикалык иштетүү үчүн ылайыктуу.
Source: opennet.ru