PIFu - бул 3D сүрөттөрүнүн негизинде адамдын 2D моделин куруу үчүн машина үйрөнүү системасы

Американын бир нече университеттеринин изилдөөчүлөр тобу долбоор жарыялады PIFu (Pixel-Aligned Implicit Function), бул бир же бир нече эки өлчөмдүү сүрөттөрдөн адамдын 3D моделин куруу үчүн машинаны үйрөнүү ыкмаларын колдонууга мүмкүндүк берет. Система 3D модели курулган проекцияда көрүнбөгөн аймактарда текстураны жана форманы өз алдынча калыбына келтирип, бүктөлгөн юбкалар жана согончоктор, ар кандай чач жасалгалары сыяктуу татаал кийим варианттарын кайра жаратууга мүмкүндүк берет. Акыркы 3D моделдин сапатын жана майда-чүйдөсүнө чейин жогорулатуу үчүн, ар кандай бурчтан бир нече сүрөттөрдү колдонсо болот. Долбоордун коду PyTorch алкагын колдонуу менен Python тилинде жазылган жана жайылуу MIT лицензиясы боюнча.

PIFu - 3D фотосүрөттөрүнүн негизинде адамдын 2D моделин куруу үчүн машина үйрөнүү системасы

Нейрондук тармак үч өлчөмдүү макетти реконструкциялоо үчүн булак катары колдонулат, ал бар объектилердин ар кандай версияларында үйрөтүлгөн моделден баштап эң ыктымал форманы тандап алууга жана жашыруун элементтерди ойлоп табууга мүмкүндүк берет. Параллелдүү, долбоор 2D сүрөттөлүштүн пикселдерин алардын 3D объектиндеги абалына жараша тегиздөөчү жана жетишпеген текстураларды түзүүчү XNUMXD сүрөттөлүштөрүнүн натыйжасында пайда болгон көлөмдүү макетти текстуралар менен далдаштыруу алгоритмин камсыздайт. Ар кандай сүрөт коддолушу мүмкүн конволюциялык нейрон тармагыүчүн
жер үстүндөгү реконструкция колдонмо архитектурасы "Үйүлгөн кум саат", а
архитектурага негизделген нейрон тармагы текстурага дал келүү үчүн колдонулат CycleGAN.

PIFu - 3D фотосүрөттөрүнүн негизинде адамдын 2D моделин куруу үчүн машина үйрөнүү системасы

Изилдөөчүлөр тарабынан колдонулган даяр үйрөтүлгөн модель жеткиликтүү акысыз жүктөп алуу үчүн жеткиликтүү, бирок окутуу үчүн колдонулган чийки маалыматтар коммерциялык 3D сканерлерине негизделгендиктен купуя бойдон калууда. Модельди өз алдынча окутуу үчүн булак катары колдонсо болот 3D моделдин маалымат базасы Renderpeople долбоорунун адамдары.

Source: opennet.ru

Комментарий кошуу