PIFu estas maŝinlernada sistemo por konstrui 3D modelon de persono bazita sur 2D fotoj

Grupo de esploristoj de pluraj usonaj universitatoj publikigis projekton PIFu (Pixel-Aligned Implicit Function), kiu permesas vin apliki maŝinlernajn metodojn por konstrui 3D-modelon de persono el unu aŭ pluraj dudimensiaj bildoj. La sistemo permesas rekrei kompleksajn vestajn opciojn, kiel plisitajn jupojn kaj kalkanojn, kaj diversajn kombitojn, sendepende restarigante teksturon kaj formon en nevideblaj lokoj en la projekcio, el kiu la 3D-modelo estas konstruita. Por pliigi la kvaliton kaj detalon de la fina 3D-modelo, pluraj bildoj el malsamaj anguloj povas esti uzataj. La projektkodo estas skribita en Python uzante la kadron PyTorch kaj distribuita de sub la MIT-licenco.

PIFu - maŝinlernadsistemo por konstruado de 3D modelo de persono bazita sur 2D fotoj

Neŭrala reto estas uzata kiel fonto por rekonstrui tridimensian aranĝon, kiu permesas elekti la plej verŝajnan formon kaj inventi kaŝitajn elementojn, komencante de modelo trejnita sur diversaj versioj de ekzistantaj objektoj. Paralele, la projekto provizas algoritmon por kongrui la rezultan volumetran aranĝon kun teksturoj en la provizitaj 2D-bildoj, kiu vicigas la pikselojn de la 3D-bildo laŭ ilia pozicio sur la XNUMXD-objekto kaj generas la plej verŝajne mankantajn teksturojn. Ajna bildo povas esti kodita konvolucia neŭrala retopor
surfaca rekonstruo aplikata arkitekturo "Staplita sablohorloĝo", a
arkitektur-bazita neŭrala reto estas uzata por tekstura kongruo CycleGAN.

PIFu - maŝinlernadsistemo por konstruado de 3D modelo de persono bazita sur 2D fotoj

La preta trejnita modelo uzata de la esploristoj disponebla disponeblas senpage elŝutebla, sed la krudaj datumoj uzataj por trejnado restas privataj ĉar ĝi baziĝas sur komercaj 3D-skanadoj. Povas esti uzata kiel fonto por memtrejnado de la modelo 3D modela datumbazo homoj de la projekto Renderpeople.

fonto: opennet.ru

Aldoni komenton