Kildekoden til PIXIE maskinlæringssystem har blitt åpnet, slik at du kan lage 3D-modeller og animerte avatarer av menneskekroppen fra ett bilde. Realistiske ansikts- og klesteksturer som skiller seg fra de som er avbildet på originalbildet, kan festes til den resulterende modellen. Systemet kan for eksempel brukes til å gjengi fra et annet utsiktspunkt, lage animasjon, rekonstruere kroppen basert på ansiktsformen og generere en 3D-modell av fingrene. Koden er skrevet i Python ved hjelp av Pytorch-rammeverket og distribueres under en ikke-kommersiell brukslisens.
Det er uttalt at sammenlignet med lignende prosjekter, lar PIXIE deg mer nøyaktig gjenskape kroppens konturer, i utgangspunktet skjult av klær på fotografiet, ansiktsformen og posisjonen til leddene i hendene. Metoden er basert på bruk av et nevralt nettverk, som trekker ut parametrene til ansikt, kropp og hender fra et pikselbilde. Arbeidet til det nevrale nettverket koordineres av en spesiell regulator, som, basert på en belysningsanalyse, legger til informasjon om vektkoeffisientene til forskjellige deler av kroppen for å utelukke påvisning av unaturlige positurer. Når du lager en modell, tas de anatomiske forskjellene mellom den mannlige og kvinnelige kroppen, holdningsparametre, belysning, overflatereflektivitet og rotasjon av ansiktet i et tredimensjonalt plan i betraktning.
Funksjoner til PIXIE:
- Den rekonstruerte 3D-kroppsmodellen, samt informasjon om positur, håndposisjon og ansiktsuttrykk, lagres som et sett med SMPL-X-parametere, som senere kan brukes i Blender-modelleringssystemet via en plugin.
- Fra fotografiet bestemmes detaljert informasjon om ansiktets form og uttrykk, så vel som dets funksjoner, for eksempel tilstedeværelsen av rynker (DECA-maskinlæringssystemet, utviklet av de samme forfatterne, brukes til å bygge en hodemodell) .
- Når du genererer en ansiktstekstur, estimeres albedoen til objektet.
- Den konstruerte kroppsmodellen kan senere animeres eller presenteres i en annen positur.
- Støtte for å bygge en modell fra vanlige fotografier av en person under naturlige forhold. PIXIE gjør en god jobb med å oppdage ulike positurer, lysforhold og hindre synligheten til deler av et objekt.
- Høy ytelse, egnet for dynamisk behandling av kamerabilder.
Kilde: opennet.ru