Kildekoden til PIXIE machine learning-systemet, som gør det muligt at skabe 3D-modeller og animerede avatarer af den menneskelige krop fra et enkelt fotografi, er blevet åbnet. Den resulterende model kan knyttes til realistiske ansigts- og tøjteksturer, der adskiller sig fra dem, der er vist på det originale fotografi. Systemet kan for eksempel bruges til at gengive fra et andet observationspunkt, skabe animation, rekonstruere kroppen ud fra ansigtsformen og skabe en 3D-model af fingre. Koden er skrevet i Python ved hjælp af Pytorch-rammeværket og distribueres under en ikke-kommerciel licens.
Sammenlignet med lignende projekter siges PIXIE mere præcist at genskabe kroppens konturer, oprindeligt skjult af tøj på fotografiet, ansigtsformen og positionen af hændernes led. Metoden er baseret på brugen af et neuralt netværk, der udtrækker parametre for ansigt, krop og hænder fra et pixelbillede. Det neurale netværks arbejde koordineres af en speciel controller, som baseret på belysningsanalyse tilføjer information om vægtningskoefficienterne for forskellige dele af kroppen for at udelukke påvisning af unaturlige positurer. Når man laver en model, tages der hensyn til de anatomiske forskelle mellem de mandlige og kvindelige kroppe, positurparametre, belysning, overfladereflektivitet og ansigtsrotation i et tredimensionelt plan.
PIXIE funktioner:
- Den rekonstruerede 3D-kropsmodel samt information om positur, håndposition og ansigtsudtryk gemmes som et sæt SMPL-X-parametre, som så kan bruges i Blender-modelleringssystemet via et plugin.
- Fotografiet bruges til at bestemme detaljerede oplysninger om ansigtets form og udtryk, såvel som dets funktioner, såsom tilstedeværelsen af rynker (DECA maskinlæringssystemet, udviklet af de samme forfattere, bruges til at bygge hovedmodellen).
- Når der genereres en ansigtstekstur, estimeres objektets albedo.
- Den konstruerede kropsmodel kan derefter animeres eller præsenteres i en anden positur.
- Støtte til at bygge en model baseret på almindelige fotografier af en person under naturlige forhold. PIXIE gør et godt stykke arbejde med at registrere forskellige positurer, lysforhold og okklusioner af dele af motivet.
- Høj ydeevne velegnet til dynamisk kamera billedbehandling.
Kilde: opennet.ru
