Kildekoden til PIXIE maskinlæringssystemet er blevet åbnet, så du kan skabe 3D-modeller og animerede avatarer af den menneskelige krop fra ét billede. Realistiske ansigts- og tøjteksturer, der adskiller sig fra dem, der er afbildet på det originale fotografi, kan vedhæftes til den resulterende model. Systemet kan for eksempel bruges til at rendere fra et andet udsigtspunkt, skabe animation, rekonstruere kroppen ud fra ansigtsformen og generere en 3D-model af fingrene. Koden er skrevet i Python ved hjælp af Pytorch-rammeværket og distribueres under en licens til ikke-kommerciel brug.
Det anføres, at sammenlignet med lignende projekter giver PIXIE dig mulighed for mere præcist at genskabe kroppens konturer, oprindeligt skjult af tøj på fotografiet, ansigtsformen og positionen af hændernes led. Metoden er baseret på brugen af et neuralt netværk, som udtrækker parametrene for ansigt, krop og hænder fra et pixelbillede. Det neurale netværks arbejde koordineres af en speciel regulator, som baseret på en analyse af belysning tilføjer information om vægtningskoefficienterne for forskellige dele af kroppen for at udelukke påvisning af unaturlige positurer. Når man opretter en model, tages der hensyn til de anatomiske forskelle mellem den mandlige og kvindelige krop, kropsholdningsparametre, belysning, overfladereflektivitet og rotation af ansigtet i et tredimensionelt plan.
Funktioner af PIXIE:
- Den rekonstruerede 3D kropsmodel samt information om positur, håndposition og ansigtsudtryk gemmes som et sæt SMPL-X parametre, som senere kan bruges i Blender modelleringssystemet via et plugin.
- Fra fotografiet bestemmes detaljerede oplysninger om ansigtets form og udtryk, såvel som dets funktioner, såsom tilstedeværelsen af rynker (DECA maskinlæringssystemet, udviklet af de samme forfattere, bruges til at bygge en hovedmodel) .
- Når der genereres en ansigtstekstur, estimeres objektets albedo.
- Den konstruerede kropsmodel kan senere animeres eller præsenteres i en anden positur.
- Støtte til at bygge en model ud fra almindelige fotografier af en person under naturlige forhold. PIXIE gør et godt stykke arbejde med at registrere forskellige positurer, lysforhold og hindre synligheden af dele af et objekt.
- Høj ydeevne, velegnet til dynamisk behandling af kamerabilleder.
Kilde: opennet.ru