PIXIE-projektet för att bygga 3D-modeller av människor från ett foto har publicerats

Källkoden för maskininlärningssystemet PIXIE, som möjliggör skapandet av 3D-modeller och animerade avatarer av människokroppen från ett enda fotografi, har öppnats. Realistiska texturer av ansikte och kläder, som skiljer sig från de som visas i originalfotografiet, kan bifogas den resulterande modellen. Systemet kan till exempel användas för att rita från en annan observationspunkt, skapa animationer, rekonstruera kroppen baserat på ansiktets form och forma en 3D-modell av fingrar. Koden är skriven i Python med hjälp av Pytorch-ramverket och distribueras under en licens som endast tillåter icke-kommersiell användning.

Det anges att PIXIE, jämfört med liknande projekt, möjliggör en mer exakt rekonstruktion av kroppens konturer, som initialt doldes av kläder på fotografiet, ansiktsformen och händernas leders position. Metoden är baserad på användningen av ett neuralt nätverk, som extraherar parametrar för ansikte, kropp och händer från pixelbilden. Det neurala nätverkets arbete koordineras av en speciell styrenhet, som baserat på ljusanalys lägger till information om viktkoefficienterna för olika kroppsdelar för att utesluta definitionen av onaturliga poser. Vid skapandet av en modell beaktas de anatomiska skillnaderna mellan den manliga och kvinnliga kroppen, poseparametrar, belysning, ytreflektivitet och ansiktsrotation i ett tredimensionellt plan.

PIXIE-funktioner:

• Den rekonstruerade 3D-kroppsmodellen, såväl som information om pose, handposition och ansiktsuttryck, sparas som en uppsättning SMPL-X-parametrar, vilka sedan kan användas i Blender-modelleringssystemet via ett plugin.
• Fotografiet används för att fastställa detaljerad information om ansiktets form och uttryck, såväl som dess drag, såsom förekomsten av rynkor (maskininlärningssystemet DECA, utvecklat av samma författare, används för att bygga huvudmodellen).
• När man genererar en ansiktstextur uppskattas objektets albedo.
• Den konstruerade kroppsmodellen kan sedan animeras eller presenteras i en annan pose.
• Stöd för att bygga en modell från vanliga fotografier av en person i naturliga förhållanden. PIXIE hanterar väl detektering av olika poser, ljusförhållanden och skymning av synligheten för delar av objektet.
• Hög prestanda lämplig för dynamisk bildbehandling av kameror.

Källa: opennet.ru