Källkoden för maskininlärningssystemet PIXIE har öppnats, så att du kan skapa 3D-modeller och animerade avatarer av människokroppen från ett foto. Realistiska ansikts- och klädtexturer som skiljer sig från de som avbildas på originalfotografiet kan fästas på den resulterande modellen. Systemet kan till exempel användas för att rendera från en annan utsiktspunkt, skapa animation, rekonstruera kroppen utifrån formen på ansiktet och generera en 3D-modell av fingrarna. Koden är skriven i Python med Pytorch-ramverket och distribueras under en licens för icke-kommersiell användning.
Det sägs att, jämfört med liknande projekt, låter PIXIE dig mer exakt återskapa kroppens konturer, initialt dolda av kläder på fotografiet, ansiktsformen och positionen för händernas leder. Metoden bygger på användningen av ett neuralt nätverk, som extraherar parametrarna för ansikte, kropp och händer från en pixelbild. Det neurala nätverkets arbete koordineras av en speciell styrenhet, som, baserat på en analys av belysning, lägger till information om viktningskoefficienterna för olika delar av kroppen för att utesluta upptäckt av onaturliga poser. När man skapar en modell tas hänsyn till de anatomiska skillnaderna mellan den manliga och kvinnliga kroppen, hållningsparametrar, belysning, ytreflektivitet och rotation av ansiktet i ett tredimensionellt plan.
Funktioner hos PIXIE:
- Den rekonstruerade 3D-kroppsmodellen, samt information om pose, handposition och ansiktsuttryck, sparas som en uppsättning SMPL-X-parametrar, som senare kan användas i Blender-modelleringssystemet via en plugin.
- Från fotografiet bestäms detaljerad information om ansiktets form och uttryck, såväl som dess egenskaper, såsom närvaron av rynkor (DECA-maskininlärningssystemet, utvecklat av samma författare, används för att bygga en huvudmodell) .
- När en ansiktsstruktur genereras uppskattas objektets albedo.
- Den konstruerade kroppsmodellen kan senare animeras eller presenteras i en annan pose.
- Stöd för att bygga en modell från vanliga fotografier av en person under naturliga förhållanden. PIXIE gör ett bra jobb med att upptäcka olika poser, ljusförhållanden och hindra sikten för delar av ett objekt.
- Hög prestanda, lämplig för dynamisk bearbetning av kamerabilder.
Källa: opennet.ru