De bronteksten van het machine learning-systeem PIXIE, waarmee je vanuit één foto 3D-modellen en geanimeerde avatars van het menselijk lichaam kunt maken, zijn open. Aan het resulterende model kunnen realistische texturen van het gezicht en de kleding worden bevestigd, die verschillen van die op de originele foto. Het systeem kan bijvoorbeeld worden gebruikt om vanuit een ander gezichtspunt te tekenen, animaties te maken, het lichaam te reconstrueren volgens de vorm van het gezicht en een 3D-model van de vingers te vormen. De code is geschreven in Python met behulp van het Pytorch-framework en gedistribueerd onder een licentie die alleen niet-commercieel gebruik toestaat.
Er wordt beweerd dat je met PIXIE in vergelijking met soortgelijke projecten nauwkeuriger de contouren van het lichaam kunt nabootsen, oorspronkelijk verborgen door kleding op de foto, de vorm van het gezicht en de positie van de gewrichten van de handen. De methode is gebaseerd op het gebruik van een neuraal netwerk dat gezichts-, lichaams- en handparameters uit een pixelafbeelding haalt. Het werk van het neurale netwerk wordt gecoördineerd door een speciale regelaar, die op basis van de analyse van de verlichting informatie toevoegt over de gewichtscoëfficiënten van verschillende delen van het lichaam om de definitie van onnatuurlijke houdingen te elimineren. Bij het maken van een model wordt rekening gehouden met anatomische verschillen tussen het mannelijk en vrouwelijk lichaam, poseparameters, belichting, oppervlaktereflectie en gezichtsrotatie in een driedimensionaal vlak.
PIXIE-functies:
- Het gereconstrueerde 3D-model van het lichaam, evenals informatie over de houding, positie van de handen en gezichtsuitdrukkingen, worden opgeslagen als een set SMPL-X-parameters, die later via een plug-in in het Blender-modelleringssysteem kunnen worden gebruikt.
- Gedetailleerde informatie over de vorm en uitdrukking van het gezicht, evenals de kenmerken ervan, zoals de aanwezigheid van rimpels, wordt bepaald aan de hand van de foto (het door dezelfde auteurs ontwikkelde DECA machine learning-systeem wordt gebruikt om het hoofdmodel te bouwen).
- Bij het genereren van een gezichtstextuur wordt het albedo van het object geschat.
- Het geconstrueerde lichaamsmodel kan later worden geanimeerd of in een andere pose worden gepresenteerd.
- Ondersteuning voor het bouwen van een model van gewone foto's waarop een persoon in natuurlijke omstandigheden is genomen. PIXIE kan goed verschillende poses, lichtomstandigheden definiëren en de zichtbaarheid van delen van een object verdoezelen.
- Hoge prestaties, geschikt voor dynamische verwerking van het camerabeeld.
Bron: opennet.ru