De broncode van het machine learning-systeem PIXIE, waarmee 3D-modellen en geanimeerde avatars van het menselijk lichaam kunnen worden gemaakt op basis van één enkele foto, is vrijgegeven. Realistische texturen van het gezicht en de kleding, die afwijken van die op de originele foto, kunnen aan het resulterende model worden toegevoegd. Het systeem kan bijvoorbeeld worden gebruikt om vanuit een ander perspectief te tekenen, animaties te maken, het lichaam te reconstrueren op basis van de vorm van het gezicht en een 3D-model van vingers te maken. De code is geschreven in Python met behulp van het Pytorch-framework en wordt gedistribueerd onder een licentie die alleen niet-commercieel gebruik toestaat.
Vergeleken met vergelijkbare projecten maakt PIXIE een nauwkeurigere reconstructie mogelijk van de lichaamscontouren, die aanvankelijk verborgen waren door kleding op de foto, de vorm van het gezicht en de positie van de handgewrichten. De methode is gebaseerd op het gebruik van een neuraal netwerk, dat parameters van het gezicht, het lichaam en de handen uit de pixelafbeelding haalt. Het werk van het neurale netwerk wordt gecoördineerd door een speciale controller, die, op basis van de analyse van de belichting, informatie toevoegt over de gewichtscoëfficiënten van verschillende lichaamsdelen om de definitie van onnatuurlijke houdingen uit te sluiten. Bij het maken van een model wordt rekening gehouden met de anatomische verschillen tussen het mannelijke en vrouwelijke lichaam, houdingparameters, belichting, oppervlaktereflectie en gezichtsrotatie in een driedimensionaal vlak.
PIXIE-kenmerken:
- Het gereconstrueerde 3D-lichaamsmodel wordt, evenals informatie over de houding, de handpositie en de gezichtsuitdrukking, opgeslagen als een set SMPL-X-parameters. Deze kunnen vervolgens via een plug-in in het Blender-modelleringssysteem worden gebruikt.
- Met behulp van de foto kan gedetailleerde informatie worden verkregen over de vorm en de uitdrukking van het gezicht, maar ook over de kenmerken ervan, zoals de aanwezigheid van rimpels (het DECA-systeem voor machinaal leren, dat door dezelfde auteurs is ontwikkeld, wordt gebruikt om het hoofdmodel te bouwen).
- Bij het genereren van een gezichtstextuur wordt de albedo van het object geschat.
- Het geconstrueerde lichaamsmodel kan vervolgens worden geanimeerd of in een andere houding worden gepresenteerd.
- Ondersteuning voor het bouwen van een model op basis van gewone foto's van een persoon in natuurlijke omstandigheden. PIXIE is goed in het detecteren van verschillende houdingen, lichtomstandigheden en afdekkingen van delen van het onderwerp.
- Hoge prestaties, geschikt voor dynamische camerabeeldverwerking.
Bron: opennet.ru
