Een groep onderzoekers van verschillende Amerikaanse universiteiten heeft een project gepubliceerd (Pixel-Aligned Implicit Function) dat methoden voor machinaal leren toepast om een 3D-model van een persoon te bouwen op basis van ƩƩn of meerdere tweedimensionale afbeeldingen. Het systeem kan complexe kledingvarianten recreƫren, zoals geplooide rokken en hoge hakken, evenals verschillende kapsels, waarbij het de textuur en vorm herstelt in gebieden die niet zichtbaar zijn in de projectie waarop het 3D-model is gebaseerd. Om de kwaliteit en detail van het uiteindelijke 3D-model te vergroten, kunnen meerdere afbeeldingen vanuit verschillende hoeken worden gebruikt. De code van het project is geschreven in Python met behulp van het PyTorch-framework en valt onder de MIT-licentie.
Als bron voor de reconstructie van het volumetrische model wordt een neurale netwerk gebruikt dat de meest waarschijnlijke vorm kiest en verborgen elementen aanvult, gebaseerd op een model dat is getraind op verschillende varianten van bestaande objecten. Tegelijkertijd biedt het project een algoritme voor het afstemmen van het verkregen volumetrische model op de texturen van de verstrekte tweedimensionale afbeeldingen, dat de pixels van de 2D-afbeelding uitlijnt volgens hun positie op het 3D-object en de meest waarschijnlijke ontbrekende texturen genereert. Voor de codering van de afbeelding kan elke is er een wrapper:
voor het reconstrueren van de oppervlakte is de architectuur "", en
voor het afstemmen van texturen is een neuraal netwerk op basis van de architectuur gebruikt .
Het door de onderzoekers toegepaste vooraf getrainde model is vrij te downloaden, maar de oorspronkelijke gegevens waarop de training is uitgevoerd, blijven gesloten, omdat ze zijn gebaseerd op de resultaten van commerciƫle 3D-scanning. Als bron voor het zelfstandig trainen van het model kan een van mensen van het Renderpeople-project worden gebruikt.
Bron: opennet.ru
