Een groep onderzoekers van verschillende Amerikaanse universiteiten publiceerde een project (Pixel-Aligned Implicit Function), waarmee u machine learning-methoden kunt toepassen om een ββ3D-model van een persoon te bouwen op basis van een of meer tweedimensionale afbeeldingen. Met het systeem kunt u complexe kledingopties nabootsen, zoals geplooide rokken en hakken, en verschillende kapsels, waarbij u onafhankelijk de textuur en vorm herstelt in gebieden die onzichtbaar zijn in de projectie waaruit het 3D-model is opgebouwd. Om de kwaliteit en details van het uiteindelijke 3D-model te vergroten, kunnen verschillende afbeeldingen vanuit verschillende hoeken worden gebruikt. De projectcode is geschreven in Python met behulp van het PyTorch-framework en onder de MIT-licentie.
Een neuraal netwerk wordt gebruikt als bron voor het reconstrueren van een driedimensionale lay-out, waarmee u de meest waarschijnlijke vorm kunt selecteren en verborgen elementen kunt bedenken, uitgaande van een model dat is getraind op verschillende versies van bestaande objecten. Tegelijkertijd biedt het project een algoritme voor het matchen van de resulterende volumetrische lay-out met texturen in de geleverde 2D-afbeeldingen, waardoor de pixels van het 3D-beeld worden uitgelijnd op basis van hun positie op het XNUMXD-object en de meest waarschijnlijk ontbrekende texturen worden gegenereerd. Elke afbeelding kan worden gecodeerd voor
oppervlaktereconstructie toegepaste architectuur "", naar
Op architectuur gebaseerd neuraal netwerk wordt gebruikt voor textuurmatching .
Het kant-en-klare getrainde model dat de onderzoekers gebruikten is beschikbaar als gratis download, maar de onbewerkte gegevens die voor training worden gebruikt, blijven privΓ© omdat deze gebaseerd zijn op commerciΓ«le 3D-scans. Kan worden gebruikt als bron voor zelftraining van het model mensen van het Renderpeople-project.
Bron: opennet.ru