En grupp forskare från flera amerikanska universitet publicerade ett projekt (Pixel-Aligned Implicit Function), som låter dig tillämpa maskininlärningsmetoder för att bygga en 3D-modell av en person från en eller flera tvådimensionella bilder. Systemet låter dig återskapa komplexa klädalternativ, såsom veckade kjolar och klackar, och olika frisyrer, vilket självständigt återställer textur och form i områden som är osynliga i projektionen från vilken 3D-modellen är byggd. För att öka kvaliteten och detaljerna i den slutliga 3D-modellen kan flera bilder från olika vinklar användas. Projektkoden är skriven i Python med PyTorch-ramverket och under MIT-licensen.
Ett neuralt nätverk används som en källa för att rekonstruera en tredimensionell layout, som låter dig välja den mest sannolika formen och uppfinna dolda element, med utgångspunkt från en modell tränad på olika versioner av befintliga objekt. Parallellt tillhandahåller projektet en algoritm för att matcha den resulterande volymetriska layouten med texturer i de tillhandahållna 2D-bilderna, som justerar pixlarna i 3D-bilden enligt deras position på XNUMXD-objektet och genererar de mest troliga saknade texturerna. Vilken bild som helst kan kodas för
ytrekonstruktion tillämpad arkitektur"«, till
arkitekturbaserade neurala nätverk används för texturmatchning .
Den färdigtränade modellen som används av forskarna är tillgänglig för gratis nedladdning, men den råa data som används för träning förblir privat eftersom den är baserad på kommersiella 3D-skanningar. Kan användas som källa för självträning av modellen personer från Renderpeople-projektet.
Källa: opennet.ru