Un groupe de chercheurs de plusieurs universités américaines a publié un projet (Pixel-Aligned Implicit Function), qui permet d'appliquer des méthodes d'apprentissage automatique pour construire un modèle 3D d'une personne à partir d'une ou plusieurs images bidimensionnelles. Le système vous permet de recréer des options vestimentaires complexes, telles que des jupes et des talons plissés, ainsi que diverses coiffures, en restaurant indépendamment la texture et la forme dans les zones invisibles dans la projection à partir de laquelle le modèle 3D est construit. Pour augmenter la qualité et les détails du modèle 3D final, plusieurs images sous différents angles peuvent être utilisées. Le code du projet est écrit en Python en utilisant le framework PyTorch et sous licence MIT.
Un réseau de neurones est utilisé comme source de reconstruction d'une disposition tridimensionnelle, ce qui permet de sélectionner la forme la plus probable et d'inventer des éléments cachés, à partir d'un modèle entraîné sur différentes versions d'objets existants. En parallèle, le projet fournit un algorithme permettant de faire correspondre la disposition volumétrique résultante avec les textures des images 2D fournies, qui aligne les pixels de l'image 3D en fonction de leur position sur l'objet XNUMXD et génère les textures manquantes les plus probables. N'importe quelle image peut être encodée , pour
architecture appliquée à la reconstruction de surface "", une
un réseau neuronal basé sur une architecture est utilisé pour la correspondance de texture .
Le modèle formé prêt à l’emploi utilisé par les chercheurs est disponible en téléchargement gratuit, mais les données brutes utilisées pour la formation restent privées car elles sont basées sur des scans 3D commerciaux. Peut être utilisé comme source d'auto-formation du modèle les gens du projet Renderpeople.
Source: opennet.ru