Un groupe de chercheurs de plusieurs universités américaines a publié un projet (Fonction implicite alignée sur les pixels), qui permet d'appliquer des méthodes d'apprentissage automatique pour créer un modèle 3D d'une personne à partir d'une ou plusieurs images 2D. Le système permet de recréer des variantes complexes de vêtements, telles que des jupes plissées et des chaussures à talons, ainsi que différentes coiffures, en reconstruisant automatiquement la texture et la forme dans les zones invisibles dans la projection à partir de laquelle le modèle 3D est généré. Pour améliorer la qualité et le détail du modèle 3D final, plusieurs images sous différents angles peuvent être utilisées. Le code du projet est écrit en Python en utilisant le cadre PyTorch et sous licence MIT.
Comme source pour la reconstruction du modèle volumétrique, un réseau neuronal est utilisé, permettant de choisir la forme la plus probable et de compléter les éléments cachés, en se basant sur un modèle entraîné sur différentes variantes d'objets existants. Parallèlement, le projet fournit un algorithme pour faire correspondre le modèle volumétrique obtenu avec les textures des images 2D fournies, qui aligne les pixels de l'image 2D en fonction de leur position sur l'objet 3D et génère les textures manquantes les plus probables. Pour le codage de l'image, n'importe quel , pour
pour la reconstruction de surface, l'architecture «», et
pour la correspondance des textures, un réseau neuronal basé sur l'architecture .
Le modèle pré-entraîné utilisé par les chercheurs est disponible au téléchargement libre, mais les données d'origine sur lesquelles l'entraînement a été effectué restent privées, car elles sont basées sur des résultats de scan 3D commerciaux. Comme source pour entraîner le modèle par soi-même, une de personnes du projet Renderpeople.
Source : opennet.ru
