Un gruppo di ricercatori dell'Università Tecnica di Shanghai utensili , che consente di utilizzare metodi di apprendimento automatico per simulare i movimenti delle persone utilizzando immagini statiche, nonché sostituire i vestiti, trasferirli in un altro ambiente e modificare l'angolazione da cui un oggetto è visibile. Il codice è scritto in Python
utilizzando un quadro . Anche l'assemblaggio richiede e il kit di strumenti CUDA.
Il toolkit riceve un'immagine bidimensionale come input e sintetizza un risultato modificato in base al modello selezionato. Sono supportate tre opzioni di trasformazione:
Creare un oggetto in movimento che segua i movimenti su cui è stato addestrato il modello. Trasferimento di elementi dell'aspetto da un modello a un oggetto (ad esempio, un cambio di abbigliamento). Generazione di un nuovo angolo (ad esempio, sintesi di un'immagine del profilo basata su una fotografia a figura intera). Tutti e tre i metodi possono essere combinati, ad esempio è possibile generare un video da una fotografia che simula l'esecuzione di un complesso trucco acrobatico in abiti diversi.
Durante il processo di sintesi, vengono eseguite contemporaneamente le operazioni di selezione di un oggetto in una fotografia e di formazione degli elementi di sfondo mancanti durante lo spostamento. Il modello di rete neurale può essere addestrato una volta e utilizzato per varie trasformazioni. Per il caricamento modelli già pronti che consentono di utilizzare immediatamente gli strumenti senza formazione preliminare. Per funzionare è necessaria una GPU con una dimensione di memoria di almeno 8 GB.
A differenza dei metodi di trasformazione basati sulla trasformazione mediante punti chiave che descrivono la posizione del corpo nello spazio bidimensionale, Impersonator tenta di sintetizzare una mesh tridimensionale con una descrizione del corpo utilizzando metodi di apprendimento automatico.
Il metodo proposto consente manipolazioni tenendo conto della forma personalizzata del corpo e della postura attuale, simulando i movimenti naturali degli arti.
Per preservare le informazioni originali come texture, stile, colori e riconoscimento facciale durante il processo di trasformazione, (). Le informazioni sull'oggetto di origine e i parametri per la sua precisa identificazione vengono estratti mediante l'applicazione .
Fonte: opennet.ru