Un gruppo di ricercatori dell'Università Tecnica di Shanghai un toolkit , che utilizza metodi di machine learning per simulare i movimenti delle persone a partire da immagini statiche, oltre a cambiare i vestiti, trasferire in un altro contesto e modificare l'angolazione da cui l'oggetto è visibile. Il codice è scritto in Python
utilizzando il framework . È anche necessario e il CUDA Toolkit.
L'outil riceve in input un'immagine bidimensionale e sintetizza un risultato modificato in base al modello scelto. Sono supportate tre varianti di trasformazioni:
Creazione di un oggetto in movimento che ripete i movimenti su cui il modello è stato addestrato. Trasferimento di elementi di aspetto dal modello all'oggetto (per esempio, cambio di abbigliamento). Generazione di un nuovo angolo (per esempio, sintesi di un'immagine di profilo a partire da una foto frontale). Tutti e tre i metodi possono essere combinati, per esempio, è possibile generare un video a partire da una foto che imita l'esecuzione di un complesso trucco acrobatico in un altro abbigliamento.
Durante il processo di sintesi vengono inoltre eseguite operazioni di estrazione dell'oggetto dalla foto e di formazione degli elementi di sfondo mancanti durante il movimento. Il modello per la rete neurale può essere addestrato una sola volta e utilizzato per varie trasformazioni. Per il download modelli pronti che permettono di utilizzare immediatamente l'outil senza richiedere un allenamento preliminare. Per il lavoro è necessaria una GPU con almeno 8GB di memoria.
A differenza dei metodi di trasformazione basati sulla trasformazione tramite punti chiave che descrivono la posizione del corpo in uno spazio bidimensionale, in Impersonator si è tentato di sintetizzare una rete tridimensionale (mesh) con una descrizione del corpo, utilizzando metodi di machine learning.
Il metodo proposto consente di effettuare manipolazioni tenendo conto della forma corporea personalizzata e della postura corrente, modellando movimenti naturali degli arti.
Per preservare le informazioni originali, come texture, stile, colori e riconoscibilità del volto, durante il processo di trasformazione si applica (). Le informazioni sull'oggetto originale e i parametri per la sua identificazione esatta vengono estratti applicando .
Fonte: opennet.ru
