Un gruppo di ricercatori dell'Università Tecnica di Shanghai. strumentazione , che utilizza metodi di apprendimento automatico per simulare i movimenti delle persone su immagini statiche, sostituire i vestiti, spostare l'oggetto in un altro contesto e cambiare l'angolazione da cui è visibile. Il codice è scritto in Python.
utilizzando il framework . Per la compilazione è necessario anche e CUDA Toolkit.
L'strumentazione riceve in ingresso un'immagine bidimensionale e sintetizza il risultato modificato sulla base del modello selezionato. Sono supportate tre varianti di trasformazioni:
Creazione di un oggetto in movimento che replica i movimenti su cui è stato addestrato il modello. Trasferimento di elementi estetici dal modello all'oggetto (ad esempio, cambio di abbigliamento). Generazione di una nuova angolazione (ad esempio, sintesi di un'immagine di profilo basata su una foto frontale). Tutti e tre i metodi possono essere combinati; per esempio, è possibile generare un video da una foto che imita l'esecuzione di un acrobatico complesso in abiti diversi.
Durante il processo di sintesi vengono eseguite operazioni di estrazione dell'oggetto nella fotografia e di ricostruzione degli elementi di sfondo mancanti con il movimento. Il modello per la rete neurale può essere addestrato una sola volta e utilizzato per diverse trasformazioni. Per il caricamento modelli già pronti, che consentono di utilizzare subito gli strumenti senza dover effettuare un allenamento preliminare. È richiesta una GPU con almeno 8GB di memoria.
A differenza dei metodi di trasformazione basati su punti chiave che descrivono la posizione del corpo in uno spazio bidimensionale, in Impersonator è stato effettuato un tentativo di sintesi di una maglia tridimensionale (mesh) descrivente il corpo, utilizzando metodi di apprendimento automatico.
Il metodo proposto consente di effettuare manipolazioni tenendo conto della forma corporeo personalizzata e della posizione attuale, simulando i movimenti naturali degli arti.
Per mantenere le informazioni originali, come texture, stile, colori e riconoscibilità del volto, durante il processo di trasformazione viene utilizzata (). Le informazioni sullo stato originale e i parametri per la sua precisa identificazione vengono estratte attraverso l'applicazione .
Fonte: opennet.ru
