Eine Gruppe von Forschern der Technischen Universität Shanghai Werkzeuge , das es ermöglicht, mithilfe von Methoden des maschinellen Lernens die Bewegungen von Menschen anhand statischer Bilder zu simulieren, Kleidung zu ersetzen, sie in eine andere Umgebung zu übertragen und den Winkel zu ändern, aus dem ein Objekt sichtbar ist. Der Code ist in Python geschrieben
mithilfe eines Frameworks . Montage erfordert auch und CUDA Toolkit.
Das Toolkit empfängt ein zweidimensionales Bild als Eingabe und synthetisiert ein modifiziertes Ergebnis basierend auf dem ausgewählten Modell. Es werden drei Transformationsoptionen unterstützt:
Erstellen eines beweglichen Objekts, das den Bewegungen folgt, mit denen das Modell trainiert wurde. Übertragung von Erscheinungselementen von einem Modell auf ein Objekt (z. B. Wechselkleidung). Generierung eines neuen Blickwinkels (z. B. Synthese eines Profilbilds basierend auf einem Vollgesichtsfoto). Alle drei Methoden können kombiniert werden, Sie können beispielsweise aus einem Foto ein Video generieren, das die Ausführung eines komplexen akrobatischen Tricks in unterschiedlicher Kleidung simuliert.
Während des Syntheseprozesses werden gleichzeitig die Vorgänge der Auswahl eines Objekts in einem Foto und der Bildung der fehlenden Hintergrundelemente beim Bewegen ausgeführt. Das neuronale Netzwerkmodell kann einmal trainiert und für verschiedene Transformationen verwendet werden. Zum Laden vorgefertigte Modelle, mit denen Sie die Werkzeuge ohne vorherige Schulung sofort verwenden können. Zum Betrieb ist eine GPU mit einer Speichergröße von mindestens 8 GB erforderlich.
Im Gegensatz zu Transformationsmethoden, die auf der Transformation anhand von Schlüsselpunkten basieren, die die Position des Körpers im zweidimensionalen Raum beschreiben, versucht Impersonator mithilfe maschineller Lernmethoden ein dreidimensionales Netz mit einer Beschreibung des Körpers zu synthetisieren.
Die vorgeschlagene Methode ermöglicht Manipulationen unter Berücksichtigung der individuellen Körperform und aktuellen Körperhaltung und simuliert die natürlichen Bewegungen der Gliedmaßen.
Um Originalinformationen wie Texturen, Stil, Farben und Gesichtserkennung während des Transformationsprozesses zu bewahren, (). Durch die Anwendung werden Informationen über das Quellobjekt und Parameter zu seiner genauen Identifizierung extrahiert .
Source: opennet.ru