Der Code für die Erstellung von Animationen mit Hilfe von neuronalen Netzwerken ist jetzt verfügbar.

Eine Forschergruppe der Technischen Universität Shanghai die ein Toolset Impersonator, der es ermöglicht, mit Methoden des maschinellen Lernens Bewegungen von Personen in statischen Bildern zu simulieren, Kleidung zu ersetzen, sie in eine andere Umgebung zu versetzen und den Betrachtungswinkel des Objekts zu ändern. Der Code ist in Python geschrieben
unter Verwendung des Frameworks PyTorch. Zusätzlich wird benötigt torchvision und das CUDA Toolkit.

Das Werkzeug erhält ein zweidimensionales Bild und synthetisiert das modifizierte Ergebnis basierend auf dem gewählten Modell. Es werden drei Arten von Transformationen unterstützt:
Erstellung eines bewegten Objekts, das die Bewegungen wiederholt, auf denen das Modell trainiert wurde. Übertragung von Äußerlichkeiten aus dem Modell auf das Objekt (z. B. Wechsel der Kleidung). Generierung eines neuen Blickwinkels (z. B. Synthese eines Profilbildes basierend auf einem Frontalfoto). Alle drei Methoden können kombiniert werden, beispielsweise kann man aus einem Foto ein Video generieren, das die Ausführung eines komplexen akrobatischen Tricks in anderer Kleidung imitiert.

Beim Syntheseprozess werden gleichzeitig Objekterkennungsoperationen auf dem Foto und die Bildung fehlender Hintergrundelemente während der Bewegung durchgeführt. Das Modell für das neuronale Netzwerk kann einmal trainiert und für verschiedene Transformationen verwendet werden. Zum Hochladen sind nur fertige Modelle, die es ermöglichen, das Werkzeug sofort ohne vorheriges Training zu nutzen. Für die Arbeit ist eine GPU mit mindestens 8 GB Speicher erforderlich.

Im Gegensatz zu Transformationsmethoden, die auf Schlüsselpunkttransformationen basieren, die die Körperposition im zweidimensionalen Raum beschreiben, wurde im Impersonator versucht, ein dreidimensionales Netz (Mesh) mit einer Beschreibung des Körpers unter Verwendung von Methoden des maschinellen Lernens zu synthetisieren.
Die vorgeschlagene Methode ermöglicht Manipulationen unter Berücksichtigung der personalisierten Körperform und der aktuellen Pose, wobei natürliche Bewegungen der Gliedmaßen modelliert werden.

Um die ursprünglichen Informationen wie Texturen, Stil, Farben und die Wiedererkennbarkeit des Gesichts zu erhalten, wird im Transformationsprozess ein generatives gegnerisches neuronales Netzwerk (Liquid Warping GAN). Informationen über das Ausgangsobjekt und Parameter zur genauen Identifizierung werden durch Anwendung von einem konvolutionalen neuronalen Netzwerk.

Quelle: opennet.ru