Der Code zur Synthese von Animationen mit Hilfe von neuronalen Netzen wurde veröffentlicht.

Eine Gruppe von Forschern der Technischen Universität Shanghai veröffentlicht Toolkit Impersonator, der mit Hilfe von Methoden des maschinellen Lernens die Bewegungen von Personen in statischen Bildern simuliert, sowie Kleidung ersetzt, in andere Umgebungen versetzt und den Blickwinkel verändert, aus dem das Objekt sichtbar ist. Der Code ist in Python geschrieben.
unter Verwendung des Frameworks PyTorch. Für den Aufbau wird außerdem torchvision und CUDA Toolkit benötigt.

Das Instrumentarium erhält ein zweidimensionales Bild als Eingabe und synthetisiert ein modifiziertes Ergebnis basierend auf dem gewählten Modell. Es werden drei Arten von Transformationen unterstützt:
Erzeugung eines sich bewegenden Objekts, das die Bewegungen nachahmt, auf denen das Modell trainiert wurde. Übertragung von externen Erscheinungselementen des Modells auf das Objekt (zum Beispiel Kleiderwechsel). Generierung eines neuen Blickwinkels (zum Beispiel Synthese eines Profilbildes basierend auf einem Frontalbild). Alle drei Methoden können kombiniert werden, zum Beispiel kann man aus einem Foto ein Video generieren, das die Ausführung eines komplizierten akrobatischen Tricks in anderer Kleidung imitiert.

Im Prozess der Synthese werden auch Operationen zur Auswahl des Objekts im Foto und zur Bildung fehlender Elemente des Hintergrunds beim Verschieben ausgeführt. Das Modell für das neuronale Netzwerk kann einmal trainiert und für verschiedene Transformationen verwendet werden. Für den Download verfügbar sind sind fertige Modelle erforderlich, die es ermöglichen, das Instrumentarium sofort ohne vorheriges Training zu nutzen. Für die Arbeit wird eine GPU mit mindestens 8 GB Speicher benötigt.

Im Gegensatz zu Transformationsmethoden, die auf Transformationen von Schaltepunkten basieren, die die Körperposition im zweidimensionalen Raum beschreiben, unternimmt Impersonator den Versuch, ein 3D-Gitter (Mesh) mit einer Beschreibung des Körpers zu synthetisieren, unter Verwendung von Methoden des maschinellen Lernens.
Die vorgeschlagene Methode ermöglicht Manipulationen unter Berücksichtigung der personalisierten Körperform und der aktuellen Pose, indem sie natürliche Bewegungen der Gliedmaßen modelliert.

Um ursprüngliche Informationen wie Texturen, Stil, Farben und Gesichtsidentität zu bewahren, wird während der Transformation ein generatives gegeneinander arbeitendes neuronales Netzwerk (Liquid Warping GAN). Informationen über das ursprüngliche Objekt und Parameter zu seiner genauen Identifizierung werden durch die Anwendung eines Faltungsneuronalnetzes extrahiert..

Quelle: opennet.ru