Ανοιχτός κώδικας για σύνθεση κινούμενων εικόνων με χρήση νευρωνικών δικτύων

Μια ομάδα ερευνητών από το Τεχνικό Πανεπιστήμιο της Σαγκάης опубликовала εργαλεία Ηθοποιός, που επιτρέπει τη χρήση μεθόδων μηχανικής μάθησης για την προσομοίωση των κινήσεων των ανθρώπων χρησιμοποιώντας στατικές εικόνες, καθώς και την αντικατάσταση ρούχων, τη μεταφορά τους σε άλλο περιβάλλον και την αλλαγή της γωνίας από την οποία είναι ορατό ένα αντικείμενο. Ο κώδικας είναι γραμμένος σε Python
χρησιμοποιώντας ένα πλαίσιο PyTorch. Η συναρμολόγηση απαιτεί επίσης δαυλός και CUDA Toolkit.

Η εργαλειοθήκη λαμβάνει μια δισδιάστατη εικόνα ως είσοδο και συνθέτει ένα τροποποιημένο αποτέλεσμα με βάση το επιλεγμένο μοντέλο. Υποστηρίζονται τρεις επιλογές μετασχηματισμού:
Δημιουργία κινούμενου αντικειμένου που ακολουθεί τις κινήσεις στις οποίες εκπαιδεύτηκε το μοντέλο. Μεταφορά στοιχείων εμφάνισης από ένα μοντέλο σε ένα αντικείμενο (για παράδειγμα, αλλαγή ρουχισμού). Δημιουργία νέας γωνίας (για παράδειγμα, σύνθεση εικόνας προφίλ με βάση μια φωτογραφία ολόκληρου του προσώπου). Και οι τρεις μέθοδοι μπορούν να συνδυαστούν, για παράδειγμα, μπορείτε να δημιουργήσετε ένα βίντεο από μια φωτογραφία που προσομοιώνει την απόδοση ενός πολύπλοκου ακροβατικού κόλπου σε διαφορετικά ρούχα.

Κατά τη διαδικασία σύνθεσης, εκτελούνται ταυτόχρονα οι λειτουργίες της επιλογής ενός αντικειμένου σε μια φωτογραφία και του σχηματισμού των στοιχείων φόντου που λείπουν κατά τη μετακίνηση. Το μοντέλο νευρωνικού δικτύου μπορεί να εκπαιδευτεί μία φορά και να χρησιμοποιηθεί για διάφορους μετασχηματισμούς. Για φόρτωση διαθέσιμος έτοιμα μοντέλα που σας επιτρέπουν να χρησιμοποιείτε αμέσως τα εργαλεία χωρίς προκαταρκτική εκπαίδευση. Για τη λειτουργία απαιτείται GPU με μέγεθος μνήμης τουλάχιστον 8 GB.

Σε αντίθεση με τις μεθόδους μετασχηματισμού που βασίζονται σε μετασχηματισμό από βασικά σημεία που περιγράφουν τη θέση του σώματος σε δισδιάστατο χώρο, το Impersonator επιχειρεί να συνθέσει ένα τρισδιάστατο πλέγμα με περιγραφή του σώματος χρησιμοποιώντας μεθόδους μηχανικής μάθησης.
Η προτεινόμενη μέθοδος επιτρέπει χειρισμούς λαμβάνοντας υπόψη το εξατομικευμένο σχήμα του σώματος και την τρέχουσα στάση του σώματος, προσομοιώνοντας τις φυσικές κινήσεις των άκρων.

Για να διατηρήσετε πρωτότυπες πληροφορίες όπως υφές, στυλ, χρώματα και αναγνώριση προσώπου κατά τη διαδικασία μετασχηματισμού, γενετικό αντίθετο νευρωνικό δίκτυο (Liquid Warping GAN). Οι πληροφορίες σχετικά με το αρχικό αντικείμενο και οι παράμετροι για την ακριβή αναγνώρισή του εξάγονται με εφαρμογή συνελικτικό νευρωνικό δίκτυο.

Πηγή: opennet.ru