Ο πηγαίος κώδικας του συστήματος μηχανικής μάθησης PIXIE, το οποίο επιτρέπει τη δημιουργία τρισδιάστατων μοντέλων και κινούμενων avatar του ανθρώπινου σώματος από μία μόνο φωτογραφία, έχει ανοιχτεί. Ρεαλιστικές υφές του προσώπου και των ρούχων, διαφορετικές από αυτές που απεικονίζονται στην αρχική φωτογραφία, μπορούν να προσαρτηθούν στο προκύπτον μοντέλο. Το σύστημα μπορεί να χρησιμοποιηθεί, για παράδειγμα, για να σχεδιάσετε από διαφορετικό σημείο παρατήρησης, να δημιουργήσετε κινούμενα σχέδια, να ανακατασκευάσετε το σώμα με βάση το σχήμα του προσώπου και να σχηματίσετε ένα τρισδιάστατο μοντέλο δακτύλων. Ο κώδικας είναι γραμμένος σε Python χρησιμοποιώντας το πλαίσιο Pytorch και διανέμεται με άδεια χρήσης που επιτρέπει μόνο μη εμπορική χρήση.
Αναφέρεται ότι, σε σύγκριση με παρόμοια έργα, το PIXIE επιτρέπει μια πιο ακριβή ανακατασκευή των περιγραμμάτων του σώματος, που αρχικά κρύβονται από τα ρούχα στη φωτογραφία, του σχήματος του προσώπου και της θέσης των αρθρώσεων των χεριών. Η μέθοδος βασίζεται στη χρήση ενός νευρωνικού δικτύου, το οποίο εξάγει παραμέτρους του προσώπου, του σώματος και των χεριών από την εικόνα pixel. Η εργασία του νευρωνικού δικτύου συντονίζεται από έναν ειδικό ελεγκτή, ο οποίος, με βάση την ανάλυση του φωτισμού, προσθέτει πληροφορίες σχετικά με τους συντελεστές βάρους διαφόρων μερών του σώματος για να αποκλείσει τον ορισμό αφύσικων στάσεων. Κατά τη δημιουργία ενός μοντέλου, λαμβάνονται υπόψη οι ανατομικές διαφορές του ανδρικού και του γυναικείου σώματος, οι παράμετροι της στάσης, ο φωτισμός, η ανακλαστικότητα της επιφάνειας και η περιστροφή του προσώπου σε ένα τρισδιάστατο επίπεδο.
Χαρακτηριστικά PIXIE:
- Το ανακατασκευασμένο τρισδιάστατο μοντέλο σώματος, καθώς και πληροφορίες σχετικά με τη στάση, τη θέση του χεριού και την έκφραση του προσώπου, αποθηκεύονται ως ένα σύνολο παραμέτρων SMPL-X, οι οποίες μπορούν στη συνέχεια να χρησιμοποιηθούν στο σύστημα μοντελοποίησης Blender μέσω μιας προσθήκης.
- Η φωτογραφία χρησιμοποιείται για τον προσδιορισμό λεπτομερών πληροφοριών σχετικά με το σχήμα και την έκφραση του προσώπου, καθώς και τα χαρακτηριστικά του, όπως η παρουσία ρυτίδων (το σύστημα μηχανικής μάθησης DECA, που αναπτύχθηκε από τους ίδιους συγγραφείς, χρησιμοποιείται για την κατασκευή του μοντέλου κεφαλής).
- Κατά τη δημιουργία μιας υφής προσώπου, εκτιμάται το albedo του αντικειμένου.
- Το κατασκευασμένο μοντέλο σώματος μπορεί στη συνέχεια να κινηθεί ή να παρουσιαστεί σε διαφορετική στάση.
- Υποστήριξη για την κατασκευή ενός μοντέλου που βασίζεται σε κανονικές φωτογραφίες ενός ατόμου σε φυσικές συνθήκες. Το PIXIE κάνει καλή δουλειά στον εντοπισμό διαφορετικών στάσεων, συνθηκών φωτισμού και αποφράξεων τμημάτων του θέματος.
- Υψηλή απόδοση κατάλληλη για δυναμική επεξεργασία εικόνας κάμερας.
Πηγή: opennet.ru
