Ο πηγαίος κώδικας του συστήματος μηχανικής εκμάθησης PIXIE έχει ανοίξει, επιτρέποντάς σας να δημιουργήσετε τρισδιάστατα μοντέλα και κινούμενα είδωλα του ανθρώπινου σώματος από μία φωτογραφία. Ρεαλιστικές υφές προσώπου και ρούχων που διαφέρουν από αυτές που απεικονίζονται στην αρχική φωτογραφία μπορούν να προσαρτηθούν στο μοντέλο που προκύπτει. Το σύστημα μπορεί να χρησιμοποιηθεί, για παράδειγμα, για απόδοση από διαφορετική πλεονεκτική θέση, δημιουργία κινούμενων εικόνων, ανακατασκευή του σώματος με βάση το σχήμα του προσώπου και δημιουργία τρισδιάστατου μοντέλου των δακτύλων. Ο κώδικας είναι γραμμένος σε Python χρησιμοποιώντας το πλαίσιο Pytorch και διανέμεται με άδεια μόνο για μη εμπορική χρήση.
Αναφέρεται ότι, σε σύγκριση με παρόμοια έργα, το PIXIE σάς επιτρέπει να αναδημιουργήσετε με μεγαλύτερη ακρίβεια τα περιγράμματα του σώματος, που αρχικά κρύβονται από τα ρούχα στη φωτογραφία, το σχήμα του προσώπου και τη θέση των αρθρώσεων των χεριών. Η μέθοδος βασίζεται στη χρήση ενός νευρωνικού δικτύου, το οποίο εξάγει τις παραμέτρους του προσώπου, του σώματος και των χεριών από μια εικόνα pixel. Το έργο του νευρωνικού δικτύου συντονίζεται από έναν ειδικό ελεγκτή, ο οποίος, βάσει ανάλυσης του φωτισμού, προσθέτει πληροφορίες σχετικά με τους συντελεστές στάθμισης διαφόρων τμημάτων του σώματος για να αποκλείσει την ανίχνευση αφύσικων στάσεων. Κατά τη δημιουργία ενός μοντέλου λαμβάνονται υπόψη οι ανατομικές διαφορές μεταξύ του ανδρικού και γυναικείου σώματος, οι παράμετροι στάσης, ο φωτισμός, η ανακλαστικότητα της επιφάνειας και η περιστροφή του προσώπου σε ένα τρισδιάστατο επίπεδο.
Χαρακτηριστικά του PIXIE:
- Το ανακατασκευασμένο τρισδιάστατο μοντέλο σώματος, καθώς και πληροφορίες σχετικά με τη στάση, τη θέση του χεριού και την έκφραση του προσώπου, αποθηκεύονται ως ένα σύνολο παραμέτρων SMPL-X, οι οποίες μπορούν αργότερα να χρησιμοποιηθούν στο σύστημα μοντελοποίησης Blender μέσω μιας προσθήκης.
- Από τη φωτογραφία, καθορίζονται λεπτομερείς πληροφορίες σχετικά με το σχήμα και την έκφραση του προσώπου, καθώς και τα χαρακτηριστικά του, όπως η παρουσία ρυτίδων (το σύστημα μηχανικής μάθησης DECA, που αναπτύχθηκε από τους ίδιους συγγραφείς, χρησιμοποιείται για την κατασκευή ενός μοντέλου κεφαλής) .
- Κατά τη δημιουργία μιας υφής προσώπου, υπολογίζεται το albedo του αντικειμένου.
- Το κατασκευασμένο μοντέλο σώματος μπορεί αργότερα να κινηθεί ή να παρουσιαστεί σε διαφορετική στάση.
- Υποστήριξη για την κατασκευή ενός μοντέλου από συνηθισμένες φωτογραφίες ενός ατόμου σε φυσικές συνθήκες. Το PIXIE κάνει καλή δουλειά εντοπίζοντας διαφορετικές στάσεις, συνθήκες φωτισμού και εμποδίζει την ορατότητα τμημάτων ενός αντικειμένου.
- Υψηλή απόδοση, κατάλληλο για δυναμική επεξεργασία εικόνων κάμερας.
Πηγή: opennet.ru