Μια ομάδα ερευνητών από το Πανεπιστήμιο του Τελ Αβίβ άνοιξε τον πηγαίο κώδικα που σχετίζεται με το σύστημα μηχανικής εκμάθησης MDM (Motion Diffusion Model), το οποίο επιτρέπει τη δημιουργία ρεαλιστικών ανθρώπινων κινήσεων. Ο κώδικας είναι γραμμένος σε Python χρησιμοποιώντας το πλαίσιο PyTorch και διανέμεται με την άδεια MIT. Για τη διεξαγωγή πειραμάτων, μπορείτε να χρησιμοποιήσετε και τα δύο έτοιμα μοντέλα και να εκπαιδεύσετε μόνοι σας τα μοντέλα χρησιμοποιώντας τα προτεινόμενα σενάρια, για παράδειγμα, χρησιμοποιώντας τη συλλογή τρισδιάστατων ανθρώπινων εικόνων HumanML3D. Για την εκπαίδευση του συστήματος, απαιτείται GPU με υποστήριξη CUDA.
Η χρήση παραδοσιακών δυνατοτήτων για την εμψύχωση των ανθρώπινων κινήσεων είναι δύσκολη λόγω των επιπλοκών που συνδέονται με τη μεγάλη ποικιλία πιθανών κινήσεων και τη δυσκολία τυπικής περιγραφής τους, καθώς και τη μεγάλη ευαισθησία της ανθρώπινης αντίληψης σε αφύσικες κινήσεις. Προηγούμενες προσπάθειες χρήσης μοντέλων παραγωγής μηχανικής μάθησης είχαν προβλήματα ποιότητας και περιορισμένης εκφραστικότητας.
Το προτεινόμενο σύστημα επιχειρεί να χρησιμοποιήσει μοντέλα διάχυσης για να δημιουργήσει κινήσεις, οι οποίες είναι εγγενώς πιο κατάλληλες για την προσομοίωση ανθρώπινων κινήσεων, αλλά δεν είναι χωρίς μειονεκτήματα, όπως υψηλές υπολογιστικές απαιτήσεις και πολυπλοκότητα ελέγχου. Για να ελαχιστοποιηθούν τα μειονεκτήματα των μοντέλων διάχυσης, το MDM χρησιμοποιεί ένα νευρωνικό δίκτυο μετασχηματιστή και πρόβλεψη δείγματος αντί για πρόβλεψη θορύβου σε κάθε στάδιο, καθιστώντας ευκολότερη την πρόληψη ανωμαλιών όπως η απώλεια της επιφανειακής επαφής με το πόδι.
Για να ελέγξετε τη δημιουργία, είναι δυνατό να χρησιμοποιήσετε μια περιγραφή κειμένου μιας ενέργειας σε φυσική γλώσσα (για παράδειγμα, "ένα άτομο περπατά μπροστά και σκύβει για να πάρει κάτι από το έδαφος") ή να χρησιμοποιήσετε τυπικές ενέργειες όπως "τρέξιμο" και " πηδώντας." Το σύστημα μπορεί επίσης να χρησιμοποιηθεί για την επεξεργασία κινήσεων και τη συμπλήρωση χαμένων στοιχείων. Οι ερευνητές διεξήγαγαν ένα τεστ στο οποίο ζητήθηκε από τους συμμετέχοντες να επιλέξουν ένα καλύτερο αποτέλεσμα από διάφορες επιλογές - στο 42% των περιπτώσεων, οι άνθρωποι προτιμούσαν τις συνθετικές κινήσεις από τις πραγματικές.
Πηγή: opennet.ru