Υπάρχουν ήδη νευρωνικά δίκτυα που δημιουργούν πρωτότυπα βίντεο με βάση περιγραφές κειμένου. Και παρόλο που δεν είναι ακόμη σε θέση να αντικαταστήσουν πλήρως τους κινηματογραφιστές ή τους εμψυχωτές, υπάρχει ήδη πρόοδος προς αυτή την κατεύθυνση. Disney Research και Rutgers ένα νευρωνικό δίκτυο που μπορεί να δημιουργήσει μια πρόχειρη ιστορία και βίντεο από ένα σενάριο κειμένου.
Όπως σημειώθηκε, το σύστημα λειτουργεί με φυσική γλώσσα, κάτι που θα του επιτρέψει να χρησιμοποιηθεί σε διάφορους τομείς, όπως η δημιουργία εκπαιδευτικών βίντεο. Αυτά τα συστήματα θα βοηθήσουν επίσης τους σεναριογράφους να οπτικοποιήσουν τις ιδέες τους. Παράλληλα, αναφέρεται ότι στόχος δεν είναι να αντικατασταθούν οι συγγραφείς και οι καλλιτέχνες, αλλά να γίνει η δουλειά τους πιο αποτελεσματική και λιγότερο κουραστική.
Οι προγραμματιστές λένε ότι η μετάφραση κειμένου σε κινούμενα σχέδια δεν είναι εύκολη υπόθεση επειδή τα δεδομένα εισόδου και εξόδου δεν έχουν σταθερή δομή. Επομένως, τα περισσότερα τέτοια συστήματα δεν μπορούν να επεξεργαστούν σύνθετες προτάσεις. Για να ξεπεράσουν τους περιορισμούς προηγούμενων παρόμοιων προγραμμάτων, οι προγραμματιστές κατασκεύασαν ένα αρθρωτό νευρωνικό δίκτυο που αποτελείται από πολλά στοιχεία. Αυτές περιλαμβάνουν μια ενότητα επεξεργασίας φυσικής γλώσσας, μια ενότητα ανάλυσης σεναρίου και μια ενότητα που δημιουργεί κινούμενα σχέδια.
Αρχικά, το σύστημα αναλύει το κείμενο και μεταφράζει σύνθετες προτάσεις σε απλές. Μετά από αυτό, δημιουργείται ένα 3D animation. Για εργασία, χρησιμοποιείται μια βιβλιοθήκη 52 κινούμενων μπλοκ, η λίστα των οποίων έχει επεκταθεί σε 92 με την προσθήκη παρόμοιων στοιχείων. Για τη δημιουργία κινούμενων εικόνων, χρησιμοποιείται η μηχανή παιχνιδιού Unreal Engine, η οποία βασίζεται σε προφορτωμένα αντικείμενα και μοντέλα. Από αυτά, το σύστημα επιλέγει κατάλληλα στοιχεία και δημιουργεί ένα βίντεο.
Για να εκπαιδεύσουν το σύστημα, οι ερευνητές συνέταξαν ένα σύνολο περιγραφών 996 στοιχείων που προέρχονται από περισσότερα από 1000 σενάρια από τα IMSDb, SimplyScripts και ScriptORama5. Μετά από αυτό, πραγματοποιήθηκαν ποιοτικά τεστ, στα οποία 22 συμμετέχοντες είχαν την ευκαιρία να αξιολογήσουν 20 κινούμενα σχέδια. Ταυτόχρονα, το 68% είπε ότι το σύστημα δημιούργησε αρκετά αξιοπρεπή κινούμενα σχέδια με βάση τα εισαγόμενα κείμενα.
Ωστόσο, η ομάδα αναγνώρισε ότι το σύστημα δεν είναι τέλειο. Ο κατάλογος των ενεργειών και των αντικειμένων του δεν είναι εξαντλητικός και μερικές φορές η λεξιλογική απλοποίηση δεν ταιριάζει με ρήματα με παρόμοια κινούμενα σχέδια. Οι ερευνητές σκοπεύουν να αντιμετωπίσουν αυτές τις ελλείψεις σε μελλοντική εργασία.
Πηγή: 3dnews.ru