Il existe déjà des réseaux de neurones qui créent des vidéos originales basées sur des descriptions textuelles. Et même s’ils ne sont pas encore en mesure de remplacer complètement les cinéastes ou les animateurs, des progrès sont déjà réalisés dans ce sens. Recherche Disney et Rutgers un réseau de neurones capable de créer un storyboard et une vidéo approximatifs à partir d'un script texte.
Comme indiqué, le système fonctionne en langage naturel, ce qui lui permettra d'être utilisé dans un certain nombre de domaines, comme la création de vidéos éducatives. Ces systèmes aideront également les scénaristes à visualiser leurs idées. Dans le même temps, il est affirmé que l’objectif n’est pas de remplacer les écrivains et les artistes, mais de rendre leur travail plus efficace et moins fastidieux.
Les développeurs affirment que traduire du texte en animation n'est pas une tâche facile car les données d'entrée et de sortie n'ont pas de structure fixe. Par conséquent, la plupart de ces systèmes ne peuvent pas traiter des phrases complexes. Pour surmonter les limites des programmes similaires précédents, les développeurs ont construit un réseau neuronal modulaire composé de plusieurs composants. Ceux-ci incluent un module de traitement du langage naturel, un module d'analyse de script et un module qui génère une animation.
Pour commencer, le système analyse le texte et traduit des phrases complexes en phrases simples. Après cela, une animation 3D est créée. Pour le travail, une bibliothèque de 52 blocs animés est utilisée, dont la liste a été étendue à 92 en ajoutant des éléments similaires. Pour créer une animation, on utilise le moteur de jeu Unreal Engine, qui s'appuie sur des objets et des modèles préchargés. À partir de ceux-ci, le système sélectionne les éléments appropriés et génère une vidéo.
Pour entraîner le système, les chercheurs ont compilé un ensemble de descriptions de 996 éléments extraits de plus de 1000 5 scripts d'IMSDb, SimplyScripts et ScriptORama22. Des tests qualitatifs ont ensuite été réalisés, au cours desquels 20 participants ont eu l'occasion d'évaluer 68 animations. Dans le même temps, XNUMX % ont déclaré que le système créait une animation assez correcte basée sur les textes saisis.
Cependant, l’équipe a reconnu que le système n’est pas parfait. Sa liste d'actions et d'objets n'est pas exhaustive, et parfois la simplification lexicale ne fait pas correspondre les verbes aux animations similaires. Les chercheurs ont l’intention de combler ces lacunes dans leurs travaux futurs.
Source: 3dnews.ru