Ya existen redes neuronales que crean vídeos originales basados en descripciones de texto. Y aunque todavía no son capaces de sustituir por completo a los cineastas o animadores, ya hay avances en esta dirección. Investigación de Disney y Rutgers una red neuronal que puede crear un guión gráfico aproximado y un vídeo a partir de un guión de texto.
Como se señaló, el sistema funciona con lenguaje natural, lo que permitirá su uso en diversas áreas, como la creación de videos educativos. Estos sistemas también ayudarán a los guionistas a visualizar sus ideas. Al mismo tiempo, se afirma que el objetivo no es sustituir a escritores y artistas, sino hacer que su trabajo sea más eficiente y menos tedioso.
Los desarrolladores dicen que traducir texto a animación no es una tarea fácil porque los datos de entrada y salida no tienen una estructura fija. Por lo tanto, la mayoría de estos sistemas no pueden procesar oraciones complejas. Para superar las limitaciones de programas similares anteriores, los desarrolladores construyeron una red neuronal modular que consta de varios componentes. Estos incluyen un módulo de procesamiento de lenguaje natural, un módulo de análisis de scripts y un módulo que genera animación.
Para empezar, el sistema analiza el texto y traduce frases complejas en frases simples. Después de esto, se crea una animación 3D. Para el trabajo se utiliza una biblioteca de 52 bloques animados, cuya lista se amplió a 92 añadiendo elementos similares. Para crear animaciones, se utiliza el motor de juego Unreal Engine, que se basa en objetos y modelos precargados. A partir de ellos, el sistema selecciona los elementos adecuados y genera un vídeo.
Para entrenar el sistema, los investigadores compilaron un conjunto de descripciones de 996 elementos tomados de más de 1000 scripts de IMSDb, SimplyScripts y ScriptORama5. Posteriormente se realizaron pruebas cualitativas, en las que 22 participantes tuvieron la oportunidad de evaluar 20 animaciones. Al mismo tiempo, el 68% afirmó que el sistema creaba animaciones bastante decentes basadas en los textos introducidos.
Sin embargo, el equipo reconoció que el sistema no es perfecto. Su lista de acciones y objetos no es exhaustiva y, a veces, la simplificación léxica no coincide con los verbos con animaciones similares. Los investigadores tienen la intención de abordar estas deficiencias en trabajos futuros.
Fuente: 3dnews.ru