Xa existen redes neuronais que crean vídeos orixinais baseados en descricións de texto. E aínda que aínda non son capaces de substituír por completo a cineastas ou animadores, xa hai avances neste sentido. Disney Research e Rutgers unha rede neuronal que pode crear un guión gráfico e un vídeo a partir dun guión de texto.
Como se sinalou, o sistema funciona con linguaxe natural, o que permitirá empregalo en varios ámbitos, como a creación de vídeos educativos. Estes sistemas tamén axudarán aos guionistas a visualizar as súas ideas. Asemade, indícase que o obxectivo non é substituír a escritores e artistas, senón que o seu traballo sexa máis eficiente e menos tedioso.
Os desenvolvedores din que traducir texto en animación non é unha tarefa sinxela porque os datos de entrada e saída non teñen unha estrutura fixa. Polo tanto, a maioría destes sistemas non poden procesar frases complexas. Para superar as limitacións de programas similares anteriores, os desenvolvedores construíron unha rede neuronal modular formada por varios compoñentes. Estes inclúen un módulo de procesamento da linguaxe natural, un módulo de análise de scripts e un módulo que xera animación.
Para comezar, o sistema analiza o texto e traduce frases complexas a sinxelas. Despois disto, créase unha animación 3D. Para traballar, utilízase unha biblioteca de 52 bloques animados, cuxa lista foi ampliada a 92 engadindo elementos similares. Para crear animación, utilízase o motor de xogos Unreal Engine, que se basea en obxectos e modelos precargados. A partir destes, o sistema selecciona os elementos axeitados e xera un vídeo.
Para adestrar o sistema, os investigadores compilaron un conxunto de descricións de 996 elementos extraídos de máis de 1000 scripts de IMSDb, SimplyScripts e ScriptORama5. Despois disto, realizáronse probas cualitativas, nas que 22 participantes tiveron a oportunidade de avaliar 20 animacións. Ao mesmo tempo, o 68% dixo que o sistema creou unha animación bastante decente baseada nos textos de entrada.
Con todo, o equipo recoñeceu que o sistema non é perfecto. A súa lista de accións e obxectos non é exhaustiva, e ás veces a simplificación léxica non coincide con verbos con animacións similares. Os investigadores pretenden abordar estas deficiencias en traballos futuros.
Fonte: 3dnews.ru