Já existem redes neurais que criam vídeos originais com base em descrições de texto. E embora ainda não consigam substituir completamente os cineastas ou animadores, já há avanços nessa direção. Pesquisa Disney e Rutgers uma rede neural que pode criar um storyboard aproximado e um vídeo a partir de um script de texto.
Conforme observado, o sistema funciona com linguagem natural, o que permitirá sua utilização em diversas áreas, como na criação de vídeos educativos. Esses sistemas também ajudarão os roteiristas a visualizar suas ideias. Ao mesmo tempo, afirma-se que o objetivo não é substituir escritores e artistas, mas sim tornar o seu trabalho mais eficiente e menos tedioso.
Os desenvolvedores afirmam que traduzir texto em animação não é uma tarefa fácil porque os dados de entrada e saída não possuem uma estrutura fixa. Portanto, a maioria desses sistemas não consegue processar sentenças complexas. Para superar as limitações de programas semelhantes anteriores, os desenvolvedores construíram uma rede neural modular composta por vários componentes. Isso inclui um módulo de processamento de linguagem natural, um módulo de análise de script e um módulo que gera animação.
Para começar, o sistema analisa o texto e traduz frases complexas em simples. Depois disso, uma animação 3D é criada. Para o trabalho, é utilizada uma biblioteca de 52 blocos animados, cuja lista foi ampliada para 92 com a adição de elementos semelhantes. Para criar animação, é usado o motor de jogo Unreal Engine, que depende de objetos e modelos pré-carregados. A partir destes, o sistema seleciona os elementos adequados e gera um vídeo.
Para treinar o sistema, os pesquisadores compilaram um conjunto de descrições de 996 elementos retirados de mais de 1000 scripts do IMSDb, SimplyScripts e ScriptORama5. Depois disso, foram realizados testes qualitativos, nos quais 22 participantes tiveram a oportunidade de avaliar 20 animações. Ao mesmo tempo, 68% disseram que o sistema criou animações bastante decentes com base nos textos de entrada.
No entanto, a equipe reconheceu que o sistema não é perfeito. Sua lista de ações e objetos não é exaustiva e, às vezes, a simplificação lexical não corresponde a verbos com animações semelhantes. Os pesquisadores pretendem resolver essas deficiências em trabalhos futuros.
Fonte: 3dnews.ru