根据文本描述创建原始视频的神经网络已经存在。 尽管他们还不能完全取代电影制作人或动画师，但在这个方向上已经取得了进展。 迪士尼研究中心和罗格斯大学 可以根据文本脚本创建粗略的故事板和视频的神经网络。
如上所述，该系统使用自然语言，这将使其可用于许多领域，例如创建教育视频。 这些系统还将帮助编剧将他们的想法形象化。 同时表示，目标不是取代作家和艺术家，而是让他们的工作更有效率、不那么乏味。
开发人员表示，将文本翻译成动画并不是一件容易的事，因为输入和输出数据没有固定的结构。 因此，大多数此类系统无法处理复杂的句子。 为了克服以前类似程序的局限性，开发人员构建了一个由多个组件组成的模块化神经网络。 其中包括自然语言处理模块、脚本解析模块和生成动画的模块。
首先，系统分析文本并将复杂的句子翻译成简单的句子。 此后，创建 3D 动画。 在工作中，使用了包含 52 个动画块的库，通过添加类似元素，该库的列表已扩展至 92 个。 为了创建动画，需要使用虚幻引擎游戏引擎，该引擎依赖于预加载的对象和模型。 系统从中选择合适的元素并生成视频。
为了训练该系统，研究人员编制了一组包含 996 个元素的描述，这些元素取自 IMSDb、SimplyScripts 和 ScriptORama1000 的 5 多个脚本。 此后进行了定性测试，22名参与者有机会评估20部动画。 同时，68% 的人表示系统根据输入文本创建了相当不错的动画。
然而，该团队承认该系统并不完美。 它的动作和对象列表并不详尽，有时词汇简化与具有相似动画的动词不匹配。 研究人员打算在未来的工作中解决这些缺陷。
来源： 3dnews.ru