根據文字描述創建原始影片的神經網路已經存在。 儘管他們還不能完全取代電影製作人或動畫師，但在這個方向上已經取得了進展。 迪士尼研究中心和羅格斯大學 可以根據文字腳本創建粗略的故事板和視訊的神經網路。
如上所述，該系統使用自然語言，這將使其可用於許多領域，例如創建教育影片。 這些系統也將幫助編劇將他們的想法形象化。 同時表示，目標不是取代作家和藝術家，而是讓他們的工作更有效率、不那麼無聊。
開發人員表示，將文字翻譯成動畫並不是一件容易的事，因為輸入和輸出資料沒有固定的結構。 因此，大多數此類系統無法處理複雜的句子。 為了克服先前類似程式的局限性，開發人員建構了一個由多個組件組成的模組化神經網路。 其中包括自然語言處理模組、腳本解析模組和生成動畫的模組。
首先，系統分析文本並將複雜的句子翻譯成簡單的句子。 此後，創建 3D 動畫。 在工作中，使用了包含 52 個動畫區塊的庫，透過添加類似元素，該庫的清單已擴展至 92 個。 為了創建動畫，需要使用虛幻引擎遊戲引擎，該引擎依賴預先載入的物件和模型。 系統從中選擇合適的元素並產生影片。
為了訓練該系統，研究人員編制了一組包含 996 個元素的描述，這些元素取自 IMSDb、SimplyScripts 和 ScriptORama1000 的 5 多個腳本。 此後進行了定性測試，22位參與者有機會評估20部動畫。 同時，68% 的人表示系統根據輸入文字創建了相當不錯的動畫。
然而，該團隊承認該系統並不完美。 它的動作和物件清單並不詳盡，有時詞彙簡化與具有相似動畫的動詞不符。 研究人員打算在未來的工作中解決這些缺陷。
來源： 3dnews.ru