AI на Disney създава анимационни филми въз основа на текстови описания

Вече съществуват невронни мрежи, които създават оригинални видеоклипове въз основа на текстови описания. И въпреки че те все още не са в състояние напълно да заменят режисьорите или аниматорите, вече има напредък в тази посока. Disney Research и Rutgers развити невронна мрежа, която може да създаде груб сценарий и видео от текстов скрипт.

Както беше отбелязано, системата работи с естествен език, което ще позволи да се използва в редица области, като например създаване на образователни видеоклипове. Тези системи ще помогнат и на сценаристите да визуализират своите идеи. В същото време се посочва, че целта не е да се заменят писателите и художниците, а работата им да стане по-ефективна и по-малко досадна.

Разработчиците казват, че превеждането на текст в анимация не е лесна задача, тъй като входните и изходните данни нямат фиксирана структура. Следователно повечето такива системи не могат да обработват сложни изречения. За да преодолеят ограниченията на предишни подобни програми, разработчиците изградиха модулна невронна мрежа, състояща се от няколко компонента. Те включват модул за обработка на естествен език, модул за разбор на скриптове и модул, който генерира анимация.

Като начало системата анализира текста и превежда сложните изречения в прости. След това се създава 3D анимация. За работа се използва библиотека от 52 анимирани блока, чийто списък е разширен до 92 чрез добавяне на подобни елементи. За създаване на анимация се използва игровият двигател Unreal Engine, който разчита на предварително заредени обекти и модели. От тях системата избира подходящи елементи и генерира видео.

За да обучат системата, изследователите съставиха набор от описания на 996 елемента, взети от повече от 1000 скрипта от IMSDb, SimplyScripts и ScriptORama5. След това бяха проведени качествени тестове, в които 22 участници имаха възможност да оценят 20 анимации. В същото време 68% казаха, че системата създава доста прилична анимация въз основа на въведените текстове.

Екипът обаче призна, че системата не е съвършена. Неговият списък с действия и обекти не е изчерпателен и понякога лексикалното опростяване не съвпада с глаголи с подобни анимации. Изследователите възнамеряват да се справят с тези недостатъци в бъдеща работа.

Източник: 3dnews.ru