Нейросети, які створюють оригінальні відео за текстом, вже існують. І хоча поки що вони не в змозі замінити кінематографістів чи мультиплікаторів повністю, зрушення у цьому напрямі вже є. Disney Research та Rutgers нейромережа, яка може створити грубе розкадрування та відео за текстовим сценарієм.
Як зазначається, система працює з природною мовою, що дозволить застосовувати її у ряді областей на кшталт створення навчальних відеороликів. Також ці системи допоможуть сценаристам візуалізувати їхні ідеї. При цьому заявлено, що мета — не замінити письменників та художників, а зробити їхню роботу більш ефективною та менш стомлюючою.
Розробники заявляють, що переклад тексту в анімацію є непростим завданням, оскільки дані на вході та виході не мають фіксованої структури. Тому більшість таких систем не можуть обробляти складні пропозиції. Щоб обійти обмеження попередніх програм, розробники побудували модульну нейронну мережу, що складається з декількох компонентів. До них входить модуль обробки природної мови, модуль аналізу сценаріїв, а також модуль, що генерує анімацію.
Спочатку система аналізує текст і переводить складні пропозиції в прості. Після цього створюється 3D-анімація. Для роботи використовується бібліотека з 52 анімованих блоків, список яких був розширений до 92 за рахунок додавання схожих елементів. Для створення анімації використовується ігровий движок Unreal Engine, який спирається на завантажені попередньо об'єкти і моделі. З них система вибирає відповідні елементи та формує відеоролик.
Для навчання системи дослідники склали набір описів з 996 елементів, взятих із більш ніж 1000 сценаріїв з IMSDb, SimplyScripts та ScriptORama5. Після цього було проведено якісні тести, де 22 учасникам довелося оцінити 20 анімацій. При цьому 68% сказали, що система створила гідну анімацію на основі вхідних текстів.
Проте команда визнала, що система не є ідеальною. Її список дій та об'єктів не є вичерпним, і іноді лексичне спрощення не зіставляє дієслова з аналогічними анімаціями. Дослідники мають намір усунути ці недоліки у подальшій роботі.
Джерело: 3dnews.ru