Тексттик сүрөттөмөлөрдүн негизинде оригиналдуу видеолорду жараткан нейрон тармактары мурунтан эле бар. Жана алар азырынча кинорежиссерлорду же аниматорлорду толук алмаштыра алышпаса да, бул багытта азыртадан эле жылыштар бар. Disney Research жана Rutgers текст скриптинен орой сюжеттик тактаны жана видеону түзө ала турган нейрон тармагы.
Белгиленгендей, система табигый тил менен иштейт, бул аны билим берүүчү роликтерди түзүү сыяктуу бир катар тармактарда колдонууга мүмкүндүк берет. Бул системалар сценаристтердин идеяларын визуалдаштырууга да жардам берет. Ошол эле учурда жазуучуларды, сүрөтчүлөрдү алмаштыруу эмес, алардын ишин эффективдүү, түйшүксүз кылуу максаты коюлганы айтылат.
Иштеп чыгуучулардын айтымында, текстти анимацияга которуу оңой иш эмес, анткени киргизүү жана чыгаруу маалыматтары туруктуу структурага ээ эмес. Ошондуктан мындай системалардын көбү татаал сүйлөмдөрдү иштете албайт. Мурунку окшош программалардын чектөөлөрүн жеңүү үчүн, иштеп чыгуучулар бир нече компоненттерден турган модулдук нейрон тармагын курушкан. Аларга табигый тилди иштетүү модулу, скрипт талдоо модулу жана анимацияны жаратуучу модуль кирет.
Баштоо үчүн, система текстти талдап, татаал сүйлөмдөрдү жөнөкөй сүйлөмгө которот. Андан кийин, 3D анимация түзүлөт. Жумуш үчүн 52 анимацияланган блоктордун китепканасы колдонулат, алардын тизмеси окшош элементтерди кошуу менен 92ге чейин кеңейтилген. Анимацияны түзүү үчүн Unreal Engine оюн кыймылдаткычы колдонулат, ал алдын ала жүктөлгөн объекттерге жана моделдерге таянат. Алардын ичинен система ылайыктуу элементтерди тандап, видеону жаратат.
Системаны окутуу үчүн изилдөөчүлөр IMSDb, SimplyScripts жана ScriptORama996тен 1000ден ашык скрипттерден алынган 5 элементтин сыпаттамаларынын топтомун түзүшкөн. Андан кийин сапаттык тесттер жүргүзүлүп, анда 22 катышуучу 20 анимацияны баалоого мүмкүнчүлүк алышты. Ошол эле учурда, 68% система киргизилген тексттердин негизинде абдан татыктуу анимация жаратканын айтышкан.
Бирок, команда бул система идеалдуу эмес экенин моюнга алды. Анын кыймыл-аракеттеринин жана объекттеринин тизмеси толук эмес, кээде лексикалык жөнөкөйлөштүрүлгөн этиштер окшош анимациялар менен дал келбейт. Окумуштуулар келечектеги ишинде бул кемчиликтерди жоюуга ниеттенип жатышат.
Source: 3dnews.ru