Rangkaian saraf yang mencipta video asli berdasarkan penerangan teks sudah wujud. Dan walaupun mereka belum dapat menggantikan sepenuhnya pembuat filem atau animator, sudah ada kemajuan ke arah ini. Penyelidikan Disney dan Rutgers rangkaian saraf yang boleh mencipta papan cerita dan video kasar daripada skrip teks.
Seperti yang dinyatakan, sistem ini berfungsi dengan bahasa semula jadi, yang akan membolehkannya digunakan dalam beberapa bidang, seperti mencipta video pendidikan. Sistem ini juga akan membantu penulis skrip menggambarkan idea mereka. Pada masa yang sama, dinyatakan bahawa matlamatnya bukan untuk menggantikan penulis dan artis, tetapi untuk menjadikan kerja mereka lebih cekap dan tidak membosankan.
Pembangun mengatakan bahawa menterjemah teks ke dalam animasi bukanlah satu tugas yang mudah kerana data input dan output tidak mempunyai struktur tetap. Oleh itu, kebanyakan sistem sedemikian tidak dapat memproses ayat kompleks. Untuk mengatasi batasan program serupa sebelumnya, pembangun membina rangkaian saraf modular yang terdiri daripada beberapa komponen. Ini termasuk modul pemprosesan bahasa semula jadi, modul penghuraian skrip dan modul yang menjana animasi.
Sebagai permulaan, sistem menganalisis teks dan menterjemah ayat kompleks kepada yang mudah. Selepas ini, animasi 3D dicipta. Untuk kerja, perpustakaan 52 blok animasi digunakan, senarainya telah diperluaskan kepada 92 dengan menambah elemen serupa. Untuk mencipta animasi, enjin permainan Unreal Engine digunakan, yang bergantung pada objek dan model yang dipramuat. Daripada ini, sistem memilih elemen yang sesuai dan menghasilkan video.
Untuk melatih sistem, para penyelidik menyusun satu set perihalan 996 elemen yang diambil daripada lebih 1000 skrip daripada IMSDb, SimplyScripts dan ScriptORama5. Selepas ini, ujian kualitatif telah dijalankan, di mana 22 peserta berpeluang menilai 20 animasi. Pada masa yang sama, 68% mengatakan bahawa sistem mencipta animasi yang agak baik berdasarkan teks input.
Bagaimanapun, pasukan itu mengakui bahawa sistem itu tidak sempurna. Senarai tindakan dan objeknya tidak lengkap, dan kadangkala penyederhanaan leksikal tidak sepadan dengan kata kerja dengan animasi yang serupa. Para penyelidik berhasrat untuk menangani kekurangan ini dalam kerja masa depan.
Sumber: 3dnews.ru