Jaringan saraf yang membuat video asli berdasarkan deskripsi teks sudah ada. Meskipun mereka belum bisa sepenuhnya menggantikan pembuat film atau animator, sudah ada kemajuan ke arah ini. Penelitian Disney dan Rutgers jaringan saraf yang dapat membuat papan cerita dan video kasar dari skrip teks.
Sebagaimana disebutkan, sistem ini bekerja dengan bahasa alami, yang memungkinkannya digunakan di sejumlah bidang, seperti membuat video pendidikan. Sistem ini juga akan membantu penulis skenario memvisualisasikan ide-ide mereka. Pada saat yang sama disebutkan bahwa tujuannya bukan untuk menggantikan penulis dan seniman, tetapi untuk membuat pekerjaan mereka lebih efisien dan tidak membosankan.
Pengembang mengatakan bahwa menerjemahkan teks menjadi animasi bukanlah tugas yang mudah karena data input dan output tidak memiliki struktur yang tetap. Oleh karena itu, sebagian besar sistem tersebut tidak dapat memproses kalimat kompleks. Untuk mengatasi keterbatasan program serupa sebelumnya, pengembang membangun jaringan saraf modular yang terdiri dari beberapa komponen. Ini termasuk modul pemrosesan bahasa alami, modul penguraian skrip, dan modul yang menghasilkan animasi.
Untuk memulainya, sistem menganalisis teks dan menerjemahkan kalimat kompleks menjadi kalimat sederhana. Setelah ini, animasi 3D dibuat. Untuk pekerjaan, perpustakaan yang terdiri dari 52 blok animasi digunakan, daftarnya diperluas menjadi 92 dengan menambahkan elemen serupa. Untuk membuat animasi, digunakan mesin game Unreal Engine, yang mengandalkan objek dan model yang dimuat sebelumnya. Dari sini, sistem memilih elemen yang sesuai dan menghasilkan video.
Untuk melatih sistem, para peneliti mengumpulkan serangkaian deskripsi 996 elemen yang diambil dari lebih dari 1000 skrip dari IMSDb, SimplyScripts, dan ScriptORama5. Setelah itu dilakukan tes kualitatif, dimana 22 peserta berkesempatan mengevaluasi 20 animasi. Pada saat yang sama, 68% mengatakan bahwa sistem membuat animasi yang cukup baik berdasarkan teks masukan.
Namun, tim mengakui bahwa sistem tersebut belum sempurna. Daftar tindakan dan objeknya tidak lengkap, dan terkadang penyederhanaan leksikal tidak cocok dengan kata kerja dengan animasi serupa. Para peneliti bermaksud untuk mengatasi kekurangan ini dalam pekerjaan di masa depan.
Sumber: 3dnews.ru