Metin açıklamalarına dayalı olarak orijinal videolar oluşturan sinir ağları zaten mevcuttur. Ve henüz film yapımcılarının veya animatörlerin yerini tamamen alamamış olsalar da, bu yönde ilerleme zaten var. Disney Araştırma ve Rutgers Bir metin komut dosyasından kaba bir storyboard ve video oluşturabilen bir sinir ağı.
Belirtildiği gibi sistem doğal dille çalışıyor ve bu da eğitim videoları oluşturmak gibi birçok alanda kullanılmasına olanak sağlayacak. Bu sistemler aynı zamanda senaristlerin fikirlerini görselleştirmelerine de yardımcı olacak. Aynı zamanda amacın yazar ve sanatçıları değiştirmek değil, onların çalışmalarını daha verimli ve daha az yorucu hale getirmek olduğu belirtiliyor.
Geliştiriciler, giriş ve çıkış verilerinin sabit bir yapıya sahip olmaması nedeniyle metni animasyona dönüştürmenin kolay bir iş olmadığını söylüyor. Bu nedenle bu tür sistemlerin çoğu karmaşık cümleleri işleyemez. Önceki benzer programların sınırlamalarının üstesinden gelmek için geliştiriciler, çeşitli bileşenlerden oluşan modüler bir sinir ağı oluşturdular. Bunlar arasında bir doğal dil işleme modülü, bir komut dosyası ayrıştırma modülü ve animasyon üreten bir modül bulunur.
Başlangıçta sistem metni analiz ediyor ve karmaşık cümleleri basit cümlelere çeviriyor. Bundan sonra 3 boyutlu bir animasyon oluşturulur. Çalışmak için, benzer öğeler eklenerek listesi 52'ye genişletilen 92 animasyonlu bloktan oluşan bir kütüphane kullanılıyor. Animasyon oluşturmak için önceden yüklenmiş nesnelere ve modellere dayanan Unreal Engine oyun motoru kullanılır. Sistem bunlardan uygun unsurları seçiyor ve bir video oluşturuyor.
Sistemi eğitmek için araştırmacılar IMSDb, SimplyScripts ve ScriptORama996'ten alınan 1000'den fazla komut dosyasından alınan 5 öğeden oluşan bir dizi açıklamayı derlediler. Ardından 22 katılımcının 20 animasyonu değerlendirme fırsatı bulduğu niteliksel testler gerçekleştirildi. Aynı zamanda %68'i sistemin giriş metinlerine göre oldukça iyi animasyonlar oluşturduğunu söyledi.
Ancak ekip sistemin mükemmel olmadığını kabul etti. Eylem ve nesnelerin listesi kapsamlı değildir ve bazen sözcüksel basitleştirme, benzer animasyonlara sahip fiillerle eşleşmez. Araştırmacılar gelecekteki çalışmalarda bu eksiklikleri gidermeyi amaçlıyorlar.
Kaynak: 3dnews.ru