โครงข่ายประสาทเทียมที่สร้างวิดีโอต้นฉบับตามคำอธิบายข้อความมีอยู่แล้ว และถึงแม้ว่าพวกเขาจะยังไม่สามารถแทนที่ผู้สร้างภาพยนตร์หรือแอนิเมเตอร์ได้อย่างสมบูรณ์ แต่ก็มีความก้าวหน้าในทิศทางนี้แล้ว ดิสนีย์รีเสิร์ชและรัทเกอร์ส โครงข่ายประสาทเทียมที่สามารถสร้างกระดานเรื่องราวและวิดีโอคร่าวๆ จากสคริปต์ข้อความ
ตามที่ระบุไว้ ระบบทำงานด้วยภาษาธรรมชาติ ซึ่งจะทำให้สามารถใช้งานได้ในหลายด้าน เช่น การสร้างวิดีโอเพื่อการศึกษา ระบบเหล่านี้ยังช่วยให้ผู้เขียนบทเห็นภาพความคิดของตนเองอีกด้วย ขณะเดียวกัน มีการระบุว่าเป้าหมายไม่ใช่การแทนที่นักเขียนและศิลปิน แต่เพื่อทำให้งานมีประสิทธิภาพมากขึ้นและน่าเบื่อน้อยลง
นักพัฒนากล่าวว่าการแปลข้อความเป็นแอนิเมชั่นไม่ใช่เรื่องง่าย เนื่องจากข้อมูลอินพุตและเอาต์พุตไม่มีโครงสร้างที่ตายตัว ดังนั้นระบบส่วนใหญ่จึงไม่สามารถประมวลผลประโยคที่ซับซ้อนได้ เพื่อเอาชนะข้อจำกัดของโปรแกรมที่คล้ายกันก่อนหน้านี้ นักพัฒนาได้สร้างโครงข่ายประสาทเทียมแบบแยกส่วนซึ่งประกอบด้วยส่วนประกอบหลายอย่าง ซึ่งรวมถึงโมดูลประมวลผลภาษาธรรมชาติ โมดูลแยกวิเคราะห์สคริปต์ และโมดูลที่สร้างภาพเคลื่อนไหว
ขั้นแรก ระบบจะวิเคราะห์ข้อความและแปลประโยคที่ซับซ้อนให้กลายเป็นประโยคง่ายๆ หลังจากนั้นจะมีการสร้างภาพเคลื่อนไหว 3 มิติ สำหรับงานจะใช้ไลบรารีของบล็อกแอนิเมชั่น 52 บล็อกรายการซึ่งขยายเป็น 92 โดยการเพิ่มองค์ประกอบที่คล้ายกัน ในการสร้างแอนิเมชั่น จะใช้เอ็นจิ้นเกม Unreal Engine ซึ่งอาศัยวัตถุและโมเดลที่โหลดไว้ล่วงหน้า จากนั้นระบบจะเลือกองค์ประกอบที่เหมาะสมและสร้างวิดีโอ
เพื่อฝึกอบรมระบบ นักวิจัยได้รวบรวมชุดคำอธิบายองค์ประกอบ 996 รายการจากสคริปต์มากกว่า 1000 รายการจาก IMSDb, SimplyScripts และ ScriptORama5 หลังจากนั้น ได้ทำการทดสอบเชิงคุณภาพ โดยผู้เข้าร่วม 22 คนมีโอกาสประเมินภาพเคลื่อนไหว 20 รายการ ในเวลาเดียวกัน 68% กล่าวว่าระบบสร้างแอนิเมชั่นที่ค่อนข้างดีตามข้อความที่ป้อน
อย่างไรก็ตามทีมงานยอมรับว่าระบบยังไม่สมบูรณ์แบบ รายการการกระทำและวัตถุไม่ครบถ้วนสมบูรณ์ และบางครั้งการทำให้คำศัพท์ง่ายขึ้นไม่ตรงกับคำกริยาที่มีภาพเคลื่อนไหวคล้ายกัน นักวิจัยตั้งใจที่จะแก้ไขข้อบกพร่องเหล่านี้ในงานในอนาคต
ที่มา: 3dnews.ru