Disney's AI मजकूर वर्णनावर आधारित व्यंगचित्रे तयार करते

मजकूर वर्णनावर आधारित मूळ व्हिडिओ तयार करणारे न्यूरल नेटवर्क आधीपासूनच अस्तित्वात आहेत. आणि जरी ते अद्याप चित्रपट निर्माते किंवा अॅनिमेटर्स पूर्णपणे पुनर्स्थित करण्यास सक्षम नसले तरी, या दिशेने आधीच प्रगती झाली आहे. डिस्ने संशोधन आणि रटगर्स विकसित एक न्यूरल नेटवर्क जे मजकूर स्क्रिप्टमधून रफ स्टोरीबोर्ड आणि व्हिडिओ तयार करू शकते.

नमूद केल्याप्रमाणे, प्रणाली नैसर्गिक भाषेसह कार्य करते, ज्यामुळे ती शैक्षणिक व्हिडिओ तयार करण्यासारख्या अनेक क्षेत्रांमध्ये वापरली जाऊ शकते. या प्रणाली पटकथालेखकांना त्यांच्या कल्पनांची कल्पना करण्यास मदत करतील. त्याच वेळी, असे नमूद केले आहे की लेखक आणि कलाकारांची जागा घेणे हे ध्येय नाही तर त्यांचे कार्य अधिक कार्यक्षम आणि कमी कंटाळवाणे बनवणे आहे.

विकासकांचे म्हणणे आहे की मजकूराचे अॅनिमेशनमध्ये भाषांतर करणे सोपे काम नाही कारण इनपुट आणि आउटपुट डेटाची निश्चित संरचना नसते. म्हणून, बहुतेक अशा प्रणाली जटिल वाक्यांवर प्रक्रिया करू शकत नाहीत. पूर्वीच्या समान कार्यक्रमांच्या मर्यादांवर मात करण्यासाठी, विकसकांनी अनेक घटकांचा समावेश असलेले मॉड्यूलर न्यूरल नेटवर्क तयार केले. यामध्ये नैसर्गिक भाषा प्रक्रिया मॉड्यूल, स्क्रिप्ट पार्सिंग मॉड्यूल आणि अॅनिमेशन तयार करणारे मॉड्यूल समाविष्ट आहे.

सुरुवातीला, सिस्टम मजकूराचे विश्लेषण करते आणि जटिल वाक्यांचे सोप्या वाक्यांमध्ये भाषांतर करते. यानंतर, एक 3D अॅनिमेशन तयार केले जाते. कामासाठी, 52 अॅनिमेटेड ब्लॉक्सची लायब्ररी वापरली जाते, ज्याची यादी समान घटक जोडून 92 पर्यंत वाढविली गेली आहे. अॅनिमेशन तयार करण्यासाठी, अवास्तविक इंजिन गेम इंजिन वापरले जाते, जे प्रीलोडेड ऑब्जेक्ट्स आणि मॉडेल्सवर अवलंबून असते. यामधून, सिस्टम योग्य घटक निवडते आणि व्हिडिओ तयार करते.

प्रणालीला प्रशिक्षित करण्यासाठी, संशोधकांनी IMSDb, SimplyScripts आणि ScriptORama996 मधील 1000 पेक्षा जास्त स्क्रिप्टमधून घेतलेल्या 5 घटकांच्या वर्णनाचा संच संकलित केला. यानंतर, गुणात्मक चाचण्या घेण्यात आल्या, ज्यामध्ये 22 सहभागींना 20 अॅनिमेशनचे मूल्यांकन करण्याची संधी मिळाली. त्याच वेळी, 68% ने सांगितले की सिस्टमने इनपुट मजकूरावर आधारित खूप सभ्य अॅनिमेशन तयार केले आहे.

मात्र, ही यंत्रणा परिपूर्ण नसल्याचे संघाने मान्य केले. त्याची क्रिया आणि वस्तूंची यादी सर्वसमावेशक नाही आणि काहीवेळा शाब्दिक सरलीकरण समान अॅनिमेशनसह क्रियापदांशी जुळत नाही. भविष्यातील कामात या उणीवा दूर करण्याचा संशोधकांचा मानस आहे.

स्त्रोत: 3dnews.ru