OpenAI लुका-छिपी के खेल में AI टीम वर्क सिखाता है

पुराने ज़माने का लुका-छिपी का खेल कृत्रिम बुद्धिमत्ता (एआई) बॉट्स के लिए यह प्रदर्शित करने के लिए एक महान परीक्षण हो सकता है कि वे कैसे निर्णय लेते हैं और एक-दूसरे और अपने आस-पास की विभिन्न वस्तुओं के साथ कैसे बातचीत करते हैं।

में उसकी नया लेख, एक गैर-लाभकारी कृत्रिम बुद्धिमत्ता अनुसंधान संगठन, OpenAI के शोधकर्ताओं द्वारा प्रकाशित, जो प्रसिद्ध हो गया है विश्व चैंपियनों पर विजय कंप्यूटर गेम Dota 2 में, वैज्ञानिक वर्णन करते हैं कि कैसे कृत्रिम बुद्धिमत्ता द्वारा नियंत्रित एजेंटों को आभासी वातावरण में एक-दूसरे को खोजने और छिपने में अधिक परिष्कृत होने के लिए प्रशिक्षित किया गया था। अध्ययन के नतीजों से पता चला कि दो बॉट्स की एक टीम सहयोगियों के बिना किसी एक एजेंट की तुलना में अधिक प्रभावी ढंग से और तेजी से सीखती है।

वैज्ञानिकों ने एक ऐसी विधि का प्रयोग किया है जिसने लंबे समय से प्रसिद्धि हासिल की है सुदृढीकरण के साथ मशीन लर्निंग, जिसमें कृत्रिम बुद्धिमत्ता को उसके लिए अज्ञात वातावरण में रखा जाता है, जबकि उसके साथ बातचीत करने के कुछ निश्चित तरीके होते हैं, साथ ही उसके कार्यों के एक या दूसरे परिणाम के लिए पुरस्कार और जुर्माने की व्यवस्था भी होती है। आभासी वातावरण में विभिन्न कार्यों को अत्यधिक गति से करने की एआई की क्षमता के कारण यह विधि काफी प्रभावी है, जो किसी व्यक्ति की कल्पना से लाखों गुना तेज है। यह किसी समस्या को हल करने के लिए सबसे प्रभावी रणनीति खोजने के लिए परीक्षण और त्रुटि की अनुमति देता है। लेकिन इस दृष्टिकोण की कुछ सीमाएँ भी हैं, उदाहरण के लिए, एक वातावरण बनाने और कई प्रशिक्षण चक्रों के संचालन के लिए विशाल कंप्यूटिंग संसाधनों की आवश्यकता होती है, और इस प्रक्रिया को अपने लक्ष्य के साथ एआई कार्यों के परिणामों की तुलना करने के लिए एक सटीक प्रणाली की आवश्यकता होती है। इसके अलावा, एजेंट द्वारा इस तरह से हासिल किए गए कौशल वर्णित कार्य तक ही सीमित हैं और, जैसे ही एआई इससे निपटना सीख जाता है, कोई और सुधार नहीं होगा।

एआई को लुका-छिपी खेलने के लिए प्रशिक्षित करने के लिए, वैज्ञानिकों ने "अप्रत्यक्ष अन्वेषण" नामक एक दृष्टिकोण का उपयोग किया, जहां एजेंटों को खेल की दुनिया के बारे में अपनी समझ विकसित करने और जीतने की रणनीति विकसित करने की पूरी स्वतंत्रता है। यह मल्टी-एजेंट लर्निंग दृष्टिकोण के समान है जिसका उपयोग डीपमाइंड के शोधकर्ताओं ने मल्टीपल आर्टिफिशियल इंटेलिजेंस सिस्टम में किया था क्वेक III एरिना में कैप्चर द फ़्लैग मोड खेलने के लिए प्रशिक्षित किया गया था. जैसा कि इस मामले में, एआई एजेंटों को पहले खेल के नियमों में प्रशिक्षित नहीं किया गया था, लेकिन समय के साथ उन्होंने बुनियादी रणनीतियां सीखीं और गैर-तुच्छ समाधानों से शोधकर्ताओं को आश्चर्यचकित करने में भी सक्षम हुए।

लुका-छिपी के खेल में, कई एजेंट जिनका काम छिपना था, उन्हें थोड़ी सी बढ़त के बाद अपने विरोधियों की दृष्टि से बचना पड़ता था, जबकि खोज एजेंटों की टीम स्थिर थी। इसके अलावा, इस संदर्भ में "दृष्टि की रेखा" एक व्यक्तिगत बॉट के सामने 135 डिग्री शंकु है। एजेंट खेल क्षेत्र से बहुत दूर नहीं जा सकते थे और उन्हें चारों ओर बिखरी कुछ बाहरी वस्तुओं (बक्से, चल दीवारें, विशेष रैंप) का उपयोग करने की क्षमता के साथ बेतरतीब ढंग से बनाए गए कमरों में नेविगेट करने के लिए मजबूर किया गया था, जिनका उपयोग कवर बनाने और उनमें घुसपैठ करने दोनों के लिए किया जा सकता था। .

एक लंबी सीखने की प्रक्रिया के माध्यम से, एआई एजेंटों ने छह अनूठी रणनीतियाँ सीखीं, जिनमें से प्रत्येक ने उन्हें खेल के अगले चरण में आगे बढ़ने में मदद की। सबसे पहले, खोजकर्ता और छिपने वालों की टीमें बस भाग गईं और एक-दूसरे का पीछा किया, लेकिन लगभग 25 मिलियन मैचों के बाद, छिपने वालों की टीम ने बक्सों के साथ मार्गों को अवरुद्ध करना और उनमें से आश्रय बनाना सीख लिया। अन्य 75 मिलियन मैचों के बाद, टीम ने इन ठिकानों में जाने के लिए रैंप का उपयोग करने के तरीके खोजे। अन्य 10 मिलियन राउंड के बाद, छिपने वालों ने रैंप को खेल क्षेत्र के किनारे तक खींचना और विरोधियों को उनका उपयोग करने से रोकने के लिए उन्हें लॉक करना सीख लिया।

388 मिलियन मैचों के बाद, साधकों ने अपने पास लाए गए बक्सों पर चढ़ने के लिए अवरुद्ध रैंप का उपयोग करना सीख लिया है, और फिर, सीधे उन पर चलते हुए, पोर्टेबल दीवारों से बनाए गए दुश्मन के ठिकानों में घुसना सीख लिया है। और अंततः, 458 मिलियन मैचों के बाद, छिपने वाली टीम ने निष्कर्ष निकाला कि उन्हें सभी वस्तुओं को अवरुद्ध करने और फिर एक आश्रय बनाने की आवश्यकता है, जिससे जाहिर तौर पर उनकी अंतिम जीत हुई।

विशेष रूप से प्रभावशाली बात यह है कि 22 मिलियन मैचों के बाद, एजेंटों ने अपने कार्यों में समन्वय करना सीख लिया और भविष्य में उनके सहयोग की दक्षता में वृद्धि हुई, उदाहरण के लिए, प्रत्येक ने आश्रय बनाने के लिए अपना स्वयं का बॉक्स या दीवार लाई और अपने हिस्से की वस्तुओं को चुना विरोधियों के लिए कठिनाई वाले खेल को जटिल बनाने के लिए ब्लॉक करें।

वैज्ञानिकों ने सीखने की गति पर प्रशिक्षण वस्तुओं की संख्या (तंत्रिका नेटवर्क के माध्यम से पारित डेटा की मात्रा - "बैच आकार") के प्रभाव से संबंधित एक महत्वपूर्ण बिंदु भी नोट किया। डिफ़ॉल्ट मॉडल को उस बिंदु तक पहुंचने के लिए 132,3 घंटों के प्रशिक्षण में 34 मिलियन मैचों की आवश्यकता होती है जहां छिपी हुई टीम ने रैंप को ब्लॉक करना सीखा, जबकि अधिक डेटा के परिणामस्वरूप प्रशिक्षण समय में उल्लेखनीय कमी आई। उदाहरण के लिए, मापदंडों की संख्या (संपूर्ण प्रशिक्षण प्रक्रिया के दौरान प्राप्त डेटा का हिस्सा) को 0,5 मिलियन से बढ़ाकर 5,8 मिलियन करने से नमूनाकरण दक्षता में 2,2 गुना वृद्धि हुई, और इनपुट डेटा का आकार 64 केबी से बढ़ाकर 128 केबी करने से प्रशिक्षण कम हो गया। समय लगभग डेढ़ गुना.

अपने काम के अंत में, शोधकर्ताओं ने यह परीक्षण करने का निर्णय लिया कि खेल के अंदर प्रशिक्षण एजेंटों को खेल के बाहर समान कार्यों से निपटने में कितनी मदद कर सकता है। कुल मिलाकर पाँच परीक्षण थे: वस्तुओं की संख्या के बारे में जागरूकता (यह समझना कि कोई वस्तु अस्तित्व में बनी रहती है, भले ही वह दृष्टि से बाहर हो और उपयोग न की गई हो); "लॉक एंड रिटर्न" - किसी की मूल स्थिति को याद रखने और कुछ अतिरिक्त कार्य पूरा करने के बाद उस पर वापस लौटने की क्षमता; "अनुक्रमिक अवरोधन" - 4 बक्से बेतरतीब ढंग से बिना दरवाजे वाले तीन कमरों में स्थित थे, लेकिन अंदर जाने के लिए रैंप के साथ, एजेंटों को उन सभी को ढूंढने और अवरुद्ध करने की आवश्यकता थी; पूर्व निर्धारित स्थलों पर बक्सों की नियुक्ति; किसी वस्तु के चारों ओर सिलेंडर के रूप में आश्रय बनाना।

परिणामस्वरूप, पांच में से तीन कार्यों में, गेम में प्रारंभिक प्रशिक्षण प्राप्त करने वाले बॉट्स ने तेजी से सीखा और एआई की तुलना में बेहतर परिणाम दिखाए, जिन्हें स्क्रैच से समस्याओं को हल करने के लिए प्रशिक्षित किया गया था। उन्होंने कार्य को पूरा करने और प्रारंभिक स्थिति में लौटने, बंद कमरों में बक्से को क्रमिक रूप से अवरुद्ध करने और दिए गए क्षेत्रों में बक्सों को रखने में थोड़ा बेहतर प्रदर्शन किया, लेकिन वस्तुओं की संख्या को पहचानने और किसी अन्य वस्तु के चारों ओर कवर बनाने में थोड़ा कमजोर प्रदर्शन किया।

शोधकर्ता मिश्रित परिणामों का श्रेय एआई को कुछ कौशल सीखने और याद रखने के तरीके को देते हैं। “हमें लगता है कि जिन कार्यों में इन-गेम प्री-ट्रेनिंग ने सबसे अच्छा प्रदर्शन किया, उनमें पहले से सीखे गए कौशल को परिचित तरीके से पुन: उपयोग करना शामिल है, जबकि शेष कार्यों को स्क्रैच से प्रशिक्षित एआई से बेहतर प्रदर्शन करने के लिए उन्हें एक अलग तरीके से उपयोग करने की आवश्यकता होगी, जो कि बहुत अधिक है अधिक कठिन,'' कार्य के सह-लेखक लिखें। "यह परिणाम प्रशिक्षण के माध्यम से प्राप्त कौशल को एक वातावरण से दूसरे वातावरण में स्थानांतरित करते समय प्रभावी ढंग से पुन: उपयोग करने के तरीकों को विकसित करने की आवश्यकता पर प्रकाश डालता है।"

किया गया कार्य वास्तव में प्रभावशाली है, क्योंकि इस शिक्षण पद्धति का उपयोग करने की संभावना किसी भी खेल की सीमा से कहीं अधिक है। शोधकर्ताओं का कहना है कि उनका काम "भौतिकी-आधारित" और "मानव-समान" व्यवहार के साथ एआई बनाने की दिशा में एक महत्वपूर्ण कदम है जो बीमारियों का निदान कर सकता है, जटिल प्रोटीन अणुओं की संरचनाओं की भविष्यवाणी कर सकता है और सीटी स्कैन का विश्लेषण कर सकता है।

नीचे दिए गए वीडियो में आप स्पष्ट रूप से देख सकते हैं कि पूरी सीखने की प्रक्रिया कैसे हुई, एआई ने टीम वर्क कैसे सीखा और इसकी रणनीतियाँ अधिक से अधिक चालाक और जटिल हो गईं।

स्रोत: 3dnews.ru