ओपनएआय लपाछपीच्या खेळात एआय टीमवर्क शिकवते

कृत्रिम बुद्धिमत्ता (AI) बॉट्स कसे निर्णय घेतात आणि एकमेकांशी आणि त्यांच्या सभोवतालच्या विविध वस्तूंशी संवाद साधतात हे दाखवण्यासाठी लपवाछपवीचा एक चांगला जुना-शैलीचा खेळ एक उत्तम चाचणी असू शकतो.

त्याच्या नवीन लेख, ओपनएआय या ना-नफा कृत्रिम बुद्धिमत्ता संशोधन संस्थेच्या संशोधकांनी प्रकाशित केले आहे जे प्रसिद्ध झाले आहे विश्वविजेत्यावर विजय Dota 2 या संगणक गेममध्ये, शास्त्रज्ञ वर्णन करतात की कृत्रिम बुद्धिमत्तेद्वारे नियंत्रित एजंट्सना आभासी वातावरणात एकमेकांपासून शोधण्यात आणि लपवण्यात अधिक परिष्कृत होण्यासाठी कसे प्रशिक्षण दिले गेले. अभ्यासाच्या परिणामांवरून असे दिसून आले की दोन बॉट्सची टीम सहयोगी नसलेल्या कोणत्याही एका एजंटपेक्षा अधिक प्रभावीपणे आणि जलद शिकते.

शास्त्रज्ञांनी एक पद्धत वापरली आहे ज्याने त्याची प्रसिद्धी फार पूर्वीपासून जिंकली आहे मजबुतीकरण सह मशीन शिक्षण, ज्यामध्ये कृत्रिम बुद्धिमत्ता त्याच्याशी संवाद साधण्याचे काही मार्ग, तसेच त्याच्या कृतींच्या एक किंवा दुसर्या परिणामासाठी बक्षिसे आणि दंडाची प्रणाली असताना, त्याला अज्ञात वातावरणात ठेवले जाते. एखाद्या व्यक्तीच्या कल्पनेपेक्षा लाखो पटीने प्रचंड वेगाने आभासी वातावरणात विविध क्रिया करण्याच्या AI च्या क्षमतेमुळे ही पद्धत प्रभावी आहे. हे दिलेल्या समस्येचे निराकरण करण्यासाठी सर्वात प्रभावी धोरणे शोधण्यासाठी चाचणी आणि त्रुटींना अनुमती देते. परंतु या दृष्टिकोनाला काही मर्यादा देखील आहेत, उदाहरणार्थ, एक वातावरण तयार करणे आणि असंख्य प्रशिक्षण चक्र आयोजित करण्यासाठी प्रचंड संगणकीय संसाधने आवश्यक आहेत आणि प्रक्रियेसाठी स्वतः AI क्रियांच्या परिणामांची त्याच्या ध्येयाशी तुलना करण्यासाठी अचूक प्रणाली आवश्यक आहे. याव्यतिरिक्त, एजंटने अशा प्रकारे संपादन केलेली कौशल्ये वर्णन केलेल्या कार्यापुरती मर्यादित आहेत आणि एकदा का एआयने त्याचा सामना करण्यास शिकले की, पुढील सुधारणा होणार नाहीत.

AI ला लपवाछपवी खेळण्यासाठी प्रशिक्षित करण्यासाठी, शास्त्रज्ञांनी “अनडायरेक्‍ट एक्सप्लोरेशन” नावाचा दृष्टिकोन वापरला, जिथे एजंटना खेळ जगाविषयीची त्यांची समज विकसित करण्यासाठी आणि विजयी धोरणे विकसित करण्याचे पूर्ण स्वातंत्र्य आहे. हे डीपमाइंडच्या संशोधकांनी अनेक कृत्रिम बुद्धिमत्ता प्रणाली वापरताना वापरलेल्या मल्टी-एजंट शिक्षण पद्धतीसारखेच आहे क्वेक III एरिना मध्ये ध्वज मोड कॅप्चर खेळण्यासाठी प्रशिक्षित केले गेले. या प्रकरणात, एआय एजंटना पूर्वी खेळाच्या नियमांचे प्रशिक्षण दिले गेले नव्हते, परंतु कालांतराने त्यांनी मूलभूत धोरणे शिकली आणि अगदी क्षुल्लक उपायांसह संशोधकांना आश्चर्यचकित करण्यास सक्षम झाले.

लपाछपीच्या खेळात, अनेक एजंट ज्यांचे काम लपविणे हे होते त्यांना त्यांच्या प्रतिस्पर्ध्यांच्या नजरेपासून दूर राहणे आवश्यक होते जेव्हा शोध एजंटांची टीम स्थिर होती. शिवाय, या संदर्भातील “दृश्य रेषा” हा एका वैयक्तिक बॉटसमोर 135 अंशाचा शंकू आहे. एजंट खेळण्याच्या क्षेत्राच्या बाहेर फार दूर जाऊ शकत नाहीत आणि त्यांना यादृच्छिकपणे तयार केलेल्या खोल्यांमध्ये नेव्हिगेट करण्यास भाग पाडले गेले ज्यामध्ये काही बाह्य वस्तू (खोके, जंगम भिंती, विशेष रॅम्प) वापरण्याची क्षमता होती ज्याचा वापर कव्हर तयार करण्यासाठी आणि त्यात घुसखोरी करण्यासाठी केला जाऊ शकतो. .

प्रदीर्घ शिक्षण प्रक्रियेद्वारे, एआय एजंट्सनी सहा अद्वितीय धोरणे शिकली, ज्यापैकी प्रत्येकाने त्यांना गेमच्या पुढील टप्प्यात प्रगती करण्यास मदत केली. सुरुवातीला, साधक आणि लपणाऱ्या संघाने फक्त पळ काढला आणि एकमेकांचा पाठलाग केला, परंतु सुमारे 25 दशलक्ष सामन्यांनंतर, लपणाऱ्या संघाने बॉक्ससह पॅसेज ब्लॉक करणे आणि त्यातून निवारा तयार करणे शिकले. आणखी 75 दशलक्ष सामन्यांनंतर, संघाने या लपलेल्या ठिकाणी जाण्यासाठी रॅम्प वापरण्याचे मार्ग शोधले. आणखी 10 दशलक्ष फेऱ्यांनंतर, लपणाऱ्यांनी रॅम्प खेळण्याच्या क्षेत्राच्या काठावर ड्रॅग करणे आणि विरोधकांना त्यांचा वापर करण्यापासून रोखण्यासाठी त्यांना लॉक करणे शिकले.

388 दशलक्ष सामन्यांनंतर, साधकांनी त्यांच्यासाठी आणलेल्या क्रेटवर चढण्यासाठी अवरोधित रॅम्प वापरणे शिकले आहे आणि नंतर, थेट त्यांच्यावर चढून, पोर्टेबल भिंतींमधून तयार केलेल्या शत्रूच्या अड्ड्यांमध्ये प्रवेश करणे शिकले आहे. आणि अखेरीस, 458 दशलक्ष सामन्यांनंतर, लपलेल्या संघाने निष्कर्ष काढला की त्यांना सर्व वस्तू अवरोधित करणे आणि नंतर एक आश्रय तयार करणे आवश्यक आहे, ज्यामुळे वरवर पाहता त्यांचा अंतिम विजय झाला.

विशेषतः प्रभावशाली गोष्ट म्हणजे 22 दशलक्ष सामन्यांनंतर, एजंट त्यांच्या कृतींचे समन्वय साधण्यास शिकले आणि त्यांच्या सहकार्याची कार्यक्षमता केवळ भविष्यात वाढली, उदाहरणार्थ, प्रत्येकाने निवारा तयार करण्यासाठी स्वतःचा बॉक्स किंवा भिंत आणली आणि वस्तूंचा वाटा निवडला. अवरोधित करणे, विरोधकांना अडचण खेळ क्लिष्ट करणे.

शास्त्रज्ञांनी शिकण्याच्या गतीवर प्रशिक्षण वस्तूंच्या संख्येच्या प्रभावाशी संबंधित एक महत्त्वाचा मुद्दा (न्यूरल नेटवर्कमधून पास केलेल्या डेटाचे प्रमाण - "बॅच आकार") देखील लक्षात घेतले. डिफॉल्ट मॉडेलला 132,3 तासांच्या प्रशिक्षणामध्ये 34 दशलक्ष सामने आवश्यक आहेत जेथे लपलेल्या टीमने रॅम्प अवरोधित करणे शिकले आहे, तर अधिक डेटामुळे प्रशिक्षण वेळेत लक्षणीय घट झाली आहे. उदाहरणार्थ, पॅरामीटर्सची संख्या (संपूर्ण प्रशिक्षण प्रक्रियेदरम्यान मिळवलेल्या डेटाचा भाग) 0,5 दशलक्ष वरून 5,8 दशलक्ष पर्यंत वाढवण्यामुळे सॅम्पलिंग कार्यक्षमता 2,2 पट वाढली आणि इनपुट डेटाचा आकार 64 KB वरून 128 KB पर्यंत वाढल्याने प्रशिक्षण कमी झाले. वेळ जवळजवळ दीड वेळा.

त्यांच्या कामाच्या शेवटी, संशोधकांनी गेममधील प्रशिक्षण एजंटांना गेमबाहेरील तत्सम कार्यांना सामोरे जाण्यास किती मदत करू शकते याची चाचणी घेण्याचे ठरविले. एकूण पाच चाचण्या होत्या: वस्तूंच्या संख्येबद्दल जागरुकता (एखादी वस्तू दृष्टीबाहेर असली आणि वापरली नसली तरीही ती अस्तित्वात राहते हे समजणे); "लॉक आणि रिटर्न" - एखाद्याची मूळ स्थिती लक्षात ठेवण्याची आणि काही अतिरिक्त कार्य पूर्ण केल्यानंतर परत येण्याची क्षमता; "अनुक्रमिक अवरोधित करणे" - 4 बॉक्स यादृच्छिकपणे तीन खोल्यांमध्ये दरवाजे नसलेले होते, परंतु आत जाण्यासाठी रॅम्पसह, एजंटना ते सर्व शोधून अवरोधित करणे आवश्यक होते; पूर्वनिर्धारित साइट्सवर बॉक्सची नियुक्ती; सिलेंडरच्या स्वरूपात एखाद्या वस्तूभोवती निवारा तयार करणे.

परिणामी, पाचपैकी तीन टास्कमध्ये, गेममध्ये प्राथमिक प्रशिक्षण घेतलेले बॉट्स जलद शिकले आणि सुरवातीपासून समस्या सोडवण्यासाठी प्रशिक्षित केलेल्या AI पेक्षा चांगले परिणाम दाखवले. त्यांनी कार्य पूर्ण करणे आणि सुरुवातीच्या स्थितीत परत येणे, क्रमशः बंद खोल्यांमध्ये बॉक्स अवरोधित करणे आणि दिलेल्या भागात बॉक्स ठेवणे यात थोडी चांगली कामगिरी केली, परंतु वस्तूंची संख्या ओळखण्यात आणि दुसर्‍या वस्तूभोवती आवरण तयार करण्यात थोडीशी कमकुवत कामगिरी केली.

संशोधक संमिश्र परिणामांचे श्रेय AI कसे शिकते आणि विशिष्ट कौशल्ये लक्षात ठेवते. “आम्हाला वाटते की ज्या कार्यांमध्ये गेम-प्री-ट्रेनिंगने सर्वोत्तम कामगिरी केली आहे त्यामध्ये पूर्वी शिकलेल्या कौशल्यांचा परिचित मार्गाने पुनर्वापर करणे समाविष्ट आहे, तर उर्वरित कार्ये सुरवातीपासून प्रशिक्षित केलेल्या AI पेक्षा अधिक चांगल्या प्रकारे पार पाडण्यासाठी त्यांचा वेगळ्या पद्धतीने वापर करणे आवश्यक आहे, जे जास्त आहे अधिक कठीण,” कामाचे सह-लेखक लिहा. "हे परिणाम एका वातावरणातून दुसर्‍या वातावरणात हस्तांतरित करताना प्रशिक्षणाद्वारे मिळविलेल्या कौशल्यांचा प्रभावीपणे पुनर्वापर करण्यासाठी पद्धती विकसित करण्याची आवश्यकता अधोरेखित करते."

केलेले कार्य खरोखरच प्रभावी आहे, कारण ही शिकवण्याची पद्धत वापरण्याची शक्यता कोणत्याही खेळांच्या मर्यादेपलीकडे आहे. संशोधकांचे म्हणणे आहे की त्यांचे कार्य "भौतिक-आधारित" आणि "मानव-समान" वर्तनासह AI तयार करण्याच्या दिशेने एक महत्त्वपूर्ण पाऊल आहे जे रोगांचे निदान करू शकते, जटिल प्रोटीन रेणूंच्या संरचनेचा अंदाज लावू शकते आणि सीटी स्कॅनचे विश्लेषण करू शकते.

खालील व्हिडिओमध्ये तुम्ही स्पष्टपणे पाहू शकता की संपूर्ण शिक्षण प्रक्रिया कशी झाली, AI ने टीमवर्क कसे शिकले आणि त्याची रणनीती अधिकाधिक धूर्त आणि जटिल होत गेली.

स्त्रोत: 3dnews.ru