DeepMind AI मास्टर्स टीम प्ले आणि Quake III मध्ये मानवांना मागे टाकते

ध्वज कॅप्चर करा हा बर्‍याच लोकप्रिय नेमबाजांमध्ये आढळणारा एक सोपा स्पर्धात्मक मोड आहे. प्रत्येक संघाच्या पायावर एक मार्कर असतो आणि विरोधी संघाचे मार्कर कॅप्चर करणे आणि यशस्वीरित्या स्वतःकडे आणणे हे ध्येय आहे. तथापि, मानवांना जे समजणे सोपे आहे ते यंत्रांसाठी इतके सोपे नाही. ध्वज कॅप्चर करण्यासाठी, नॉन-प्लेअर कॅरेक्टर (बॉट्स) पारंपारिकपणे ह्युरिस्टिक्स आणि साधे अल्गोरिदम वापरून प्रोग्राम केले जातात जे निवडीचे मर्यादित स्वातंत्र्य प्रदान करतात आणि मानवांपेक्षा लक्षणीय निकृष्ट आहेत. परंतु कृत्रिम बुद्धिमत्ता आणि मशीन लर्निंग ही परिस्थिती पूर्णपणे बदलण्याचे वचन देते.

В लेख, या आठवड्यात सायन्स जर्नलमध्ये सुमारे एक वर्षानंतर प्रकाशित झाले पूर्वमुद्रणतसेच तुमच्या ब्लॉगवर, DeepMind, Alphabet च्या लंडनस्थित उपकंपनीचे संशोधक, अशा प्रणालीचे वर्णन करतात जी केवळ id Software च्या Quake III Arena नकाशेवर ध्वज कॅप्चर करणे शिकू शकत नाही, तर संपूर्णपणे नवीन टीम स्ट्रॅटेजी विकसित करू शकते, कोणत्याही प्रकारे मानवापेक्षा कनिष्ठ नाही.

“एआयला हा गेम कसा खेळायचा हे कोणीही सांगितले नाही, त्याचा फक्त परिणाम झाला - एआयने त्याच्या प्रतिस्पर्ध्याला हरवले की नाही. हा दृष्टीकोन वापरण्याचे सौंदर्य हे आहे की जेव्हा तुम्ही एजंटांना प्रशिक्षण देता तेव्हा कोणती वर्तणूक उदयास येईल हे तुम्हाला कधीच कळत नाही,” मॅक्स जॅडरबर्ग म्हणतात, डीपमाइंडचे संशोधन शास्त्रज्ञ ज्यांनी यापूर्वी मशीन लर्निंग सिस्टम अल्फास्टारवर काम केले होते (अलीकडेच मागे टाकले स्टारक्राफ्ट II मधील व्यावसायिकांची मानवी टीम). त्यांनी पुढे स्पष्ट केले की त्यांच्या नवीन कार्याची मुख्य पद्धत म्हणजे, प्रथम, प्रबलित शिक्षण, जी सॉफ्टवेअर एजंट्सना निश्चित उद्दिष्टे साध्य करण्यासाठी धक्का देण्यासाठी एक प्रकारची बक्षीस प्रणाली वापरते आणि एआय टीम जिंकली की नाही याची पर्वा न करता बक्षीस प्रणाली कार्य करते. , परंतु -दुस-यांदा, एजंटना गटांमध्ये प्रशिक्षित केले गेले, ज्याने एआयला सुरुवातीपासूनच संघाच्या परस्परसंवादावर प्रभुत्व मिळवण्यास भाग पाडले.

"संशोधनाच्या दृष्टिकोनातून, अल्गोरिदमिक दृष्टिकोनासाठी ही एक नवीनता आहे जी खरोखरच रोमांचक आहे," मॅक्स जोडले. "आम्ही आमच्या एआयला ज्या प्रकारे प्रशिक्षित केले ते काही उत्कृष्ट उत्क्रांतीवादी कल्पनांना कसे मोजायचे आणि कसे अंमलात आणायचे हे चांगले दाखवते."

उत्तेजकपणे फॉर द विन (FTW) असे नाव देण्यात आले आहे, डीपमाइंडचे एजंट कॉन्व्होल्युशनल न्यूरल नेटवर्क वापरून स्क्रीन पिक्सेलमधून थेट शिकतात, मानवी व्हिज्युअल कॉर्टेक्सच्या नंतर मॉडेल केलेल्या स्तरांमध्ये मांडलेल्या गणितीय कार्यांचा (न्यूरॉन्स) संच. प्राप्त डेटा एकाधिक शॉर्ट-टर्म मेमरी (इंग्रजी लाँग शॉर्ट-टर्म मेमरी - LSTM) असलेल्या दोन नेटवर्कवर प्रसारित केला जातो, जो दीर्घकालीन अवलंबित्व ओळखण्यास सक्षम असतो. त्यापैकी एक वेगवान प्रतिसादाच्या गतीने ऑपरेशनल डेटा व्यवस्थापित करतो, तर दुसरा विश्लेषण आणि धोरणे तयार करण्यासाठी हळूहळू कार्य करतो. दोन्ही व्हेरिएशनल मेमरीशी संबंधित आहेत, ज्याचा वापर ते गेमच्या जगात बदलांचा अंदाज लावण्यासाठी आणि इम्युलेटेड गेम कंट्रोलरद्वारे कृती करण्यासाठी करतात.

एकूण, DeepMind ने 30 एजंटना प्रशिक्षित केले, त्यांना खेळण्यासाठी संघमित्र आणि विरोधकांची श्रेणी दिली आणि AI ला लक्षात ठेवण्यापासून रोखण्यासाठी यादृच्छिकपणे गेम कार्डे निवडली. प्रत्येक एजंटचे स्वतःचे रिवॉर्ड सिग्नल होते, ज्यामुळे ते ध्वज कॅप्चर करणे यासारखी स्वतःची अंतर्गत उद्दिष्टे तयार करू शकतात. प्रत्येक AI वैयक्तिकरित्या सुमारे 450 हजार गेम कॅप्चर द फ्लॅग खेळले, जे सुमारे चार वर्षांच्या गेमिंग अनुभवाच्या समतुल्य आहे.

पूर्णपणे प्रशिक्षित FTW एजंट कोणत्याही नकाशा, संघ रोस्टर आणि संघ आकारासाठी सामान्य धोरणे लागू करण्यास शिकले आहेत. त्यांनी सहकाऱ्यांचे अनुसरण करणे, शत्रूच्या तळावर तळ ठोकणे आणि हल्लेखोरांपासून त्यांचा बचाव करणे यासारखे मानवी वर्तन शिकले आणि त्यांनी हळू हळू कमी फायदेशीर नमुने गमावले जसे की मित्राला खूप जवळून पाहणे.

तर काय परिणाम साध्य झाले? 40-व्यक्तींच्या स्पर्धेत ज्यामध्ये मानव आणि एजंट यादृच्छिकपणे एकत्र आणि एकमेकांविरुद्ध खेळले, FTW एजंट्सनी मानवी खेळाडूंच्या विजय दरापेक्षा लक्षणीय कामगिरी केली. AI चे Elo रेटिंग, जे जिंकण्याची संभाव्यता आहे, 1600 होते, त्या तुलनेत "बलवान" मानवी खेळाडूंसाठी 1300 आणि "सरासरी" मानवी खेळाडूंसाठी 1050.

हे आश्चर्यकारक नाही, कारण AI ची प्रतिक्रिया गती मानवाच्या तुलनेत लक्षणीय आहे, ज्यामुळे सुरुवातीच्या प्रयोगांमध्ये पूर्वीचा एक महत्त्वपूर्ण फायदा झाला. परंतु एजंट्सची अचूकता कमी झाली आणि प्रतिक्रिया वेळ वाढला तरीही अंगभूत 257 मिलीसेकंद लेटन्सीमुळे, एआयने मानवांपेक्षा जास्त कामगिरी केली. प्रगत आणि अनौपचारिक खेळाडूंनी एकूण खेळांपैकी फक्त 21% आणि 12% जिंकले.

शिवाय, अभ्यासाच्या प्रकाशनानंतर, शास्त्रज्ञांनी एजंट्सची पूर्ण विकसित क्वेक III एरिना नकाशांवर जटिल स्तरावरील आर्किटेक्चर आणि अतिरिक्त वस्तू जसे की फ्यूचर क्रॉसिंग्ज आणि आयर्नवुडसह चाचणी घेण्याचे ठरविले, जिथे AI ने चाचणी सामन्यांमध्ये मानवांना यशस्वीरित्या आव्हान देण्यास सुरुवात केली. . जेव्हा संशोधकांनी एजंट्सच्या न्यूरल नेटवर्क अॅक्टिव्हेशन पॅटर्नकडे पाहिले, म्हणजे येणार्‍या माहितीच्या आधारे आउटपुट निश्चित करण्यासाठी जबाबदार न्यूरॉन्सची कार्ये, तेव्हा त्यांना क्लस्टर्सचे प्रतिनिधित्व करणारे खोल्या, ध्वजांची स्थिती, टीममेट आणि विरोधकांची दृश्यमानता आणि शत्रूच्या तळावर एजंटची उपस्थिती किंवा अनुपस्थिती. किंवा संघ-आधारित आणि गेमप्लेच्या इतर महत्त्वपूर्ण पैलू. प्रशिक्षित एजंटमध्ये न्यूरॉन्स देखील असतात जे विशिष्ट परिस्थितींना थेट एन्कोड करतात, जसे की एजंटने ध्वज घेतला होता किंवा जेव्हा मित्राने तो धरला होता.

"मला असे वाटते की या बहु-एजंट संघ अत्यंत शक्तिशाली आहेत आणि आमच्या अभ्यासातून हे दिसून येते," जेडरबर्ग म्हणतात. "गेल्या काही वर्षांपासून आम्ही अधिक चांगले आणि चांगले करायला शिकत आहोत - मजबुतीकरण शिक्षणाची समस्या कशी सोडवायची." आणि वर्धित प्रशिक्षण खरोखरच चमकदारपणे कार्य करते.”

थोर ग्रेपेल, युनिव्हर्सिटी कॉलेज लंडनमधील संगणक शास्त्राचे प्राध्यापक आणि डीपमाइंड शास्त्रज्ञ, यांचा विश्वास आहे की त्यांचे कार्य एआयच्या भविष्यासाठी बहु-एजंट शिक्षणाच्या संभाव्यतेवर प्रकाश टाकते. हे मानवी-मशीन परस्परसंवाद आणि एकमेकांना पूरक असलेल्या किंवा एकत्र काम करणार्‍या प्रणालींमधील संशोधनासाठी आधार म्हणून देखील काम करू शकते.

“आमचे परिणाम दर्शवतात की मल्टी-एजंट रीइन्फोर्समेंट लर्निंग एका जटिल गेममध्ये यशस्वीरित्या प्रभुत्व मिळवू शकते की मानवी खेळाडूंना असे वाटते की संगणक खेळाडू चांगले संघमित्र बनवतात. ग्रेपेल म्हणतात की प्रशिक्षित एजंट कसे वागतात आणि एकत्र काम करतात याचे अत्यंत मनोरंजक सखोल विश्लेषण देखील या अभ्यासात दिले आहे. “हे परिणाम इतके रोमांचक काय बनवतात ते म्हणजे या एजंटना त्यांचे वातावरण पहिल्या व्यक्तीमध्ये जाणवते, [म्हणजे] एखाद्या मानवी खेळाडूप्रमाणे. डावपेच कसे खेळायचे आणि त्यांच्या सहकाऱ्यांसोबत सहकार्य कसे करायचे हे शिकण्यासाठी, या एजंटना खेळाच्या निकालांवर आधारित फीडबॅकवर अवलंबून राहावे लागले, कोणत्याही शिक्षक किंवा प्रशिक्षकाने त्यांना काय करावे हे न दाखवता.”

स्त्रोत: 3dnews.ru