DeepMind AI मास्टर्स टिम प्ले र Quake III मा मानिसहरु लाई आउटपरफर्म गर्दछ

क्याप्चर द फ्ल्याग धेरै लोकप्रिय शूटरहरूमा पाइने एकदम सरल प्रतिस्पर्धी मोड हो। प्रत्येक टोलीसँग यसको आधारमा अवस्थित मार्कर हुन्छ, र लक्ष्य भनेको विपक्षी टोलीको मार्कर कब्जा गर्न र सफलतापूर्वक यसलाई आफैमा ल्याउनु हो। तर, मानिसलाई बुझ्न सजिलो कुरा मेसिनका लागि त्यति सजिलो छैन। झण्डा खिच्नका लागि, गैर-खेलाडी क्यारेक्टरहरू (बोटहरू) परम्परागत रूपमा हेरिस्टिक्स र सरल एल्गोरिदमहरू प्रयोग गरेर प्रोग्राम गरिएको छ जसले छनोटको सीमित स्वतन्त्रता प्रदान गर्दछ र मानिसहरू भन्दा महत्त्वपूर्ण रूपमा निम्न छन्। तर आर्टिफिसियल इन्टेलिजेन्स र मेसिन लर्निङले यो अवस्थालाई पूर्ण रूपमा परिवर्तन गर्ने वाचा गर्छ।

В लेखकरिब एक वर्षपछि साइन्स जर्नलमा यो हप्ता प्रकाशित भयो पूर्वमुद्रणसाथै तपाईको ब्लग, DeepMind, Alphabet को लन्डन-आधारित सहायक कम्पनीका अन्वेषकहरूले एउटा प्रणालीको वर्णन गर्छन् जसले id Software को Quake III Arena नक्सामा झण्डा क्याप्चर गर्न मात्र सिक्न सक्दैन, तर पूर्ण रूपमा नयाँ टोली रणनीतिहरू पनि विकास गर्न सक्छ, कुनै पनि हिसाबले मानवभन्दा कम छैन।

"कसैले पनि AI लाई यो खेल कसरी खेल्ने भनेर बताएन, यसको परिणाम मात्र थियो - चाहे AI ले आफ्नो प्रतिद्वन्द्वीलाई हराए वा नहोस्। यो दृष्टिकोण प्रयोग गर्नुको सुन्दरता यो हो कि तपाईले एजेन्टलाई तालिम दिँदा कस्तो व्यवहार देखा पर्नेछ भन्ने तपाईलाई थाहा छैन," म्याक्स जाडरबर्ग भन्छन्, डिपमाइन्डका अनुसन्धान वैज्ञानिक जसले पहिले मेसिन लर्निंग प्रणाली अल्फास्टारमा काम गरेका थिए। पार गर्यो StarCraft II मा पेशेवरहरूको मानव टोली)। उनले थप व्याख्या गरे कि तिनीहरूको नयाँ कामको मुख्य विधि पहिलो, प्रबलित सिकाइ हो, जसले सफ्टवेयर एजेन्टहरूलाई निर्धारित लक्ष्यहरू प्राप्त गर्न धक्का दिन एक प्रकारको पुरस्कार प्रणाली प्रयोग गर्दछ, र पुरस्कार प्रणालीले एआई टोलीले जित्यो वा नगरे पनि काम गर्यो। , तर दोस्रोमा, एजेन्टहरूलाई समूहमा तालिम दिइयो, जसले एआईलाई सुरुदेखि नै टोली अन्तरक्रियामा निपुण हुन बाध्य तुल्यायो।

"अनुसन्धानको दृष्टिकोणबाट, यो एल्गोरिदमिक दृष्टिकोणको लागि एक नवीनता हो जुन साँच्चै रोमाञ्चक छ," म्याक्सले थपे। "हामीले हाम्रो एआईलाई तालिम दिने तरिकाले केही क्लासिक विकासवादी विचारहरूलाई कसरी मापन गर्ने र कार्यान्वयन गर्ने भनेर राम्रोसँग देखाउँछ।"

उत्तेजक रूपमा विन (FTW) नाम दिइएको छ, DeepMind का एजेन्टहरूले कन्भोलुसनल न्यूरल नेटवर्कको प्रयोग गरेर स्क्रिन पिक्सेलबाट सिधै सिक्छन्, गणितीय कार्यहरू (न्यूरोन्स) को सेट मानव भिजुअल कोर्टेक्स पछि मोडेलमा व्यवस्थित गरिएको छ। प्राप्त डाटा धेरै छोटो अवधि मेमोरी (अंग्रेजी लामो छोटो-अवधि मेमोरी - LSTM) संग दुई सञ्जालहरूमा प्रसारण गरिन्छ, दीर्घकालीन निर्भरताहरू पहिचान गर्न सक्षम। ती मध्ये एकले द्रुत प्रतिक्रिया गतिको साथ परिचालन डेटा प्रबन्ध गर्दछ, जबकि अर्कोले विश्लेषण र रणनीतिहरू बनाउन बिस्तारै काम गर्दछ। दुबै भिन्नता मेमोरीसँग सम्बन्धित छन्, जुन उनीहरूले खेल संसारमा हुने परिवर्तनहरूको भविष्यवाणी गर्न र इमुलेटेड खेल नियन्त्रक मार्फत कार्यहरू गर्न सँगै प्रयोग गर्छन्।

कुल मिलाएर, DeepMind ले 30 एजेन्टहरूलाई तालिम दियो, उनीहरूलाई खेल्नका लागि टोलीका साथीहरू र विपक्षीहरूलाई दियो, र AI लाई उनीहरूलाई सम्झनबाट रोक्नको लागि अनियमित रूपमा खेल कार्डहरू चयन गर्यो। प्रत्येक एजेन्टको आफ्नै इनाम संकेत थियो, यसले झण्डा खिच्ने जस्ता आफ्नै आन्तरिक लक्ष्यहरू सिर्जना गर्न अनुमति दिन्छ। प्रत्येक AI ले व्यक्तिगत रूपमा झण्डा क्याप्चर गर्ने लगभग 450 हजार खेल खेलेको छ, जुन लगभग चार वर्षको गेमिङ अनुभव बराबर हो।

पूर्ण रूपमा प्रशिक्षित FTW एजेन्टहरूले कुनै पनि नक्सा, टोली रोस्टर, र टोली आकारमा साझा रणनीतिहरू लागू गर्न सिकेका छन्। उनीहरूले टोलीका साथीहरूलाई पछ्याउने, शत्रुको आधारमा क्याम्पिङ गर्ने र आक्रमणकारीहरूबाट आफ्नो आधारको रक्षा गर्ने जस्ता मानवीय व्यवहारहरू सिकेका थिए र उनीहरूले बिस्तारै सहयोगीलाई नजिकबाट हेर्ने जस्ता कम लाभदायक ढाँचाहरू गुमाए।

त्यसोभए के परिणामहरू प्राप्त भए? 40-व्यक्तिको टूर्नामेंटमा जसमा मानिस र एजेन्टहरू अनियमित रूपमा सँगै र एकअर्काको विरुद्धमा खेले, FTW एजेन्टहरूले मानव खेलाडीहरूको जित दरलाई उल्लेखनीय रूपमा उत्कृष्ट प्रदर्शन गरे। AI को Elo रेटिङ, जुन जित्ने सम्भाव्यता हो, 1600 थियो, जबकि "बलियो" मानव खेलाडीहरूको लागि 1300 र "औसत" मानव खेलाडीको लागि 1050 थियो।

यो अचम्मको कुरा होइन, किनकि AI को प्रतिक्रिया गति मानवको भन्दा धेरै उच्च छ, जसले पहिलेको प्रारम्भिक प्रयोगहरूमा महत्त्वपूर्ण फाइदा दियो। तर जब एजेन्टहरूको शुद्धता कम भयो र प्रतिक्रिया समय बढ्यो बिल्ट-इन 257 मिलिसेकेन्ड विलम्बताको लागि धन्यवाद, AI ले अझै पनि मानिसहरूलाई पछाडि पार्यो। उन्नत र अनौपचारिक खेलाडीहरूले कुल खेलहरूको क्रमशः २१% र १२% मात्र जितेका थिए।

यसबाहेक, अध्ययनको प्रकाशन पछि, वैज्ञानिकहरूले जटिल स्तरको वास्तुकला र फ्यूचर क्रसिङ्स र आइरनवुड जस्ता अतिरिक्त वस्तुहरू सहित पूर्ण विकसित क्वाक III एरेना नक्सामा एजेन्टहरू परीक्षण गर्ने निर्णय गरे, जहाँ एआईले परीक्षण म्याचहरूमा मानवहरूलाई सफलतापूर्वक चुनौती दिन थाले। । जब शोधकर्ताहरूले एजेन्टहरूको न्यूरल नेटवर्क सक्रियता ढाँचाहरू हेरे, अर्थात्, आगमन जानकारीको आधारमा आउटपुट निर्धारण गर्न जिम्मेवार न्यूरोन्सको कार्यहरू, तिनीहरूले कोठाहरू, झण्डाहरूको अवस्था, टोलीका साथीहरू र विरोधीहरूको दृश्यता, र प्रतिनिधित्व गर्ने क्लस्टरहरू भेट्टाए। शत्रुको आधारमा एजेन्टहरूको उपस्थिति वा अनुपस्थिति। वा टोलीमा आधारित, र गेमप्लेका अन्य महत्त्वपूर्ण पक्षहरू। प्रशिक्षित एजेन्टहरूले न्युरोनहरू पनि समावेश गर्दछ जसले विशेष परिस्थितिहरूलाई सीधा इन्कोड गर्दछ, जस्तै जब एजेन्टले झण्डा लियो वा जब सहयोगीले यसलाई समातेको थियो।

"मलाई लाग्छ कि हेर्नु पर्ने एउटा कुरा यो हो कि यी बहु-एजेन्ट टोलीहरू अत्यन्त शक्तिशाली छन्, र हाम्रो अध्ययनले त्यो देखाउँछ," जेडरबर्ग भन्छन्। "हामीले पछिल्ला केही वर्षहरूमा अझ राम्रो र राम्रो गर्न सिकिरहेका छौं - सुदृढीकरण शिक्षाको समस्या कसरी समाधान गर्ने।" र परिष्कृत प्रशिक्षणले वास्तवमै उत्कृष्ट काम गर्‍यो। ”

युनिभर्सिटी कलेज लन्डनका कम्प्युटर विज्ञानका प्रोफेसर र डीपमाइन्ड वैज्ञानिक थोर ग्रेपेल विश्वास गर्छन् कि उनीहरूको कामले एआईको भविष्यको लागि बहु-एजेन्ट शिक्षाको सम्भावनालाई हाइलाइट गर्दछ। यसले मानव-मेसिन अन्तरक्रिया र एकअर्कालाई पूरक वा सँगै काम गर्ने प्रणालीहरूमा अनुसन्धानको लागि आधारको रूपमा पनि काम गर्न सक्छ।

"हाम्रा नतिजाहरूले देखाउँछन् कि बहु-एजेन्ट सुदृढीकरण शिक्षाले सफलतापूर्वक एक जटिल खेलमा मास्टर गर्न सक्छ कि मानव खेलाडीहरूले कम्प्युटर खेलाडीहरूले राम्रो टोलीका साथीहरू बनाउँछन् भन्ने विश्वास गर्न सक्छन्। यस अध्ययनले प्रशिक्षित एजेन्टहरूले कसरी व्यवहार गर्छन् र सँगै काम गर्छन् भन्ने बारे अत्यन्त चाखलाग्दो गहन विश्लेषण पनि प्रदान गर्दछ, ग्रेपेल भन्छन्। "के यी नतिजाहरूलाई यति रोमाञ्चक बनाउँछ कि यी एजेन्टहरूले पहिलो व्यक्तिमा उनीहरूको वातावरण बुझ्छन्, [यो] मानव खेलाडी जस्तै। रणनीतिक रूपमा कसरी खेल्ने र आफ्नो टोलीका साथीहरूसँग सहकार्य गर्ने भनेर सिक्नको लागि, यी एजेन्टहरूले खेलको नतिजाबाट प्रतिक्रियामा भर पर्नुपरेको थियो, कुनै शिक्षक वा प्रशिक्षकले उनीहरूलाई के गर्ने भनेर नदेखाई नै।"

स्रोत: 3dnews.ru