OpenAI ले लुकाउने र खोज्ने खेलमा AI टोली कार्य सिकाउँछ

लुकाउने र खोज्ने राम्रो पुरानो जमानाको खेल कृत्रिम बुद्धिमत्ता (AI) बटहरूको लागि तिनीहरूले कसरी निर्णय गर्छन् र एकअर्कासँग अन्तरक्रिया गर्छन् र तिनीहरूको वरपरका विभिन्न वस्तुहरू प्रदर्शन गर्नका लागि उत्कृष्ट परीक्षण हुन सक्छ।

उनको मा नयाँ लेख, ओपनएआई, एक गैर-लाभकारी कृत्रिम बुद्धिमत्ता अनुसन्धान संस्थाका शोधकर्ताहरू द्वारा प्रकाशित जुन प्रसिद्ध भएको छ। विश्व च्याम्पियन माथि विजय कम्प्युटर गेम डोटा २ मा, वैज्ञानिकहरूले कसरी कृत्रिम बुद्धिमत्ताद्वारा नियन्त्रित एजेन्टहरूलाई भर्चुअल वातावरणमा एकअर्काबाट खोजी र लुकाउन अझ परिष्कृत हुन तालिम दिइयो भनेर वर्णन गर्छन्। अध्ययनको नतिजाले देखाएको छ कि दुई बटहरूको टोलीले सहयोगी बिना कुनै एकल एजेन्ट भन्दा बढी प्रभावकारी र छिटो सिक्न सक्छ।

वैज्ञानिकहरूले एक विधि प्रयोग गरेका छन् जसले लामो समयसम्म यसको प्रसिद्धि जितेको छ सुदृढीकरण संग मेशिन शिक्षा, जसमा कृत्रिम बुद्धिमत्तालाई अज्ञात वातावरणमा राखिएको छ, जबकि यससँग अन्तरक्रिया गर्ने निश्चित तरिकाहरू, साथै यसको कार्यहरूको एक वा अर्को परिणामको लागि पुरस्कार र जरिवानाको प्रणाली। भर्चुअल वातावरणमा व्यक्तिले कल्पना गर्न सक्ने भन्दा करोडौं गुणा छिटो, अत्याधिक गतिमा भर्चुअल वातावरणमा विभिन्न कार्यहरू गर्न सक्ने क्षमताका कारण यो विधि निकै प्रभावकारी छ। यसले परीक्षण र त्रुटिलाई दिइएको समस्या समाधान गर्न सबैभन्दा प्रभावकारी रणनीतिहरू फेला पार्न अनुमति दिन्छ। तर यस दृष्टिकोणमा पनि केही सीमितताहरू छन्, उदाहरणका लागि, वातावरण सिर्जना गर्न र धेरै प्रशिक्षण चक्रहरू सञ्चालन गर्न ठूलो कम्प्युटिङ स्रोतहरू चाहिन्छ, र प्रक्रियालाई यसको लक्ष्यसँग AI कार्यहरूको परिणामहरू तुलना गर्नको लागि सही प्रणाली चाहिन्छ। थप रूपमा, यस तरीकाले एजेन्टले हासिल गरेका सीपहरू वर्णन गरिएको कार्यमा सीमित छन् र, AI ले यसको सामना गर्न सिक्ने बित्तिकै, त्यहाँ कुनै थप सुधारहरू हुनेछैनन्।

AI लाई लुकाउन र खोज्नको लागि तालिम दिन, वैज्ञानिकहरूले "अनडायरेक्टेड एक्सप्लोरेसन" भन्ने दृष्टिकोण प्रयोग गरे, जहाँ एजेन्टहरूसँग खेलको संसारको बारेमा आफ्नो बुझाइ विकास गर्न र विजयी रणनीतिहरू विकास गर्न पूर्ण स्वतन्त्रता हुन्छ। यो बहु-एजेन्ट सिकाउने दृष्टिकोण जस्तै हो जुन DeepMind का अनुसन्धानकर्ताहरूले धेरै कृत्रिम बुद्धिमत्ता प्रणालीहरूमा प्रयोग गर्दा Quake III Arena मा फ्ल्याग मोड क्याप्चर खेल्न तालिम दिइएको थियो। यस अवस्थामा जस्तै, एआई एजेन्टहरू पहिले खेलका नियमहरूमा प्रशिक्षित थिएनन्, तर समयको साथ तिनीहरूले आधारभूत रणनीतिहरू सिके र गैर-तुच्छ समाधानहरूको साथ अनुसन्धानकर्ताहरूलाई चकित पार्न सक्षम भए।

लुकाउन र खोज्ने खेलमा, धेरै एजेन्टहरू जसको काम लुकाउने थियो उनीहरूलाई उनीहरूको विपक्षीको दृश्यबाट जोगिन आवश्यक थियो थोरै टाउको सुरु गरेपछि खोजी एजेन्टहरूको टोली स्थिर थियो। यसबाहेक, यस सन्दर्भमा "दृश्य रेखा" एक व्यक्तिगत बोटको अगाडि 135 डिग्री कोन हो। एजेन्टहरूले खेल्ने क्षेत्रभन्दा बाहिर धेरै टाढा जान सकेनन् र वरिपरि छरिएका केही बाह्य वस्तुहरू (बक्सहरू, चल पर्खालहरू, विशेष र्याम्पहरू) प्रयोग गर्ने क्षमताको साथ अनियमित रूपमा उत्पन्न कोठाहरू नेभिगेट गर्न बाध्य भए जुन कभर बनाउन र तिनीहरूमा घुसपैठ गर्न दुवै प्रयोग गर्न सकिन्छ। ।

लामो सिकाइ प्रक्रिया मार्फत, एआई एजेन्टहरूले छवटा अनौठो रणनीतिहरू सिकेका थिए, जसमध्ये प्रत्येकले उनीहरूलाई खेलको अर्को चरणमा पुग्न मद्दत गर्‍यो। सुरुमा, खोज्ने र लुक्ने टोलीहरू सजिलै भागेर एकअर्कालाई पछ्याए, तर लगभग 25 मिलियन खेलहरू पछि, लुकाउने टोलीले बाकसहरू सहित मार्गहरू ब्लक गर्न र तिनीहरूबाट आश्रयहरू बनाउन सिके। अर्को 75 मिलियन खेलहरू पछि, टोलीले यी लुकाउने ठाउँहरूमा पुग्न र्याम्पहरू प्रयोग गर्ने तरिकाहरू पत्ता लगाए। अर्को 10 मिलियन राउन्डहरू पछि, हाइडरहरूले र्‍याम्पहरू खेल्ने क्षेत्रको छेउमा तान्न र विरोधीहरूलाई प्रयोग गर्नबाट रोक्न तिनीहरूलाई ठाउँमा लक गर्न सिकेका थिए।

388 मिलियन म्याचहरू पछि, खोजकर्ताहरूले उनीहरूलाई ल्याइएका क्रेटहरूमा चढ्न अवरुद्ध र्याम्पहरू प्रयोग गर्न सिकेका छन्, र त्यसपछि, सिधै तिनीहरूमा सर्दै, पोर्टेबल पर्खालहरूबाट सिर्जना गरिएका शत्रु लुकेका ठाउँहरू छिर्न सिकेका छन्। र अन्तमा, 458 मिलियन खेलहरू पछि, लुकेको टोलीले निष्कर्ष निकाल्यो कि उनीहरूले सबै वस्तुहरू रोक्न र त्यसपछि आश्रय निर्माण गर्न आवश्यक छ, जसले स्पष्ट रूपमा उनीहरूको अन्तिम विजयको नेतृत्व गर्यो।

के विशेष गरी प्रभावशाली छ कि 22 मिलियन म्याच पछि, एजेन्टहरूले आफ्नो कार्यहरू समन्वय गर्न सिके र तिनीहरूको सहयोगको दक्षता भविष्यमा मात्र बढ्यो, उदाहरणका लागि, प्रत्येकले आश्रय सिर्जना गर्न आफ्नै बाकस वा पर्खाल ल्याए र वस्तुहरूको आफ्नो अंश छनोट गरे। ब्लक, विपक्षीहरूलाई कठिनाई खेल जटिल बनाउन।

वैज्ञानिकहरूले पनि प्रशिक्षण वस्तुहरूको संख्याको प्रभावसँग सम्बन्धित महत्त्वपूर्ण बिन्दु (न्यूरल नेटवर्क मार्फत पारित डाटाको मात्रा - "ब्याच साइज") सिक्ने गतिमा उल्लेख गरे। पूर्वनिर्धारित मोडेललाई 132,3 घण्टाको प्रशिक्षणमा 34 मिलियन म्याचहरू चाहिन्छ जहाँ लुक्ने टोलीले र्याम्पहरू ब्लक गर्न सिकेको थियो, जबकि थप डेटाले प्रशिक्षणको समयमा उल्लेखनीय कमीको परिणाम दिन्छ। उदाहरणका लागि, प्यारामिटरहरूको संख्या (सम्पूर्ण प्रशिक्षण प्रक्रियामा प्राप्त डाटाको अंश) ०.५ मिलियन बाट ५.८ मिलियनमा बढाएर नमूना दक्षता २.२ गुणाले बढाएको छ, र इनपुट डाटाको साइज 0,5 KB बाट 5,8 KB सम्म बढाएर प्रशिक्षण घटाएको छ। समय लगभग डेढ पटक।

आफ्नो कामको अन्त्यमा, अन्वेषकहरूले खेलभित्रको तालिमले एजेन्टहरूलाई खेल बाहिरका समान कार्यहरू सामना गर्न मद्दत गर्न सक्छ भनेर परीक्षण गर्ने निर्णय गरे। त्यहाँ जम्मा पाँचवटा परीक्षणहरू थिए: वस्तुहरूको संख्याको जागरूकता (कुनै वस्तु नदेखेको र प्रयोग नगरिएको भए पनि अस्तित्वमा रहन्छ भन्ने बुझेर); "लक र रिटर्न" - आफ्नो मौलिक स्थिति सम्झने क्षमता र केहि अतिरिक्त कार्य पूरा गरेपछि फर्कन; "क्रमिक अवरुद्ध" - 4 बाकसहरू अनियमित रूपमा ढोका बिना तीन कोठामा अवस्थित थिए, तर भित्र जान र्‍याम्पको साथ, एजेन्टहरूले ती सबै खोज्न र रोक्न आवश्यक थियो; पूर्वनिर्धारित साइटहरूमा बक्सहरूको प्लेसमेन्ट; सिलिन्डरको रूपमा वस्तुको वरिपरि आश्रय सिर्जना गर्दै।

नतिजाको रूपमा, पाँच मध्ये तीन कार्यहरूमा, खेलमा प्रारम्भिक प्रशिक्षण लिइसकेका बटहरूले छिटो सिकेका थिए र स्क्र्याचबाट समस्याहरू समाधान गर्न प्रशिक्षित AI भन्दा राम्रो परिणामहरू देखाए। तिनीहरूले कार्य पूरा गर्न र सुरु स्थितिमा फर्केर, क्रमशः बन्द कोठाहरूमा बाकसहरू रोक्न, र दिइएको क्षेत्रमा बक्सहरू राख्नमा थोरै राम्रो प्रदर्शन गरे, तर वस्तुहरूको संख्या पहिचान गर्न र अर्को वस्तुको वरिपरि आवरण सिर्जना गर्नमा थोरै कमजोर प्रदर्शन गरे।

अनुसन्धानकर्ताहरूले मिश्रित नतिजाहरूलाई एआईले कसरी सिक्न र केही सीपहरू सम्झन्छ भनेर श्रेय दिन्छन्। "हामी सोच्दछौं कि खेल-पूर्व-प्रशिक्षणले उत्कृष्ट प्रदर्शन गरेको कार्यहरूमा पहिले सिकेका सीपहरू परिचित तरिकामा पुन: प्रयोग गर्ने समावेश छ, जबकि बाँकी कार्यहरू स्क्र्याचबाट प्रशिक्षित एआई भन्दा राम्रो प्रदर्शन गर्न तिनीहरूलाई फरक तरिकामा प्रयोग गर्न आवश्यक छ, जुन धेरै। अझ गाह्रो," कामका सह-लेखकहरू लेख्नुहोस्। "यस नतिजाले एक वातावरणबाट अर्को वातावरणमा स्थानान्तरण गर्दा तालिम मार्फत हासिल गरिएका सीपहरूलाई प्रभावकारी रूपमा पुन: प्रयोग गर्न विधिहरू विकास गर्ने आवश्यकतालाई हाइलाइट गर्दछ।"

गरिएको काम साँच्चै प्रभावशाली छ, किनकि यो शिक्षण विधि प्रयोग गर्ने सम्भावना कुनै पनि खेलहरूको सीमाभन्दा बाहिर छ। अनुसन्धानकर्ताहरू भन्छन् कि तिनीहरूको काम "भौतिक-आधारित" र "मानव-जस्तै" व्यवहारको साथ एआई सिर्जना गर्ने दिशामा महत्त्वपूर्ण कदम हो जसले रोगहरूको निदान गर्न सक्छ, जटिल प्रोटीन अणुहरूको संरचनाको भविष्यवाणी गर्न सक्छ र सीटी स्क्यानहरू विश्लेषण गर्दछ।

तलको भिडियोमा तपाईंले स्पष्ट रूपमा देख्न सक्नुहुन्छ कि कसरी सम्पूर्ण सिक्ने प्रक्रिया भयो, कसरी AI ले टीमवर्क सिक्यो, र यसको रणनीतिहरू अधिक र अधिक चालाक र जटिल हुँदै गयो।

स्रोत: 3dnews.ru