सुदृढीकरण सीखना या विकासवादी रणनीतियाँ? - दोनों

हे हबर!

हम अक्सर यहां उन पाठों के अनुवाद पोस्ट करने का निर्णय नहीं लेते हैं जो दो साल पुराने थे, बिना कोड के और स्पष्ट रूप से अकादमिक प्रकृति के - लेकिन आज हम एक अपवाद बनाएंगे। हम आशा करते हैं कि लेख के शीर्षक में उत्पन्न दुविधा हमारे कई पाठकों को चिंतित करती है, और आप पहले ही विकासवादी रणनीतियों पर मौलिक काम पढ़ चुके हैं जिसके साथ यह पोस्ट मूल में बहस करती है या अब इसे पढ़ेंगे। बिल्ली का स्वागत है!

मार्च 2017 में, OpenAI ने पेपर के साथ गहन शिक्षण समुदाय में लहरें पैदा कीं।सुदृढीकरण सीखने के लिए एक स्केलेबल विकल्प के रूप में विकास रणनीतियाँ" इस कार्य ने इस तथ्य के पक्ष में प्रभावशाली परिणामों का वर्णन किया है कि सुदृढीकरण सीखना (आरएल) एक कील नहीं बन गया है, और जटिल तंत्रिका नेटवर्क को प्रशिक्षित करते समय, अन्य तरीकों को आज़माने की सलाह दी जाती है। इसके बाद सुदृढीकरण सीखने के महत्व और शिक्षण समस्या समाधान के लिए "आवश्यक" तकनीक के रूप में इसकी स्थिति कितनी उपयुक्त है, इस पर बहस छिड़ गई। यहां मैं यह कहना चाहता हूं कि इन दो तकनीकों को प्रतिस्पर्धी नहीं माना जाना चाहिए, जिनमें से एक स्पष्ट रूप से दूसरे से बेहतर है; इसके विपरीत, वे अंततः एक दूसरे के पूरक हैं। वास्तव में, यदि आप इस बारे में थोड़ा सोचें कि इसे बनाने में क्या लगता है सामान्य ए.आई और ऐसी प्रणालियाँ, जो अपने पूरे अस्तित्व में सीखने, निर्णय लेने और योजना बनाने में सक्षम होंगी, तो हम लगभग निश्चित रूप से इस निष्कर्ष पर पहुंचेंगे कि इस या उस संयुक्त समाधान की आवश्यकता होगी। वैसे, यह वह संयुक्त समाधान था जो प्रकृति के पास आया, जिसने विकास के दौरान स्तनधारियों और अन्य उच्च जानवरों को जटिल बुद्धि प्रदान की।

विकासवादी रणनीतियाँ

ओपनएआई पेपर की मुख्य थीसिस यह थी कि, पारंपरिक बैकप्रॉपैगेशन के साथ सुदृढीकरण सीखने का उपयोग करने के बजाय, उन्होंने "विकासवादी रणनीति" (ईएस) का उपयोग करके जटिल समस्याओं को हल करने के लिए एक तंत्रिका नेटवर्क को सफलतापूर्वक प्रशिक्षित किया। इस ईएस दृष्टिकोण में वजन के नेटवर्क-व्यापी वितरण को बनाए रखना शामिल है, जिसमें समानांतर में काम करने वाले कई एजेंट शामिल हैं और इस वितरण से चयनित मापदंडों का उपयोग करते हैं। प्रत्येक एजेंट अपने स्वयं के वातावरण में काम करता है, और एपिसोड की एक निर्दिष्ट संख्या या चरणों के पूरा होने पर, एल्गोरिदम एक संचयी इनाम लौटाता है, जिसे फिटनेस स्कोर के रूप में व्यक्त किया जाता है। इस मान को ध्यान में रखते हुए, मापदंडों के वितरण को अधिक सफल एजेंटों की ओर स्थानांतरित किया जा सकता है, कम सफल लोगों को वंचित किया जा सकता है। सैकड़ों एजेंटों की भागीदारी के साथ इस तरह के ऑपरेशन को लाखों बार दोहराकर, वजन के वितरण को एक ऐसे स्थान पर ले जाना संभव है जो एजेंटों को उन्हें सौंपे गए कार्य को हल करने के लिए उच्च गुणवत्ता वाली नीति बनाने की अनुमति देगा। वास्तव में, लेख में प्रस्तुत परिणाम प्रभावशाली हैं: यह दिखाया गया है कि यदि आप एक हजार एजेंटों को समानांतर में चलाते हैं, तो दो पैरों पर मानवरूपी हरकत आधे घंटे से भी कम समय में सीखी जा सकती है (जबकि सबसे उन्नत आरएल तरीकों के लिए भी अधिक खर्च करने की आवश्यकता होती है) इस पर एक घंटे से अधिक)। अधिक विस्तृत जानकारी के लिए, मैं उत्कृष्ट पढ़ने की सलाह देता हूं पद प्रयोग के लेखकों से, साथ ही वैज्ञानिक लेख.

एंथ्रोपोमोर्फिक सीधा चलना सिखाने के लिए विभिन्न रणनीतियों का ओपनएआई से ईएस पद्धति का उपयोग करके अध्ययन किया गया।

ब्लैक बॉक्स

इस पद्धति का बड़ा लाभ यह है कि इसे आसानी से समानांतर किया जा सकता है। जबकि आरएल विधियों, जैसे ए3सी, के लिए वर्कर थ्रेड और एक पैरामीटर सर्वर के बीच जानकारी के आदान-प्रदान की आवश्यकता होती है, ईएस को केवल फिटनेस अनुमान और सामान्यीकृत पैरामीटर वितरण जानकारी की आवश्यकता होती है। इस सरलता के कारण ही यह विधि स्केलिंग क्षमताओं के मामले में आधुनिक आरएल विधियों से कहीं आगे है। हालाँकि, यह सब व्यर्थ नहीं है: आपको ब्लैक बॉक्स सिद्धांत के अनुसार नेटवर्क को अनुकूलित करना होगा। इस मामले में, "ब्लैक बॉक्स" का अर्थ है कि प्रशिक्षण के दौरान नेटवर्क की आंतरिक संरचना को पूरी तरह से नजरअंदाज कर दिया जाता है, और केवल समग्र परिणाम (एपिसोड के लिए इनाम) का उपयोग किया जाता है, और यह इस पर निर्भर करता है कि किसी विशेष नेटवर्क का वजन होगा या नहीं आने वाली पीढ़ियों को विरासत में मिलेगा। ऐसी स्थितियों में जहां हमें पर्यावरण से अधिक प्रतिक्रिया नहीं मिलती है - और कई पारंपरिक आरएल समस्याओं में पुरस्कारों का प्रवाह बहुत कम होता है - समस्या "आंशिक रूप से ब्लैक बॉक्स" से "पूरी तरह से ब्लैक बॉक्स" में बदल जाती है। इस मामले में, आप उत्पादकता में उल्लेखनीय वृद्धि कर सकते हैं, इसलिए, निश्चित रूप से, ऐसा समझौता उचित है। "अगर ग्रेडिएंट्स वैसे भी निराशाजनक रूप से शोरगुल वाले हैं तो उन्हें किसकी ज़रूरत है?" - यह आम राय है.

हालाँकि, उन स्थितियों में जहां फीडबैक अधिक सक्रिय होता है, ईएस के लिए चीजें गलत होने लगती हैं। ओपनएआई टीम बताती है कि कैसे ईएस का उपयोग करके एक सरल एमएनआईएसटी वर्गीकरण नेटवर्क को प्रशिक्षित किया गया था, और इस बार प्रशिक्षण 1000 गुना धीमा था। तथ्य यह है कि छवि वर्गीकरण में ग्रेडिएंट सिग्नल नेटवर्क को बेहतर वर्गीकरण कैसे सिखाया जाए, इसके बारे में बेहद जानकारीपूर्ण है। इस प्रकार, समस्या आरएल तकनीक के साथ कम है और शोर ग्रेडिएंट उत्पन्न करने वाले वातावरण में विरल पुरस्कारों के साथ अधिक है।

प्रकृति का समाधान

अगर हम एआई विकसित करने के तरीकों के बारे में सोचते हुए प्रकृति के उदाहरण से सीखने की कोशिश करें, तो कुछ मामलों में एआई के बारे में सोचा जा सकता है समस्या-उन्मुख दृष्टिकोण. आख़िरकार, प्रकृति उन बाधाओं के भीतर काम करती है जो कंप्यूटर वैज्ञानिकों के पास नहीं हैं। एक राय है कि किसी विशेष समस्या को हल करने के लिए विशुद्ध सैद्धांतिक दृष्टिकोण अनुभवजन्य विकल्पों की तुलना में अधिक प्रभावी समाधान प्रदान कर सकता है। हालाँकि, मुझे अभी भी लगता है कि यह परीक्षण करना सार्थक होगा कि कैसे कुछ बाधाओं (पृथ्वी) के तहत काम करने वाली एक गतिशील प्रणाली ने लचीले और जटिल व्यवहार में सक्षम एजेंटों (जानवरों, विशेष रूप से स्तनधारियों) को उत्पन्न किया है। हालाँकि इनमें से कुछ बाधाएँ सिम्युलेटेड डेटा विज्ञान की दुनिया में लागू नहीं होती हैं, अन्य ठीक हैं।

स्तनधारियों के बौद्धिक व्यवहार की जांच करने पर, हम देखते हैं कि यह दो निकट से संबंधित प्रक्रियाओं के जटिल पारस्परिक प्रभाव के परिणामस्वरूप बनता है: दूसरों के अनुभवों से सीखना и करके सीखना. पूर्व को अक्सर प्राकृतिक चयन द्वारा संचालित विकास के साथ समझा जाता है, लेकिन यहां मैं एपिजेनेटिक्स, माइक्रोबायोम और अन्य तंत्रों को ध्यान में रखने के लिए एक व्यापक शब्द का उपयोग करता हूं जो आनुवंशिक रूप से असंबंधित जीवों के बीच अनुभवों को साझा करने में सक्षम बनाता है। दूसरी प्रक्रिया, अनुभव से सीखना, वह सारी जानकारी है जो एक जानवर अपने पूरे जीवन में सीखने का प्रबंधन करता है, और यह जानकारी सीधे बाहरी दुनिया के साथ इस जानवर की बातचीत से निर्धारित होती है। इस श्रेणी में सीखने से लेकर वस्तुओं को पहचानने से लेकर सीखने की प्रक्रिया में निहित संचार में महारत हासिल करने तक सब कुछ शामिल है।

मोटे तौर पर कहें तो, प्रकृति में होने वाली इन दो प्रक्रियाओं की तुलना तंत्रिका नेटवर्क को अनुकूलित करने के दो विकल्पों से की जा सकती है। विकासवादी रणनीतियाँ, जहाँ ग्रेडिएंट्स के बारे में जानकारी का उपयोग जीव के बारे में जानकारी को अद्यतन करने के लिए किया जाता है, दूसरों के अनुभव से सीखने के करीब आती हैं। इसी तरह, ग्रेडिएंट विधियां, जहां एक या दूसरे अनुभव को प्राप्त करने से एजेंट के व्यवहार में एक या दूसरा बदलाव होता है, किसी के अपने अनुभव से सीखने के बराबर होती है। यदि हम उन बुद्धिमान व्यवहार या क्षमताओं के प्रकार के बारे में सोचें जो इन दोनों दृष्टिकोणों में से प्रत्येक जानवरों में विकसित होता है, तो तुलना अधिक स्पष्ट हो जाती है। दोनों मामलों में, "विकासवादी तरीके" प्रतिक्रियाशील व्यवहारों के अध्ययन को बढ़ावा देते हैं जो किसी व्यक्ति को एक निश्चित फिटनेस (जीवित रहने के लिए पर्याप्त) विकसित करने की अनुमति देते हैं। चलना या कैद से भागना सीखना कई मामलों में अधिक "सहज" व्यवहार के बराबर है जो आनुवंशिक स्तर पर कई जानवरों में "हार्ड-वायर्ड" होते हैं। इसके अलावा, यह उदाहरण पुष्टि करता है कि विकासवादी तरीके उन मामलों में लागू होते हैं जहां इनाम संकेत बेहद दुर्लभ होता है (उदाहरण के लिए, बच्चे के सफल पालन-पोषण का तथ्य)। ऐसे मामले में, इस तथ्य के घटित होने से कई साल पहले किए गए किसी विशिष्ट कार्य के साथ इनाम को सहसंबंधित करना असंभव है। दूसरी ओर, यदि हम ऐसे मामले पर विचार करते हैं जिसमें ईएस विफल रहता है, अर्थात् छवि वर्गीकरण, तो परिणाम उल्लेखनीय रूप से 100 से अधिक वर्षों में किए गए अनगिनत व्यवहार मनोवैज्ञानिक प्रयोगों में प्राप्त पशु सीखने के परिणामों के बराबर हैं।

जानवरों से सीखना

सुदृढीकरण सीखने में उपयोग की जाने वाली विधियाँ कई मामलों में सीधे मनोवैज्ञानिक साहित्य से ली गई हैं स्फूर्त अनुकूलन, और पशु मनोविज्ञान का उपयोग करके संचालक कंडीशनिंग का अध्ययन किया गया था। वैसे, सुदृढीकरण सीखने के दो संस्थापकों में से एक, रिचर्ड सटन के पास मनोविज्ञान में स्नातक की डिग्री है। संचालक कंडीशनिंग के संदर्भ में, जानवर विशिष्ट व्यवहार पैटर्न के साथ इनाम या सजा को जोड़ना सीखते हैं। प्रशिक्षक और शोधकर्ता किसी न किसी तरह से इस इनाम एसोसिएशन में हेरफेर कर सकते हैं, जिससे जानवरों को बुद्धिमत्ता या कुछ व्यवहार प्रदर्शित करने के लिए उकसाया जा सकता है। हालाँकि, पशु अनुसंधान में उपयोग की जाने वाली ऑपरेंट कंडीशनिंग, उसी कंडीशनिंग के अधिक स्पष्ट रूप से ज्यादा कुछ नहीं है जिसके आधार पर जानवर अपने पूरे जीवन में सीखते हैं। हम लगातार पर्यावरण से सकारात्मक सुदृढीकरण के संकेत प्राप्त करते हैं और तदनुसार अपने व्यवहार को समायोजित करते हैं। वास्तव में, कई न्यूरोवैज्ञानिकों और संज्ञानात्मक वैज्ञानिकों का मानना ​​है कि मनुष्य और अन्य जानवर वास्तव में और भी उच्च स्तर पर काम करते हैं और संभावित पुरस्कारों के आधार पर भविष्य की स्थितियों में अपने व्यवहार के परिणाम की भविष्यवाणी करना लगातार सीखते हैं।

अनुभव से सीखने में भविष्यवाणी की केंद्रीय भूमिका ऊपर वर्णित गतिशीलता को महत्वपूर्ण तरीकों से बदल देती है। जिस सिग्नल को पहले बहुत विरल (एपिसोडिक रिवार्ड) माना जाता था वह बहुत सघन हो गया है। सैद्धांतिक रूप से, स्थिति कुछ इस प्रकार है: किसी भी समय, स्तनपायी का मस्तिष्क संवेदी उत्तेजनाओं और कार्यों की एक जटिल धारा के आधार पर परिणामों की गणना कर रहा है, जबकि जानवर बस इस धारा में डूबा हुआ है। इस मामले में, जानवर का अंतिम व्यवहार एक मजबूत संकेत देता है जिसका उपयोग पूर्वानुमानों के समायोजन और व्यवहार के विकास को निर्देशित करने के लिए किया जाना चाहिए। मस्तिष्क भविष्य में पूर्वानुमान (और, तदनुसार, किए गए कार्यों की गुणवत्ता) को अनुकूलित करने के लिए इन सभी संकेतों का उपयोग करता है। इस दृष्टिकोण का एक सिंहावलोकन उत्कृष्ट पुस्तक "सर्फिंग अनिश्चिततासंज्ञानात्मक वैज्ञानिक और दार्शनिक एंडी क्लार्क। यदि हम कृत्रिम एजेंटों के प्रशिक्षण के लिए इस तरह के तर्क का विस्तार करते हैं, तो सुदृढीकरण सीखने में एक बुनियादी दोष सामने आता है: इस प्रतिमान में उपयोग किया जाने वाला संकेत जो हो सकता है (या होना चाहिए) की तुलना में निराशाजनक रूप से कमजोर है। ऐसे मामलों में जहां सिग्नल संतृप्ति को बढ़ाना असंभव है (शायद इसलिए कि यह स्वाभाविक रूप से कमजोर है या निम्न-स्तरीय प्रतिक्रियाशीलता से जुड़ा हुआ है), शायद ऐसी प्रशिक्षण पद्धति को प्राथमिकता देना बेहतर है जो अच्छी तरह से समानांतर हो, उदाहरण के लिए, ईएस।

तंत्रिका नेटवर्क का समृद्ध प्रशिक्षण

स्तनधारी मस्तिष्क में निहित उच्च तंत्रिका गतिविधि के सिद्धांतों पर निर्माण, जो लगातार भविष्यवाणियां करने में व्यस्त रहता है, हाल ही में सुदृढीकरण सीखने में प्रगति हुई है, जो अब ऐसी भविष्यवाणियों के महत्व को ध्यान में रखता है। मैं तुरंत आपको दो समान कार्यों की अनुशंसा कर सकता हूं:

• भविष्य की भविष्यवाणी करके कार्य करना सीखना
• बिना पर्यवेक्षित सहायक कार्यों के साथ सुदृढीकरण सीखना

इन दोनों पत्रों में, लेखक भविष्य में पर्यावरण की स्थिति के बारे में पूर्वानुमान परिणामों के साथ अपने तंत्रिका नेटवर्क की विशिष्ट डिफ़ॉल्ट नीति को पूरक करते हैं। पहले लेख में, पूर्वानुमान को विभिन्न माप चरों पर लागू किया जाता है, और दूसरे में, पूर्वानुमान को पर्यावरण में परिवर्तन और एजेंट के व्यवहार पर लागू किया जाता है। दोनों मामलों में, सकारात्मक सुदृढीकरण से जुड़ा विरल संकेत अधिक समृद्ध और अधिक जानकारीपूर्ण हो जाता है, जिससे तेजी से सीखने और अधिक जटिल व्यवहारों के अधिग्रहण दोनों की अनुमति मिलती है। ऐसे सुधार केवल उन तरीकों के साथ उपलब्ध हैं जो ग्रेडिएंट सिग्नल का उपयोग करते हैं, न कि उन तरीकों के साथ जो "ब्लैक बॉक्स" सिद्धांत पर काम करते हैं, जैसे ईएस।

इसके अलावा, अनुभव और क्रमिक तरीकों से सीखना अधिक प्रभावी है। यहां तक ​​कि ऐसे मामलों में जहां सुदृढीकरण सीखने की तुलना में ईएस पद्धति का उपयोग करके किसी विशेष समस्या का तेजी से अध्ययन करना संभव था, लाभ इस तथ्य के कारण प्राप्त हुआ था कि ईएस रणनीति में आरएल की तुलना में कई गुना अधिक डेटा शामिल था। इस मामले में जानवरों में सीखने के सिद्धांतों पर विचार करते हुए, हम ध्यान देते हैं कि किसी और के उदाहरण से सीखने का परिणाम कई पीढ़ियों के बाद प्रकट होता है, जबकि कभी-कभी स्वयं द्वारा अनुभव की गई एक घटना जानवर के लिए हमेशा के लिए सबक सीखने के लिए पर्याप्त होती है। जबकि पसंद है उदाहरण के बिना प्रशिक्षण हालाँकि यह पारंपरिक ग्रेडिएंट तरीकों में बिल्कुल फिट नहीं बैठता है, यह ES की तुलना में बहुत अधिक समझदार है। उदाहरण के लिए, ऐसे दृष्टिकोण हैं तंत्रिका एपिसोडिक नियंत्रण, जहां प्रशिक्षण के दौरान Q-मान संग्रहीत किए जाते हैं, जिसके बाद प्रोग्राम कार्रवाई करने से पहले उनकी जांच करता है। परिणाम एक क्रमिक विधि है जो आपको यह सीखने की अनुमति देती है कि समस्याओं को पहले की तुलना में बहुत तेजी से कैसे हल किया जाए। तंत्रिका एपिसोडिक नियंत्रण पर एक लेख में, लेखकों ने मानव हिप्पोकैम्पस का उल्लेख किया है, जो एक अनुभव के बाद भी किसी घटना के बारे में जानकारी बनाए रखने में सक्षम है और इसलिए, खेलता है महत्वपूर्ण भूमिका याद करने की प्रक्रिया में. ऐसे तंत्रों के लिए एजेंट के आंतरिक संगठन तक पहुंच की आवश्यकता होती है, जो कि परिभाषा के अनुसार, ईएस प्रतिमान में असंभव है।

तो, उन्हें संयोजित क्यों न किया जाए?

यह संभव है कि इस लेख का अधिकांश भाग यह प्रभाव छोड़े कि मैं आरएल तरीकों की वकालत कर रहा हूं। हालाँकि, मुझे वास्तव में लगता है कि लंबे समय में सबसे अच्छा समाधान दोनों तरीकों को संयोजित करना है, ताकि प्रत्येक का उपयोग उन स्थितियों में किया जा सके जिनमें यह सबसे उपयुक्त है। जाहिर है, कई प्रतिक्रियाशील नीतियों के मामले में या सकारात्मक सुदृढीकरण के बहुत कम संकेतों वाली स्थितियों में, ईएस जीतता है, खासकर यदि आपके पास अपने निपटान में कंप्यूटिंग शक्ति है जिस पर आप बड़े पैमाने पर समानांतर प्रशिक्षण चला सकते हैं। दूसरी ओर, सुदृढीकरण सीखने या पर्यवेक्षित शिक्षण का उपयोग करने वाली क्रमिक विधियां तब उपयोगी होंगी जब हमारे पास व्यापक प्रतिक्रिया तक पहुंच होगी और हमें यह सीखने की आवश्यकता होगी कि किसी समस्या को जल्दी और कम डेटा के साथ कैसे हल किया जाए।

प्रकृति की ओर मुड़ते हुए, हम पाते हैं कि पहली विधि, संक्षेप में, दूसरे की नींव रखती है। यही कारण है कि, विकास के दौरान, स्तनधारियों ने मस्तिष्क विकसित किया है जो उन्हें पर्यावरण से आने वाले जटिल संकेतों से बेहद प्रभावी ढंग से सीखने की अनुमति देता है। तो, सवाल खुला रहता है. शायद विकासवादी रणनीतियाँ हमें प्रभावी शिक्षण वास्तुकला का आविष्कार करने में मदद करेंगी जो क्रमिक सीखने के तरीकों के लिए भी उपयोगी होंगी। आख़िरकार, प्रकृति द्वारा खोजा गया समाधान वास्तव में बहुत सफल है।

स्रोत: www.habr.com