मजबुतीकरण शिक्षण किंवा उत्क्रांती धोरणे? - दोन्ही

अहो हाब्र!

दोन वर्षे जुने, कोड नसलेले आणि स्पष्टपणे शैक्षणिक स्वरूपाचे असलेले मजकुराचे भाषांतर आम्ही येथे पोस्ट करण्याचे ठरवत नाही - परंतु आज आम्ही अपवाद करू. आम्हाला आशा आहे की लेखाच्या शीर्षकात निर्माण झालेली संदिग्धता आमच्या अनेक वाचकांना चिंतित करते आणि तुम्ही उत्क्रांतीवादी धोरणांवरील मूलभूत कार्य आधीच वाचले आहे ज्यावर हे पोस्ट मूळमध्ये वाद घालते किंवा आता ते वाचाल. मांजर मध्ये आपले स्वागत आहे!

मार्च 2017 मध्ये, OpenAI ने या पेपरने सखोल शिक्षण समुदायात लहरीपणा आणला.मजबुतीकरण शिक्षणासाठी स्केलेबल पर्याय म्हणून उत्क्रांती धोरणे.” या कार्याने प्रभावी परिणामांचे वर्णन केले आहे की मजबुतीकरण शिक्षण (आरएल) एक पाचर बनलेले नाही आणि जटिल न्यूरल नेटवर्कला प्रशिक्षण देताना, इतर पद्धती वापरण्याचा सल्ला दिला जातो. त्यानंतर मजबुतीकरण शिक्षणाचे महत्त्व आणि अध्यापन समस्या सोडवण्यासाठी "असणे आवश्यक" तंत्रज्ञान म्हणून त्याची स्थिती किती पात्र आहे याबद्दल वादविवाद सुरू झाला. येथे मला असे म्हणायचे आहे की या दोन तंत्रज्ञानांना स्पर्धात्मक मानले जाऊ नये, त्यापैकी एक स्पष्टपणे इतरांपेक्षा चांगले आहे; त्याउलट, ते शेवटी एकमेकांना पूरक आहेत. खरंच, आपण तयार करण्यासाठी काय घेते याबद्दल थोडा विचार केला तर सामान्य AI आणि अशा प्रणाली, ज्या त्यांच्या संपूर्ण अस्तित्वात शिकण्यास, निर्णय घेण्यास आणि नियोजन करण्यास सक्षम असतील, तर आम्ही जवळजवळ निश्चितपणे या किंवा त्या एकत्रित समाधानाची आवश्यकता असेल या निष्कर्षापर्यंत पोहोचू. तसे, निसर्गाने नेमके हे एकत्रित समाधान दिले, ज्याने उत्क्रांतीच्या काळात सस्तन प्राणी आणि इतर उच्च प्राण्यांना जटिल बुद्धिमत्ता प्रदान केली.

उत्क्रांतीवादी धोरणे

ओपनएआय पेपरचा मुख्य प्रबंध असा होता की, पारंपारिक बॅकप्रोपेगेशनसह सुदृढीकरण शिक्षण वापरण्याऐवजी, त्यांनी "उत्क्रांतीवादी धोरण" (ES) म्हटल्या जाणार्‍या जटिल समस्यांचे निराकरण करण्यासाठी तंत्रिका नेटवर्कला यशस्वीरित्या प्रशिक्षित केले. या ES दृष्टिकोनामध्ये वजनाचे नेटवर्क-व्यापी वितरण राखणे, समांतरपणे काम करणारे एकाधिक एजंट आणि या वितरणातून निवडलेल्या पॅरामीटर्सचा समावेश करणे समाविष्ट आहे. प्रत्येक एजंट त्याच्या स्वतःच्या वातावरणात कार्य करतो आणि विशिष्ट भाग किंवा एपिसोडचे टप्पे पूर्ण केल्यावर, अल्गोरिदम फिटनेस स्कोअर म्हणून व्यक्त केलेले संचयी बक्षीस देते. हे मूल्य विचारात घेऊन, पॅरामीटर्सचे वितरण कमी यशस्वी एजंट्सकडे वळवले जाऊ शकते, कमी यशस्वी एजंट्सकडे वळवले जाऊ शकते. शेकडो एजंट्सच्या सहभागाने अशा प्रकारच्या ऑपरेशनची लाखो वेळा पुनरावृत्ती करून, वजनाचे वितरण अशा जागेवर हलविणे शक्य आहे जे एजंट्सना त्यांना नियुक्त केलेले कार्य सोडवण्यासाठी उच्च-गुणवत्तेचे धोरण तयार करण्यास अनुमती देईल. खरंच, लेखात सादर केलेले परिणाम प्रभावी आहेत: हे दर्शविले आहे की जर तुम्ही समांतरपणे एक हजार एजंट्स चालवले तर अर्ध्या तासापेक्षा कमी वेळेत दोन पायांवर मानववंशीय लोकोमोशन शिकले जाऊ शकते (जरी सर्वात प्रगत RL पद्धतींना देखील अधिक खर्च करणे आवश्यक आहे. यावर एक तासापेक्षा जास्त). अधिक तपशीलवार माहितीसाठी, मी उत्कृष्ट वाचण्याची शिफारस करतो पोस्ट प्रयोगाच्या लेखकांकडून, तसेच वैज्ञानिक लेख.

मानववंशशास्त्रीय सरळ चालणे शिकवण्यासाठी विविध धोरणे, OpenAI मधील ES पद्धतीचा वापर करून अभ्यास केला.

काळा बॉक्स

या पद्धतीचा मोठा फायदा असा आहे की ते सहजपणे समांतर केले जाऊ शकते. RL पद्धती, जसे की A3C, कार्यकर्ता थ्रेड आणि पॅरामीटर सर्व्हर दरम्यान माहितीची देवाणघेवाण करणे आवश्यक असताना, ES ला फक्त फिटनेस अंदाज आणि सामान्यीकृत पॅरामीटर वितरण माहिती आवश्यक आहे. या साधेपणामुळे ही पद्धत स्केलिंग क्षमतेच्या बाबतीत आधुनिक आरएल पद्धतींपेक्षा खूप पुढे आहे. तथापि, हे सर्व व्यर्थ ठरत नाही: आपल्याला ब्लॅक बॉक्स तत्त्वानुसार नेटवर्क ऑप्टिमाइझ करावे लागेल. या प्रकरणात, "ब्लॅक बॉक्स" चा अर्थ असा आहे की प्रशिक्षणादरम्यान नेटवर्कच्या अंतर्गत संरचनेकडे पूर्णपणे दुर्लक्ष केले जाते आणि केवळ एकंदर परिणाम (भागासाठी बक्षीस) वापरला जातो आणि हे त्यावर अवलंबून असते की विशिष्ट नेटवर्कचे वजन किती असेल. त्यानंतरच्या पिढ्यांकडून वारसा मिळू शकेल. ज्या परिस्थितीत आम्हाला पर्यावरणाकडून फारसा प्रतिसाद मिळत नाही — आणि अनेक पारंपारिक RL समस्यांमध्ये पुरस्कारांचा प्रवाह खूपच विरळ असतो — समस्या "अंशतः ब्लॅक बॉक्स" पासून "पूर्णपणे ब्लॅक बॉक्स" मध्ये जाते. या प्रकरणात, आपण उत्पादकता लक्षणीय वाढवू शकता, म्हणून, अर्थातच, अशी तडजोड न्याय्य आहे. "तरीही हताशपणे गोंगाट करत असल्यास ग्रेडियंटची कोणाला गरज आहे?" - हे सर्वसाधारण मत आहे.

तथापि, फीडबॅक अधिक सक्रिय असलेल्या परिस्थितीत, ES साठी गोष्टी चुकीच्या होऊ लागतात. OpenAI टीम वर्णन करते की ES वापरून एक साधे MNIST वर्गीकरण नेटवर्क कसे प्रशिक्षित केले गेले आणि यावेळी प्रशिक्षण 1000 पटीने कमी होते. वस्तुस्थिती अशी आहे की प्रतिमा वर्गीकरणातील ग्रेडियंट सिग्नल नेटवर्कला अधिक चांगले वर्गीकरण कसे शिकवावे याबद्दल अत्यंत माहितीपूर्ण आहे. अशाप्रकारे, आरएल तंत्रात समस्या कमी आणि गोंगाटयुक्त ग्रेडियंट्स निर्माण करणाऱ्या वातावरणात विरळ बक्षिसे जास्त आहेत.

निसर्गाचा उपाय

जर आपण निसर्गाच्या उदाहरणावरून शिकण्याचा प्रयत्न केला, एआय विकसित करण्याच्या मार्गांचा विचार केला, तर काही प्रकरणांमध्ये एआयचा विचार केला जाऊ शकतो. समस्या-केंद्रित दृष्टीकोन. शेवटी, निसर्ग अशा मर्यादांमध्ये कार्य करतो जे संगणक शास्त्रज्ञांना नसते. असा एक मत आहे की एखाद्या विशिष्ट समस्येचे निराकरण करण्यासाठी पूर्णपणे सैद्धांतिक दृष्टिकोन अनुभवजन्य पर्यायांपेक्षा अधिक प्रभावी उपाय प्रदान करू शकतो. तथापि, मला अजूनही वाटते की काही मर्यादांखाली (पृथ्वी) कार्यरत असलेल्या डायनॅमिक सिस्टमने लवचिक आणि जटिल वर्तन करण्यास सक्षम एजंट (प्राणी, विशेषतः सस्तन प्राणी) कसे तयार केले आहेत याची चाचणी घेणे फायदेशीर ठरेल. यापैकी काही मर्यादा सिम्युलेटेड डेटा सायन्सच्या जगात लागू होत नसल्या तरी, इतर अगदी ठीक आहेत.

सस्तन प्राण्यांच्या बौद्धिक वर्तनाचे परीक्षण केल्यावर, आम्ही पाहतो की ते दोन घनिष्ठ परस्परसंबंधित प्रक्रियांच्या जटिल परस्पर प्रभावाच्या परिणामी तयार झाले आहे: इतरांच्या अनुभवातून शिकणे и करून शिकणे. पूर्वीचे सहसा नैसर्गिक निवडीद्वारे चालविलेल्या उत्क्रांतीशी समीकरण केले जाते, परंतु येथे मी एपिजेनेटिक्स, मायक्रोबायोम्स आणि अनुवांशिकदृष्ट्या असंबंधित जीवांमधील अनुभवांची देवाणघेवाण करण्यास सक्षम करणारी इतर यंत्रणा विचारात घेण्यासाठी एक व्यापक संज्ञा वापरतो. दुसरी प्रक्रिया, अनुभवातून शिकणे, ही सर्व माहिती आहे जी प्राणी आयुष्यभर शिकतो आणि ही माहिती थेट या प्राण्याच्या बाह्य जगाशी असलेल्या परस्परसंवादाद्वारे निश्चित केली जाते. या वर्गात वस्तू ओळखण्यापासून ते शिकण्याच्या प्रक्रियेत अंतर्भूत असलेल्या संप्रेषणावर प्रभुत्व मिळवण्यापर्यंत सर्व काही समाविष्ट आहे.

ढोबळपणे बोलायचे तर, निसर्गात घडणाऱ्या या दोन प्रक्रियांची तुलना न्यूरल नेटवर्क्स ऑप्टिमाइझ करण्याच्या दोन पर्यायांशी केली जाऊ शकते. उत्क्रांतीवादी धोरणे, जिथे ग्रेडियंट्सची माहिती जीवांबद्दलची माहिती अपडेट करण्यासाठी वापरली जाते, इतरांच्या अनुभवातून शिकण्याच्या जवळ येतात. त्याचप्रमाणे, ग्रेडियंट पद्धती, जेथे एक किंवा दुसरा अनुभव प्राप्त केल्याने एजंटच्या वर्तनात एक किंवा दुसरा बदल होतो, स्वतःच्या अनुभवातून शिकण्याशी तुलना करता येते. या दोन पध्दतींपैकी प्रत्येक प्राण्यांमध्ये कोणत्या प्रकारची बुद्धिमान वर्तन किंवा क्षमता विकसित होतात याचा विचार केल्यास, तुलना अधिक स्पष्ट होते. दोन्ही प्रकरणांमध्ये, "उत्क्रांतीवादी पद्धती" प्रतिक्रियाशील वर्तणुकीच्या अभ्यासाला प्रोत्साहन देतात ज्यामुळे एखाद्याला विशिष्ट फिटनेस (जिवंत राहण्यासाठी पुरेसा) विकसित करता येतो. बंदिवासातून चालणे किंवा पळून जाणे शिकणे हे बर्‍याच प्रकरणांमध्ये अनुवांशिक स्तरावर बर्‍याच प्राण्यांमध्ये "हार्ड-वायर्ड" असलेल्या अधिक "सहज" वागणुकीसारखे असते. याव्यतिरिक्त, हे उदाहरण पुष्टी करते की उत्क्रांतीवादी पद्धती अशा प्रकरणांमध्ये लागू होतात जेथे पुरस्कार सिग्नल अत्यंत दुर्मिळ आहे (उदाहरणार्थ, बाळाच्या यशस्वी संगोपनाची वस्तुस्थिती). अशा परिस्थितीत, या वस्तुस्थितीच्या घटनेच्या अनेक वर्षे आधी केलेल्या कृतींच्या कोणत्याही विशिष्ट संचाशी पुरस्काराचा संबंध जोडणे अशक्य आहे. दुसरीकडे, जर आपण ES अयशस्वी झालेल्या प्रकरणाचा विचार केला, म्हणजे प्रतिमा वर्गीकरण, तर त्याचे परिणाम 100 वर्षांहून अधिक वर्षांच्या अगणित वर्तणुकीशी संबंधित मनोवैज्ञानिक प्रयोगांमध्ये प्राप्त झालेल्या प्राण्यांच्या शिक्षणाच्या परिणामांशी तुलना करता येतील.

प्राण्यांकडून शिकणे

मजबुतीकरण शिक्षणामध्ये वापरल्या जाणार्‍या पद्धती बर्‍याच प्रकरणांमध्ये थेट मानसशास्त्रीय साहित्यातून घेतल्या जातात ऑपरेट कंडिशनिंग, आणि प्राणी मानसशास्त्र वापरून ऑपरेटंट कंडिशनिंगचा अभ्यास केला गेला. तसे, रिचर्ड सटन, मजबुतीकरण शिक्षणाच्या दोन संस्थापकांपैकी एक, मानसशास्त्रात बॅचलर पदवी आहे. ऑपरेटंट कंडिशनिंगच्या संदर्भात, प्राणी विशिष्ट वर्तणुकीच्या नमुन्यांसह बक्षीस किंवा शिक्षा संबद्ध करण्यास शिकतात. प्रशिक्षक आणि संशोधक या रिवॉर्ड असोसिएशनला एक प्रकारे किंवा दुसर्‍या मार्गाने हाताळू शकतात, प्राण्यांना बुद्धिमत्ता किंवा विशिष्ट वर्तन प्रदर्शित करण्यास प्रवृत्त करतात. तथापि, प्राणी संशोधनात वापरल्या जाणार्‍या ऑपरंट कंडिशनिंग हे त्याच कंडिशनिंगच्या अधिक स्पष्ट स्वरूपापेक्षा अधिक काही नाही ज्याच्या आधारावर प्राणी आयुष्यभर शिकतात. आम्हाला वातावरणातून सतत सकारात्मक मजबुतीकरणाचे संकेत मिळतात आणि त्यानुसार आमचे वर्तन समायोजित केले जाते. खरं तर, अनेक न्यूरोसायंटिस्ट आणि संज्ञानात्मक शास्त्रज्ञांचा असा विश्वास आहे की मानव आणि इतर प्राणी प्रत्यक्षात आणखी उच्च पातळीवर कार्य करतात आणि संभाव्य पुरस्कारांच्या आधारे भविष्यातील परिस्थितींमध्ये त्यांच्या वर्तनाच्या परिणामाचा अंदाज घेणे सतत शिकतात.

अनुभवातून शिकण्यामध्ये भविष्यवाणीची मध्यवर्ती भूमिका वर वर्णन केलेल्या गतिशीलतेला महत्त्वपूर्ण मार्गांनी बदलते. सिग्नल जो पूर्वी खूप विरळ मानला जात होता (एपिसोडिक रिवॉर्ड) खूप दाट आहे. सैद्धांतिकदृष्ट्या, परिस्थिती अशी आहे: कोणत्याही वेळी, सस्तन प्राण्यांचा मेंदू संवेदनात्मक उत्तेजना आणि क्रियांच्या जटिल प्रवाहावर आधारित परिणामांची गणना करत असतो, तर प्राणी फक्त या प्रवाहात बुडलेला असतो. या प्रकरणात, प्राण्यांचे अंतिम वर्तन एक मजबूत सिग्नल देते ज्याचा उपयोग अंदाजांचे समायोजन आणि वर्तनाच्या विकासासाठी मार्गदर्शन करण्यासाठी केला पाहिजे. भविष्यातील अंदाज (आणि त्यानुसार, केलेल्या कृतींची गुणवत्ता) अनुकूल करण्यासाठी मेंदू हे सर्व सिग्नल वापरतो. या दृष्टिकोनाचे विहंगावलोकन उत्कृष्ट पुस्तकात दिले आहे "सर्फिंग अनिश्चिततासंज्ञानात्मक शास्त्रज्ञ आणि तत्वज्ञानी अँडी क्लार्क. जर आपण कृत्रिम एजंट्सच्या प्रशिक्षणासाठी अशा तर्कशक्तीचा विस्तार केला, तर मजबुतीकरण शिक्षणातील एक मूलभूत त्रुटी प्रकट होईल: या प्रतिमानामध्ये वापरलेले सिग्नल हे जे असू शकते (किंवा असले पाहिजे) त्याच्या तुलनेत निराशाजनकपणे कमकुवत आहे. ज्या परिस्थितीत सिग्नल संपृक्तता वाढवणे अशक्य आहे (कदाचित ते मूळतः कमकुवत आहे किंवा कमी-स्तरीय प्रतिक्रियाशी संबंधित आहे), अशा प्रशिक्षण पद्धतीला प्राधान्य देणे चांगले आहे जे समांतर आहे, उदाहरणार्थ, ES.

न्यूरल नेटवर्कचे समृद्ध प्रशिक्षण

सस्तन प्राण्यांच्या मेंदूमध्ये अंतर्भूत असलेल्या उच्च न्यूरल क्रियाकलापांच्या तत्त्वांवर आधारित, जो सतत अंदाज बांधण्यात व्यस्त असतो, अलीकडील प्रगती मजबुतीकरण शिक्षणात केली गेली आहे, जी आता अशा भविष्यवाण्यांचे महत्त्व लक्षात घेते. मी तुम्हाला तत्सम दोन कामांची शिफारस करू शकतो:

• भविष्याचा अंदाज घेऊन कृती करायला शिकणे
• पर्यवेक्षण न केलेल्या सहाय्यक कार्यांसह मजबुतीकरण शिक्षण

या दोन्ही पेपर्समध्ये, लेखक त्यांच्या न्यूरल नेटवर्क्सच्या ठराविक डीफॉल्ट धोरणाची पूर्तता करतात आणि भविष्यात पर्यावरणाच्या स्थितीबद्दल अंदाज परिणाम देतात. पहिल्या लेखात, अंदाज विविध मापन व्हेरिएबल्सवर लागू केला जातो आणि दुसऱ्यामध्ये, वातावरणातील बदल आणि एजंटच्या वर्तनावर अंदाज लागू केला जातो. दोन्ही प्रकरणांमध्ये, सकारात्मक मजबुतीकरणाशी संबंधित विरळ सिग्नल अधिक समृद्ध आणि अधिक माहितीपूर्ण बनतो, ज्यामुळे जलद शिक्षण आणि अधिक जटिल वर्तणुकींचे संपादन दोन्ही शक्य होते. अशा सुधारणा केवळ ग्रेडियंट सिग्नल वापरणाऱ्या पद्धतींमध्ये उपलब्ध आहेत, आणि ES सारख्या “ब्लॅक बॉक्स” तत्त्वावर चालणाऱ्या पद्धतींमध्ये उपलब्ध नाहीत.

याव्यतिरिक्त, अनुभवातून शिकणे आणि ग्रेडियंट पद्धती अधिक प्रभावी आहेत. जरी मजबुतीकरण शिक्षण वापरण्यापेक्षा ES पद्धतीचा वापर करून एखाद्या विशिष्ट समस्येचा जलद अभ्यास करणे शक्य होते अशा प्रकरणांमध्येही, ES रणनीतीमध्ये RL पेक्षा कितीतरी पट अधिक डेटाचा समावेश असल्यामुळे फायदा प्राप्त झाला. प्राण्यांमधील शिकण्याच्या तत्त्वांवर या प्रकरणात प्रतिबिंबित करताना, आम्ही लक्षात घेतो की एखाद्याच्या उदाहरणावरून शिकण्याचा परिणाम अनेक पिढ्यांनंतर प्रकट होतो, तर कधीकधी स्वतःच अनुभवलेली एक घटना प्राण्यांसाठी कायमचा धडा शिकण्यासाठी पुरेशी असते. सारखे असताना उदाहरणांशिवाय प्रशिक्षण जरी ते पारंपारिक ग्रेडियंट पद्धतींमध्ये बसत नसले तरी ते ES पेक्षा अधिक समजण्यायोग्य आहे. उदाहरणार्थ, अशा पद्धती आहेत न्यूरल एपिसोडिक नियंत्रण, जेथे प्रशिक्षणादरम्यान Q-मूल्ये संग्रहित केली जातात, त्यानंतर कार्यक्रम कारवाई करण्यापूर्वी त्यांची तपासणी करतो. परिणाम एक ग्रेडियंट पद्धत आहे जी तुम्हाला पूर्वीपेक्षा कितीतरी लवकर समस्यांचे निराकरण कसे करावे हे शिकण्याची परवानगी देते. न्यूरल एपिसोडिक कंट्रोलवरील लेखात, लेखकांनी मानवी हिप्पोकॅम्पसचा उल्लेख केला आहे, जो एका अनुभवानंतरही एखाद्या घटनेची माहिती राखून ठेवण्यास सक्षम आहे आणि म्हणूनच, खेळतो. गंभीर भूमिका लक्षात ठेवण्याच्या प्रक्रियेत. अशा यंत्रणांना एजंटच्या अंतर्गत संस्थेत प्रवेश आवश्यक आहे, जे ES पॅराडाइममध्ये देखील अशक्य आहे.

मग, त्यांना एकत्र का नाही?

कदाचित या लेखाचा बराचसा भाग मी RL पद्धतींचा पुरस्कार करत असल्याची छाप सोडू शकतो. तथापि, मला असे वाटते की दीर्घकाळासाठी सर्वोत्तम उपाय म्हणजे दोन्ही पद्धती एकत्र करणे, जेणेकरुन प्रत्येकाचा वापर ज्या परिस्थितीत सर्वात योग्य असेल त्यामध्ये केला जाईल. साहजिकच, अनेक प्रतिक्रियाशील धोरणांच्या बाबतीत किंवा सकारात्मक मजबुतीकरणाचे अत्यंत विरळ संकेत असलेल्या परिस्थितीत, ES जिंकतो, खासकरून जर तुमच्याकडे संगणकीय शक्ती असेल ज्यावर तुम्ही मोठ्या प्रमाणात समांतर प्रशिक्षण चालवू शकता. दुसरीकडे, रीइन्फोर्समेंट लर्निंग किंवा पर्यवेक्षित शिक्षण वापरून ग्रेडियंट पद्धती उपयुक्त ठरतील जेव्हा आम्हाला विस्तृत अभिप्रायाचा प्रवेश असतो आणि समस्या लवकर आणि कमी डेटासह कशी सोडवायची हे शिकण्याची आवश्यकता असते.

निसर्गाकडे वळताना, आपल्याला आढळते की पहिली पद्धत, थोडक्यात, दुसऱ्यासाठी पाया घालते. म्हणूनच, उत्क्रांतीच्या काळात, सस्तन प्राण्यांनी मेंदू विकसित केला आहे ज्यामुळे त्यांना पर्यावरणातून येणार्‍या जटिल सिग्नलपासून अत्यंत प्रभावीपणे शिकता येते. त्यामुळे, प्रश्न खुला राहतो. कदाचित उत्क्रांतीवादी धोरणे आम्हाला प्रभावी शिक्षण आर्किटेक्चर शोधण्यात मदत करतील जी ग्रेडियंट शिक्षण पद्धतींसाठी देखील उपयुक्त ठरतील. शेवटी, निसर्गाने शोधलेला उपाय खरोखरच खूप यशस्वी आहे.

स्त्रोत: www.habr.com