મજબૂતીકરણ શિક્ષણ અથવા ઉત્ક્રાંતિ વ્યૂહરચના? - બંને

હે હબર!

અમે વારંવાર અહીં બે વર્ષ જૂના લખાણોના અનુવાદો પોસ્ટ કરવાનું નક્કી કરતા નથી, જે કોડ વગરના અને સ્પષ્ટપણે શૈક્ષણિક પ્રકૃતિના હતા - પરંતુ આજે અમે એક અપવાદ કરીશું. અમે આશા રાખીએ છીએ કે લેખના શીર્ષકમાં ઊભી થયેલી મૂંઝવણ અમારા ઘણા વાચકોને ચિંતિત કરે છે, અને તમે ઉત્ક્રાંતિ વ્યૂહરચના પર મૂળભૂત કાર્ય વાંચી લીધું છે કે જેની સાથે આ પોસ્ટ મૂળમાં દલીલ કરે છે અથવા તે હવે વાંચશે. બિલાડી પર આપનું સ્વાગત છે!

માર્ચ 2017માં, OpenAI એ પેપર સાથે ડીપ લર્નિંગ કોમ્યુનિટીમાં તરંગો મચાવ્યા હતા.રિઇન્ફોર્સમેન્ટ લર્નિંગના સ્કેલેબલ વિકલ્પ તરીકે ઉત્ક્રાંતિ વ્યૂહરચનાઓ" આ કાર્ય એ હકીકતની તરફેણમાં પ્રભાવશાળી પરિણામો વર્ણવે છે કે રિઇન્ફોર્સમેન્ટ લર્નિંગ (RL) ફાચર બની ગયું નથી, અને જ્યારે જટિલ ન્યુરલ નેટવર્કને તાલીમ આપવામાં આવે છે, ત્યારે અન્ય પદ્ધતિઓનો પ્રયાસ કરવાની સલાહ આપવામાં આવે છે. તે પછી મજબૂતીકરણ શિક્ષણના મહત્વ અને શિક્ષણ સમસ્યાના નિરાકરણ માટે "આવશ્યક" તકનીક તરીકે તેની સ્થિતિ કેવી રીતે લાયક છે તે અંગે ચર્ચા શરૂ થઈ. અહીં હું કહેવા માંગુ છું કે આ બે તકનીકોને પ્રતિસ્પર્ધી તરીકે ગણવી જોઈએ નહીં, જેમાંથી એક સ્પષ્ટપણે અન્ય કરતાં વધુ સારી છે; તેનાથી વિપરીત, તેઓ આખરે એકબીજાના પૂરક છે. ખરેખર, જો તમે તેને બનાવવા માટે શું લે છે તે વિશે થોડું વિચારો સામાન્ય AI અને આવી પ્રણાલીઓ, જે તેમના સમગ્ર અસ્તિત્વમાં શીખવા, નિર્ણય અને આયોજન કરવામાં સક્ષમ હશે, તો પછી આપણે લગભગ ચોક્કસપણે નિષ્કર્ષ પર આવીશું કે આ અથવા તે સંયુક્ત ઉકેલની જરૂર પડશે. માર્ગ દ્વારા, તે ચોક્કસપણે આ સંયુક્ત ઉકેલ હતો જે કુદરત પાસે આવ્યો, જેણે ઉત્ક્રાંતિ દરમિયાન સસ્તન પ્રાણીઓ અને અન્ય ઉચ્ચ પ્રાણીઓને જટિલ બુદ્ધિ સાથે સંપન્ન કર્યા.

ઉત્ક્રાંતિ વ્યૂહરચના

ઓપનએઆઈ પેપરની મુખ્ય થીસીસ એ હતી કે, પરંપરાગત બેકપ્રોપેગેશન સાથે સુદ્રઢીકરણ શિક્ષણનો ઉપયોગ કરવાને બદલે, તેઓએ "ઉત્ક્રાંતિ વ્યૂહરચના" (ES) તરીકે ઓળખાતી જટિલ સમસ્યાઓના ઉકેલ માટે ન્યુરલ નેટવર્કને સફળતાપૂર્વક તાલીમ આપી. આ ES અભિગમમાં વજનના નેટવર્ક-વ્યાપી વિતરણને જાળવી રાખવાનો સમાવેશ થાય છે, જેમાં સમાંતરમાં કામ કરતા બહુવિધ એજન્ટોનો સમાવેશ થાય છે અને આ વિતરણમાંથી પસંદ કરેલા પરિમાણોનો ઉપયોગ કરવામાં આવે છે. દરેક એજન્ટ તેના પોતાના વાતાવરણમાં કાર્ય કરે છે, અને એપિસોડના નિર્દિષ્ટ સંખ્યામાં એપિસોડ અથવા તબક્કાઓ પૂર્ણ કર્યા પછી, અલ્ગોરિધમ એક સંચિત પુરસ્કાર આપે છે, જે ફિટનેસ સ્કોર તરીકે વ્યક્ત કરવામાં આવે છે. આ મૂલ્યને ધ્યાનમાં લેતા, પરિમાણોનું વિતરણ ઓછા સફળ એજન્ટોને વંચિત કરીને વધુ સફળ એજન્ટો તરફ ખસેડી શકાય છે. સેંકડો એજન્ટોની ભાગીદારી સાથે આવા ઓપરેશનને લાખો વખત પુનરાવર્તિત કરીને, વજનના વિતરણને એવી જગ્યામાં ખસેડવાનું શક્ય છે જે એજન્ટોને તેમને સોંપેલ કાર્યને ઉકેલવા માટે ઉચ્ચ-ગુણવત્તાવાળી નીતિ ઘડવાની મંજૂરી આપશે. ખરેખર, લેખમાં પ્રસ્તુત પરિણામો પ્રભાવશાળી છે: તે દર્શાવવામાં આવ્યું છે કે જો તમે સમાંતર એક હજાર એજન્ટો ચલાવો છો, તો પછી બે પગ પર એન્થ્રોપોમોર્ફિક ગતિવિધિ અડધા કલાકથી ઓછા સમયમાં શીખી શકાય છે (જ્યારે સૌથી અદ્યતન RL પદ્ધતિઓમાં પણ વધુ ખર્ચ કરવાની જરૂર પડે છે. આના પર એક કલાક કરતાં). વધુ વિગતવાર માહિતી માટે, હું ઉત્તમ વાંચવાની ભલામણ કરું છું પોસ્ટ પ્રયોગના લેખકો તરફથી, તેમજ વૈજ્ઞાનિક લેખ.

માનવશાસ્ત્રીય સીધા ચાલતા શીખવવા માટેની વિવિધ વ્યૂહરચનાઓ, OpenAI માંથી ES પદ્ધતિનો ઉપયોગ કરીને અભ્યાસ કરવામાં આવ્યો.

કાળી પેટી

આ પદ્ધતિનો મોટો ફાયદો એ છે કે તેને સરળતાથી સમાંતર કરી શકાય છે. જ્યારે RL પદ્ધતિઓ, જેમ કે A3C, માટે વર્કર થ્રેડો અને પેરામીટર સર્વર વચ્ચે માહિતીની આપ-લે કરવાની આવશ્યકતા હોય છે, ES ને માત્ર ફિટનેસ અંદાજો અને સામાન્યીકૃત પેરામીટર વિતરણ માહિતીની જરૂર હોય છે. તે આ સરળતાને કારણે છે કે આ પદ્ધતિ સ્કેલિંગ ક્ષમતાઓના સંદર્ભમાં આધુનિક RL પદ્ધતિઓ કરતાં ઘણી આગળ છે. જો કે, આ બધું નિરર્થક નથી આવતું: તમારે બ્લેક બોક્સના સિદ્ધાંત અનુસાર નેટવર્કને ઑપ્ટિમાઇઝ કરવું પડશે. આ કિસ્સામાં, "બ્લેક બોક્સ" નો અર્થ એ છે કે તાલીમ દરમિયાન નેટવર્કની આંતરિક રચનાને સંપૂર્ણપણે અવગણવામાં આવે છે, અને માત્ર એકંદર પરિણામ (એપિસોડ માટે પુરસ્કાર) નો ઉપયોગ કરવામાં આવે છે, અને તે તેના પર નિર્ભર કરે છે કે કોઈ ચોક્કસ નેટવર્કનું વજન હશે કે કેમ. અનુગામી પેઢીઓ દ્વારા વારસામાં મળે છે. એવી પરિસ્થિતિઓમાં જ્યાં અમને પર્યાવરણ તરફથી વધુ પ્રતિસાદ મળતો નથી-અને ઘણી પરંપરાગત RL સમસ્યાઓમાં પુરસ્કારોનો પ્રવાહ ખૂબ જ ઓછો હોય છે-સમસ્યા "અંશતઃ બ્લેક બોક્સ" થી "સંપૂર્ણપણે બ્લેક બોક્સ" સુધી જાય છે. આ કિસ્સામાં, તમે ઉત્પાદકતામાં નોંધપાત્ર વધારો કરી શકો છો, તેથી, અલબત્ત, આવા સમાધાન વાજબી છે. "જો તેઓ કોઈપણ રીતે નિરાશાજનક રીતે ઘોંઘાટીયા હોય તો કોને ગ્રેડિએન્ટ્સની જરૂર છે?" - આ સામાન્ય અભિપ્રાય છે.

જો કે, એવી પરિસ્થિતિઓમાં જ્યાં પ્રતિસાદ વધુ સક્રિય છે, ES માટે વસ્તુઓ ખોટી થવાનું શરૂ થાય છે. OpenAI ટીમ વર્ણવે છે કે કેવી રીતે સરળ MNIST વર્ગીકરણ નેટવર્કને ES નો ઉપયોગ કરીને તાલીમ આપવામાં આવી હતી, અને આ વખતે તાલીમ 1000 ગણી ધીમી હતી. હકીકત એ છે કે ઇમેજ વર્ગીકરણમાં ગ્રેડિએન્ટ સિગ્નલ નેટવર્કને વધુ સારી રીતે વર્ગીકરણ કેવી રીતે શીખવવું તે અંગે અત્યંત માહિતીપ્રદ છે. આમ, RL ટેકનિક સાથે સમસ્યા ઓછી છે અને ઘોંઘાટીયા ગ્રેડિએન્ટ્સ ઉત્પન્ન કરતા વાતાવરણમાં છૂટાછવાયા પુરસ્કારો સાથે વધુ છે.

કુદરતનો ઉપાય

જો આપણે કુદરતના ઉદાહરણમાંથી શીખવાનો પ્રયત્ન કરીએ, AI વિકસાવવાની રીતો વિશે વિચારીએ, તો કેટલાક કિસ્સાઓમાં AI તરીકે વિચારી શકાય છે. સમસ્યા લક્ષી અભિગમ. છેવટે, કુદરત એવી મર્યાદાઓમાં કામ કરે છે જે કમ્પ્યુટર વૈજ્ઞાનિકો પાસે નથી. એક અભિપ્રાય છે કે ચોક્કસ સમસ્યાને ઉકેલવા માટેનો સંપૂર્ણ સૈદ્ધાંતિક અભિગમ પ્રયોગમૂલક વિકલ્પો કરતાં વધુ અસરકારક ઉકેલો પ્રદાન કરી શકે છે. જો કે, મને હજુ પણ લાગે છે કે અમુક અવરોધો (પૃથ્વી) હેઠળ કાર્યરત ગતિશીલ પ્રણાલીએ લવચીક અને જટિલ વર્તણૂક માટે સક્ષમ એજન્ટો (પ્રાણીઓ, ખાસ કરીને સસ્તન પ્રાણીઓ) કેવી રીતે ઉત્પન્ન કર્યા છે તે ચકાસવું યોગ્ય રહેશે. જ્યારે આમાંની કેટલીક મર્યાદાઓ સિમ્યુલેટેડ ડેટા સાયન્સની દુનિયામાં લાગુ પડતી નથી, તો અન્યો બરાબર છે.

સસ્તન પ્રાણીઓના બૌદ્ધિક વર્તનની તપાસ કર્યા પછી, આપણે જોઈએ છીએ કે તે બે નજીકથી પરસ્પર સંબંધિત પ્રક્રિયાઓના જટિલ પરસ્પર પ્રભાવના પરિણામે રચાય છે: અન્યના અનુભવોમાંથી શીખવું и કામ કરતાં શીખો. પહેલાને ઘણીવાર કુદરતી પસંદગી દ્વારા સંચાલિત ઉત્ક્રાંતિ સાથે સમાન ગણવામાં આવે છે, પરંતુ અહીં હું એપિજેનેટિક્સ, માઇક્રોબાયોમ્સ અને અન્ય મિકેનિઝમ્સને ધ્યાનમાં લેવા માટે વ્યાપક શબ્દનો ઉપયોગ કરું છું જે આનુવંશિક રીતે અસંબંધિત સજીવો વચ્ચે અનુભવોની વહેંચણીને સક્ષમ કરે છે. બીજી પ્રક્રિયા, અનુભવમાંથી શીખવું, તે બધી માહિતી છે જે પ્રાણી તેના સમગ્ર જીવન દરમિયાન શીખવાનું સંચાલન કરે છે, અને આ માહિતી બહારની દુનિયા સાથે આ પ્રાણીની ક્રિયાપ્રતિક્રિયા દ્વારા સીધી નિર્ધારિત થાય છે. આ કેટેગરીમાં વસ્તુઓને ઓળખવા શીખવાથી લઈને શીખવાની પ્રક્રિયામાં અંતર્ગત સંચારમાં નિપુણતા મેળવવા સુધીની દરેક બાબતોનો સમાવેશ થાય છે.

આશરે કહીએ તો, પ્રકૃતિમાં બનતી આ બે પ્રક્રિયાઓની તુલના ન્યુરલ નેટવર્કને ઑપ્ટિમાઇઝ કરવા માટેના બે વિકલ્પો સાથે કરી શકાય છે. ઉત્ક્રાંતિ વ્યૂહરચના, જ્યાં ગ્રેડિએન્ટ્સ વિશેની માહિતીનો ઉપયોગ સજીવ વિશેની માહિતીને અપડેટ કરવા માટે થાય છે, અન્ય લોકોના અનુભવમાંથી શીખવાની નજીક આવે છે. તેવી જ રીતે, ગ્રેડિયન્ટ પદ્ધતિઓ, જ્યાં એક અથવા બીજા અનુભવ મેળવવાથી એજન્ટના વર્તનમાં એક અથવા બીજા ફેરફાર થાય છે, તે વ્યક્તિના પોતાના અનુભવમાંથી શીખવા સાથે તુલનાત્મક છે. જો આપણે બુદ્ધિશાળી વર્તન અથવા ક્ષમતાઓના પ્રકારો વિશે વિચારીએ કે આ બે અભિગમોમાંથી પ્રત્યેક પ્રાણીઓમાં વિકસિત થાય છે, તો સરખામણી વધુ સ્પષ્ટ બને છે. બંને કિસ્સાઓમાં, "ઉત્ક્રાંતિ પદ્ધતિઓ" પ્રતિક્રિયાશીલ વર્તણૂકોના અભ્યાસને પ્રોત્સાહન આપે છે જે વ્યક્તિને ચોક્કસ ફિટનેસ (જીવંત રહેવા માટે પૂરતી) વિકસાવવા દે છે. ચાલવાનું અથવા કેદમાંથી છટકી જવાનું શીખવું એ ઘણા કિસ્સાઓમાં વધુ "સહજ" વર્તણૂકોની સમકક્ષ છે જે આનુવંશિક સ્તરે ઘણા પ્રાણીઓમાં "હાર્ડ-વાયર" હોય છે. વધુમાં, આ ઉદાહરણ પુષ્ટિ કરે છે કે ઈવોલ્યુશનરી પદ્ધતિઓ એવા કિસ્સાઓમાં લાગુ પડે છે જ્યાં પુરસ્કાર સંકેત અત્યંત દુર્લભ છે (ઉદાહરણ તરીકે, બાળકના સફળ ઉછેરની હકીકત). આવા કિસ્સામાં, આ હકીકતની ઘટનાના ઘણા વર્ષો પહેલા કરવામાં આવી હોય તેવી ક્રિયાઓના ચોક્કસ સમૂહ સાથે પુરસ્કારને સાંકળવો અશક્ય છે. બીજી બાજુ, જો આપણે એવા કેસને ધ્યાનમાં લઈએ કે જેમાં ES નિષ્ફળ જાય છે, એટલે કે છબીનું વર્ગીકરણ, તો પરિણામો 100 થી વધુ વર્ષોમાં હાથ ધરવામાં આવેલા અસંખ્ય વર્તણૂકીય મનોવૈજ્ઞાનિક પ્રયોગોમાં પ્રાપ્ત પ્રાણી શિક્ષણના પરિણામો સાથે નોંધપાત્ર રીતે તુલનાત્મક છે.

પ્રાણીઓ પાસેથી શીખવું

મજબૂતીકરણ શિક્ષણમાં ઉપયોગમાં લેવાતી પદ્ધતિઓ ઘણા કિસ્સાઓમાં સીધા મનોવૈજ્ઞાનિક સાહિત્યમાંથી લેવામાં આવે છે ઓપરેટ કન્ડીશનીંગ, અને ઓપરેટ કન્ડીશનીંગનો અભ્યાસ પ્રાણી મનોવિજ્ઞાનનો ઉપયોગ કરીને કરવામાં આવ્યો હતો. માર્ગ દ્વારા, રિનફોર્સમેન્ટ લર્નિંગના બે સ્થાપકોમાંના એક રિચાર્ડ સટન, મનોવિજ્ઞાનમાં સ્નાતકની ડિગ્રી ધરાવે છે. ઓપરેટ કન્ડીશનીંગના સંદર્ભમાં, પ્રાણીઓ પુરસ્કાર અથવા સજાને ચોક્કસ વર્તણૂકીય પેટર્ન સાથે સાંકળવાનું શીખે છે. પ્રશિક્ષકો અને સંશોધકો આ પુરસ્કાર સંગઠનને એક યા બીજી રીતે હેરફેર કરી શકે છે, પ્રાણીઓને બુદ્ધિમત્તા અથવા અમુક વર્તણૂકો દર્શાવવા માટે ઉશ્કેરે છે. જો કે, ઓપરેટ કન્ડીશનીંગ, જેમ કે પ્રાણી સંશોધનમાં વપરાય છે, તે સમાન કન્ડિશનિંગના વધુ સ્પષ્ટ સ્વરૂપ સિવાય બીજું કંઈ નથી જેના આધારે પ્રાણીઓ તેમના જીવન દરમ્યાન શીખે છે. અમે પર્યાવરણમાંથી સતત હકારાત્મક મજબૂતીકરણના સંકેતો પ્રાપ્ત કરીએ છીએ અને તે મુજબ અમારી વર્તણૂકને સમાયોજિત કરીએ છીએ. વાસ્તવમાં, ઘણા ન્યુરોસાયન્ટિસ્ટ અને જ્ઞાનાત્મક વૈજ્ઞાનિકો માને છે કે મનુષ્ય અને અન્ય પ્રાણીઓ વાસ્તવમાં વધુ ઊંચા સ્તરે કાર્ય કરે છે અને સંભવિત પુરસ્કારોના આધારે ભવિષ્યની પરિસ્થિતિઓમાં તેમના વર્તનના પરિણામની આગાહી કરવાનું સતત શીખે છે.

અનુભવમાંથી શીખવામાં અનુમાનની કેન્દ્રિય ભૂમિકા ઉપર વર્ણવેલ ગતિશીલતાને નોંધપાત્ર રીતે બદલે છે. સિગ્નલ કે જે અગાઉ ખૂબ જ છૂટાછવાયા (એપિસોડિક પુરસ્કાર) તરીકે ગણવામાં આવતું હતું તે ખૂબ જ ગાઢ હોવાનું બહાર આવ્યું છે. સૈદ્ધાંતિક રીતે, પરિસ્થિતિ કંઈક આના જેવી છે: કોઈપણ સમયે, સસ્તન પ્રાણીનું મગજ સંવેદનાત્મક ઉત્તેજના અને ક્રિયાઓના જટિલ પ્રવાહના આધારે પરિણામોની ગણતરી કરે છે, જ્યારે પ્રાણી ફક્ત આ પ્રવાહમાં ડૂબી જાય છે. આ કિસ્સામાં, પ્રાણીની અંતિમ વર્તણૂક એક મજબૂત સંકેત આપે છે જેનો ઉપયોગ આગાહીઓના ગોઠવણ અને વર્તનના વિકાસને માર્ગદર્શન આપવા માટે થવો જોઈએ. મગજ આ બધા સંકેતોનો ઉપયોગ ભવિષ્યમાં આગાહીઓ (અને, તે મુજબ, લેવાયેલી ક્રિયાઓની ગુણવત્તા) ઑપ્ટિમાઇઝ કરવા માટે કરે છે. આ અભિગમની ઝાંખી ઉત્તમ પુસ્તકમાં આપવામાં આવી છે.સર્ફિંગ અનિશ્ચિતતાજ્ઞાનાત્મક વૈજ્ઞાનિક અને ફિલોસોફર એન્ડી ક્લાર્ક. જો આપણે આવા તર્કને કૃત્રિમ એજન્ટોની તાલીમ માટે એક્સ્ટ્રાપોલેટ કરીએ છીએ, તો મજબૂતીકરણ શિક્ષણમાં એક મૂળભૂત ખામી પ્રગટ થાય છે: આ દાખલામાં વપરાયેલ સંકેત તે શું હોઈ શકે (અથવા હોવું જોઈએ) તેની તુલનામાં નિરાશાજનક રીતે નબળા છે. એવા કિસ્સાઓમાં જ્યાં સિગ્નલ સંતૃપ્તિ વધારવી અશક્ય છે (કદાચ કારણ કે તે સ્વાભાવિક રીતે નબળું છે અથવા નીચા-સ્તરની પ્રતિક્રિયા સાથે સંકળાયેલું છે), તે કદાચ સારી રીતે સમાંતર હોય તેવી તાલીમ પદ્ધતિને પ્રાધાન્ય આપવાનું વધુ સારું છે, ઉદાહરણ તરીકે, ES.

ન્યુરલ નેટવર્ક્સની સમૃદ્ધ તાલીમ

સસ્તન પ્રાણીઓના મગજમાં સહજ ઉચ્ચ ન્યુરલ પ્રવૃત્તિના સિદ્ધાંતો પર નિર્માણ, જે સતત અનુમાનો કરવામાં વ્યસ્ત છે, તાજેતરની પ્રગતિ મજબૂતીકરણ શિક્ષણમાં કરવામાં આવી છે, જે હવે આવી આગાહીઓના મહત્વને ધ્યાનમાં લે છે. હું તરત જ તમને બે સમાન કાર્યોની ભલામણ કરી શકું છું:

• ભવિષ્યની આગાહી કરીને કાર્ય કરવાનું શીખવું
• અસુરક્ષિત સહાયક કાર્યો સાથે મજબૂતીકરણ શિક્ષણ

આ બંને પેપરમાં, લેખકો તેમના ન્યુરલ નેટવર્ક્સની લાક્ષણિક ડિફોલ્ટ નીતિને ભવિષ્યમાં પર્યાવરણની સ્થિતિ વિશે આગાહીના પરિણામો સાથે પૂરક બનાવે છે. પ્રથમ લેખમાં, આગાહી વિવિધ માપન ચલોને લાગુ પડે છે, અને બીજામાં, આગાહી પર્યાવરણમાં થતા ફેરફારો અને એજન્ટના વર્તન પર લાગુ થાય છે. બંને કિસ્સાઓમાં, સકારાત્મક મજબૂતીકરણ સાથે સંકળાયેલ સ્પાર્સ સિગ્નલ વધુ સમૃદ્ધ અને વધુ માહિતીપ્રદ બને છે, જે બંને ઝડપી શીખવાની અને વધુ જટિલ વર્તણૂકોના સંપાદન માટે પરવાનગી આપે છે. આવા સુધારાઓ ફક્ત ગ્રેડિયન્ટ સિગ્નલનો ઉપયોગ કરતી પદ્ધતિઓ સાથે ઉપલબ્ધ છે, અને ES જેવા "બ્લેક બોક્સ" સિદ્ધાંત પર કાર્ય કરતી પદ્ધતિઓ સાથે નહીં.

વધુમાં, અનુભવ અને ગ્રેડિયન્ટ પદ્ધતિઓમાંથી શીખવું વધુ અસરકારક છે. રિઇન્ફોર્સમેન્ટ લર્નિંગનો ઉપયોગ કરતાં ES પદ્ધતિનો ઉપયોગ કરીને કોઈ ચોક્કસ સમસ્યાનો ઝડપથી અભ્યાસ કરવો શક્ય હોય તેવા કિસ્સામાં પણ, ES વ્યૂહરચનામાં RL કરતાં અનેક ગણો વધુ ડેટા સામેલ હોવાને કારણે ફાયદો પ્રાપ્ત થયો હતો. પ્રાણીઓમાં શીખવાના સિદ્ધાંતો પર આ કિસ્સામાં પ્રતિબિંબિત કરતા, અમે નોંધીએ છીએ કે કોઈ બીજાના ઉદાહરણમાંથી શીખવાનું પરિણામ ઘણી પેઢીઓ પછી પોતાને પ્રગટ કરે છે, જ્યારે કેટલીકવાર પોતે અનુભવેલી એક ઘટના પ્રાણીને કાયમ માટે પાઠ શીખવા માટે પૂરતી હોય છે. જ્યારે ગમે છે ઉદાહરણો વિના તાલીમ જ્યારે તે પરંપરાગત ઢાળ પદ્ધતિઓમાં એકદમ બંધબેસતું નથી, તે ES કરતાં વધુ સમજણયુક્ત છે. ત્યાં છે, ઉદાહરણ તરીકે, જેમ કે અભિગમ ન્યુરલ એપિસોડિક નિયંત્રણ, જ્યાં પ્રશિક્ષણ દરમિયાન Q-મૂલ્યો સંગ્રહિત કરવામાં આવે છે, જે પછી પ્રોગ્રામ પગલાં લેતા પહેલા તેમની તપાસ કરે છે. પરિણામ એ ગ્રેડિયન્ટ પદ્ધતિ છે જે તમને પહેલા કરતા વધુ ઝડપથી સમસ્યાઓ કેવી રીતે હલ કરવી તે શીખવા દે છે. ન્યુરલ એપિસોડિક કંટ્રોલ પરના એક લેખમાં, લેખકોએ માનવ હિપ્પોકેમ્પસનો ઉલ્લેખ કર્યો છે, જે એક અનુભવ પછી પણ ઘટના વિશેની માહિતી જાળવી રાખવામાં સક્ષમ છે અને તેથી, ભજવે છે. નિર્ણાયક ભૂમિકા યાદ કરવાની પ્રક્રિયામાં. આવા મિકેનિઝમ્સને એજન્ટની આંતરિક સંસ્થામાં પ્રવેશની જરૂર હોય છે, જે વ્યાખ્યા પ્રમાણે, ES પેરાડાઈમમાં પણ અશક્ય છે.

તો, શા માટે તેમને ભેગા ન કરો?

સંભવ છે કે આ લેખનો મોટાભાગનો ભાગ એવી છાપ છોડી શકે છે કે હું RL પદ્ધતિઓની હિમાયત કરું છું. જો કે, મને વાસ્તવમાં લાગે છે કે લાંબા ગાળે શ્રેષ્ઠ ઉકેલ એ બંને પદ્ધતિઓને જોડવાનો છે, જેથી દરેકનો ઉપયોગ એવી પરિસ્થિતિઓમાં થાય કે જેમાં તે સૌથી યોગ્ય હોય. દેખીતી રીતે, ઘણી પ્રતિક્રિયાશીલ નીતિઓના કિસ્સામાં અથવા હકારાત્મક મજબૂતીકરણના ખૂબ જ છૂટાછવાયા સંકેતો સાથેની પરિસ્થિતિઓમાં, ES જીતે છે, ખાસ કરીને જો તમારી પાસે તમારા નિકાલ પર કમ્પ્યુટિંગ શક્તિ હોય કે જેના પર તમે મોટા પાયે સમાંતર તાલીમ ચલાવી શકો છો. બીજી તરફ, જ્યારે અમારી પાસે વ્યાપક પ્રતિસાદની ઍક્સેસ હોય અને સમસ્યાને ઝડપથી અને ઓછા ડેટા સાથે કેવી રીતે હલ કરવી તે શીખવાની જરૂર હોય ત્યારે રિઇન્ફોર્સમેન્ટ લર્નિંગ અથવા નિરીક્ષણ કરેલ લર્નિંગનો ઉપયોગ કરીને ગ્રેડિયન્ટ પદ્ધતિઓ ઉપયોગી થશે.

પ્રકૃતિ તરફ વળતાં, આપણે શોધીએ છીએ કે પ્રથમ પદ્ધતિ, સારમાં, બીજી પદ્ધતિનો પાયો નાખે છે. તેથી જ, ઉત્ક્રાંતિ દરમિયાન, સસ્તન પ્રાણીઓએ મગજ વિકસાવ્યું છે જે તેમને પર્યાવરણમાંથી આવતા જટિલ સંકેતોથી અત્યંત અસરકારક રીતે શીખવા દે છે. તેથી, પ્રશ્ન ખુલ્લો રહે છે. કદાચ ઉત્ક્રાંતિ વ્યૂહરચના અમને અસરકારક શિક્ષણ આર્કિટેક્ચરની શોધ કરવામાં મદદ કરશે જે ગ્રેડિયન્ટ શીખવાની પદ્ધતિઓ માટે પણ ઉપયોગી થશે. છેવટે, કુદરત દ્વારા મળેલ ઉકેલ ખરેખર ખૂબ જ સફળ છે.

સોર્સ: www.habr.com