ശക്തിപ്പെടുത്തൽ പഠനമോ പരിണാമ തന്ത്രങ്ങളോ? - രണ്ടും

ഹേ ഹബർ!

രണ്ട് വർഷം പഴക്കമുള്ളതും കോഡില്ലാത്തതും വ്യക്തമായും അക്കാദമിക് സ്വഭാവമുള്ളതുമായ ഗ്രന്ഥങ്ങളുടെ വിവർത്തനങ്ങൾ ഇവിടെ പോസ്റ്റ് ചെയ്യാൻ ഞങ്ങൾ പലപ്പോഴും തീരുമാനിക്കാറില്ല - എന്നാൽ ഇന്ന് ഞങ്ങൾ ഒരു അപവാദം ഉണ്ടാക്കും. ലേഖനത്തിന്റെ തലക്കെട്ടിലെ ആശയക്കുഴപ്പം ഞങ്ങളുടെ പല വായനക്കാരെയും ആശങ്കപ്പെടുത്തുന്നുവെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു, കൂടാതെ ഈ പോസ്റ്റ് ഒറിജിനലിൽ വാദിക്കുന്ന അല്ലെങ്കിൽ ഇപ്പോൾ വായിക്കുന്ന പരിണാമ തന്ത്രങ്ങളെക്കുറിച്ചുള്ള അടിസ്ഥാന കൃതി നിങ്ങൾ ഇതിനകം വായിച്ചിട്ടുണ്ട്. പൂച്ചയിലേക്ക് സ്വാഗതം!

2017 മാർച്ചിൽ, "ഓപ്പൺഎഐ" എന്ന പേപ്പറിലൂടെ ആഴത്തിലുള്ള പഠന സമൂഹത്തിൽ തരംഗമായി.റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിനുള്ള ഒരു സ്കേലബിൾ ബദലായി പരിണാമ തന്ത്രങ്ങൾ" റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് (ആർ‌എൽ) ഒരു വെഡ്ജ് ആയി മാറിയിട്ടില്ല എന്ന വസ്തുതയ്ക്ക് അനുകൂലമായി ഈ കൃതി ശ്രദ്ധേയമായ ഫലങ്ങൾ വിവരിച്ചു, സങ്കീർണ്ണമായ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ പരിശീലിപ്പിക്കുമ്പോൾ, മറ്റ് രീതികൾ പരീക്ഷിക്കുന്നത് നല്ലതാണ്. ശാക്തീകരണ പഠനത്തിന്റെ പ്രാധാന്യത്തെക്കുറിച്ചും പ്രശ്‌നപരിഹാരം പഠിപ്പിക്കുന്നതിനുള്ള "നിർബന്ധമായും ഉണ്ടായിരിക്കേണ്ട" സാങ്കേതികവിദ്യ എന്ന നിലയ്ക്ക് അതിന്റെ പദവി എത്രത്തോളം അർഹിക്കുന്നു എന്നതിനെക്കുറിച്ചും ഒരു സംവാദം പൊട്ടിപ്പുറപ്പെട്ടു. ഈ രണ്ട് സാങ്കേതികവിദ്യകളും മത്സരിക്കുന്നതായി കണക്കാക്കേണ്ടതില്ലെന്ന് ഇവിടെ ഞാൻ പറയാൻ ആഗ്രഹിക്കുന്നു, അതിലൊന്ന് മറ്റൊന്നിനേക്കാൾ മികച്ചതാണ്; നേരെമറിച്ച്, അവ ആത്യന്തികമായി പരസ്പരം പൂരകമാക്കുന്നു. തീർച്ചയായും, സൃഷ്ടിക്കാൻ എന്താണ് വേണ്ടതെന്ന് നിങ്ങൾ അൽപ്പം ചിന്തിച്ചാൽ ജനറൽ AI അവരുടെ അസ്തിത്വത്തിലുടനീളം പഠിക്കാനും വിലയിരുത്താനും ആസൂത്രണം ചെയ്യാനും പ്രാപ്തമായ അത്തരം സംവിധാനങ്ങൾ, ഒന്നോ അതിലധികമോ സംയോജിത പരിഹാരം ആവശ്യമാണെന്ന നിഗമനത്തിൽ ഞങ്ങൾ തീർച്ചയായും എത്തിച്ചേരും. പരിണാമ വേളയിൽ സസ്തനികൾക്കും മറ്റ് ഉയർന്ന മൃഗങ്ങൾക്കും സങ്കീർണ്ണമായ ബുദ്ധിശക്തി നൽകിയ പ്രകൃതിയുടെ ഈ സംയോജിത പരിഹാരമായിരുന്നു അത്.

പരിണാമ തന്ത്രങ്ങൾ

ഓപ്പൺഎഐ പേപ്പറിന്റെ പ്രധാന തീസിസ്, പരമ്പരാഗത ബാക്ക്‌പ്രൊപ്പഗേഷനുമായി ചേർന്ന് റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് ഉപയോഗിക്കുന്നതിന് പകരം, അവർ "പരിണാമ തന്ത്രം" (ഇഎസ്) എന്ന് വിളിക്കുന്ന സങ്കീർണ്ണമായ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് വിജയകരമായി പരിശീലിപ്പിച്ചു എന്നതാണ്. സമാന്തരമായി പ്രവർത്തിക്കുന്ന ഒന്നിലധികം ഏജന്റുമാർ ഉൾപ്പെടുന്നതും ഈ വിതരണത്തിൽ നിന്ന് തിരഞ്ഞെടുത്ത പാരാമീറ്ററുകൾ ഉപയോഗിക്കുന്നതുമായ വെയ്റ്റുകളുടെ നെറ്റ്‌വർക്ക്-വൈഡ് ഡിസ്ട്രിബ്യൂഷൻ നിലനിർത്തുന്നത് ഈ ES സമീപനത്തിൽ അടങ്ങിയിരിക്കുന്നു. ഓരോ ഏജന്റും അതിന്റേതായ പരിതസ്ഥിതിയിൽ പ്രവർത്തിക്കുന്നു, കൂടാതെ ഒരു എപ്പിസോഡിന്റെ നിശ്ചിത എണ്ണം എപ്പിസോഡുകളോ ഘട്ടങ്ങളോ പൂർത്തിയാകുമ്പോൾ, അൽഗോരിതം ഒരു ഫിറ്റ്നസ് സ്കോർ ആയി പ്രകടിപ്പിക്കുന്ന ഒരു ക്യുമുലേറ്റീവ് റിവാർഡ് നൽകുന്നു. ഈ മൂല്യം കണക്കിലെടുക്കുമ്പോൾ, പാരാമീറ്ററുകളുടെ വിതരണം കൂടുതൽ വിജയകരമായ ഏജന്റുമാരിലേക്ക് മാറ്റാം, ഇത് വിജയകരമല്ലാത്തവയെ നഷ്ടപ്പെടുത്തുന്നു. നൂറുകണക്കിന് ഏജന്റുമാരുടെ പങ്കാളിത്തത്തോടെ അത്തരം ഒരു പ്രവർത്തനം ദശലക്ഷക്കണക്കിന് തവണ ആവർത്തിക്കുന്നതിലൂടെ, തങ്ങൾക്ക് ഏൽപ്പിച്ച ചുമതല പരിഹരിക്കുന്നതിന് ഉയർന്ന നിലവാരമുള്ള നയം രൂപീകരിക്കാൻ ഏജന്റുമാരെ അനുവദിക്കുന്ന ഒരു സ്ഥലത്തേക്ക് ഭാരം വിതരണം മാറ്റാൻ കഴിയും. തീർച്ചയായും, ലേഖനത്തിൽ അവതരിപ്പിച്ച ഫലങ്ങൾ ശ്രദ്ധേയമാണ്: നിങ്ങൾ ആയിരം ഏജന്റുമാരെ സമാന്തരമായി പ്രവർത്തിപ്പിക്കുകയാണെങ്കിൽ, രണ്ട് കാലുകളിലെ നരവംശ ലോക്കോമോഷൻ അരമണിക്കൂറിനുള്ളിൽ പഠിക്കാൻ കഴിയുമെന്ന് കാണിക്കുന്നു (ഏറ്റവും നൂതനമായ RL രീതികൾക്ക് പോലും കൂടുതൽ ചെലവ് ആവശ്യമാണ്. ഇതിൽ ഒരു മണിക്കൂറിൽ കൂടുതൽ). കൂടുതൽ വിശദമായ വിവരങ്ങൾക്ക്, മികച്ചത് വായിക്കാൻ ഞാൻ ശുപാർശ ചെയ്യുന്നു ഒരു പോസ്റ്റ് പരീക്ഷണത്തിന്റെ രചയിതാക്കളിൽ നിന്നും, അതുപോലെ ശാസ്ത്രീയ ലേഖനം.

ഓപ്പൺഎഐയിൽ നിന്നുള്ള ഇഎസ് രീതി ഉപയോഗിച്ച് പഠിച്ച നരവംശശാസ്ത്രപരമായ നേരുള്ള നടത്തം പഠിപ്പിക്കുന്നതിനുള്ള വ്യത്യസ്ത തന്ത്രങ്ങൾ.

കറുത്ത പെട്ടി

ഈ രീതിയുടെ വലിയ നേട്ടം അത് എളുപ്പത്തിൽ സമാന്തരമാക്കാം എന്നതാണ്. A3C പോലുള്ള RL രീതികൾക്ക് വർക്കർ ത്രെഡുകൾക്കും ഒരു പാരാമീറ്റർ സെർവറിനുമിടയിൽ വിവരങ്ങൾ കൈമാറ്റം ചെയ്യേണ്ടതുണ്ടെങ്കിൽ, ES-ന് ഫിറ്റ്നസ് എസ്റ്റിമേറ്റുകളും സാമാന്യവൽക്കരിച്ച പാരാമീറ്റർ വിതരണ വിവരങ്ങളും മാത്രമേ ആവശ്യമുള്ളൂ. ഈ ലാളിത്യം കൊണ്ടാണ് ഈ രീതി ആധുനിക RL രീതികളേക്കാൾ സ്കെയിലിംഗ് കഴിവുകളുടെ കാര്യത്തിൽ വളരെ മുന്നിലുള്ളത്. എന്നിരുന്നാലും, ഇതെല്ലാം വെറുതെ വരുന്നില്ല: ബ്ലാക്ക് ബോക്സ് തത്വമനുസരിച്ച് നിങ്ങൾ നെറ്റ്വർക്ക് ഒപ്റ്റിമൈസ് ചെയ്യണം. ഈ സാഹചര്യത്തിൽ, "ബ്ലാക്ക് ബോക്സ്" എന്നാൽ പരിശീലന സമയത്ത് നെറ്റ്‌വർക്കിന്റെ ആന്തരിക ഘടന പൂർണ്ണമായും അവഗണിക്കപ്പെടുന്നു, മാത്രമല്ല മൊത്തത്തിലുള്ള ഫലം (എപ്പിസോഡിനുള്ള പ്രതിഫലം) മാത്രമേ ഉപയോഗിക്കൂ, ഒരു പ്രത്യേക നെറ്റ്‌വർക്കിന്റെ ഭാരം ഉണ്ടാകുമോ എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നു. തുടർന്നുള്ള തലമുറകൾക്ക് പാരമ്പര്യമായി ലഭിക്കും. പരിസ്ഥിതിയിൽ നിന്ന് ഞങ്ങൾക്ക് കൂടുതൽ ഫീഡ്‌ബാക്ക് ലഭിക്കാത്ത സാഹചര്യങ്ങളിൽ-പല പരമ്പരാഗത RL പ്രശ്‌നങ്ങളിലും റിവാർഡുകളുടെ ഒഴുക്ക് വളരെ കുറവാണ്-പ്രശ്നം "ഭാഗികമായി ബ്ലാക്ക് ബോക്‌സ്" എന്നതിൽ നിന്ന് "പൂർണ്ണമായി ബ്ലാക്ക് ബോക്‌സ്" ആയി മാറുന്നു. ഈ സാഹചര്യത്തിൽ, നിങ്ങൾക്ക് ഉൽപാദനക്ഷമത ഗണ്യമായി വർദ്ധിപ്പിക്കാൻ കഴിയും, അതിനാൽ, തീർച്ചയായും, അത്തരമൊരു വിട്ടുവീഴ്ച ന്യായീകരിക്കപ്പെടുന്നു. "എന്തായാലും നിരാശാജനകമായ ശബ്ദമുണ്ടെങ്കിൽ ആർക്കാണ് ഗ്രേഡിയന്റുകൾ വേണ്ടത്?" - ഇതാണ് പൊതു അഭിപ്രായം.

എന്നിരുന്നാലും, ഫീഡ്‌ബാക്ക് കൂടുതൽ സജീവമായ സാഹചര്യങ്ങളിൽ, ES-ന് കാര്യങ്ങൾ തെറ്റായി പോകാൻ തുടങ്ങുന്നു. ES ഉപയോഗിച്ച് ഒരു ലളിതമായ MNIST വർഗ്ഗീകരണ ശൃംഖല പരിശീലിപ്പിച്ചതെങ്ങനെയെന്ന് OpenAI ടീം വിവരിക്കുന്നു, ഇത്തവണ പരിശീലനം 1000 മടങ്ങ് മന്ദഗതിയിലായിരുന്നു. ഇമേജ് വർഗ്ഗീകരണത്തിലെ ഗ്രേഡിയന്റ് സിഗ്നൽ നെറ്റ്‌വർക്കിനെ എങ്ങനെ മികച്ച വർഗ്ഗീകരണം പഠിപ്പിക്കാം എന്നതുമായി ബന്ധപ്പെട്ട് വളരെ വിവരദായകമാണ് എന്നതാണ് വസ്തുത. അതിനാൽ, RL സാങ്കേതികതയിൽ പ്രശ്‌നം കുറവാണ്, കൂടാതെ ശബ്ദായമാനമായ ഗ്രേഡിയന്റുകളുണ്ടാക്കുന്ന പരിതസ്ഥിതികളിൽ വിരളമായ പ്രതിഫലങ്ങളുമുണ്ട്.

പ്രകൃതിയുടെ പരിഹാരം

AI വികസിപ്പിക്കാനുള്ള വഴികളെക്കുറിച്ച് ചിന്തിച്ച് പ്രകൃതിയുടെ ഉദാഹരണത്തിൽ നിന്ന് പഠിക്കാൻ ശ്രമിക്കുകയാണെങ്കിൽ, ചില സന്ദർഭങ്ങളിൽ AI എന്ന് കരുതാം. പ്രശ്നാധിഷ്ഠിത സമീപനം. എല്ലാത്തിനുമുപരി, കമ്പ്യൂട്ടർ ശാസ്ത്രജ്ഞർക്ക് ഇല്ലാത്ത നിയന്ത്രണങ്ങളിൽ പ്രകൃതി പ്രവർത്തിക്കുന്നു. ഒരു പ്രത്യേക പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള തികച്ചും സൈദ്ധാന്തിക സമീപനം അനുഭവപരമായ ബദലുകളേക്കാൾ കൂടുതൽ ഫലപ്രദമായ പരിഹാരങ്ങൾ നൽകുമെന്ന് ഒരു അഭിപ്രായമുണ്ട്. എന്നിരുന്നാലും, ചില നിയന്ത്രണങ്ങൾക്ക് കീഴിൽ പ്രവർത്തിക്കുന്ന ഒരു ചലനാത്മക സംവിധാനം (ഭൂമി) എങ്ങനെ വഴക്കമുള്ളതും സങ്കീർണ്ണവുമായ സ്വഭാവത്തിന് കഴിവുള്ള ഏജന്റുമാരെ (മൃഗങ്ങൾ, പ്രത്യേകിച്ച് സസ്തനികൾ) സൃഷ്ടിച്ചുവെന്ന് പരിശോധിക്കുന്നത് മൂല്യവത്തായിരിക്കുമെന്ന് ഞാൻ ഇപ്പോഴും കരുതുന്നു. സിമുലേറ്റഡ് ഡാറ്റാ സയൻസ് ലോകങ്ങളിൽ ഈ നിയന്ത്രണങ്ങളിൽ ചിലത് ബാധകമല്ലെങ്കിലും മറ്റുള്ളവ മികച്ചതാണ്.

സസ്തനികളുടെ ബൗദ്ധിക സ്വഭാവം പരിശോധിച്ച ശേഷം, പരസ്പരം ബന്ധപ്പെട്ടിരിക്കുന്ന രണ്ട് പ്രക്രിയകളുടെ സങ്കീർണ്ണമായ പരസ്പര സ്വാധീനത്തിന്റെ ഫലമായാണ് ഇത് രൂപപ്പെട്ടതെന്ന് ഞങ്ങൾ കാണുന്നു: മറ്റുള്ളവരുടെ അനുഭവങ്ങളിൽ നിന്ന് പഠിക്കുന്നു и ചെയ്തു പഠിക്കുക. ആദ്യത്തേത് പലപ്പോഴും സ്വാഭാവിക തിരഞ്ഞെടുപ്പിനാൽ നയിക്കപ്പെടുന്ന പരിണാമത്തിന് തുല്യമാണ്, എന്നാൽ ഇവിടെ ഞാൻ എപിജെനെറ്റിക്‌സ്, മൈക്രോബയോമുകൾ, ജനിതകമായി ബന്ധമില്ലാത്ത ജീവികൾ തമ്മിലുള്ള അനുഭവങ്ങൾ പങ്കിടാൻ സഹായിക്കുന്ന മറ്റ് സംവിധാനങ്ങൾ എന്നിവ കണക്കിലെടുക്കാൻ വിശാലമായ ഒരു പദം ഉപയോഗിക്കുന്നു. രണ്ടാമത്തെ പ്രക്രിയ, അനുഭവത്തിൽ നിന്ന് പഠിക്കുന്നത്, ഒരു മൃഗം ജീവിതത്തിലുടനീളം പഠിക്കാൻ കൈകാര്യം ചെയ്യുന്ന എല്ലാ വിവരങ്ങളും ആണ്, ഈ വിവരങ്ങൾ നേരിട്ട് നിർണ്ണയിക്കുന്നത് ഈ മൃഗത്തിന്റെ പുറം ലോകവുമായുള്ള ഇടപെടലാണ്. ഈ വിഭാഗത്തിൽ പഠിക്കുന്നത് മുതൽ വസ്തുക്കളെ തിരിച്ചറിയുന്നത് മുതൽ പഠന പ്രക്രിയയിൽ അന്തർലീനമായ ആശയവിനിമയത്തിൽ പ്രാവീണ്യം നേടുന്നത് വരെ ഉൾപ്പെടുന്നു.

ഏകദേശം പറഞ്ഞാൽ, പ്രകൃതിയിൽ സംഭവിക്കുന്ന ഈ രണ്ട് പ്രക്രിയകളെയും ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനുള്ള രണ്ട് ഓപ്ഷനുകളുമായി താരതമ്യം ചെയ്യാം. ജീവിയെക്കുറിച്ചുള്ള വിവരങ്ങൾ അപ്ഡേറ്റ് ചെയ്യാൻ ഗ്രേഡിയന്റുകളെക്കുറിച്ചുള്ള വിവരങ്ങൾ ഉപയോഗിക്കുന്ന പരിണാമ തന്ത്രങ്ങൾ, മറ്റുള്ളവരുടെ അനുഭവത്തിൽ നിന്ന് പഠിക്കാൻ അടുത്തുവരുന്നു. അതുപോലെ, ഗ്രേഡിയന്റ് രീതികൾ, ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു അനുഭവം നേടുന്നത് ഏജന്റിന്റെ സ്വഭാവത്തിൽ ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു മാറ്റമോ നയിക്കുന്നു, സ്വന്തം അനുഭവത്തിൽ നിന്ന് പഠിക്കുന്നതുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്. ഈ രണ്ട് സമീപനങ്ങളും മൃഗങ്ങളിൽ വികസിപ്പിച്ചെടുക്കുന്ന ബുദ്ധിപരമായ പെരുമാറ്റം അല്ലെങ്കിൽ കഴിവുകൾ എന്നിവയെക്കുറിച്ച് നമ്മൾ ചിന്തിക്കുകയാണെങ്കിൽ, താരതമ്യം കൂടുതൽ വ്യക്തമാകും. രണ്ട് സാഹചര്യങ്ങളിലും, "പരിണാമ രീതികൾ" ഒരു നിശ്ചിത ഫിറ്റ്നസ് വികസിപ്പിക്കാൻ അനുവദിക്കുന്ന പ്രതിപ്രവർത്തന സ്വഭാവങ്ങളെക്കുറിച്ചുള്ള പഠനം പ്രോത്സാഹിപ്പിക്കുന്നു (ജീവനോടെ തുടരാൻ പര്യാപ്തമാണ്). നടക്കാനോ തടവിൽ നിന്ന് രക്ഷപ്പെടാനോ പഠിക്കുന്നത് പല സന്ദർഭങ്ങളിലും ജനിതക തലത്തിൽ പല മൃഗങ്ങളിലും "കഠിനമായ" സ്വഭാവമുള്ള "സഹജമായ" പെരുമാറ്റങ്ങൾക്ക് തുല്യമാണ്. കൂടാതെ, റിവാർഡ് സിഗ്നൽ വളരെ അപൂർവമായ സന്ദർഭങ്ങളിൽ പരിണാമ രീതികൾ ബാധകമാണെന്ന് ഈ ഉദാഹരണം സ്ഥിരീകരിക്കുന്നു (ഉദാഹരണത്തിന്, ഒരു കുഞ്ഞിനെ വിജയകരമായി വളർത്തുന്ന വസ്തുത). അത്തരമൊരു സാഹചര്യത്തിൽ, ഈ വസ്തുത സംഭവിക്കുന്നതിന് നിരവധി വർഷങ്ങൾക്ക് മുമ്പ് നടത്തിയേക്കാവുന്ന ഏതെങ്കിലും നിർദ്ദിഷ്ട പ്രവർത്തനങ്ങളുമായി പ്രതിഫലത്തെ പരസ്പരം ബന്ധിപ്പിക്കുന്നത് അസാധ്യമാണ്. മറുവശത്ത്, ES പരാജയപ്പെടുന്ന ഒരു കേസ് ഞങ്ങൾ പരിഗണിക്കുകയാണെങ്കിൽ, അതായത് ഇമേജ് വർഗ്ഗീകരണം, ഫലങ്ങൾ 100-ലധികം വർഷങ്ങളിൽ നടത്തിയ എണ്ണമറ്റ പെരുമാറ്റ മനഃശാസ്ത്ര പരീക്ഷണങ്ങളിൽ നേടിയ മൃഗ പഠനത്തിന്റെ ഫലങ്ങളുമായി താരതമ്യപ്പെടുത്താവുന്നതാണ്.

മൃഗങ്ങളിൽ നിന്ന് പഠിക്കുന്നു

ബലപ്പെടുത്തൽ പഠനത്തിൽ ഉപയോഗിക്കുന്ന രീതികൾ പല സന്ദർഭങ്ങളിലും മനഃശാസ്ത്ര സാഹിത്യത്തിൽ നിന്ന് നേരിട്ട് എടുത്തതാണ് ഓപ്പറേറ്റിംഗ് കണ്ടീഷനിംഗ്മൃഗ മനഃശാസ്ത്രം ഉപയോഗിച്ച് ഓപ്പറന്റ് കണ്ടീഷനിംഗ് പഠിച്ചു. വഴിയിൽ, റൈൻഫോഴ്സ്മെന്റ് ലേണിംഗിന്റെ രണ്ട് സ്ഥാപകരിൽ ഒരാളായ റിച്ചാർഡ് സട്ടൺ മനഃശാസ്ത്രത്തിൽ ബിരുദം നേടിയിട്ടുണ്ട്. ഓപ്പറന്റ് കണ്ടീഷനിംഗിന്റെ പശ്ചാത്തലത്തിൽ, മൃഗങ്ങൾ പ്രതിഫലമോ ശിക്ഷയോ പ്രത്യേക പെരുമാറ്റരീതികളുമായി ബന്ധപ്പെടുത്താൻ പഠിക്കുന്നു. പരിശീലകർക്കും ഗവേഷകർക്കും ഈ റിവാർഡ് അസോസിയേഷനെ ഒരു തരത്തിൽ അല്ലെങ്കിൽ മറ്റൊന്നിൽ കൈകാര്യം ചെയ്യാൻ കഴിയും, ബുദ്ധിശക്തി അല്ലെങ്കിൽ ചില പെരുമാറ്റങ്ങൾ പ്രകടിപ്പിക്കാൻ മൃഗങ്ങളെ പ്രകോപിപ്പിക്കാം. എന്നിരുന്നാലും, മൃഗ ഗവേഷണത്തിൽ ഉപയോഗിക്കുന്ന ഓപ്പറന്റ് കണ്ടീഷനിംഗ്, മൃഗങ്ങൾ അവരുടെ ജീവിതത്തിലുടനീളം പഠിക്കുന്ന അതേ കണ്ടീഷനിംഗിന്റെ കൂടുതൽ വ്യക്തമായ രൂപമല്ലാതെ മറ്റൊന്നുമല്ല. പരിസ്ഥിതിയിൽ നിന്ന് നല്ല ബലപ്പെടുത്തലിന്റെ സിഗ്നലുകൾ നമുക്ക് നിരന്തരം ലഭിക്കുകയും അതിനനുസരിച്ച് നമ്മുടെ പെരുമാറ്റം ക്രമീകരിക്കുകയും ചെയ്യുന്നു. വാസ്തവത്തിൽ, പല ന്യൂറോ സയന്റിസ്റ്റുകളും വൈജ്ഞാനിക ശാസ്ത്രജ്ഞരും വിശ്വസിക്കുന്നത് മനുഷ്യരും മറ്റ് മൃഗങ്ങളും യഥാർത്ഥത്തിൽ അതിലും ഉയർന്ന തലത്തിലാണ് പ്രവർത്തിക്കുന്നത് എന്നും ഭാവി സാഹചര്യങ്ങളിൽ അവരുടെ പെരുമാറ്റത്തിന്റെ ഫലം സാധ്യതയുള്ള പ്രതിഫലങ്ങളെ അടിസ്ഥാനമാക്കി പ്രവചിക്കാൻ തുടർച്ചയായി പഠിക്കുകയും ചെയ്യുന്നു.

അനുഭവത്തിൽ നിന്ന് പഠിക്കുന്നതിൽ പ്രവചനത്തിന്റെ കേന്ദ്ര പങ്ക് മുകളിൽ വിവരിച്ച ചലനാത്മകതയെ കാര്യമായ രീതിയിൽ മാറ്റുന്നു. മുമ്പ് വളരെ വിരളമായി കണക്കാക്കപ്പെട്ടിരുന്ന സിഗ്നൽ (എപ്പിസോഡിക് റിവാർഡ്) വളരെ സാന്ദ്രമായതായി മാറുന്നു. സൈദ്ധാന്തികമായി, സാഹചര്യം ഇതുപോലെയാണ്: ഏത് സമയത്തും, സസ്തനിയുടെ മസ്തിഷ്കം സെൻസറി ഉത്തേജനങ്ങളുടെയും പ്രവർത്തനങ്ങളുടെയും സങ്കീർണ്ണമായ സ്ട്രീമിനെ അടിസ്ഥാനമാക്കി ഫലങ്ങൾ കണക്കാക്കുന്നു, അതേസമയം മൃഗം ഈ പ്രവാഹത്തിൽ മുഴുകിയിരിക്കുന്നു. ഈ സാഹചര്യത്തിൽ, മൃഗത്തിന്റെ അന്തിമ സ്വഭാവം ശക്തമായ ഒരു സിഗ്നൽ നൽകുന്നു, അത് പ്രവചനങ്ങളുടെ തിരുത്തലിനും പെരുമാറ്റത്തിന്റെ വികാസത്തിനും മാർഗ്ഗനിർദ്ദേശം നൽകണം. ഭാവിയിൽ പ്രവചനങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് (അതനുസരിച്ച്, സ്വീകരിച്ച പ്രവർത്തനങ്ങളുടെ ഗുണനിലവാരം) തലച്ചോറ് ഈ സിഗ്നലുകളെല്ലാം ഉപയോഗിക്കുന്നു. ഈ സമീപനത്തിന്റെ ഒരു അവലോകനം മികച്ച പുസ്തകത്തിൽ നൽകിയിരിക്കുന്നു "സർഫിംഗ് അനിശ്ചിതത്വം” വൈജ്ഞാനിക ശാസ്ത്രജ്ഞനും തത്ത്വചിന്തകനുമായ ആൻഡി ക്ലാർക്ക്. കൃത്രിമ ഏജന്റുമാരെ പരിശീലിപ്പിക്കുന്നതിന് അത്തരം ന്യായവാദം ഞങ്ങൾ വിശദീകരിക്കുകയാണെങ്കിൽ, ശക്തിപ്പെടുത്തൽ പഠനത്തിലെ ഒരു അടിസ്ഥാന ന്യൂനത വെളിപ്പെടുന്നു: ഈ മാതൃകയിൽ ഉപയോഗിച്ചിരിക്കുന്ന സിഗ്നൽ അത് എന്തായിരിക്കുമെന്നതിനെ അപേക്ഷിച്ച് നിരാശാജനകമാണ് (അല്ലെങ്കിൽ ആയിരിക്കണം). സിഗ്നൽ സാച്ചുറേഷൻ വർദ്ധിപ്പിക്കുന്നത് അസാധ്യമായ സന്ദർഭങ്ങളിൽ (ഒരുപക്ഷേ അത് അന്തർലീനമായി ദുർബലമായതോ താഴ്ന്ന തലത്തിലുള്ള പ്രതിപ്രവർത്തനവുമായി ബന്ധപ്പെട്ടതോ ആയതിനാൽ), നന്നായി സമാന്തരമായ ഒരു പരിശീലന രീതി തിരഞ്ഞെടുക്കുന്നതാണ് നല്ലത്, ഉദാഹരണത്തിന്, ES.

ന്യൂറൽ നെറ്റ്‌വർക്കുകളുടെ സമ്പന്നമായ പരിശീലനം

സസ്തനികളുടെ മസ്തിഷ്കത്തിൽ അന്തർലീനമായ ഉയർന്ന ന്യൂറൽ പ്രവർത്തനത്തിന്റെ തത്വങ്ങളെ അടിസ്ഥാനമാക്കി, പ്രവചനങ്ങൾ നടത്തുന്നതിൽ നിരന്തരം തിരക്കിലാണ്, സമീപകാല മുന്നേറ്റങ്ങൾ ശക്തിപ്പെടുത്തൽ പഠനത്തിൽ ഉണ്ടായിട്ടുണ്ട്, അത് ഇപ്പോൾ അത്തരം പ്രവചനങ്ങളുടെ പ്രാധാന്യം കണക്കിലെടുക്കുന്നു. നിങ്ങൾക്ക് സമാനമായ രണ്ട് സൃഷ്ടികൾ എനിക്ക് ഉടൻ ശുപാർശ ചെയ്യാൻ കഴിയും:

• ഭാവി പ്രവചിച്ചുകൊണ്ട് പ്രവർത്തിക്കാൻ പഠിക്കുന്നു
• മേൽനോട്ടമില്ലാത്ത സഹായ ജോലികൾ ഉപയോഗിച്ച് ശക്തിപ്പെടുത്തൽ പഠനം

ഈ രണ്ട് പേപ്പറുകളിലും, രചയിതാക്കൾ അവരുടെ ന്യൂറൽ നെറ്റ്‌വർക്കുകളുടെ സാധാരണ ഡിഫോൾട്ട് നയം ഭാവിയിലെ പരിസ്ഥിതിയുടെ അവസ്ഥയെക്കുറിച്ചുള്ള പ്രവചന ഫലങ്ങൾക്കൊപ്പം നൽകുന്നു. ആദ്യ ലേഖനത്തിൽ, വിവിധ അളവെടുക്കൽ വേരിയബിളുകളിൽ പ്രവചനം പ്രയോഗിക്കുന്നു, രണ്ടാമത്തേതിൽ, പരിസ്ഥിതിയിലെ മാറ്റങ്ങൾക്കും ഏജന്റിന്റെ പെരുമാറ്റത്തിനും പ്രവചനം പ്രയോഗിക്കുന്നു. രണ്ട് സാഹചര്യങ്ങളിലും, പോസിറ്റീവ് റൈൻഫോഴ്‌സ്‌മെന്റുമായി ബന്ധപ്പെട്ട വിരളമായ സിഗ്നൽ കൂടുതൽ സമ്പന്നവും കൂടുതൽ വിവരദായകവുമായിത്തീരുന്നു, ഇത് വേഗത്തിൽ പഠിക്കാനും കൂടുതൽ സങ്കീർണ്ണമായ സ്വഭാവങ്ങൾ നേടാനും അനുവദിക്കുന്നു. അത്തരം മെച്ചപ്പെടുത്തലുകൾ ഗ്രേഡിയന്റ് സിഗ്നൽ ഉപയോഗിക്കുന്ന രീതികളിൽ മാത്രമേ ലഭ്യമാകൂ, അല്ലാതെ ES പോലെയുള്ള "ബ്ലാക്ക് ബോക്സ്" തത്വത്തിൽ പ്രവർത്തിക്കുന്ന രീതികളിൽ അല്ല.

കൂടാതെ, അനുഭവത്തിൽ നിന്നും ഗ്രേഡിയന്റ് രീതികളിൽ നിന്നും പഠിക്കുന്നത് കൂടുതൽ ഫലപ്രദമാണ്. റൈൻഫോഴ്സ്മെന്റ് ലേണിംഗ് ഉപയോഗിക്കുന്നതിനേക്കാൾ വേഗത്തിൽ ES രീതി ഉപയോഗിച്ച് ഒരു പ്രത്യേക പ്രശ്നം പഠിക്കാൻ കഴിയുന്ന സന്ദർഭങ്ങളിൽ പോലും, ES തന്ത്രം RL-നേക്കാൾ പലമടങ്ങ് ഡാറ്റ ഉൾപ്പെട്ടിരിക്കുന്നതിനാൽ നേട്ടം കൈവരിച്ചു. മൃഗങ്ങളിൽ പഠിക്കുന്നതിനുള്ള തത്വങ്ങളെക്കുറിച്ച് ഈ കേസിൽ പ്രതിഫലിപ്പിക്കുമ്പോൾ, മറ്റൊരാളുടെ മാതൃകയിൽ നിന്ന് പഠിക്കുന്നതിന്റെ ഫലം നിരവധി തലമുറകൾക്ക് ശേഷം പ്രകടമാകുമെന്ന് ഞങ്ങൾ ശ്രദ്ധിക്കുന്നു, ചിലപ്പോൾ സ്വയം അനുഭവിച്ച ഒരൊറ്റ സംഭവം മതിയാകും മൃഗത്തിന് എന്നെന്നേക്കുമായി പാഠം പഠിക്കാൻ. ഇഷ്ടപ്പെടുമ്പോൾ ഉദാഹരണങ്ങളില്ലാതെ പരിശീലനം ഇത് പരമ്പരാഗത ഗ്രേഡിയന്റ് രീതികളുമായി പൊരുത്തപ്പെടുന്നില്ലെങ്കിലും, ഇത് ES നേക്കാൾ വളരെ ബുദ്ധിപരമാണ്. ഉദാഹരണത്തിന്, പോലുള്ള സമീപനങ്ങളുണ്ട് ന്യൂറൽ എപ്പിസോഡിക് നിയന്ത്രണം, പരിശീലന പ്രക്രിയയിൽ Q- മൂല്യങ്ങൾ സംഭരിച്ചിരിക്കുന്നിടത്ത്, നടപടികൾ സ്വീകരിക്കുന്നതിന് മുമ്പ് പ്രോഗ്രാം അവ പരിശോധിക്കുന്നു. മുമ്പത്തേതിനേക്കാൾ വേഗത്തിൽ പ്രശ്നങ്ങൾ എങ്ങനെ പരിഹരിക്കാമെന്ന് മനസിലാക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഗ്രേഡിയന്റ് രീതിയാണ് ഫലം. ന്യൂറൽ എപ്പിസോഡിക് നിയന്ത്രണത്തെക്കുറിച്ചുള്ള ഒരു ലേഖനത്തിൽ, രചയിതാക്കൾ ഹ്യൂമൻ ഹിപ്പോകാമ്പസിനെ പരാമർശിക്കുന്നു, അത് ഒരൊറ്റ അനുഭവത്തിന് ശേഷവും ഒരു സംഭവത്തെക്കുറിച്ചുള്ള വിവരങ്ങൾ നിലനിർത്താൻ പ്രാപ്തമാണ്. നിർണായക പങ്ക് ഓർമ്മിക്കുന്ന പ്രക്രിയയിൽ. അത്തരം സംവിധാനങ്ങൾക്ക് ഏജന്റിന്റെ ആന്തരിക ഓർഗനൈസേഷനിലേക്ക് പ്രവേശനം ആവശ്യമാണ്, ഇത് നിർവചനം അനുസരിച്ച് ES മാതൃകയിൽ അസാധ്യമാണ്.

അതിനാൽ, എന്തുകൊണ്ട് അവയെ സംയോജിപ്പിച്ചുകൂടാ?

ഈ ലേഖനത്തിന്റെ ഭൂരിഭാഗവും ഞാൻ RL രീതികളെ അനുകൂലിക്കുന്നു എന്ന ധാരണ ഉണ്ടാക്കിയേക്കാം. എന്നിരുന്നാലും, ദീർഘകാലാടിസ്ഥാനത്തിൽ രണ്ട് രീതികളും സംയോജിപ്പിക്കുന്നതാണ് ഏറ്റവും മികച്ച പരിഹാരം എന്ന് ഞാൻ കരുതുന്നു, അങ്ങനെ ഓരോന്നും ഏറ്റവും അനുയോജ്യമായ സാഹചര്യങ്ങളിൽ ഉപയോഗിക്കുന്നു. വ്യക്തമായും, നിരവധി റിയാക്ടീവ് പോളിസികളുടെ കാര്യത്തിലോ പോസിറ്റീവ് റൈൻഫോഴ്‌സ്‌മെന്റിന്റെ വളരെ വിരളമായ സിഗ്നലുകൾ ഉള്ള സാഹചര്യങ്ങളിലോ, ES വിജയിക്കുന്നു, പ്രത്യേകിച്ചും നിങ്ങൾക്ക് സമാന്തര പരിശീലനം നടത്താൻ കഴിയുന്ന കമ്പ്യൂട്ടിംഗ് പവർ നിങ്ങളുടെ പക്കലുണ്ടെങ്കിൽ. മറുവശത്ത്, നമുക്ക് വിപുലമായ ഫീഡ്‌ബാക്കിലേക്ക് ആക്‌സസ് ഉള്ളപ്പോൾ, വേഗത്തിലും കുറഞ്ഞ ഡാറ്റയിലും ഒരു പ്രശ്‌നം എങ്ങനെ പരിഹരിക്കാമെന്ന് പഠിക്കേണ്ടിവരുമ്പോൾ, റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് അല്ലെങ്കിൽ സൂപ്പർവൈസ്ഡ് ലേണിംഗ് ഉപയോഗിക്കുന്ന ഗ്രേഡിയന്റ് രീതികൾ ഉപയോഗപ്രദമാകും.

പ്രകൃതിയിലേക്ക് തിരിയുമ്പോൾ, ആദ്യത്തെ രീതി, സാരാംശത്തിൽ, രണ്ടാമത്തേതിന് അടിത്തറയിടുന്നതായി ഞങ്ങൾ കണ്ടെത്തുന്നു. അതുകൊണ്ടാണ്, പരിണാമത്തിൽ, സസ്തനികൾ പരിസ്ഥിതിയിൽ നിന്ന് വരുന്ന സങ്കീർണ്ണമായ സിഗ്നലുകളിൽ നിന്ന് വളരെ ഫലപ്രദമായി പഠിക്കാൻ അനുവദിക്കുന്ന തലച്ചോറുകൾ വികസിപ്പിച്ചെടുത്തത്. അതിനാൽ, ചോദ്യം തുറന്നിരിക്കുന്നു. ഗ്രേഡിയന്റ് ലേണിംഗ് രീതികൾക്കും ഉപയോഗപ്രദമാകുന്ന ഫലപ്രദമായ പഠന വാസ്തുവിദ്യകൾ കണ്ടുപിടിക്കാൻ പരിണാമ തന്ത്രങ്ങൾ നമ്മെ സഹായിച്ചേക്കാം. എല്ലാത്തിനുമുപരി, പ്രകൃതി കണ്ടെത്തിയ പരിഹാരം തീർച്ചയായും വളരെ വിജയകരമാണ്.

അവലംബം: www.habr.com