DeepMind AI മാസ്റ്റേഴ്സ് ടീം കളിക്കുകയും ക്വാക്ക് III-ൽ മനുഷ്യരെ മറികടക്കുകയും ചെയ്യുന്നു

ക്യാപ്‌ചർ ദി ഫ്ലാഗ് എന്നത് നിരവധി ജനപ്രിയ ഷൂട്ടർമാരിൽ കാണപ്പെടുന്ന വളരെ ലളിതമായ ഒരു മത്സര മോഡാണ്. ഓരോ ടീമിനും അതിന്റെ അടിത്തട്ടിൽ ഒരു മാർക്കർ ഉണ്ട്, എതിർ ടീമിന്റെ മാർക്കർ പിടിച്ചെടുക്കുകയും അത് വിജയകരമായി അതിലേക്ക് കൊണ്ടുവരികയുമാണ് ലക്ഷ്യം. എന്നിരുന്നാലും, മനുഷ്യർക്ക് മനസ്സിലാക്കാൻ എളുപ്പമുള്ളത് യന്ത്രങ്ങൾക്ക് അത്ര എളുപ്പമല്ല. ഫ്ലാഗ് ക്യാപ്‌ചർ ചെയ്യുന്നതിന്, നോൺ-പ്ലെയർ ക്യാരക്ടറുകൾ (ബോട്ടുകൾ) പരമ്പരാഗതമായി ഹ്യൂറിസ്റ്റിക്‌സും ലളിതമായ അൽഗോരിതങ്ങളും ഉപയോഗിച്ച് പ്രോഗ്രാം ചെയ്യപ്പെടുന്നു, അത് തിരഞ്ഞെടുക്കാനുള്ള പരിമിതമായ സ്വാതന്ത്ര്യം പ്രദാനം ചെയ്യുന്നു, അവ മനുഷ്യരേക്കാൾ വളരെ താഴ്ന്നതാണ്. എന്നാൽ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസും മെഷീൻ ലേണിംഗും ഈ അവസ്ഥയെ പൂർണ്ണമായും മാറ്റുമെന്ന് വാഗ്ദാനം ചെയ്യുന്നു.

В ലേഖനം, ഏകദേശം ഒരു വർഷത്തിനു ശേഷം സയൻസ് ജേണലിൽ ഈ ആഴ്ച പ്രസിദ്ധീകരിച്ചു പ്രീപ്രിന്റ്അതുപോലെ തന്നെ നിങ്ങളുടെ ബ്ലോഗ്, ആൽഫബെറ്റിന്റെ ലണ്ടൻ ആസ്ഥാനമായുള്ള അനുബന്ധ സ്ഥാപനമായ DeepMind-ൽ നിന്നുള്ള ഗവേഷകർ, ഐഡി സോഫ്‌റ്റ്‌വെയറിന്റെ ക്വേക്ക് III അരീന മാപ്പുകളിൽ ഫ്ലാഗ് ക്യാപ്‌ചർ കളിക്കാൻ പഠിക്കുക മാത്രമല്ല, ഒരു തരത്തിലും മനുഷ്യനെക്കാൾ താഴ്ന്നതല്ലാത്ത പുതിയ ടീം സ്ട്രാറ്റജികൾ വികസിപ്പിക്കുകയും ചെയ്യുന്ന ഒരു സിസ്റ്റത്തെ വിവരിക്കുന്നു.

“ഈ ഗെയിം എങ്ങനെ കളിക്കണമെന്ന് ആരും AI യോട് പറഞ്ഞില്ല, അതിന് ഫലം മാത്രമേ ഉണ്ടായിരുന്നുള്ളൂ - AI അതിന്റെ എതിരാളിയെ തോൽപ്പിച്ചാലും ഇല്ലെങ്കിലും. ഈ സമീപനം ഉപയോഗിക്കുന്നതിന്റെ ഭംഗി എന്തെന്നാൽ, നിങ്ങൾ ഏജന്റുമാരെ പരിശീലിപ്പിക്കുമ്പോൾ എന്ത് സ്വഭാവം ഉയർന്നുവരുമെന്ന് നിങ്ങൾക്കറിയില്ല," മുമ്പ് മെഷീൻ ലേണിംഗ് സിസ്റ്റമായ ആൽഫാസ്റ്റാറിൽ പ്രവർത്തിച്ചിരുന്ന ഡീപ് മൈൻഡിലെ ഗവേഷണ ശാസ്ത്രജ്ഞനായ മാക്സ് ജാഡർബർഗ് പറയുന്നു. മറികടന്നു സ്റ്റാർക്രാഫ്റ്റ് II ലെ പ്രൊഫഷണലുകളുടെ മനുഷ്യ സംഘം). അവരുടെ പുതിയ ജോലിയുടെ പ്രധാന രീതി, ഒന്നാമതായി, റൈൻഫോഴ്‌സ്ഡ് ലേണിംഗ് ആണ്, അത് സെറ്റ് ലക്ഷ്യങ്ങൾ നേടുന്നതിന് സോഫ്റ്റ്‌വെയർ ഏജന്റുമാരെ പ്രേരിപ്പിക്കാൻ ഒരുതരം റിവാർഡ് സിസ്റ്റം ഉപയോഗിക്കുന്നു, കൂടാതെ AI ടീം വിജയിച്ചോ ഇല്ലയോ എന്നത് പരിഗണിക്കാതെ തന്നെ റിവാർഡ് സിസ്റ്റം പ്രവർത്തിച്ചു. , എന്നാൽ രണ്ടാമതായി, ഏജന്റുമാരെ ഗ്രൂപ്പുകളായി പരിശീലിപ്പിച്ചു, ഇത് തുടക്കത്തിൽ തന്നെ ടീം ഇന്ററാക്ഷനിൽ മാസ്റ്റർ ചെയ്യാൻ AI യെ നിർബന്ധിച്ചു.

“ഒരു ഗവേഷണ വീക്ഷണകോണിൽ, ഇത് ഒരു അൽഗോരിതം സമീപനത്തിനുള്ള ഒരു പുതുമയാണ്, അത് ശരിക്കും ആവേശകരമാണ്,” മാക്സ് കൂട്ടിച്ചേർത്തു. "ഞങ്ങളുടെ AI-യെ ഞങ്ങൾ പരിശീലിപ്പിച്ച രീതി ചില ക്ലാസിക് പരിണാമ ആശയങ്ങൾ എങ്ങനെ സ്കെയിൽ ചെയ്യാമെന്നും നടപ്പിലാക്കാമെന്നും നന്നായി കാണിക്കുന്നു."

ഫോർ ദി വിൻ (എഫ്‌ടിഡബ്ല്യു) എന്ന് പേരിട്ടിരിക്കുന്ന ഫോർ ദി വിൻ (എഫ്‌ടിഡബ്ല്യു) എന്ന പേരിൽ ഡീപ്‌മൈൻഡിന്റെ ഏജന്റുമാർ സ്‌ക്രീൻ പിക്‌സലുകളിൽ നിന്ന് നേരിട്ട് പഠിക്കുന്നത് കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് ഉപയോഗിച്ചാണ്, മാനുഷിക വിഷ്വൽ കോർട്ടക്‌സിന്റെ മാതൃകയിലുള്ള പാളികളിൽ ക്രമീകരിച്ചിരിക്കുന്ന ഒരു കൂട്ടം ഗണിത പ്രവർത്തനങ്ങളുടെ (ന്യൂറോണുകൾ). സ്വീകരിച്ച ഡാറ്റ ഒന്നിലധികം ഹ്രസ്വകാല മെമ്മറി (ഇംഗ്ലീഷ് ലോംഗ് ഷോർട്ട് ടേം മെമ്മറി - എൽഎസ്ടിഎം) ഉള്ള രണ്ട് നെറ്റ്‌വർക്കുകളിലേക്ക് കൈമാറ്റം ചെയ്യപ്പെടുന്നു, ദീർഘകാല ഡിപൻഡൻസികൾ തിരിച്ചറിയാൻ കഴിയും. അവയിലൊന്ന് വേഗത്തിലുള്ള പ്രതികരണ വേഗതയിൽ പ്രവർത്തന ഡാറ്റ കൈകാര്യം ചെയ്യുന്നു, മറ്റൊന്ന് വിശകലനം ചെയ്യുന്നതിനും തന്ത്രങ്ങൾ രൂപപ്പെടുത്തുന്നതിനും സാവധാനത്തിൽ പ്രവർത്തിക്കുന്നു. രണ്ടും വേരിയേഷനൽ മെമ്മറിയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു, ഗെയിം ലോകത്തെ മാറ്റങ്ങൾ പ്രവചിക്കുന്നതിനും എമുലേറ്റഡ് ഗെയിം കൺട്രോളർ വഴി പ്രവർത്തനങ്ങൾ നടത്തുന്നതിനും അവ ഒരുമിച്ച് ഉപയോഗിക്കുന്നു.

മൊത്തത്തിൽ, DeepMind 30 ഏജന്റുമാരെ പരിശീലിപ്പിച്ചു, അവർക്ക് കളിക്കാൻ ടീമംഗങ്ങളുടെയും എതിരാളികളുടെയും ഒരു ശ്രേണി നൽകി, കൂടാതെ AI അവരെ ഓർമ്മിക്കുന്നതിൽ നിന്ന് തടയാൻ ക്രമരഹിതമായി തിരഞ്ഞെടുത്ത ഗെയിം കാർഡുകൾ. ഓരോ ഏജന്റിനും അതിന്റേതായ റിവാർഡ് സിഗ്നൽ ഉണ്ടായിരുന്നു, അത് ഫ്ലാഗ് ക്യാപ്‌ചർ പോലുള്ള സ്വന്തം ആന്തരിക ലക്ഷ്യങ്ങൾ സൃഷ്ടിക്കാൻ അനുവദിക്കുന്നു. ഓരോ AI-യും വ്യക്തിഗതമായി ഏകദേശം 450 ആയിരം ഫ്ലാഗ് ക്യാപ്‌ചർ ഗെയിമുകൾ കളിച്ചു, ഇത് ഏകദേശം നാല് വർഷത്തെ ഗെയിമിംഗ് അനുഭവത്തിന് തുല്യമാണ്.

പൂർണ്ണ പരിശീലനം ലഭിച്ച FTW ഏജന്റുമാർ ഏതെങ്കിലും മാപ്പ്, ടീം റോസ്റ്റർ, ടീം വലുപ്പം എന്നിവയ്ക്ക് പൊതുവായുള്ള തന്ത്രങ്ങൾ പ്രയോഗിക്കാൻ പഠിച്ചു. ടീമംഗങ്ങളെ പിന്തുടരുക, ശത്രു താവളത്തിൽ ക്യാമ്പ് ചെയ്യുക, ആക്രമണകാരികളിൽ നിന്ന് തങ്ങളുടെ താവളത്തെ പ്രതിരോധിക്കുക തുടങ്ങിയ മാനുഷിക പെരുമാറ്റങ്ങൾ അവർ പഠിച്ചു, ഒരു സഖ്യകക്ഷിയെ വളരെ അടുത്ത് കാണുന്നത് പോലെയുള്ള പ്രയോജനകരമായ പാറ്റേണുകൾ അവർക്ക് ക്രമേണ നഷ്ടപ്പെട്ടു.

അപ്പോൾ എന്ത് ഫലങ്ങൾ കൈവരിച്ചു? മനുഷ്യരും ഏജന്റുമാരും ഒരുമിച്ചും എതിർത്തും ക്രമരഹിതമായി കളിക്കുന്ന 40 വ്യക്തികളുള്ള ഒരു ടൂർണമെന്റിൽ, FTW ഏജന്റുമാർ മനുഷ്യ കളിക്കാരുടെ വിജയ നിരക്കിനെ ഗണ്യമായി മറികടന്നു. "ശക്തരായ" മനുഷ്യ കളിക്കാർക്ക് 1600 ഉം "ശരാശരി" ഹ്യൂമൻ കളിക്കാരന് 1300 ഉം ആയി താരതമ്യം ചെയ്യുമ്പോൾ, വിജയിക്കാനുള്ള സാധ്യതയുള്ള AI-യുടെ എലോ റേറ്റിംഗ് 1050 ആയിരുന്നു.

ഇത് ആശ്ചര്യകരമല്ല, കാരണം AI യുടെ പ്രതികരണ വേഗത മനുഷ്യനേക്കാൾ വളരെ കൂടുതലാണ്, ഇത് ആദ്യ പരീക്ഷണങ്ങളിൽ കാര്യമായ നേട്ടം നൽകി. എന്നാൽ 257 മില്ലിസെക്കൻഡ് ലേറ്റൻസിയുടെ ഫലമായി ഏജന്റുമാരുടെ കൃത്യത കുറയുകയും പ്രതികരണ സമയം വർദ്ധിക്കുകയും ചെയ്തപ്പോഴും, AI ഇപ്പോഴും മനുഷ്യരെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവച്ചു. അഡ്വാൻസ്ഡ്, കാഷ്വൽ കളിക്കാർ മൊത്തം ഗെയിമുകളിൽ യഥാക്രമം 21%, 12% എന്നിവ മാത്രമാണ് നേടിയത്.

കൂടാതെ, പഠനത്തിന്റെ പ്രസിദ്ധീകരണത്തിനുശേഷം, സങ്കീർണ്ണമായ തലത്തിലുള്ള വാസ്തുവിദ്യയും ഫ്യൂച്ചർ ക്രോസിംഗ്സ്, അയൺവുഡ് തുടങ്ങിയ അധിക വസ്തുക്കളും ഉള്ള പൂർണ്ണമായ ക്വാക്ക് III അരീന മാപ്പുകളിൽ ഏജന്റുമാരെ പരീക്ഷിക്കാൻ ശാസ്ത്രജ്ഞർ തീരുമാനിച്ചു, അവിടെ AI ടെസ്റ്റ് മത്സരങ്ങളിൽ മനുഷ്യരെ വിജയകരമായി വെല്ലുവിളിക്കാൻ തുടങ്ങി. . ഗവേഷകർ ഏജന്റുമാരുടെ ന്യൂറൽ നെറ്റ്‌വർക്ക് ആക്റ്റിവേഷൻ പാറ്റേണുകൾ പരിശോധിച്ചപ്പോൾ, ഇൻകമിംഗ് വിവരങ്ങളെ അടിസ്ഥാനമാക്കി ഔട്ട്‌പുട്ട് നിർണ്ണയിക്കുന്നതിന് ഉത്തരവാദികളായ ന്യൂറോണുകളുടെ പ്രവർത്തനങ്ങൾ, അവർ മുറികളെ പ്രതിനിധീകരിക്കുന്ന ക്ലസ്റ്ററുകൾ, ഫ്ലാഗുകളുടെ അവസ്ഥ, ടീമംഗങ്ങളുടെയും എതിരാളികളുടെയും ദൃശ്യപരത എന്നിവ കണ്ടെത്തി. ശത്രു താവളത്തിലെ ഏജന്റുമാരുടെ സാന്നിധ്യം അല്ലെങ്കിൽ അഭാവം അല്ലെങ്കിൽ ടീം അടിസ്ഥാനമാക്കിയുള്ളതും ഗെയിംപ്ലേയുടെ മറ്റ് പ്രധാന വശങ്ങളും. പരിശീലനം ലഭിച്ച ഏജന്റുമാരിൽ, ഒരു ഏജന്റ് ഒരു പതാക എടുക്കുമ്പോൾ അല്ലെങ്കിൽ ഒരു സഖ്യകക്ഷി അത് കൈവശം വയ്ക്കുമ്പോൾ പോലുള്ള നിർദ്ദിഷ്ട സാഹചര്യങ്ങൾ നേരിട്ട് എൻകോഡ് ചെയ്യുന്ന ന്യൂറോണുകൾ പോലും അടങ്ങിയിരുന്നു.

"ഈ മൾട്ടി-ഏജൻറ് ടീമുകൾ വളരെ ശക്തമാണ് എന്നതാണ് ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങളിലൊന്ന്, ഞങ്ങളുടെ പഠനം അത് തെളിയിക്കുന്നു," ജാഡർബർഗ് പറയുന്നു. "കഴിഞ്ഞ കുറച്ച് വർഷങ്ങളായി ഞങ്ങൾ മികച്ചതും മികച്ചതുമായ കാര്യങ്ങൾ ചെയ്യാൻ പഠിച്ചത് അതാണ്-ബലപ്പെടുത്തൽ പഠനത്തിന്റെ പ്രശ്നം എങ്ങനെ പരിഹരിക്കാം." മെച്ചപ്പെടുത്തിയ പരിശീലനം ശരിക്കും മികച്ച രീതിയിൽ പ്രവർത്തിച്ചു.

ലണ്ടൻ യൂണിവേഴ്‌സിറ്റി കോളേജിലെ കമ്പ്യൂട്ടർ സയൻസ് പ്രൊഫസറും ഡീപ് മൈൻഡ് ശാസ്ത്രജ്ഞനുമായ തോർ ഗ്രെപെൽ വിശ്വസിക്കുന്നത്, AI-യുടെ ഭാവിയിലേക്കുള്ള മൾട്ടി-ഏജൻറ് ലേണിംഗിന്റെ സാധ്യതയാണ് തങ്ങളുടെ പ്രവർത്തനങ്ങൾ ഉയർത്തിക്കാട്ടുന്നത്. മനുഷ്യ-യന്ത്ര ഇടപെടൽ, പരസ്പരം പൂരകമാക്കുന്ന അല്ലെങ്കിൽ ഒരുമിച്ച് പ്രവർത്തിക്കുന്ന സംവിധാനങ്ങൾ എന്നിവയെ കുറിച്ചുള്ള ഗവേഷണത്തിനുള്ള അടിസ്ഥാനമായും ഇത് പ്രവർത്തിക്കും.

“മൾട്ടി-ഏജൻറ് റൈൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗിന് സങ്കീർണ്ണമായ ഒരു ഗെയിമിൽ വിജയകരമായി വൈദഗ്ദ്ധ്യം നേടാനാകുമെന്ന് ഞങ്ങളുടെ ഫലങ്ങൾ കാണിക്കുന്നു, കമ്പ്യൂട്ടർ കളിക്കാർ മികച്ച ടീമംഗങ്ങളെ സൃഷ്ടിക്കുന്നുവെന്ന് മനുഷ്യ കളിക്കാർ പോലും വിശ്വസിക്കുന്നു. പരിശീലനം ലഭിച്ച ഏജന്റുമാർ എങ്ങനെ പെരുമാറുകയും ഒരുമിച്ച് പ്രവർത്തിക്കുകയും ചെയ്യുന്നു എന്നതിനെക്കുറിച്ചുള്ള വളരെ രസകരമായ ആഴത്തിലുള്ള വിശകലനവും പഠനം നൽകുന്നു, ഗ്രാപെൽ പറയുന്നു. "ഈ ഫലങ്ങൾ വളരെ ആവേശകരമാക്കുന്നത്, ഈ ഏജന്റുമാർ അവരുടെ പരിസ്ഥിതിയെ ആദ്യത്തെ വ്യക്തിയിൽ, [അതായത്] ഒരു മനുഷ്യ കളിക്കാരനെപ്പോലെ മനസ്സിലാക്കുന്നു എന്നതാണ്. തന്ത്രപരമായി എങ്ങനെ കളിക്കാമെന്നും അവരുടെ ടീമംഗങ്ങളുമായി സഹകരിക്കാമെന്നും പഠിക്കാൻ, ഈ ഏജന്റുമാർക്ക് ഗെയിമിന്റെ ഫലങ്ങളിൽ നിന്നുള്ള ഫീഡ്‌ബാക്കിനെ ആശ്രയിക്കേണ്ടി വന്നു, എന്തുചെയ്യണമെന്ന് ഒരു അധ്യാപകനോ പരിശീലകനോ കാണിക്കാതെ."

അവലംബം: 3dnews.ru