ഒളിഞ്ഞുനോക്കാനുള്ള ഗെയിമിൽ ഓപ്പൺഎഐ AI ടീം വർക്ക് പഠിപ്പിക്കുന്നു

ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് (AI) ബോട്ടുകൾ എങ്ങനെ തീരുമാനങ്ങൾ എടുക്കുന്നുവെന്നും പരസ്പരം ഇടപഴകുന്നതിനെക്കുറിച്ചും ചുറ്റുമുള്ള വിവിധ വസ്തുക്കളുമായും എങ്ങനെ ഇടപഴകുന്നുവെന്നും തെളിയിക്കുന്നതിനുള്ള മികച്ച ഒരു പഴയകാല ഒളിഞ്ഞുനോട്ട ഗെയിമിന് കഴിയും.

അതിൽ പുതിയ ലേഖനം, ലാഭേച്ഛയില്ലാതെ പ്രവർത്തിക്കുന്ന ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് റിസർച്ച് ഓർഗനൈസേഷനായ ഓപ്പൺഎഐയിൽ നിന്നുള്ള ഗവേഷകർ പ്രസിദ്ധീകരിച്ചത് പ്രശസ്തമായി ലോക ചാമ്പ്യന്മാർക്കെതിരെ വിജയം കമ്പ്യൂട്ടർ ഗെയിമായ ഡോട്ട 2-ൽ, ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് നിയന്ത്രിക്കുന്ന ഏജൻ്റുമാരെ വെർച്വൽ പരിതസ്ഥിതിയിൽ പരസ്പരം തിരയുന്നതിനും മറയ്ക്കുന്നതിനും കൂടുതൽ സങ്കീർണ്ണമായ പരിശീലനം ലഭിച്ചതെങ്ങനെയെന്ന് ശാസ്ത്രജ്ഞർ വിവരിക്കുന്നു. രണ്ട് ബോട്ടുകളുടെ ഒരു ടീം സഖ്യകക്ഷികളില്ലാത്ത ഏതെങ്കിലും ഒരു ഏജൻ്റിനെക്കാൾ കൂടുതൽ കാര്യക്ഷമമായും വേഗത്തിലും പഠിക്കുന്നുവെന്ന് പഠന ഫലങ്ങൾ തെളിയിക്കുന്നു.

വളരെക്കാലമായി പ്രശസ്തി നേടിയ ഒരു രീതി ശാസ്ത്രജ്ഞർ ഉപയോഗിച്ചു മെഷീൻ ലേണിംഗ് ഉപയോഗിച്ച് ശക്തിപ്പെടുത്തൽ, ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് അത് അജ്ഞാതമായ ഒരു പരിതസ്ഥിതിയിൽ സ്ഥാപിക്കുന്നു, അതിനോട് ഇടപഴകുന്നതിന് ചില വഴികൾ ഉണ്ട്, അതുപോലെ തന്നെ അതിൻ്റെ പ്രവർത്തനങ്ങളുടെ ഒന്നോ അല്ലെങ്കിൽ മറ്റൊരു ഫലത്തിന് പ്രതിഫലവും പിഴയും നൽകുന്ന സംവിധാനവും. ഒരു വ്യക്തിക്ക് സങ്കൽപ്പിക്കാൻ കഴിയുന്നതിനേക്കാൾ ദശലക്ഷക്കണക്കിന് മടങ്ങ് വേഗതയിൽ, ഒരു വെർച്വൽ പരിതസ്ഥിതിയിൽ വിവിധ പ്രവർത്തനങ്ങൾ നടത്താനുള്ള AI യുടെ കഴിവ് കാരണം ഈ രീതി വളരെ ഫലപ്രദമാണ്. തന്നിരിക്കുന്ന ഒരു പ്രശ്നം പരിഹരിക്കുന്നതിനുള്ള ഏറ്റവും ഫലപ്രദമായ തന്ത്രങ്ങൾ കണ്ടെത്താൻ ഇത് ട്രയലും പിശകും അനുവദിക്കുന്നു. എന്നാൽ ഈ സമീപനത്തിന് ചില പരിമിതികളും ഉണ്ട്, ഉദാഹരണത്തിന്, ഒരു പരിസ്ഥിതി സൃഷ്ടിക്കുന്നതിനും നിരവധി പരിശീലന സൈക്കിളുകൾ നടത്തുന്നതിനും വലിയ കമ്പ്യൂട്ടിംഗ് ഉറവിടങ്ങൾ ആവശ്യമാണ്, കൂടാതെ പ്രക്രിയയ്ക്ക് തന്നെ AI പ്രവർത്തനങ്ങളുടെ ഫലങ്ങൾ അതിൻ്റെ ലക്ഷ്യവുമായി താരതമ്യം ചെയ്യുന്നതിനുള്ള കൃത്യമായ സംവിധാനം ആവശ്യമാണ്. കൂടാതെ, ഈ രീതിയിൽ ഏജൻ്റ് നേടിയ കഴിവുകൾ വിവരിച്ച ടാസ്ക്കിലേക്ക് പരിമിതപ്പെടുത്തിയിരിക്കുന്നു, AI അതിനെ നേരിടാൻ പഠിച്ചാലുടൻ, കൂടുതൽ മെച്ചപ്പെടുത്തലുകൾ ഉണ്ടാകില്ല.

ഒളിഞ്ഞും തെളിഞ്ഞും കളിക്കാൻ AI-യെ പരിശീലിപ്പിക്കാൻ, ശാസ്ത്രജ്ഞർ "അൺഡയറക്ടഡ് എക്സ്പ്ലോറേഷൻ" എന്ന ഒരു സമീപനം ഉപയോഗിച്ചു, അവിടെയാണ് ഗെയിം ലോകത്തെക്കുറിച്ചുള്ള അവരുടെ ഗ്രാഹ്യം വികസിപ്പിക്കാനും വിജയകരമായ തന്ത്രങ്ങൾ വികസിപ്പിക്കാനും ഏജൻ്റുമാർക്ക് പൂർണ്ണ സ്വാതന്ത്ര്യം ഉള്ളത്. ഒന്നിലധികം ആർട്ടിഫിഷ്യൽ ഇൻ്റലിജൻസ് സിസ്റ്റങ്ങളിൽ ഡീപ് മൈൻഡിലെ ഗവേഷകർ ഉപയോഗിച്ച മൾട്ടി-ഏജൻ്റ് ലേണിംഗ് സമീപനത്തിന് സമാനമാണിത്. ക്വാക്ക് III അരീനയിൽ ഫ്ലാഗ് മോഡ് ക്യാപ്‌ചർ ചെയ്യാൻ പരിശീലിപ്പിച്ചു. ഈ സാഹചര്യത്തിലെന്നപോലെ, AI ഏജൻ്റുമാർക്ക് ഗെയിമിൻ്റെ നിയമങ്ങളിൽ മുമ്പ് പരിശീലനം ലഭിച്ചിരുന്നില്ല, എന്നാൽ കാലക്രമേണ അവർ അടിസ്ഥാന തന്ത്രങ്ങൾ പഠിക്കുകയും നിസ്സാരമല്ലാത്ത പരിഹാരങ്ങൾ ഉപയോഗിച്ച് ഗവേഷകരെ അത്ഭുതപ്പെടുത്തുകയും ചെയ്തു.

ഒളിച്ചുനോക്കുക എന്ന ഗെയിമിൽ, സെർച്ചിംഗ് ഏജൻ്റുമാരുടെ സംഘം നിശ്ചലമായിരിക്കെ, ഒരു ചെറിയ തുടക്കത്തിന് ശേഷം, മറയ്ക്കുക എന്ന ജോലിയുള്ള നിരവധി ഏജൻ്റുമാർക്ക് അവരുടെ എതിരാളികളുടെ കാഴ്ച ഒഴിവാക്കേണ്ടതുണ്ട്. മാത്രമല്ല, ഈ സന്ദർഭത്തിലെ "കാഴ്ചയുടെ രേഖ" ഒരു വ്യക്തിഗത ബോട്ടിന് മുന്നിൽ 135 ഡിഗ്രി കോൺ ആണ്. കളിക്കുന്ന സ്ഥലത്തിന് പുറത്തേക്ക് അധികം ദൂരെ പോകാൻ ഏജൻ്റുമാർക്ക് കഴിയില്ല, കൂടാതെ ക്രമരഹിതമായി ജനറേറ്റ് ചെയ്ത മുറികൾ നാവിഗേറ്റ് ചെയ്യാൻ നിർബന്ധിതരായി, ചുറ്റും ചിതറിക്കിടക്കുന്ന ചില ബാഹ്യ വസ്തുക്കൾ (ബോക്സുകൾ, ചലിക്കുന്ന ഭിത്തികൾ, പ്രത്യേക റാമ്പുകൾ) ഉപയോഗിക്കാൻ കഴിയും. .

ദൈർഘ്യമേറിയ പഠന പ്രക്രിയയിലൂടെ, AI ഏജൻ്റുമാർ ആറ് അദ്വിതീയ തന്ത്രങ്ങൾ പഠിച്ചു, അവ ഓരോന്നും ഗെയിമിൻ്റെ അടുത്ത ഘട്ടത്തിലേക്ക് മുന്നേറാൻ അവരെ സഹായിച്ചു. ആദ്യം, സീക്കർ, ഹൈഡർ ടീമുകൾ ഓടിപ്പോയി പരസ്പരം ഓടിച്ചു, എന്നാൽ ഏകദേശം 25 ദശലക്ഷം മത്സരങ്ങൾക്ക് ശേഷം, ബോക്സുകൾ ഉപയോഗിച്ച് പാസുകൾ തടയാനും അവയിൽ നിന്ന് ഷെൽട്ടറുകൾ നിർമ്മിക്കാനും ഹൈഡർ ടീം പഠിച്ചു. മറ്റൊരു 75 ദശലക്ഷം മത്സരങ്ങൾക്ക് ശേഷം, ഈ ഒളിത്താവളങ്ങളിലേക്ക് കടക്കാൻ റാമ്പുകൾ ഉപയോഗിക്കുന്നതിനുള്ള വഴികൾ ടീം കണ്ടെത്തി. മറ്റൊരു 10 ദശലക്ഷം റൗണ്ടുകൾക്ക് ശേഷം, കളിക്കുന്ന സ്ഥലത്തിൻ്റെ അരികിലേക്ക് റാമ്പുകൾ വലിച്ചിടാനും എതിരാളികൾ അവ ഉപയോഗിക്കുന്നതിൽ നിന്ന് തടയാൻ അവയെ ലോക്ക് ചെയ്യാനും ഒളിച്ചുകാർ പഠിച്ചു.

388 ദശലക്ഷം മത്സരങ്ങൾക്ക് ശേഷം, അന്വേഷകർ തങ്ങൾക്ക് കൊണ്ടുവന്ന ക്രാറ്റുകളിലേക്ക് കയറാൻ തടഞ്ഞ റാമ്പുകൾ ഉപയോഗിക്കാൻ പഠിച്ചു, തുടർന്ന്, അവയിലേക്ക് നേരിട്ട് നീങ്ങുക, പോർട്ടബിൾ മതിലുകളിൽ നിന്ന് സൃഷ്ടിച്ച ശത്രു ഒളിത്താവളങ്ങളിൽ തുളച്ചുകയറുക. ഒടുവിൽ, 458 ദശലക്ഷം മത്സരങ്ങൾക്ക് ശേഷം, എല്ലാ വസ്തുക്കളെയും തടഞ്ഞ് ഒരു അഭയം നിർമ്മിക്കേണ്ടതുണ്ടെന്ന് ഒളിച്ചിരിക്കുന്ന ടീം നിഗമനം ചെയ്തു, ഇത് അവരുടെ അന്തിമ വിജയത്തിലേക്ക് നയിച്ചു.

പ്രത്യേകിച്ച് ശ്രദ്ധേയമായ കാര്യം, 22 ദശലക്ഷം മത്സരങ്ങൾക്ക് ശേഷം, ഏജൻ്റുമാർ അവരുടെ പ്രവർത്തനങ്ങൾ ഏകോപിപ്പിക്കാൻ പഠിച്ചു, അവരുടെ സഹകരണത്തിൻ്റെ കാര്യക്ഷമത ഭാവിയിൽ വർദ്ധിച്ചു. തടയുക, എതിരാളികൾക്ക് ബുദ്ധിമുട്ടുള്ള ഗെയിം സങ്കീർണ്ണമാക്കാൻ.

പഠന വേഗതയിൽ പരിശീലന വസ്തുക്കളുടെ എണ്ണത്തിൻ്റെ (ന്യൂറൽ നെറ്റ്‌വർക്കിലൂടെ കടന്നുപോകുന്ന ഡാറ്റയുടെ അളവ് - “ബാച്ച് വലുപ്പം”) സ്വാധീനവുമായി ബന്ധപ്പെട്ട ഒരു പ്രധാന പോയിൻ്റും ശാസ്ത്രജ്ഞർ രേഖപ്പെടുത്തി. ഡിഫോൾട്ട് മോഡലിന് 132,3 മണിക്കൂർ പരിശീലനത്തിൽ 34 ദശലക്ഷം പൊരുത്തങ്ങൾ ആവശ്യമായിരുന്നു, മറയ്ക്കുന്ന ടീം റാമ്പുകൾ തടയാൻ പഠിച്ച ഘട്ടത്തിലെത്താൻ, കൂടുതൽ ഡാറ്റ പരിശീലന സമയം ഗണ്യമായി കുറയ്ക്കുന്നതിന് കാരണമായി. ഉദാഹരണത്തിന്, പാരാമീറ്ററുകളുടെ എണ്ണം (മുഴുവൻ പരിശീലന പ്രക്രിയയിൽ ലഭിച്ച ഡാറ്റയുടെ ഭാഗം) 0,5 ദശലക്ഷത്തിൽ നിന്ന് 5,8 ദശലക്ഷമായി വർദ്ധിപ്പിക്കുന്നത് സാമ്പിൾ കാര്യക്ഷമത 2,2 മടങ്ങ് വർദ്ധിപ്പിച്ചു, ഇൻപുട്ട് ഡാറ്റയുടെ വലുപ്പം 64 കെബിയിൽ നിന്ന് 128 കെബിയായി വർദ്ധിപ്പിച്ചത് പരിശീലനം കുറച്ചു. സമയം ഏകദേശം ഒന്നര തവണ.

അവരുടെ ജോലിയുടെ അവസാനം, ഗെയിമിന് പുറത്തുള്ള സമാന ജോലികളെ നേരിടാൻ ഏജൻ്റുമാരെ ഇൻ-ഗെയിം പരിശീലനം എത്രത്തോളം സഹായിക്കുമെന്ന് പരിശോധിക്കാൻ ഗവേഷകർ തീരുമാനിച്ചു. ആകെ അഞ്ച് പരിശോധനകൾ ഉണ്ടായിരുന്നു: വസ്തുക്കളുടെ എണ്ണത്തെ കുറിച്ചുള്ള അവബോധം (ഒരു വസ്തു കണ്ണിന് പുറത്താണെങ്കിലും ഉപയോഗിക്കാതെയാണെങ്കിലും അത് നിലനിൽക്കുന്നുണ്ടെന്ന് മനസ്സിലാക്കുക); "ലോക്ക് ആൻ്റ് റിട്ടേൺ" - ഒരാളുടെ യഥാർത്ഥ സ്ഥാനം ഓർമ്മിക്കാനും ചില അധിക ജോലികൾ പൂർത്തിയാക്കിയ ശേഷം അതിലേക്ക് മടങ്ങാനുമുള്ള കഴിവ്; “തുടർച്ചയായ തടയൽ” - 4 ബോക്സുകൾ ക്രമരഹിതമായി മൂന്ന് മുറികളിലായി വാതിലുകളില്ലാതെ സ്ഥിതിചെയ്യുന്നു, എന്നാൽ അകത്ത് കയറാൻ റാമ്പുകൾ ഉള്ളതിനാൽ, ഏജൻ്റുമാർക്ക് അവയെല്ലാം കണ്ടെത്തി തടയേണ്ടതുണ്ട്; മുൻകൂട്ടി നിശ്ചയിച്ച സൈറ്റുകളിൽ ബോക്സുകൾ സ്ഥാപിക്കൽ; ഒരു സിലിണ്ടറിൻ്റെ രൂപത്തിൽ ഒരു വസ്തുവിന് ചുറ്റും ഒരു അഭയം സൃഷ്ടിക്കുന്നു.

തൽഫലമായി, അഞ്ച് ടാസ്‌ക്കുകളിൽ മൂന്നെണ്ണത്തിലും, ഗെയിമിൽ പ്രാഥമിക പരിശീലനം നേടിയ ബോട്ടുകൾ ആദ്യം മുതൽ പ്രശ്‌നങ്ങൾ പരിഹരിക്കാൻ പരിശീലിപ്പിച്ച AI-യെക്കാൾ വേഗത്തിൽ പഠിക്കുകയും മികച്ച ഫലങ്ങൾ കാണിക്കുകയും ചെയ്തു. ടാസ്‌ക് പൂർത്തിയാക്കി ആരംഭ സ്ഥാനത്തേക്ക് മടങ്ങുന്നതിലും, അടച്ചിട്ട മുറികളിൽ പെട്ടികൾ തുടർച്ചയായി തടയുന്നതിലും, തന്നിരിക്കുന്ന സ്ഥലങ്ങളിൽ പെട്ടികൾ സ്ഥാപിക്കുന്നതിലും അവർ അൽപ്പം മെച്ചപ്പെട്ട പ്രകടനം നടത്തി, എന്നാൽ വസ്തുക്കളുടെ എണ്ണം തിരിച്ചറിയുന്നതിലും മറ്റൊരു വസ്തുവിന് ചുറ്റും കവർ സൃഷ്‌ടിക്കുന്നതിലും അൽപ്പം ദുർബലമായ പ്രകടനം കാഴ്ചവച്ചു.

AI എങ്ങനെ ചില കഴിവുകൾ പഠിക്കുകയും ഓർമ്മിക്കുകയും ചെയ്യുന്നു എന്നതിൽ സമ്മിശ്ര ഫലങ്ങൾ ഗവേഷകർ ആരോപിക്കുന്നു. “ഇൻ-ഗെയിം പ്രീ-ട്രെയിനിംഗ് മികച്ച രീതിയിൽ നിർവഹിക്കുന്ന ടാസ്‌ക്കുകളിൽ മുമ്പ് പഠിച്ച കഴിവുകൾ പരിചിതമായ രീതിയിൽ പുനരുപയോഗിക്കുന്നത് ഉൾപ്പെടുന്നുവെന്ന് ഞങ്ങൾ കരുതുന്നു, അതേസമയം ആദ്യം മുതൽ പരിശീലിപ്പിച്ച AI-യെക്കാൾ മികച്ച രീതിയിൽ ശേഷിക്കുന്ന ജോലികൾ മറ്റൊരു രീതിയിൽ ഉപയോഗിക്കേണ്ടതുണ്ട്. കൂടുതൽ ബുദ്ധിമുട്ടാണ്," സൃഷ്ടിയുടെ സഹ രചയിതാക്കൾ എഴുതുക. "ഒരു പരിതസ്ഥിതിയിൽ നിന്ന് മറ്റൊന്നിലേക്ക് മാറ്റുമ്പോൾ പരിശീലനത്തിലൂടെ നേടിയ കഴിവുകൾ ഫലപ്രദമായി പുനരുപയോഗിക്കുന്നതിനുള്ള രീതികൾ വികസിപ്പിക്കേണ്ടതിൻ്റെ ആവശ്യകത ഈ ഫലം എടുത്തുകാണിക്കുന്നു."

ഈ അധ്യാപന രീതി ഉപയോഗിക്കുന്നതിനുള്ള സാധ്യത ഏതൊരു ഗെയിമുകളുടെയും പരിധിക്കപ്പുറമുള്ളതിനാൽ, ചെയ്ത ജോലി ശരിക്കും ശ്രദ്ധേയമാണ്. രോഗനിർണയം നടത്താനും സങ്കീർണ്ണമായ പ്രോട്ടീൻ തന്മാത്രകളുടെ ഘടന പ്രവചിക്കാനും സിടി സ്കാനുകൾ വിശകലനം ചെയ്യാനും കഴിയുന്ന "ഭൗതികശാസ്ത്രത്തെ അടിസ്ഥാനമാക്കിയുള്ള", "മനുഷ്യനെപ്പോലെ" സ്വഭാവമുള്ള AI സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു സുപ്രധാന ചുവടുവയ്പ്പാണ് തങ്ങളുടെ പ്രവർത്തനമെന്ന് ഗവേഷകർ പറയുന്നു.

മുഴുവൻ പഠന പ്രക്രിയയും എങ്ങനെയാണ് നടന്നത്, AI എങ്ങനെ ടീം വർക്ക് പഠിച്ചു, അതിൻ്റെ തന്ത്രങ്ങൾ കൂടുതൽ കൂടുതൽ തന്ത്രപരവും സങ്കീർണ്ണവും ആയിത്തീർന്നത് എങ്ങനെയെന്ന് ചുവടെയുള്ള വീഡിയോയിൽ നിങ്ങൾക്ക് വ്യക്തമായി കാണാൻ കഴിയും.

അവലംബം: 3dnews.ru