ડીપમાઇન્ડ AI માસ્ટર્સ ટીમ રમે છે અને ક્વેક III માં માનવોને આઉટપરફોર્મ કરે છે

ધ્વજને કેપ્ચર કરો એ એકદમ સરળ સ્પર્ધાત્મક મોડ છે જે ઘણા લોકપ્રિય શૂટર્સમાં જોવા મળે છે. દરેક ટીમ પાસે તેના આધાર પર સ્થિત માર્કર હોય છે, અને ધ્યેય વિરોધી ટીમના માર્કરને પકડવાનો અને સફળતાપૂર્વક તેને પોતાની પાસે લાવવાનો છે. જો કે, માણસો માટે જે સમજવું સરળ છે તે મશીનો માટે એટલું સરળ નથી. ધ્વજને કેપ્ચર કરવા માટે, બિન-ખેલાડી પાત્રો (બોટ્સ) પરંપરાગત રીતે હ્યુરિસ્ટિક્સ અને સરળ અલ્ગોરિધમનો ઉપયોગ કરીને પ્રોગ્રામ કરવામાં આવે છે જે પસંદગીની મર્યાદિત સ્વતંત્રતા પ્રદાન કરે છે અને માનવીઓ કરતાં નોંધપાત્ર રીતે હલકી ગુણવત્તાવાળા હોય છે. પરંતુ આર્ટિફિશિયલ ઇન્ટેલિજન્સ અને મશીન લર્નિંગ આ પરિસ્થિતિને સંપૂર્ણપણે બદલવાનું વચન આપે છે.

В લેખ, લગભગ એક વર્ષ પછી સાયન્સ જર્નલમાં આ અઠવાડિયે પ્રકાશિત થયું પ્રીપ્રિન્ટતેમજ તમારા બ્લોગ પર, આલ્ફાબેટની લંડન સ્થિત પેટાકંપની ડીપમાઈન્ડના સંશોધકો, એવી સિસ્ટમનું વર્ણન કરે છે કે જે માત્ર આઈડી સોફ્ટવેરના ક્વેક III એરેના નકશા પર ધ્વજને કેપ્ચર કરવાનું શીખી શકતું નથી, પરંતુ સંપૂર્ણપણે નવી ટીમ વ્યૂહરચના પણ વિકસાવી શકે છે, જે કોઈ પણ રીતે માનવીથી ઉતરતી નથી.

“કોઈએ એઆઈને કહ્યું નથી કે આ રમત કેવી રીતે રમવી, તેનું ફક્ત પરિણામ આવ્યું - પછી ભલે એઆઈએ તેના વિરોધીને હરાવ્યું કે નહીં. આ અભિગમનો ઉપયોગ કરવાની સુંદરતા એ છે કે જ્યારે તમે એજન્ટોને તાલીમ આપશો ત્યારે તમે ક્યારેય જાણતા નથી કે કેવી વર્તણૂક ઉભરી આવશે,” ડીપમાઇન્ડના સંશોધન વૈજ્ઞાનિક મેક્સ જેડરબર્ગ કહે છે, જેમણે અગાઉ મશીન લર્નિંગ સિસ્ટમ AlphaStar પર કામ કર્યું હતું. વટાવી ગયું સ્ટારક્રાફ્ટ II માં વ્યાવસાયિકોની માનવ ટીમ). તેમણે વધુમાં સમજાવ્યું કે તેમના નવા કાર્યની મુખ્ય પદ્ધતિ, પ્રથમ, પ્રબલિત શિક્ષણ છે, જે સોફ્ટવેર એજન્ટોને નિર્ધારિત લક્ષ્યો હાંસલ કરવા દબાણ કરવા માટે એક પ્રકારની પુરસ્કાર પ્રણાલીનો ઉપયોગ કરે છે, અને એઆઈ ટીમ જીતી કે નહીં તે ધ્યાનમાં લીધા વિના પુરસ્કાર સિસ્ટમ કામ કરે છે. , પરંતુ -બીજામાં, એજન્ટોને જૂથોમાં તાલીમ આપવામાં આવી હતી, જેણે AI ને શરૂઆતથી જ ટીમની ક્રિયાપ્રતિક્રિયામાં નિપુણતા મેળવવાની ફરજ પાડી હતી.

"સંશોધનના દૃષ્ટિકોણથી, આ એલ્ગોરિધમિક અભિગમ માટે એક નવીનતા છે જે ખરેખર આકર્ષક છે," મેક્સે ઉમેર્યું. "અમે અમારા AIને જે રીતે તાલીમ આપી છે તે સારી રીતે દર્શાવે છે કે કેટલાક ઉત્તમ ઉત્ક્રાંતિ વિચારોને કેવી રીતે માપવા અને અમલમાં મૂકવા."

ઉશ્કેરણીજનક રીતે ફોર ધ વિન (FTW) નામ આપવામાં આવ્યું છે, ડીપમાઇન્ડના એજન્ટો કન્વોલ્યુશનલ ન્યુરલ નેટવર્કનો ઉપયોગ કરીને સ્ક્રીન પિક્સેલ્સમાંથી સીધા શીખે છે, જે માનવ દ્રશ્ય આચ્છાદન પછીના સ્તરોમાં ગોઠવાયેલા ગાણિતિક કાર્યો (ન્યુરોન્સ)નો સમૂહ છે. પ્રાપ્ત ડેટા બહુવિધ ટૂંકા ગાળાની મેમરી (અંગ્રેજી લોંગ શોર્ટ-ટર્મ મેમરી - LSTM) સાથે બે નેટવર્કમાં પ્રસારિત થાય છે, જે લાંબા ગાળાની અવલંબનને ઓળખવામાં સક્ષમ છે. તેમાંથી એક ઝડપી પ્રતિભાવ ગતિ સાથે ઓપરેશનલ ડેટાનું સંચાલન કરે છે, જ્યારે અન્ય વિશ્લેષણ અને વ્યૂહરચના ઘડવા માટે ધીમે ધીમે કામ કરે છે. બંને વૈવિધ્યસભર મેમરી સાથે સંકળાયેલા છે, જેનો ઉપયોગ તેઓ રમતની દુનિયામાં થતા ફેરફારોની આગાહી કરવા અને એમ્યુલેટેડ ગેમ નિયંત્રક દ્વારા ક્રિયાઓ કરવા માટે કરે છે.

કુલ મળીને, ડીપમાઇન્ડે 30 એજન્ટોને પ્રશિક્ષિત કર્યા, તેમની સાથે રમવા માટે ટીમના સાથી અને વિરોધીઓની શ્રેણી આપી અને AIને યાદ ન રહે તે માટે રેન્ડમલી ગેમ કાર્ડ્સ પસંદ કર્યા. દરેક એજન્ટનું પોતાનું પુરસ્કાર સિગ્નલ હતું, જે તેને તેના પોતાના આંતરિક લક્ષ્યો બનાવવા માટે પરવાનગી આપે છે, જેમ કે ધ્વજ મેળવવો. દરેક AI વ્યક્તિગત રીતે કેપ્ચર ધ ફ્લેગની લગભગ 450 હજાર રમતો રમી હતી, જે લગભગ ચાર વર્ષના ગેમિંગ અનુભવની સમકક્ષ છે.

સંપૂર્ણ પ્રશિક્ષિત FTW એજન્ટોએ કોઈપણ નકશા, ટીમ રોસ્ટર અને ટીમના કદ માટે સામાન્ય વ્યૂહરચના લાગુ કરવાનું શીખ્યા છે. તેઓ માનવીય વર્તણૂકો શીખ્યા જેમ કે ટીમના સાથીઓને અનુસરવા, દુશ્મન બેઝમાં પડાવ નાખવો અને હુમલાખોરોથી તેમના આધારનો બચાવ કરવો, અને તેઓ ધીમે ધીમે ઓછા ફાયદાકારક દાખલાઓ ગુમાવ્યા જેમ કે સાથીદારને ખૂબ નજીકથી જોવું.

તો શું પરિણામો પ્રાપ્ત થયા? 40-વ્યક્તિઓની ટુર્નામેન્ટમાં કે જેમાં માનવીઓ અને એજન્ટો એકસાથે અને એકબીજાની સામે અવ્યવસ્થિત રીતે રમ્યા હતા, FTW એજન્ટોએ માનવ ખેલાડીઓના જીતના દરને નોંધપાત્ર રીતે પાછળ રાખ્યો હતો. AI નું Elo રેટિંગ, જે જીતવાની સંભાવના છે, તે 1600 હતું, જેની સરખામણીમાં "મજબૂત" માનવ ખેલાડીઓ માટે 1300 અને "સરેરાશ" માનવ ખેલાડી માટે 1050 છે.

આ આશ્ચર્યજનક નથી, કારણ કે AI ની પ્રતિક્રિયા ગતિ માનવ કરતા નોંધપાત્ર રીતે વધારે છે, જેણે પ્રારંભિક પ્રયોગોમાં ભૂતપૂર્વને નોંધપાત્ર ફાયદો આપ્યો હતો. પરંતુ બિલ્ટ-ઇન 257 મિલિસેકન્ડ લેટન્સીને કારણે જ્યારે એજન્ટોની ચોકસાઈ ઓછી થઈ અને પ્રતિક્રિયાનો સમય વધ્યો, ત્યારે પણ AI એ હજુ પણ મનુષ્યો કરતાં વધુ સારો દેખાવ કર્યો છે. અદ્યતન અને કેઝ્યુઅલ ખેલાડીઓ કુલ રમતોમાંથી અનુક્રમે માત્ર 21% અને 12% જીત્યા.

તદુપરાંત, અભ્યાસના પ્રકાશન પછી, વૈજ્ઞાનિકોએ જટિલ સ્તરના આર્કિટેક્ચર અને ફ્યુચર ક્રોસિંગ્સ અને આયર્નવુડ જેવા વધારાના ઑબ્જેક્ટ્સ સાથે સંપૂર્ણ સુવિધાયુક્ત ક્વેક III એરેના નકશા પર એજન્ટોનું પરીક્ષણ કરવાનું નક્કી કર્યું, જ્યાં AI એ ટેસ્ટ મેચોમાં માનવોને સફળતાપૂર્વક પડકારવાનું શરૂ કર્યું. . જ્યારે સંશોધકોએ એજન્ટોના ન્યુરલ નેટવર્ક સક્રિયકરણ પેટર્ન પર જોયું, એટલે કે, આવનારી માહિતીના આધારે આઉટપુટ નક્કી કરવા માટે જવાબદાર ન્યુરોન્સના કાર્યો, ત્યારે તેમને રૂમનું પ્રતિનિધિત્વ કરતા ક્લસ્ટરો, ધ્વજની સ્થિતિ, ટીમના સાથીઓ અને વિરોધીઓની દૃશ્યતા અને દુશ્મન આધાર પર એજન્ટોની હાજરી અથવા ગેરહાજરી. અથવા ટીમ આધારિત, અને ગેમપ્લેના અન્ય મહત્વપૂર્ણ પાસાઓ. પ્રશિક્ષિત એજન્ટોમાં એવા ન્યુરોન્સ પણ હોય છે જે ચોક્કસ પરિસ્થિતિઓને સીધા જ એન્કોડ કરે છે, જેમ કે જ્યારે કોઈ એજન્ટ દ્વારા ધ્વજ લેવામાં આવ્યો હોય અથવા જ્યારે કોઈ સાથી તેને પકડી રાખે છે.

જેડરબર્ગ કહે છે, "મને લાગે છે કે જોવા જેવી બાબતોમાંની એક એ છે કે આ મલ્ટી-એજન્ટ ટીમો અત્યંત શક્તિશાળી છે, અને અમારો અભ્યાસ તે દર્શાવે છે," જેડરબર્ગ કહે છે. "છેલ્લાં કેટલાંક વર્ષોમાં અમે વધુ સારું અને વધુ સારું કરવાનું શીખી રહ્યાં છીએ - મજબૂતીકરણ શિક્ષણની સમસ્યાને કેવી રીતે હલ કરવી." અને ઉન્નત તાલીમ ખરેખર તેજસ્વી રીતે કામ કરે છે."

યુનિવર્સિટી કોલેજ લંડનના કોમ્પ્યુટર સાયન્સના પ્રોફેસર અને ડીપમાઇન્ડ વિજ્ઞાની થોરે ગ્રેપેલ માને છે કે તેમનું કાર્ય એઆઈના ભવિષ્ય માટે મલ્ટી-એજન્ટ લર્નિંગની સંભવિતતાને પ્રકાશિત કરે છે. તે માનવ-મશીન ક્રિયાપ્રતિક્રિયા અને એકબીજાના પૂરક અથવા સાથે મળીને કામ કરતી સિસ્ટમોના સંશોધન માટેના આધાર તરીકે પણ કામ કરી શકે છે.

“અમારા પરિણામો દર્શાવે છે કે મલ્ટિ-એજન્ટ રિઇન્ફોર્સમેન્ટ લર્નિંગ એક જટિલ રમતમાં સફળતાપૂર્વક નિપુણતા મેળવી શકે છે જેથી માનવીય ખેલાડીઓ પણ માને છે કે કમ્પ્યુટર ખેલાડીઓ વધુ સારી ટીમના સાથી બનાવે છે. ગ્રેપલ કહે છે કે, આ અભ્યાસ પ્રશિક્ષિત એજન્ટો કેવી રીતે વર્તે છે અને સાથે મળીને કામ કરે છે તેનું અત્યંત રસપ્રદ ગહન વિશ્લેષણ પણ પ્રદાન કરે છે. "આ પરિણામોને શું ઉત્તેજક બનાવે છે તે એ છે કે આ એજન્ટો પ્રથમ વ્યક્તિમાં તેમના પર્યાવરણને સમજે છે, [એટલે કે] માનવ ખેલાડીની જેમ. વ્યૂહાત્મક રીતે કેવી રીતે રમવું અને તેમના સાથી ખેલાડીઓ સાથે સહકાર કેવી રીતે કરવો તે શીખવા માટે, આ એજન્ટોએ રમતના પરિણામોના પ્રતિસાદ પર આધાર રાખવો પડ્યો, કોઈ શિક્ષક અથવા કોચ તેમને શું કરવું તે બતાવ્યા વિના."

સોર્સ: 3dnews.ru