ઓપનએઆઈ એઆઈ ટીમ વર્કને સંતાડવાની રમતમાં શીખવે છે

તેઓ કેવી રીતે નિર્ણયો લે છે અને એકબીજા સાથે અને તેમની આસપાસની વિવિધ વસ્તુઓ સાથે કેવી રીતે ક્રિયાપ્રતિક્રિયા કરે છે તે દર્શાવવા માટે આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) બૉટો માટે છુપાવવા અને શોધવાની સારી જૂના જમાનાની રમત એક શ્રેષ્ઠ પરીક્ષણ બની શકે છે.

તેના માં નવો લેખ, OpenAI ના સંશોધકો દ્વારા પ્રકાશિત, બિન-લાભકારી કૃત્રિમ બુદ્ધિ સંશોધન સંસ્થા જે પ્રખ્યાત બની છે વિશ્વ ચેમ્પિયન પર વિજય કમ્પ્યુટર ગેમ ડોટા 2 માં, વૈજ્ઞાનિકો વર્ણવે છે કે કેવી રીતે આર્ટિફિશિયલ ઇન્ટેલિજન્સ દ્વારા નિયંત્રિત એજન્ટોને વર્ચ્યુઅલ વાતાવરણમાં એકબીજાથી શોધવા અને છુપાવવામાં વધુ અત્યાધુનિક બનવાની તાલીમ આપવામાં આવી હતી. અભ્યાસના પરિણામો દર્શાવે છે કે બે બૉટોની ટીમ સાથી વગરના કોઈપણ એક એજન્ટ કરતાં વધુ અસરકારક અને ઝડપી શીખે છે.

વૈજ્ઞાનિકોએ એક પદ્ધતિનો ઉપયોગ કર્યો છે જેણે તેની ખ્યાતિ લાંબા સમયથી જીતી લીધી છે મજબૂતીકરણ સાથે મશીન શિક્ષણ, જેમાં કૃત્રિમ બુદ્ધિમતાને અજાણ્યા વાતાવરણમાં મૂકવામાં આવે છે, જ્યારે તેની સાથે ક્રિયાપ્રતિક્રિયા કરવાની ચોક્કસ રીતો હોય છે, તેમજ તેની ક્રિયાઓના એક અથવા બીજા પરિણામ માટે પુરસ્કારો અને દંડની સિસ્ટમ હોય છે. વર્ચ્યુઅલ વાતાવરણમાં પ્રચંડ ઝડપે વિવિધ ક્રિયાઓ કરવા માટે AI ની ક્ષમતાને કારણે આ પદ્ધતિ તદ્દન અસરકારક છે, જે વ્યક્તિ કલ્પના કરી શકે તે કરતાં લાખો ગણી ઝડપી છે. આ આપેલ સમસ્યાને ઉકેલવા માટે સૌથી અસરકારક વ્યૂહરચના શોધવા માટે અજમાયશ અને ભૂલને મંજૂરી આપે છે. પરંતુ આ અભિગમમાં કેટલીક મર્યાદાઓ પણ છે, ઉદાહરણ તરીકે, પર્યાવરણ બનાવવા અને અસંખ્ય તાલીમ ચક્ર ચલાવવા માટે વિશાળ કમ્પ્યુટિંગ સંસાધનોની જરૂર પડે છે, અને પ્રક્રિયાને જ AI ક્રિયાઓના પરિણામોની તેના ધ્યેય સાથે સરખામણી કરવા માટે ચોક્કસ સિસ્ટમની જરૂર હોય છે. વધુમાં, આ રીતે એજન્ટ દ્વારા હસ્તગત કરેલ કૌશલ્યો વર્ણવેલ કાર્ય સુધી મર્યાદિત છે અને, એકવાર AI તેનો સામનો કરવાનું શીખી લેશે, પછી તેમાં કોઈ વધુ સુધારો થશે નહીં.

AI ને સંતાકૂકડી રમવા માટે તાલીમ આપવા માટે, વૈજ્ઞાનિકોએ "અનડાયરેક્ટેડ એક્સ્પ્લોરેશન" નામના અભિગમનો ઉપયોગ કર્યો, જ્યાં એજન્ટોને રમતની દુનિયા વિશેની તેમની સમજણ વિકસાવવા અને વિજેતા વ્યૂહરચના વિકસાવવા માટે સંપૂર્ણ સ્વતંત્રતા હોય છે. આ મલ્ટી-એજન્ટ લર્નિંગ અભિગમ જેવો જ છે જેનો ઉપયોગ ડીપમાઇન્ડના સંશોધકોએ જ્યારે બહુવિધ આર્ટિફિશિયલ ઇન્ટેલિજન્સ સિસ્ટમ ક્વેક III એરેનામાં ફ્લેગ મોડને કેપ્ચર કરવા માટે તાલીમ આપવામાં આવી હતી. આ કિસ્સામાં, AI એજન્ટોને અગાઉ રમતના નિયમોમાં તાલીમ આપવામાં આવી ન હતી, પરંતુ સમય જતાં તેઓ મૂળભૂત વ્યૂહરચના શીખ્યા અને બિન-તુચ્છ ઉકેલો સાથે સંશોધકોને આશ્ચર્યચકિત કરવામાં પણ સક્ષમ હતા.

સંતાકૂકડીની રમતમાં, કેટલાક એજન્ટો કે જેમનું કામ છુપાવવાનું હતું, તેઓને સહેજ માથાકૂટ પછી તેમના વિરોધીઓની દૃષ્ટિથી દૂર રહેવાની જરૂર હતી જ્યારે સર્ચિંગ એજન્ટોની ટીમ સ્થિર હતી. તદુપરાંત, આ સંદર્ભમાં "દૃષ્ટિની રેખા" એ વ્યક્તિગત બોટની સામે 135 ડિગ્રી શંકુ છે. એજન્ટો રમતના વિસ્તારની બહાર વધુ દૂર જઈ શકતા ન હતા અને તેમને આજુબાજુ પથરાયેલા કેટલાક બાહ્ય પદાર્થો (બોક્સ, જંગમ દિવાલો, ખાસ રેમ્પ્સ) નો ઉપયોગ કરવાની ક્ષમતા સાથે રેન્ડમલી જનરેટ કરેલા રૂમમાં નેવિગેટ કરવાની ફરજ પડી હતી જેનો ઉપયોગ કવર બનાવવા અને તેમાં ઘૂસણખોરી કરવા બંને માટે થઈ શકે છે. .

લાંબી શીખવાની પ્રક્રિયા દ્વારા, AI એજન્ટોએ છ અનન્ય વ્યૂહરચના શીખ્યા, જેમાંથી દરેકે તેમને રમતના આગલા તબક્કામાં આગળ વધવામાં મદદ કરી. શરૂઆતમાં, શોધનાર અને સંતાડવાની ટીમો ખાલી ભાગી ગયા અને એકબીજાનો પીછો કર્યો, પરંતુ લગભગ 25 મિલિયન મેચો પછી, છુપાવનાર ટીમે બોક્સ સાથેના માર્ગોને અવરોધિત કરવાનું અને તેમાંથી આશ્રયસ્થાનો બનાવવાનું શીખ્યા. અન્ય 75 મિલિયન મેચો પછી, ટીમે આ છુપાવાના સ્થળોમાં જવા માટે રેમ્પનો ઉપયોગ કરવાની રીતો શોધી કાઢી. બીજા 10 મિલિયન રાઉન્ડ પછી, સંતાડનારાઓએ રમતના ક્ષેત્રની કિનારે રેમ્પ ખેંચવાનું શીખ્યા અને વિરોધીઓને તેનો ઉપયોગ કરતા અટકાવવા માટે તેને સ્થાને લૉક કરવાનું શીખ્યા.

388 મિલિયન મેચો પછી, સાધકોએ તેમની પાસે લાવવામાં આવેલા ક્રેટ્સ પર ચઢવા માટે અવરોધિત રેમ્પ્સનો ઉપયોગ કરવાનું શીખ્યા છે, અને પછી, તેમના પર સીધા જ આગળ વધીને, પોર્ટેબલ દિવાલોથી બનાવેલા દુશ્મનના ઠેકાણાઓને ઘૂસી ગયા છે. અને અંતે, 458 મિલિયન મેચો પછી, છુપાયેલા ટીમે તારણ કાઢ્યું કે તેમને તમામ વસ્તુઓને અવરોધિત કરવાની અને પછી આશ્રય બનાવવાની જરૂર છે, જે દેખીતી રીતે તેમની અંતિમ જીત તરફ દોરી જાય છે.

ખાસ કરીને પ્રભાવશાળી બાબત એ છે કે 22 મિલિયન મેચો પછી, એજન્ટોએ તેમની ક્રિયાઓનું સંકલન કરવાનું શીખ્યા અને તેમના સહયોગની કાર્યક્ષમતા માત્ર ભવિષ્યમાં જ વધી, ઉદાહરણ તરીકે, દરેકે આશ્રય બનાવવા માટે પોતપોતાના બોક્સ અથવા દિવાલ લાવ્યા અને વસ્તુઓનો તેમનો હિસ્સો પસંદ કર્યો. વિરોધીઓ માટે તેને વધુ મુશ્કેલ રમત બનાવવા માટે અવરોધિત કરો.

વિજ્ઞાનીઓએ શીખવાની ગતિ પર પ્રશિક્ષણ ઑબ્જેક્ટ્સની સંખ્યા (ન્યુરલ નેટવર્કમાંથી પસાર થતા ડેટાની માત્રા - "બેચનું કદ") ના પ્રભાવથી સંબંધિત એક મહત્વપૂર્ણ મુદ્દો પણ નોંધ્યો. ડિફૉલ્ટ મૉડલને 132,3 કલાકની તાલીમમાં 34 મિલિયન મેચોની જરૂર હતી જ્યાં છુપાયેલા ટીમે રેમ્પ્સને અવરોધિત કરવાનું શીખ્યા હતા, જ્યારે વધુ ડેટાના પરિણામે તાલીમના સમયમાં નોંધપાત્ર ઘટાડો થયો હતો. ઉદાહરણ તરીકે, પરિમાણોની સંખ્યા (સમગ્ર તાલીમ પ્રક્રિયા દરમિયાન મેળવેલા ડેટાનો ભાગ) 0,5 મિલિયનથી વધારીને 5,8 મિલિયન કરવાથી સેમ્પલિંગની કાર્યક્ષમતામાં 2,2 ગણો વધારો થયો છે, અને ઇનપુટ ડેટાનું કદ 64 KB થી વધારીને 128 KB થવાથી તાલીમમાં ઘટાડો થયો છે. સમય લગભગ દોઢ ગણો.

તેમના કાર્યના અંતે, સંશોધકોએ ચકાસવાનું નક્કી કર્યું કે રમતમાંની તાલીમ એજન્ટોને રમતની બહાર સમાન કાર્યોનો સામનો કરવામાં કેટલી મદદ કરી શકે છે. કુલ પાંચ પરીક્ષણો હતા: ઑબ્જેક્ટ્સની સંખ્યાની જાગૃતિ (એ સમજવું કે ઑબ્જેક્ટ અસ્તિત્વમાં રહે છે પછી ભલે તે દૃષ્ટિની બહાર હોય અને તેનો ઉપયોગ ન થાય); "લોક અને રીટર્ન" - કોઈની મૂળ સ્થિતિને યાદ રાખવાની અને કેટલાક વધારાના કાર્ય પૂર્ણ કર્યા પછી તેના પર પાછા ફરવાની ક્ષમતા; "ક્રમિક અવરોધિત" - 4 બૉક્સ દરવાજા વિનાના ત્રણ રૂમમાં અવ્યવસ્થિત રીતે સ્થિત હતા, પરંતુ અંદર જવા માટે રેમ્પ સાથે, એજન્ટોએ તે બધાને શોધીને અવરોધિત કરવાની જરૂર હતી; પૂર્વનિર્ધારિત સાઇટ્સ પર બોક્સનું પ્લેસમેન્ટ; સિલિન્ડરના રૂપમાં ઑબ્જેક્ટની આસપાસ આશ્રય બનાવવો.

પરિણામે, પાંચમાંથી ત્રણ કાર્યોમાં, રમતમાં પ્રારંભિક તાલીમ લીધેલ બોટ્સ ઝડપથી શીખ્યા અને શરૂઆતથી સમસ્યાઓ ઉકેલવા માટે પ્રશિક્ષિત AI કરતાં વધુ સારા પરિણામો દર્શાવ્યા. તેઓએ કાર્ય પૂર્ણ કરવામાં અને શરૂઆતની સ્થિતિમાં પાછા આવવામાં, ક્રમશઃ બંધ રૂમમાં બૉક્સને અવરોધિત કરવા અને આપેલ વિસ્તારોમાં બોક્સ મૂકવા માટે થોડું સારું પ્રદર્શન કર્યું, પરંતુ ઑબ્જેક્ટ્સની સંખ્યાને ઓળખવામાં અને અન્ય ઑબ્જેક્ટની આસપાસ કવર બનાવવા માટે થોડું નબળું પ્રદર્શન કર્યું.

સંશોધકો મિશ્ર પરિણામોને આભારી છે કે કેવી રીતે AI અમુક કૌશલ્યો શીખે છે અને યાદ રાખે છે. “અમને લાગે છે કે જે કાર્યોમાં રમત-પ્રી-તાલીમ શ્રેષ્ઠ પ્રદર્શન કરે છે તેમાં અગાઉ શીખેલ કૌશલ્યોનો પરિચિત રીતે પુનઃઉપયોગ કરવાનો સમાવેશ થાય છે, જ્યારે બાકીના કાર્યોને શરૂઆતથી પ્રશિક્ષિત AI કરતાં વધુ સારી રીતે કરવા માટે તેમને અલગ રીતે ઉપયોગ કરવાની જરૂર પડશે, જે ઘણું વધુ જટિલ,” કૃતિના સહ-લેખકો લખો. "આ પરિણામ એક પર્યાવરણમાંથી બીજા વાતાવરણમાં સ્થાનાંતરિત કરતી વખતે તાલીમ દ્વારા હસ્તગત કૌશલ્યોનો અસરકારક રીતે પુનઃઉપયોગ કરવાની પદ્ધતિઓ વિકસાવવાની જરૂરિયાતને પ્રકાશિત કરે છે."

કરવામાં આવેલ કાર્ય ખરેખર પ્રભાવશાળી છે, કારણ કે આ શિક્ષણ પદ્ધતિનો ઉપયોગ કરવાની સંભાવના કોઈપણ રમતોની મર્યાદાઓથી ઘણી વધારે છે. સંશોધકો કહે છે કે તેમનું કાર્ય "ભૌતિક-આધારિત" અને "માનવ-સમાન" વર્તન સાથે AI બનાવવાની દિશામાં એક મહત્વપૂર્ણ પગલું છે જે રોગોનું નિદાન કરી શકે છે, જટિલ પ્રોટીન અણુઓની રચનાની આગાહી કરી શકે છે અને સીટી સ્કેનનું વિશ્લેષણ કરી શકે છે.

નીચે આપેલા વિડિયોમાં તમે સ્પષ્ટપણે જોઈ શકો છો કે શીખવાની સમગ્ર પ્રક્રિયા કેવી રીતે થઈ, એઆઈ એ ટીમ વર્ક કેવી રીતે શીખ્યું અને તેની વ્યૂહરચના વધુને વધુ ઘડાયેલું અને જટિલ બનતી ગઈ.

સોર્સ: 3dnews.ru