गेम AI कैसे बनाएं: शुरुआती लोगों के लिए गाइड

मुझे खेलों में कृत्रिम बुद्धिमत्ता के बारे में कुछ दिलचस्प सामग्री मिली। सरल उदाहरणों का उपयोग करके एआई के बारे में बुनियादी बातों की व्याख्या के साथ-साथ इसके सुविधाजनक विकास और डिजाइन के लिए कई उपयोगी उपकरण और विधियां भी हैं। इनका उपयोग कैसे, कहाँ और कब करना है, इसकी जानकारी भी उपलब्ध है।

अधिकांश उदाहरण स्यूडोकोड में लिखे गए हैं, इसलिए गहन प्रोग्रामिंग ज्ञान की आवश्यकता नहीं है। कट के नीचे चित्रों और जीआईएफ के साथ 35 पृष्ठ का पाठ है, इसलिए तैयार रहें।

अद्यतन. क्षमा करें, लेकिन मैंने पहले ही इस लेख का Habr पर अपना अनुवाद कर लिया है रोगी शून्य. आप उसका संस्करण पढ़ सकते हैं यहां, लेकिन किसी कारण से लेख मेरे पास से गुजर गया (मैंने खोज का उपयोग किया, लेकिन कुछ गलत हो गया)। और चूंकि मैं गेम डेवलपमेंट को समर्पित एक ब्लॉग के लिए लिख रहा हूं, इसलिए मैंने ग्राहकों के लिए अनुवाद का अपना संस्करण छोड़ने का निर्णय लिया (मैंने कुछ बिंदुओं को अलग तरीके से प्रारूपित किया है, और कुछ को डेवलपर्स की सलाह पर जानबूझकर छोड़ दिया गया है)।

एआई क्या है?

गेम एआई इस बात पर ध्यान केंद्रित करता है कि किसी वस्तु को उन स्थितियों के आधार पर क्या क्रियाएं करनी चाहिए, जिनमें वह खुद को पाती है। इसे आमतौर पर "बुद्धिमान एजेंटों" के प्रबंधन के रूप में संदर्भित किया जाता है, जहां एजेंट एक गेम चरित्र, एक वाहन, एक बॉट, या कभी-कभी कुछ अधिक अमूर्त होता है: संस्थाओं का एक संपूर्ण समूह या यहां तक ​​कि एक सभ्यता भी। प्रत्येक मामले में, यह एक ऐसी चीज है जिसे अपने पर्यावरण को देखना होगा, उसके आधार पर निर्णय लेना होगा और उसके अनुसार कार्य करना होगा। इसे संवेदना/विचार/कार्य चक्र कहा जाता है:

• संवेदना: एजेंट अपने वातावरण में ऐसी चीजों के बारे में जानकारी पाता है या प्राप्त करता है जो उसके व्यवहार को प्रभावित कर सकती हैं (निकटवर्ती खतरे, एकत्रित करने योग्य वस्तुएं, खोजबीन करने योग्य दिलचस्प स्थान)।
• सोचें: एजेंट निर्णय लेता है कि उसे कैसे प्रतिक्रिया करनी है (यह विचार करता है कि क्या यह वस्तुओं को इकट्ठा करने के लिए पर्याप्त सुरक्षित है या उसे पहले लड़ना/छिपना चाहिए)।
• कार्य: एजेंट पिछले निर्णय को क्रियान्वित करने के लिए कार्य करता है (शत्रु या वस्तु की ओर बढ़ना शुरू करता है)।
• ...अब पात्रों के कार्यों के कारण स्थिति बदल गई है, इसलिए चक्र नए डेटा के साथ दोहराया जाता है।

एआई आमतौर पर चक्र के संवेदी भाग पर ध्यान केंद्रित करता है। उदाहरण के लिए, स्वचालित कारें सड़क की तस्वीरें लेती हैं, उन्हें रडार और लाइडार डेटा के साथ जोड़ती हैं, और उनकी व्याख्या करती हैं। यह कार्य आमतौर पर मशीन लर्निंग द्वारा किया जाता है, जो आने वाले डेटा को संसाधित करता है और अर्थपूर्ण जानकारी निकालकर उसका अर्थ निकालता है, जैसे "आपके आगे 20 गज की दूरी पर एक और कार है।" ये तथाकथित वर्गीकरण समस्याएं हैं।

खेलों में जानकारी निकालने के लिए किसी जटिल प्रणाली की आवश्यकता नहीं होती, क्योंकि अधिकांश डेटा पहले से ही इसका अभिन्न अंग होता है। यह पता लगाने के लिए कि आगे कोई दुश्मन है या नहीं, छवि पहचान एल्गोरिदम चलाने की कोई आवश्यकता नहीं है - खेल पहले से ही जानता है और निर्णय लेने की प्रक्रिया तक सीधे जानकारी पहुंचाता है। इसलिए, चक्र का संवेदी भाग अक्सर विचार और कार्य की तुलना में अधिक सरल होता है।

गेम AI की सीमाएँ

एआई की कई सीमाएँ हैं जिनका सम्मान किया जाना चाहिए:

• एआई को पहले से प्रशिक्षित करने की आवश्यकता नहीं है, जैसे कि यह एक मशीन लर्निंग एल्गोरिदम हो। विकास के दौरान हजारों खिलाड़ियों को देखने और उनके खिलाफ खेलने का सबसे अच्छा तरीका सीखने के लिए न्यूरल नेटवर्क लिखना कोई मतलब नहीं रखता। क्यों? क्योंकि खेल अभी जारी नहीं हुआ है और कोई खिलाड़ी भी नहीं हैं।
• यह गेम मनोरंजक और चुनौतीपूर्ण है, इसलिए एजेंटों को मनुष्यों के खिलाफ सर्वोत्तम रणनीति का पता लगाने की आवश्यकता नहीं होगी।
• एजेंटों को यथार्थवादी दिखना चाहिए ताकि खिलाड़ियों को ऐसा लगे कि वे वास्तविक लोगों के खिलाफ खेल रहे हैं। अल्फागो कार्यक्रम ने मनुष्यों से बेहतर प्रदर्शन किया, लेकिन इसके द्वारा उठाए गए कदम खेल की पारंपरिक समझ से बहुत दूर थे। यदि खेल में मानव प्रतिद्वंद्वी का अनुकरण किया गया है, तो यह भावना उत्पन्न नहीं होनी चाहिए। एल्गोरिथ्म को बदलने की आवश्यकता है ताकि यह आदर्श नहीं बल्कि विश्वसनीय निर्णय ले सके।
• एआई को वास्तविक समय में काम करना चाहिए। इसका अर्थ यह है कि एल्गोरिदम निर्णय लेने के लिए लंबे समय तक प्रोसेसर के उपयोग पर एकाधिकार नहीं कर सकता। इसके लिए 10 मिलीसेकंड का समय भी बहुत लंबा है, क्योंकि अधिकांश गेम में सारी प्रोसेसिंग करने और ग्राफिक्स के अगले फ्रेम पर जाने में 16 से 33 मिलीसेकंड का समय लगता है।
• आदर्श रूप से, सिस्टम का कम से कम एक भाग डेटा-संचालित होना चाहिए, ताकि गैर-कोडर भी इसमें बदलाव कर सकें और समायोजन तेजी से हो सके।

आइए उन AI दृष्टिकोणों पर नजर डालें जो संपूर्ण सेंस/थिंक/एक्ट चक्र को कवर करते हैं।

बुनियादी निर्णय लेना

आइये सबसे सरल खेल - पोंग से शुरुआत करें। इसका लक्ष्य पैडल को इस प्रकार चलाना है कि गेंद पैडल से उछलकर दूर जाने के बजाय उससे टकरा जाए। यह टेनिस की तरह है, जहां यदि आप गेंद को नहीं मारते तो हार जाते हैं। यहां एआई का कार्य अपेक्षाकृत आसान है - यह निर्णय लेना कि प्लेटफॉर्म को किस दिशा में ले जाना है।

सशर्त ऑपरेटर

पोंग में एआई के लिए, सबसे स्पष्ट समाधान हमेशा प्लेटफॉर्म को गेंद के नीचे रखने की कोशिश करना है।

इसके लिए एक सरल एल्गोरिथ्म, छद्मकोड में लिखा गया है:

खेल चलने के दौरान प्रत्येक फ्रेम/अपडेट:
यदि गेंद पैडल के बाईं ओर है:
पैडल को बाईं ओर ले जाएं
अन्यथा यदि गेंद पैडल के दाईं ओर है:
पैडल को दाईं ओर ले जाएं

यदि प्लेटफ़ॉर्म गेंद की गति से चलता है, तो यह पोंग में एआई के लिए एकदम सही एल्गोरिदम है। यदि एजेंट के लिए अधिक डेटा और संभावित कार्यवाहियां उपलब्ध नहीं हैं तो चीजों को जटिल बनाने की कोई आवश्यकता नहीं है।

यह दृष्टिकोण इतना सरल है कि संपूर्ण संवेदना/विचार/कार्य चक्र मुश्किल से ही ध्यान में आता है। लेकिन यह वहां है:

• सेंस भाग दो if कथनों में है। खेल को पता है कि गेंद कहां है और प्लेटफॉर्म कहां है, इसलिए एआई इस जानकारी के लिए उस पर नज़र रखता है।
• थिंक भाग को दो if कथनों में भी शामिल किया गया है। वे दो समाधान प्रस्तुत करते हैं, जो इस मामले में परस्पर अनन्य हैं। परिणामस्वरूप, तीन क्रियाओं में से एक का चयन किया जाता है - प्लेटफॉर्म को बाईं ओर ले जाएं, दाईं ओर ले जाएं, या यदि यह पहले से ही सही स्थिति में है तो कुछ भी न करें।
• एक्ट भाग मूव पैडल लेफ्ट और मूव पैडल राइट ऑपरेटरों में पाया जाता है। खेल के डिजाइन के आधार पर, वे प्लेटफॉर्म को तुरंत या एक निश्चित गति से स्थानांतरित कर सकते हैं।

इन तरीकों को प्रतिक्रियात्मक कहा जाता है - इसमें नियमों का एक सरल सेट होता है (इस मामले में, कोड में if कथन) जो दुनिया की वर्तमान स्थिति पर प्रतिक्रिया करता है और कार्रवाई करता है।

निर्णय वृक्ष

पोंग उदाहरण वास्तव में एक औपचारिक एआई अवधारणा के समतुल्य है जिसे निर्णय वृक्ष कहा जाता है। एल्गोरिथ्म इसके माध्यम से एक "पत्ता" तक पहुंचता है - जो कि इस बारे में निर्णय होता है कि क्या कार्रवाई की जाए।

आइए अपने प्लेटफ़ॉर्म के एल्गोरिथ्म के लिए एक निर्णय वृक्ष फ़्लोचार्ट बनाएं:

पेड़ के प्रत्येक भाग को नोड कहा जाता है - एआई ऐसी संरचनाओं का वर्णन करने के लिए ग्राफ सिद्धांत का उपयोग करता है। नोड्स दो प्रकार के होते हैं:

• निर्णय नोड: किसी स्थिति के परीक्षण के आधार पर दो विकल्पों के बीच चयन, जहां प्रत्येक विकल्प को एक अलग नोड के रूप में दर्शाया जाता है।
• अंतिम नोड्स: निष्पादित की जाने वाली एक क्रिया जो अंतिम निर्णय का प्रतिनिधित्व करती है।

एल्गोरिथ्म पहले नोड (वृक्ष की "जड़") से शुरू होता है। यह या तो यह निर्णय लेता है कि किस चाइल्ड नोड पर जाना है, या नोड में संग्रहीत क्रिया को निष्पादित करता है और समाप्त कर देता है।

निर्णय वृक्ष द्वारा पिछले अनुभाग में दिए गए यदि कथनों के समान कार्य करने का क्या लाभ है? यहां एक सामान्य प्रणाली है जहां प्रत्येक निर्णय में केवल एक शर्त और दो संभावित परिणाम होते हैं। इससे डेवलपर को हार्डकोडिंग के बिना ही वृक्ष में निर्णयों का प्रतिनिधित्व करने वाले डेटा से AI बनाने की सुविधा मिलती है। आइये इसे एक तालिका के रूप में प्रस्तुत करें:

कोड पक्ष पर, आपको लाइनें पढ़ने के लिए एक प्रणाली मिलती है। उनमें से प्रत्येक के लिए एक नोड बनाएं, दूसरे कॉलम के आधार पर निर्णय तर्क को कनेक्ट करें और तीसरे और चौथे कॉलम के आधार पर चाइल्ड नोड्स को कनेक्ट करें। आपको अभी भी स्थितियों और क्रियाओं को प्रोग्राम करने की आवश्यकता होगी, लेकिन अब खेल संरचना अधिक जटिल होगी। इसमें, आप अतिरिक्त निर्णय और क्रियाएं जोड़ते हैं, और फिर वृक्ष परिभाषा के साथ एक पाठ फ़ाइल को संपादित करके संपूर्ण AI को अनुकूलित करते हैं। इसके बाद, आप फ़ाइल को गेम डिज़ाइनर को देते हैं, जो गेम को पुनः संकलित किए बिना या कोड में परिवर्तन किए बिना व्यवहार को बदल सकता है।

निर्णय वृक्ष तब बहुत उपयोगी होते हैं जब वे उदाहरणों के एक बड़े समूह से स्वचालित रूप से निर्मित होते हैं (उदाहरण के लिए, ID3 एल्गोरिथम का उपयोग करके)। यह उन्हें प्राप्त आंकड़ों के आधार पर स्थितियों को वर्गीकृत करने के लिए एक कुशल और उच्च प्रदर्शन उपकरण बनाता है। हालाँकि, हम एजेंटों के लिए कार्रवाई चुनने की सरल प्रणाली से आगे जाते हैं।

परिदृश्यों

हमने एक निर्णय वृक्ष प्रणाली पर विचार किया जिसमें पूर्व-निर्धारित स्थितियों और कार्यों का उपयोग किया गया था। एआई को डिजाइन करने वाला व्यक्ति पेड़ को किसी भी तरह से व्यवस्थित कर सकता है, लेकिन फिर भी उन्हें उस कोडर पर निर्भर रहना होगा जिसने यह सब प्रोग्राम किया है। क्या होगा यदि हम डिज़ाइनर को अपनी स्वयं की परिस्थितियां या क्रियाएं बनाने के लिए उपकरण दे सकें?

प्रोग्रामर को Is Ball Left Of Paddle और Is Ball Right Of Paddle स्थितियों के लिए कोड लिखने की आवश्यकता से बचने के लिए, वह एक ऐसी प्रणाली बना सकता है जिसमें डिजाइनर इन मानों की जांच करने के लिए शर्तें लिखेगा। तब निर्णय वृक्ष डेटा इस तरह दिखेगा:

यह मूलतः पहली तालिका के समान ही है, लेकिन समाधानों का अपना कोड है, जो कि if कथन के सशर्त भाग जैसा है। कोड पक्ष पर, इसे निर्णय नोड्स के लिए दूसरे कॉलम में पढ़ा जाएगा, लेकिन निष्पादित करने के लिए एक विशिष्ट स्थिति (क्या बॉल पैडल के बाईं ओर है) की तलाश करने के बजाय, यह सशर्त अभिव्यक्ति का मूल्यांकन करता है और तदनुसार सत्य या असत्य लौटाता है। यह कार्य स्क्रिप्टिंग भाषा लुआ या एंजेलस्क्रिप्ट का उपयोग करके किया जाता है। इनके साथ, डेवलपर अपने गेम में ऑब्जेक्ट्स (बॉल और पैडल) ले सकता है और वेरिएबल्स बना सकता है जो स्क्रिप्ट (बॉल.पोजिशन) में उपलब्ध होंगे। इसके अलावा, स्क्रिप्टिंग भाषा C++ से अधिक सरल है। इसमें पूर्ण संकलन चरण की आवश्यकता नहीं होती, इसलिए यह गेम लॉजिक को शीघ्रता से समायोजित करने के लिए आदर्श है और गैर-कोडर्स को आवश्यक फ़ंक्शन स्वयं बनाने की अनुमति देता है।

दिए गए उदाहरण में, स्क्रिप्टिंग भाषा का उपयोग केवल सशर्त अभिव्यक्ति का मूल्यांकन करने के लिए किया जाता है, लेकिन इसका उपयोग क्रियाओं के लिए भी किया जा सकता है। उदाहरण के लिए, मूव पैडल राइट डेटा एक स्क्रिप्ट स्टेटमेंट (ball.position.x += 10) बन सकता है। ताकि स्क्रिप्ट में भी कार्रवाई को परिभाषित किया जा सके, मूव पैडल राइट को प्रोग्राम करने की आवश्यकता के बिना।

आप इससे भी आगे जा सकते हैं और संपूर्ण निर्णय वृक्ष को स्क्रिप्टिंग भाषा में लिख सकते हैं। यह हार्डकोडेड सशर्त कथनों के रूप में कोड होगा, लेकिन वे बाहरी स्क्रिप्ट फ़ाइलों में होंगे, जिसका अर्थ है कि उन्हें पूरे प्रोग्राम को पुनः संकलित किए बिना बदला जा सकता है। आप खेलते समय विभिन्न AI प्रतिक्रियाओं का शीघ्रता से परीक्षण करने के लिए अक्सर स्क्रिप्ट फ़ाइल को बदल सकते हैं।

घटनाओं पर प्रतिक्रिया

उपरोक्त उदाहरण पोंग पर पूरी तरह फिट बैठते हैं। वे निरन्तर ज्ञान/विचार/कार्य चक्र चलाते हैं तथा विश्व की नवीनतम स्थिति के आधार पर कार्य करते हैं। लेकिन अधिक जटिल खेलों में, आपको एक साथ सब कुछ का मूल्यांकन करने के बजाय व्यक्तिगत घटनाओं पर प्रतिक्रिया करने की आवश्यकता होती है। इस मामले में पोंग पहले से ही एक बुरा उदाहरण है। चलो कोई दूसरा चुनें.

एक शूटर की कल्पना करें जहां दुश्मन तब तक स्थिर रहते हैं जब तक कि वे खिलाड़ी को नहीं देख लेते, जिसके बाद वे अपनी "विशेषज्ञता" के आधार पर कार्य करते हैं: कुछ "जल्दी" करने के लिए दौड़ेंगे, कुछ दूर से हमला करेंगे। यह अभी भी एक बुनियादी प्रतिक्रियात्मक प्रणाली है - "यदि खिलाड़ी को देखा जाता है, तो कुछ करें" - लेकिन इसे तार्किक रूप से खिलाड़ी द्वारा देखी गई घटना और प्रतिक्रिया (एक प्रतिक्रिया चुनें और उसे करें) में विभाजित किया जा सकता है।

यह हमें सेंस/थिंक/एक्ट लूप पर वापस लाता है। हम एक सेंस भाग को कोड कर सकते हैं जो हर फ्रेम की जाँच करता है कि क्या AI खिलाड़ी को देखता है। यदि नहीं, तो कुछ नहीं होता है, लेकिन यदि ऐसा होता है, तो यह एक प्लेयर सीन इवेंट उठाता है। कोड में एक अलग सेक्शन होगा जो कहता है "जब कोई प्लेयर सीन इवेंट होता है, तो करें ", जहाँ आपको थिंक और एक्ट भागों को कॉल करने के लिए आवश्यक उत्तर है। तो आप प्लेयर सीन इवेंट के लिए प्रतिक्रियाएँ सेट करेंगे: एक रशिंग कैरेक्टर के लिए चार्जएंडअटैक, और एक स्नाइपर के लिए हाइडएंडस्नाइप। इन कनेक्शनों को बिना रीकंपाइल किए त्वरित संपादन के लिए डेटा फ़ाइल में बनाया जा सकता है। और आप यहाँ एक स्क्रिप्टिंग भाषा का भी उपयोग कर सकते हैं।

कठिन निर्णय लेना

यद्यपि सरल प्रतिक्रिया प्रणालियाँ बहुत प्रभावी होती हैं, फिर भी कई स्थितियाँ ऐसी होती हैं जहाँ वे पर्याप्त नहीं होतीं। कभी-कभी आपको एजेंट की वर्तमान गतिविधियों के आधार पर अलग-अलग निर्णय लेने पड़ते हैं, लेकिन ऐसी स्थिति की कल्पना करना कठिन है। कभी-कभी निर्णय वृक्ष या स्क्रिप्ट में उन्हें प्रभावी ढंग से प्रस्तुत करने के लिए बहुत अधिक स्थितियाँ होती हैं। कभी-कभी आपको अगला कदम उठाने से पहले यह आकलन करने की आवश्यकता होती है कि स्थिति किस प्रकार बदलेगी। इन समस्याओं को हल करने के लिए अधिक परिष्कृत दृष्टिकोण की आवश्यकता है।

परिमित अवस्था मशीन

परिमित अवस्था मशीन या एफएसएम यह कहने का एक तरीका है कि हमारा एजेंट वर्तमान में कई संभावित अवस्थाओं में से एक में है, और यह एक अवस्था से दूसरी अवस्था में संक्रमण कर सकता है। ऐसे राज्यों की एक निश्चित संख्या है, इसीलिए इसका नाम ऐसा रखा गया है। जीवन का सबसे अच्छा उदाहरण ट्रैफिक लाइट है। विभिन्न स्थानों पर रोशनी का क्रम अलग-अलग होता है, लेकिन सिद्धांत एक ही है - प्रत्येक अवस्था किसी चीज का प्रतिनिधित्व करती है (रुकना, जाना, आदि)। किसी भी समय ट्रैफिक लाइट केवल एक ही अवस्था में होती है, तथा सरल नियमों के आधार पर एक अवस्था से दूसरी अवस्था में परिवर्तित हो जाती है।

खेलों में एनपीसी के साथ भी यही कहानी है। उदाहरण के तौर पर, आइए निम्नलिखित अवस्थाओं वाले एक गार्ड को लें:

• गश्ती.
• हमला करना.
• भागना.

और इसकी स्थिति बदलने के लिए निम्नलिखित शर्तें:

• यदि गार्ड को कोई दुश्मन दिखाई देता है तो वह हमला कर देता है।
• यदि कोई गार्ड हमला करता है, लेकिन दुश्मन को नहीं देखता, तो वह गश्त पर वापस लौट जाता है।
• यदि कोई गार्ड हमला करता है लेकिन बुरी तरह घायल हो जाता है, तो वह भाग जाएगा।

आप गार्जियन स्टेट वेरिएबल और विभिन्न जांचों के साथ if-statement भी लिख सकते हैं: क्या आस-पास कोई दुश्मन है, NPC का स्वास्थ्य स्तर क्या है, आदि। आइए कुछ और स्टेट्स जोड़ें:

• आलस्य - गश्त के बीच.
• खोज - जब देखा गया शत्रु गायब हो गया हो।
• सहायता प्राप्त करना - जब कोई शत्रु देखा गया हो, लेकिन वह इतना शक्तिशाली हो कि अकेले उससे लड़ना संभव न हो।

उनमें से प्रत्येक के लिए विकल्प सीमित हैं - उदाहरण के लिए, यदि किसी गार्ड का स्वास्थ्य कम है तो वह छिपे हुए दुश्मन की तलाश में नहीं जाएगा।

आखिरकार, "अगर" की एक बड़ी सूची है , वह " बहुत बोझिल हो सकता है, इसलिए हमें एक ऐसी विधि को औपचारिक रूप देने की आवश्यकता है जो हमें राज्यों और राज्यों के बीच संक्रमणों को ध्यान में रखने की अनुमति देगा। ऐसा करने के लिए, हम सभी राज्यों को ध्यान में रखते हैं, और प्रत्येक राज्य के तहत हम अन्य राज्यों में सभी संक्रमणों को एक सूची में लिखते हैं, साथ ही उनके लिए आवश्यक शर्तें भी।

यह एक राज्य संक्रमण तालिका है, जो FSM को दर्शाने का एक जटिल तरीका है। आइए एक आरेख बनाएं और एनपीसी व्यवहार में परिवर्तन का पूरा अवलोकन करें।

यह आरेख वर्तमान स्थिति के आधार पर इस एजेंट के लिए निर्णय लेने का सार दर्शाता है। इसके अलावा, प्रत्येक तीर राज्यों के बीच संक्रमण को दर्शाता है यदि उसके बगल में दी गई शर्त सत्य है।

प्रत्येक अद्यतन में हम एजेंट की वर्तमान स्थिति की जांच करते हैं, परिवर्तनों की सूची देखते हैं, और यदि परिवर्तन की शर्तें पूरी होती हैं, तो यह नई स्थिति ले लेता है। उदाहरण के लिए, प्रत्येक फ्रेम में यह जांचता है कि क्या 10 सेकंड का टाइमर समाप्त हो गया है, और यदि ऐसा है, तो गार्ड निष्क्रिय अवस्था से गश्त पर चला जाता है। इसी तरह, आक्रमणकारी अवस्था एजेंट के स्वास्थ्य की जांच करती है - यदि यह कम है, तो वह भागने की अवस्था में चला जाता है।

यह राज्यों के बीच संक्रमण को संभालना है, लेकिन राज्यों से जुड़े व्यवहार के बारे में क्या? जब किसी विशेष स्थिति के लिए वास्तविक व्यवहार को क्रियान्वित करने की बात आती है, तो आमतौर पर दो प्रकार के "हुक" होते हैं, जहां हम FSM को कार्य सौंपते हैं:

• वर्तमान स्थिति के लिए हम जो क्रियाएं समय-समय पर करते हैं।
• एक अवस्था से दूसरी अवस्था में जाते समय हम जो क्रियाएं करते हैं।

प्रथम प्रकार के उदाहरण. गश्ती स्थिति एजेंट को प्रत्येक फ्रेम में गश्ती मार्ग पर ले जाएगी। हमलावर अवस्था में आक्रमण शुरू करने या ऐसी अवस्था में संक्रमण करने का प्रयास किया जाएगा जहां वह प्रत्येक फ्रेम पर आक्रमण कर सके।

दूसरे प्रकार के लिए, संक्रमण पर विचार करें "यदि दुश्मन दिखाई दे रहा है और दुश्मन बहुत मजबूत है, तो सहायता ढूँढने की स्थिति में जाएँ। एजेंट को यह चुनना होगा कि मदद के लिए कहाँ जाना है और उस जानकारी को सहेजना है ताकि सहायता ढूँढने की स्थिति को पता हो कि कहाँ जाना है। एक बार मदद मिल जाने के बाद, एजेंट वापस हमलावर स्थिति में चला जाता है। इस बिंदु पर वह सहयोगी को खतरे के बारे में बताना चाहेगा, इसलिए NotifyFriendOfThreat कार्रवाई हो सकती है।

एक बार फिर, हम इस प्रणाली को संवेदना/विचार/कार्य चक्र के लेंस के माध्यम से देख सकते हैं। संक्रमण तर्क द्वारा प्रयुक्त डेटा में अर्थ निहित होता है। सोचें - प्रत्येक राज्य में उपलब्ध परिवर्तन। और अधिनियम किसी राज्य के भीतर या राज्यों के बीच संक्रमण के समय समय-समय पर की गई कार्रवाइयों द्वारा किया जाता है।

कभी-कभी संक्रमण की स्थितियों का निरंतर सर्वेक्षण महंगा पड़ सकता है। उदाहरण के लिए, यदि प्रत्येक एजेंट को प्रत्येक फ्रेम में यह निर्धारित करने के लिए जटिल गणना करनी पड़े कि क्या वह दुश्मनों को देख सकता है और क्या वह गश्त से आक्रमण की ओर परिवर्तित हो सकता है, तो इसमें बहुत अधिक CPU समय लगेगा।

विश्व की स्थिति में महत्वपूर्ण परिवर्तनों को ऐसी घटनाओं के रूप में देखा जा सकता है, जो घटित होते ही संसाधित हो जाएंगी। एफएसएम द्वारा "क्या मेरा एजेंट खिलाड़ी को देख सकता है?" की जांच करने के स्थान पर, "क्या मेरा एजेंट खिलाड़ी को देख सकता है?" प्रत्येक फ्रेम में संक्रमण की स्थिति की जांच करने के लिए, एक अलग सिस्टम को कम बार जांचने के लिए कॉन्फ़िगर किया जा सकता है (उदाहरण के लिए प्रति सेकंड 5 बार)। और जब जाँच पास हो जाए तो परिणाम के रूप में Player Seen लौटाएँ।

इसे FSM को भेजा जाता है, जिसे अब प्लेयर सीन इवेंट प्राप्त स्थिति पर जाना चाहिए और तदनुसार प्रतिक्रिया करनी चाहिए। परिणामी व्यवहार वही रहता है, सिवाय प्रतिक्रिया में लगभग अगोचर विलंब के। हालाँकि, सेंस भाग को प्रोग्राम के एक अलग भाग में अलग करने के परिणामस्वरूप प्रदर्शन में सुधार हुआ है।

पदानुक्रमित परिमित राज्य मशीन

हालाँकि, बड़े एफएसएम के साथ काम करना हमेशा सुविधाजनक नहीं होता है। यदि हम आक्रमणकारी अवस्था को विस्तारित करके उसमें अलग-अलग हाथापाई और दूरी से आक्रमण करना चाहते हैं, तो हमें अन्य सभी अवस्थाओं से संक्रमण को बदलना होगा जो आक्रमणकारी अवस्था की ओर ले जाते हैं (वर्तमान और भविष्य)।

आपने संभवतः देखा होगा कि हमारे उदाहरण में बहुत सारे डुप्लिकेट संक्रमण हैं। निष्क्रिय अवस्था में अधिकांश परिवर्तन गश्त अवस्था में होने वाले परिवर्तनों के समान ही होते हैं। अच्छा होगा कि हम अपनी बात को न दोहराएं, विशेषकर यदि हम इसमें और समान राज्यों को जोड़ दें। निष्क्रियता और गश्त को "गैर-लड़ाकू" के सामान्य लेबल के अंतर्गत समूहीकृत करना उचित है, जहां युद्ध की स्थिति में संक्रमण का केवल एक सामान्य सेट है। यदि हम इस लेबल को एक अवस्था के रूप में सोचें, तो निष्क्रियता और गश्ती उप-अवस्था बन जाती हैं। एक नए गैर-लड़ाकू उप-राज्य के लिए एक अलग संक्रमण तालिका का उपयोग करने का एक उदाहरण:

मुख्य राज्य:


युद्ध के बाहर की स्थिति:


और चित्र रूप में:

यह वही प्रणाली है, लेकिन इसमें एक नई गैर-लड़ाकू स्थिति है जिसमें निष्क्रियता और गश्त शामिल है। प्रत्येक अवस्था में उप-अवस्थाओं के साथ एक FSM होता है (और इन उप-अवस्थाओं में भी अपने स्वयं के FSM होते हैं - और आवश्यकतानुसार आगे भी होते रहते हैं), हमें एक पदानुक्रमित परिमित अवस्था मशीन या HFSM प्राप्त होता है। गैर-युद्धक राज्यों को समूहीकृत करके, हमने कई अनावश्यक बदलावों को समाप्त कर दिया। हम समान परिवर्तन वाले किसी भी नए राज्य के लिए ऐसा ही कर सकते हैं। उदाहरण के लिए, यदि भविष्य में हम आक्रमणकारी अवस्था को हाथापाई और मिसाइल आक्रमणकारी अवस्थाओं में विस्तारित करते हैं, तो वे उप-अवस्थाएं होंगी जो दुश्मन से दूरी और गोला-बारूद की उपस्थिति के आधार पर एक-दूसरे के बीच संक्रमण करेंगी। परिणामस्वरूप, जटिल व्यवहार मॉडल और व्यवहार के उपमॉडल को न्यूनतम दोहराए गए संक्रमणों के साथ दर्शाया जा सकता है।

व्यवहार वृक्ष

एचएफएसएम के साथ, व्यवहारों के जटिल संयोजनों को सरल तरीके से बनाया जाता है। हालाँकि, इसमें थोड़ी कठिनाई यह है कि संक्रमण नियमों के रूप में निर्णय लेना वर्तमान स्थिति से निकटता से जुड़ा हुआ है। और कई खेलों में, यही वह चीज है जिसकी आपको जरूरत होती है। और राज्य पदानुक्रम का सावधानीपूर्वक उपयोग संक्रमण के दौरान पुनरावृत्ति की मात्रा को कम कर सकता है। लेकिन कभी-कभी आपको ऐसे नियमों की आवश्यकता होती है जो किसी भी राज्य में लागू हों, या जो लगभग किसी भी राज्य पर लागू हों। उदाहरण के लिए, यदि किसी एजेंट का स्वास्थ्य 25% तक गिर जाता है, तो आप चाहेंगे कि वह भाग जाए, भले ही वह युद्ध में हो, निष्क्रिय हो, या बात कर रहा हो - आपको प्रत्येक स्थिति में यह स्थिति जोड़नी होगी। और यदि आपका डिज़ाइनर बाद में निम्न स्वास्थ्य सीमा को 25% से 10% तक बदलना चाहता है, तो आपको यह सब फिर से करना होगा।

आदर्श रूप से, इस स्थिति के लिए एक ऐसी प्रणाली की आवश्यकता होती है जिसमें "किस राज्य में रहना है" के बारे में निर्णय स्वयं राज्यों के बाहर हों, ताकि परिवर्तन केवल एक ही स्थान पर किए जाएं और संक्रमण की स्थितियों को प्रभावित न करें। यहीं पर व्यवहार वृक्ष की भूमिका आती है।

इन्हें क्रियान्वित करने के कई तरीके हैं, लेकिन उन सभी का सार लगभग एक जैसा है और निर्णय वृक्ष के समान है: एल्गोरिथ्म एक "रूट" नोड से शुरू होता है, और वृक्ष में ऐसे नोड होते हैं जो निर्णयों या कार्यों का प्रतिनिधित्व करते हैं। हालाँकि, इसमें कई प्रमुख अंतर हैं:

• नोड्स अब तीन मानों में से एक लौटाते हैं: सफल (यदि कार्य पूरा हो गया है), असफल (यदि इसे चलाया नहीं जा सकता है), या चल रहा है (यदि यह अभी भी चल रहा है और कोई अंतिम परिणाम नहीं है)।
• अब दो विकल्पों में से किसी एक को चुनने के लिए कोई निर्णय नोड नहीं है। इसके बजाय, डेकोरेटर नोड्स होते हैं जिनमें एक चाइल्ड नोड होता है। यदि वे सफल होते हैं, तो वे अपने एकमात्र चाइल्ड नोड को निष्पादित करते हैं।
• क्रियाएं करने वाले नोड, की जा रही क्रियाओं को दर्शाने के लिए एक रनिंग मान लौटाते हैं।

नोड्स के इस छोटे से समूह को संयोजित करके बड़ी संख्या में जटिल व्यवहार पैटर्न बनाए जा सकते हैं। आइए पिछले उदाहरण से गार्ड के HFSM को व्यवहार वृक्ष के रूप में प्रस्तुत करें:

इस संरचना के साथ निष्क्रियता/गश्त से लेकर आक्रमण या किसी अन्य अवस्था में कोई स्पष्ट परिवर्तन नहीं होना चाहिए। यदि कोई शत्रु दिखाई दे रहा है और पात्र का स्वास्थ्य कम है, तो निष्पादन भागने वाले नोड पर रुक जाएगा, भले ही वह पहले किस नोड पर कार्य कर रहा था - गश्त, निष्क्रियता, आक्रमण या कोई अन्य।

व्यवहार वृक्ष जटिल होते हैं - उन्हें बनाने के कई तरीके हैं, और डेकोरेटर्स और कम्पोजिट नोड्स का सही संयोजन ढूंढना चुनौतीपूर्ण हो सकता है। इस बारे में भी प्रश्न हैं कि पेड़ की कितनी बार जांच की जाए - क्या हम इसके हर भाग की जांच करना चाहते हैं या केवल तभी जब कोई स्थिति बदल जाए? हम नोड्स से संबंधित स्थिति को कैसे संग्रहीत करते हैं - हमें कैसे पता चलता है कि हम 10 सेकंड के लिए निष्क्रिय थे या हमें कैसे पता चलता है कि पिछली बार कौन से नोड्स चल रहे थे ताकि हम अनुक्रम को सही ढंग से संसाधित कर सकें?

यही कारण है कि इसके कई कार्यान्वयन हैं। उदाहरण के लिए, कुछ प्रणालियों में, डेकोरेटर नोड्स को अंतर्निर्मित डेकोरेटर्स द्वारा प्रतिस्थापित कर दिया गया है। जब डेकोरेटर की स्थितियां बदलती हैं तो वे वृक्ष का पुनर्मूल्यांकन करते हैं, नोड्स को जोड़ने में सहायता करते हैं, तथा समय-समय पर अपडेट प्रदान करते हैं।

उपयोगिता-आधारित प्रणाली

कुछ खेलों में कई अलग-अलग यांत्रिकी होती हैं। यह वांछनीय है कि उन्हें सरल और सामान्य संक्रमण नियमों के सभी लाभ मिलें, लेकिन जरूरी नहीं कि उन्हें पूर्ण व्यवहार वृक्ष मिले। विकल्पों का स्पष्ट सेट या संभावित कार्यों का वृक्ष रखने के बजाय, सभी कार्यों की जांच करना और उस समय सबसे उपयुक्त कार्य को चुनना अधिक आसान होता है।

उपयोगिता-आधारित प्रणाली इसमें मदद करेगी। यह एक ऐसी प्रणाली है जिसमें एक एजेंट के पास अनेक कार्य होते हैं तथा वह प्रत्येक कार्य की सापेक्ष उपयोगिता के आधार पर चुनता है कि उसे कौन सा कार्य करना है। जहां उपयोगिता इस बात का एक मनमाना माप है कि एजेंट के लिए उस कार्य को करना कितना महत्वपूर्ण या वांछनीय है।

वर्तमान स्थिति और वातावरण के आधार पर किसी कार्रवाई की उपयोगिता की गणना करने के बाद, एजेंट किसी भी समय सबसे उपयुक्त अन्य स्थिति की जांच और चयन कर सकता है। यह एफएसएम के समान है, सिवाय इसके कि इसमें संक्रमण का निर्धारण वर्तमान सहित प्रत्येक संभावित स्थिति के मूल्यांकन द्वारा किया जाता है। ध्यान दें कि हम आगे बढ़ने के लिए सबसे उपयोगी कार्य चुनते हैं (या यदि हमने इसे पहले ही पूरा कर लिया है तो इसे रोक देते हैं)। अधिक विविधता के लिए, यह एक छोटी सूची से मापा हुआ लेकिन यादृच्छिक चयन हो सकता है।

प्रणाली उपयोगिता मानों की एक मनमानी सीमा निर्धारित करती है, उदाहरण के लिए, 0 (पूर्णतया अवांछनीय) से 100 (पूर्णतया वांछनीय) तक। प्रत्येक क्रिया में कई पैरामीटर होते हैं जो इस मान की गणना को प्रभावित करते हैं। अपने गार्ड उदाहरण पर लौटते हुए:

क्रियाओं के बीच संक्रमण अस्पष्ट है - कोई भी अवस्था किसी अन्य अवस्था का अनुसरण कर सकती है। कार्यों की प्राथमिकताएं लौटाए गए उपयोगिता मूल्यों में पाई जाती हैं। यदि कोई शत्रु दिखाई दे रहा है, और वह शत्रु शक्तिशाली है, तथा पात्र का स्वास्थ्य कम है, तो भागना और सहायता ढूँढना दोनों ही उच्च गैर-शून्य मान लौटाएंगे। सहायता ढूँढना हमेशा उच्चतर होगा। इसी प्रकार, गैर-लड़ाकू कार्रवाइयां कभी भी 50 से अधिक नहीं लौटाती हैं, इसलिए वे हमेशा लड़ाकू कार्रवाइयों से कम होंगी। कार्यवाहियां बनाते समय और उनकी उपयोगिता की गणना करते समय इस बात को ध्यान में रखना आवश्यक है।

हमारे उदाहरण में, क्रियाएँ या तो एक निश्चित स्थिर मान या दो निश्चित मानों में से एक मान लौटाती हैं। एक अधिक यथार्थवादी प्रणाली मूल्यों की एक सतत श्रेणी से अनुमान लौटाएगी। उदाहरण के लिए, यदि एजेंट का स्वास्थ्य कम है तो भागने की क्रिया उच्च उपयोगिता मान लौटाती है, जबकि यदि दुश्मन बहुत मजबूत है तो हमला करने की क्रिया कम उपयोगिता मान लौटाती है। इस कारण, किसी भी स्थिति में, जहां एजेंट को लगता है कि उसके पास प्रतिद्वंद्वी को हराने के लिए पर्याप्त स्वास्थ्य नहीं है, भागने की कार्रवाई को हमला करने की तुलना में प्राथमिकता दी जाती है। इससे किसी भी मानदंड के आधार पर कार्यों की प्राथमिकताओं को बदला जा सकता है, जिससे यह दृष्टिकोण व्यवहार वृक्ष या एफएसएम की तुलना में अधिक लचीला और परिवर्तनशील हो जाता है।

प्रत्येक क्रिया में प्रोग्राम गणना के लिए कई शर्तें होती हैं। इन्हें स्क्रिप्टिंग भाषा में या गणितीय सूत्रों की श्रृंखला के रूप में लिखा जा सकता है। द सिम्स में, जो एक पात्र की दैनिक दिनचर्या का मॉडल है, गणना का एक अतिरिक्त स्तर जोड़ा गया है - एजेंट को कई "प्रेरणाएं" प्राप्त होती हैं जो उनके उपयोगिता स्कोर को प्रभावित करती हैं। यदि पात्र भूखा है, तो समय के साथ वह अधिक भूखा हो जाएगा और EatFood क्रिया की उपयोगिता तब तक बढ़ती रहेगी जब तक पात्र इसे पूरा नहीं कर लेता, जिससे उसकी भूख का स्तर कम हो जाएगा और EatFood मान शून्य हो जाएगा।

रेटिंग प्रणाली के आधार पर कार्यों को चुनने का विचार काफी सरल है, इसलिए उपयोगिता-आधारित प्रणाली का उपयोग एआई निर्णय लेने की प्रक्रियाओं के हिस्से के रूप में किया जा सकता है, न कि उनके लिए पूर्ण प्रतिस्थापन के रूप में। एक निर्णय वृक्ष दो चाइल्ड नोड्स से उपयोगिता स्कोर मांग सकता है और उच्चतर को चुन सकता है। इसी प्रकार, एक व्यवहार वृक्ष में एक उपयोगिता संयुक्त नोड हो सकता है जो क्रियाओं की उपयोगिता का मूल्यांकन करके यह निर्णय लेता है कि किस संतान को निष्पादित किया जाए।

आंदोलन और नेविगेशन

पिछले उदाहरणों में हमारे पास एक प्लेटफॉर्म था जिसे हम बायीं या दायीं ओर ले जाते थे, और एक गार्ड था जो गश्त करता था या हमला करता था। लेकिन हम एक एजेंट की समयावधि में होने वाली गतिविधियों को कैसे नियंत्रित करते हैं? हम गति कैसे निर्धारित करते हैं, बाधाओं से कैसे बचते हैं, तथा जब किसी गंतव्य तक पहुंचना सीधी रेखा में चलने से अधिक कठिन हो, तो हम मार्ग की योजना कैसे बनाते हैं? आइये इस पर नजर डालें।

प्रबंध

प्रारंभिक चरण में, हम यह मान लेंगे कि प्रत्येक एजेंट का एक गति मान होता है, जिसमें यह शामिल होता है कि वह कितनी तेजी से और किस दिशा में चलता है। इसे मीटर प्रति सेकंड, किलोमीटर प्रति घंटा, पिक्सल प्रति सेकंड आदि में मापा जा सकता है। संवेदना/विचार/कार्य चक्र को याद करते हुए, हम कल्पना कर सकते हैं कि विचार वाला भाग एक गति चुनता है, और कार्य वाला भाग उस गति को एजेंट पर लागू करता है। आमतौर पर, खेलों में एक भौतिकी प्रणाली होती है जो प्रत्येक वस्तु के वेग मान को जानकर और उसके अनुसार उसे समायोजित करके आपके लिए यह कार्य करती है। इसलिए हम एआई को एक कार्य सौंप सकते हैं - यह तय करना कि एजेंट की गति कितनी होनी चाहिए। यदि आप जानते हैं कि एजेंट को कहां होना चाहिए, तो आपको उसे निर्धारित गति से सही दिशा में ले जाना होगा। एक बहुत ही तुच्छ समीकरण:

वांछित_यात्रा = गंतव्य_स्थिति – एजेंट_स्थिति

एक 2D दुनिया की कल्पना करें. एजेंट बिंदु (-2,-2) पर है, गंतव्य बिंदु (30, 20) पर कहीं उत्तर-पूर्व में है, और एजेंट के लिए वहां पहुंचने के लिए आवश्यक मार्ग (32, 22) है। मान लीजिए कि इन स्थितियों को मीटर में मापा जाता है - यदि हम एजेंट की गति 5 मीटर प्रति सेकंड मानते हैं, तो हम अपने आंदोलन वेक्टर को स्केल करेंगे और लगभग (4.12, 2.83) की गति प्राप्त करेंगे। इन मापदंडों के साथ, एजेंट लगभग 8 सेकंड में अपने गंतव्य पर पहुंच जाएगा।

आप किसी भी समय मानों की पुनर्गणना कर सकते हैं। यदि एजेंट लक्ष्य के आधे रास्ते पर था, तो चाल आधी दूरी की होगी, लेकिन चूंकि एजेंट की अधिकतम गति 5 मीटर/सेकंड है (हमने यह ऊपर तय किया है), गति समान होगी। यह गतिशील लक्ष्यों के लिए भी काम करता है, जिससे एजेंट को उनके चलते समय छोटे समायोजन करने की सुविधा मिलती है।

लेकिन हम और अधिक विविधता चाहते हैं - उदाहरण के लिए, धीरे-धीरे गति बढ़ाना ताकि पात्र खड़े होने की स्थिति से दौड़ने की स्थिति में आ जाए। यही काम अंत में रुकने से पहले भी किया जा सकता है। इन विशेषताओं को स्टीयरिंग व्यवहार के रूप में जाना जाता है, जिनमें से प्रत्येक के विशिष्ट नाम हैं: तलाश, भागना, आगमन, आदि। विचार यह है कि लक्ष्य की ओर बढ़ने के विभिन्न तरीकों का उपयोग करने के लिए, गंतव्य के साथ एजेंट की स्थिति और वर्तमान वेग की तुलना के आधार पर, त्वरण बलों को एजेंट के वेग पर लागू किया जा सकता है।

प्रत्येक व्यवहार का थोड़ा अलग उद्देश्य होता है। तलाश और आगमन, किसी एजेंट के लिए अपने गंतव्य तक पहुंचने के रास्ते हैं। बाधा परिहार और पृथक्करण, लक्ष्य के रास्ते में आने वाली बाधाओं से बचने के लिए एजेंट की गति को समायोजित करते हैं। संरेखण और सामंजस्य चलते समय एजेंटों को एक साथ रखते हैं। सभी कारकों को ध्यान में रखते हुए किसी भी संख्या में विभिन्न स्टीयरिंग व्यवहारों को जोड़कर एकल पथ वेक्टर तैयार किया जा सकता है। एक एजेंट जो दीवारों और अन्य एजेंटों से दूर रहने के लिए आगमन, पृथक्करण और बाधा परिहार व्यवहार का उपयोग करता है। यह दृष्टिकोण अनावश्यक विवरण के बिना खुले स्थानों में अच्छी तरह से काम करता है।

अधिक कठिन परिस्थितियों में, विभिन्न व्यवहारों का संयोजन अधिक खराब कार्य करता है - उदाहरण के लिए, आगमन और बाधा परिहार के बीच संघर्ष के कारण कोई एजेंट दीवार में फंस सकता है। इसलिए, हमें उन विकल्पों पर विचार करने की आवश्यकता है जो सभी मूल्यों को जोड़ने की तुलना में अधिक जटिल हैं। तरीका यह है: प्रत्येक व्यवहार के परिणामों को जोड़ने के बजाय, आप विभिन्न दिशाओं में आंदोलन पर विचार कर सकते हैं और सबसे अच्छा विकल्प चुन सकते हैं।

हालाँकि, एक जटिल वातावरण में, जहाँ गतिरोध है और जहाँ कोई रास्ता चुनना ही नहीं है, हमें और भी अधिक उन्नत चीजों की आवश्यकता होगी।

रास्ता खोजना

खुले क्षेत्रों (फुटबॉल पिच या अखाड़ा) में सरल गति के लिए स्टीयरिंग व्यवहार बहुत अच्छा है, जहां A से B तक जाना एक सीधी रेखा में होता है तथा बाधाओं के कारण थोड़ा विचलन होता है। जटिल मार्गों के लिए हमें पथ-निर्धारण की आवश्यकता होती है, जो विश्व का अन्वेषण करने तथा उसमें से मार्ग तय करने का एक तरीका है।

सबसे सरल तरीका यह है कि एजेंट के पास प्रत्येक वर्ग पर एक ग्रिड लगा दिया जाए और अनुमान लगाया जाए कि उनमें से किसे चलने की अनुमति है। यदि उनमें से कोई भी गंतव्य है, तो प्रत्येक वर्ग से पिछले वर्ग तक मार्ग का अनुसरण करें जब तक कि आप आरंभिक स्थान तक न पहुंच जाएं। यह मार्ग है. अन्यथा, निकटतम अन्य वर्गों के साथ प्रक्रिया को तब तक दोहराएं जब तक कि आपको गंतव्य न मिल जाए या वर्ग समाप्त न हो जाएं (अर्थात कोई संभावित मार्ग न हो)। इसे औपचारिक रूप से ब्रेडथ-फर्स्ट सर्च या बीएफएस (ब्रेडथ-फर्स्ट सर्च एल्गोरिथम) के नाम से जाना जाता है। हर कदम पर वह सभी दिशाओं में देखता है (इसलिए चौड़ाई, "चौड़ाई")। खोज स्थान एक तरंग अग्रभाग की तरह है जो तब तक गति करता रहता है जब तक कि वह वांछित स्थान पर नहीं पहुंच जाता - खोज क्षेत्र प्रत्येक चरण में तब तक विस्तृत होता है जब तक कि वह अंतिम बिंदु पर नहीं पहुंच जाता, जिस बिंदु पर वापस आरंभ तक का मार्ग खोजा जा सकता है।

परिणामस्वरूप, आपको उन वर्गों की सूची प्राप्त होगी जिनके साथ आवश्यक मार्ग बनाया गया है। यह पथ है (इसलिए, पथ-खोज) - उन स्थानों की सूची जहां एजेंट गंतव्य तक पहुंचने के दौरान जाएगा।

यह देखते हुए कि हम दुनिया में हर वर्ग की स्थिति जानते हैं, हम एक पथ पर आगे बढ़ने के लिए स्टीयरिंग व्यवहार का उपयोग कर सकते हैं - नोड 1 से नोड 2 तक, फिर नोड 2 से नोड 3 तक, और इसी तरह। सबसे आसान विकल्प अगले वर्ग के केंद्र की ओर बढ़ना है, लेकिन इससे भी बेहतर यह है कि वर्तमान वर्ग और अगले वर्ग के बीच के किनारे पर रुक जाएं। इससे एजेंट को तीखे मोड़ों पर भी आसानी से रास्ता काटने में मदद मिलेगी।

बीएफएस एल्गोरिथ्म के भी अपने नकारात्मक पहलू हैं - यह "गलत" दिशा में भी उतने ही वर्गों की खोज करता है, जितने "सही" दिशा में। यहीं पर A* (A स्टार) नामक एक अधिक जटिल एल्गोरिथ्म काम आता है। यह उसी तरह काम करता है, लेकिन पड़ोसी वर्गों (फिर पड़ोसियों के पड़ोसी, फिर पड़ोसियों के पड़ोसियों के पड़ोसी, और इसी तरह) की आँख मूंदकर खोज करने के बजाय, यह नोड्स को एक सूची में एकत्र करता है और उन्हें क्रमबद्ध करता है ताकि खोजा गया अगला नोड हमेशा वह हो जो सबसे छोटे मार्ग की ओर ले जाता है। नोड्स को एक अनुमान के आधार पर क्रमबद्ध किया जाता है, जो दो बातों को ध्यान में रखता है - वांछित वर्ग तक पहुंचने के लिए एक काल्पनिक मार्ग की "लागत" (यात्रा लागत सहित) और यह अनुमान कि वह वर्ग गंतव्य से कितनी दूर है (खोज को सही दिशा में ले जाना)।

यह उदाहरण एजेंट को एक समय में एक वर्ग का अन्वेषण करते हुए दिखाता है, तथा हर बार सबसे अधिक आशाजनक निकटवर्ती वर्ग का चयन करता है। परिणामी पथ BFS के समान ही है, लेकिन इस प्रक्रिया में कम वर्गों पर विचार किया गया - जिसका खेल के प्रदर्शन पर बड़ा प्रभाव पड़ता है।

ग्रिड के बिना आंदोलन

लेकिन अधिकांश खेल ग्रिड पर नहीं बनाये जाते हैं, और यथार्थवाद का त्याग किये बिना ऐसा करना अक्सर असंभव होता है। समझौते की आवश्यकता है। वर्गों का आकार क्या होना चाहिए? यदि यह बहुत बड़ा है तो यह छोटे हॉलवे या मोड़ों को उचित रूप से प्रदर्शित नहीं कर पाएगा, यदि यह बहुत छोटा है तो इसमें खोजने के लिए बहुत सारे वर्ग होंगे, जिससे बहुत समय लगेगा।

समझने वाली पहली बात यह है कि ग्रिड हमें जुड़े हुए नोड्स का ग्राफ देता है। ए* और बीएफएस एल्गोरिदम वास्तव में ग्राफ पर काम करते हैं और हमारे ग्रिड की बिल्कुल भी परवाह नहीं करते हैं। हम खेल की दुनिया में कहीं भी नोड्स रख सकते हैं: जब तक कि किसी भी दो जुड़े हुए नोड्स के बीच, तथा आरंभ और अंत बिंदुओं और कम से कम एक नोड के बीच कनेक्शन है, तब तक एल्गोरिथ्म पहले की तरह ही काम करेगा। इसे अक्सर वेपॉइंट सिस्टम कहा जाता है, क्योंकि प्रत्येक नोड दुनिया में एक महत्वपूर्ण स्थान का प्रतिनिधित्व करता है जो किसी भी काल्पनिक पथ का हिस्सा हो सकता है।

उदाहरण 1: प्रत्येक वर्ग में एक गाँठ। खोज उस नोड से शुरू होती है जहां एजेंट स्थित है और वांछित वर्ग के नोड पर समाप्त होती है।

उदाहरण 2: नोड्स (वेपॉइंट) का एक छोटा सेट. खोज एजेंट के वर्ग से शुरू होती है, आवश्यक संख्या में नोड्स से होकर गुजरती है, और फिर गंतव्य तक जारी रहती है।

यह काफी लचीली और शक्तिशाली प्रणाली है। लेकिन यह तय करने में कुछ सावधानी की आवश्यकता होती है कि वे-पॉइंट कहां और कैसे रखा जाए, अन्यथा एजेंट निकटतम वे-पॉइंट नहीं देख पाएंगे और अपनी यात्रा शुरू नहीं कर पाएंगे। यह आसान होगा यदि हम विश्व की ज्यामिति के आधार पर स्वचालित रूप से मार्ग-बिंदु निर्धारित कर सकें।

यहीं पर नेविगेशन मेश या नेवमेश की भूमिका आती है। यह आमतौर पर त्रिभुजों का एक 2D ग्रिड होता है, जिसे विश्व ज्यामिति पर ओवरले किया जाता है - जहाँ भी एजेंट को चलने की अनुमति होती है। ग्रिड में प्रत्येक त्रिभुज ग्राफ में एक नोड बन जाता है और इसमें अधिकतम तीन आसन्न त्रिभुज होते हैं, जो ग्राफ में पड़ोसी नोड बन जाते हैं।

यह चित्र यूनिटी इंजन का एक उदाहरण है - इसने दुनिया में ज्यामिति का विश्लेषण किया और एक नेवमेश (स्क्रीनशॉट पर हल्के नीले रंग में) बनाया। नेवमेश में प्रत्येक बहुभुज एक क्षेत्र है जिस पर एक एजेंट खड़ा हो सकता है या एक बहुभुज से दूसरे बहुभुज तक जा सकता है। इस उदाहरण में, बहुभुज उन मंजिलों से छोटे हैं जिन पर वे स्थित हैं - ऐसा एजेंट के आकार को ध्यान में रखने के लिए किया गया है, जो अपनी नाममात्र स्थिति से आगे तक विस्तारित होगा।

हम पुनः A* एल्गोरिथम का उपयोग करके इस ग्रिड के माध्यम से मार्ग ढूंढ सकते हैं। इससे हमें विश्व में एक लगभग पूर्ण मार्ग मिलेगा जो समस्त ज्यामिति को ध्यान में रखेगा तथा अनावश्यक नोड्स या वेपॉइंट्स की आवश्यकता नहीं होगी।

पथ-निर्धारण इतना व्यापक विषय है कि इसे लेख के केवल एक भाग में शामिल नहीं किया जा सकता। यदि आप इसका अधिक विस्तार से अध्ययन करना चाहते हैं, तो यह आपकी मदद करेगा अमित पटेल की वेबसाइट.

आयोजन

हमने पथ-निर्धारण में देखा है कि कभी-कभी केवल दिशा चुनकर आगे बढ़ जाना ही पर्याप्त नहीं होता - हमें एक मार्ग चुनना होता है और अपने गंतव्य तक पहुंचने के लिए कुछ मोड़ लेने होते हैं। हम इस विचार को सामान्यीकृत कर सकते हैं: लक्ष्य प्राप्ति केवल अगला कदम नहीं है, बल्कि एक संपूर्ण अनुक्रम है, जिसमें कभी-कभी पहला कदम क्या होना चाहिए, यह जानने के लिए कई कदम आगे देखने की आवश्यकता होती है। इसे योजना बनाना कहते हैं। पथ-निर्धारण को कई नियोजन ऐड-ऑन में से एक माना जा सकता है। हमारे ज्ञान/विचार/कार्य चक्र के संदर्भ में, यह वह स्थान है जहां विचार भाग भविष्य के लिए कई कार्य भागों की योजना बनाता है।

आइये बोर्ड गेम मैजिक: द गैदरिंग का उदाहरण देखें। सबसे पहले हम अपने हाथों में निम्नलिखित कार्डों का सेट लेकर चलते हैं:

• दलदल - 1 काला मान (भूमि कार्ड) देता है।
• वन - 1 हरा मान (भूमि कार्ड) देता है।
• भगोड़ा जादूगर - बुलाने के लिए 1 नीले मन की आवश्यकता होती है।
• एल्विश मिस्टिक - बुलाने के लिए 1 हरे मैना की आवश्यकता होती है।

इसे आसान बनाने के लिए हम शेष तीन कार्डों को नजरअंदाज कर देते हैं। नियमों के अनुसार, एक खिलाड़ी को प्रति बार 1 भूमि कार्ड खेलने की अनुमति होती है, वह इस कार्ड को "टैप" करके इससे मैना निकाल सकता है, और फिर मैना की मात्रा के अनुसार मंत्र (किसी प्राणी को बुलाने सहित) डाल सकता है। इस स्थिति में, मानव खिलाड़ी को पता होता है कि उसे फॉरेस्ट खेलना है, 1 ग्रीन मैना को टैप करना है, और फिर एल्विश मिस्टिक को बुलाना है। लेकिन गेम एआई इसका पता कैसे लगा सकता है?

सरल योजना

सरल दृष्टिकोण यह है कि प्रत्येक क्रिया को बारी-बारी से तब तक आज़माया जाए जब तक कि कोई उपयुक्त क्रिया शेष न रह जाए। कार्डों को देखते हुए, एआई देखता है कि स्वैम्प खेल सकता है। और इसे खेलता है. क्या इस बार भी कोई अन्य कार्य बाकी है? वह एल्विश मिस्टिक या फ्यूजिटिव विज़ार्ड को नहीं बुला सकता, क्योंकि उन्हें बुलाने के लिए क्रमशः हरे और नीले मैना की आवश्यकता होती है, जबकि स्वैम्प केवल काला मैना प्रदान करता है। और वह अब फॉरेस्ट नहीं खेल सकेगा क्योंकि वह पहले ही स्वैम्प खेल चुका है। अतः खेल ए.आई. ने नियमों का पालन तो किया, लेकिन खराब तरीके से। सुधार किया जा सकता है.

योजना बनाकर उन कार्यों की सूची बनाई जा सकती है जो खेल को वांछित स्थिति में ले आते हैं। जिस प्रकार पथ पर प्रत्येक वर्ग के पड़ोसी होते हैं (पथ-निर्धारण में), उसी प्रकार योजना में प्रत्येक क्रिया के भी पड़ोसी या उत्तराधिकारी होते हैं। हम इन क्रियाओं और उसके बाद की क्रियाओं को तब तक खोज सकते हैं जब तक कि हम वांछित स्थिति तक नहीं पहुंच जाते।

हमारे उदाहरण में, वांछित परिणाम है "यदि संभव हो तो किसी प्राणी को बुलाना।" पारी की शुरुआत में, हम खेल के नियमों के अनुसार केवल दो संभावित क्रियाएं देखते हैं:

1. दलदल खेलें (परिणाम: दलदल खेल में)
2. वन खेलें (परिणाम: वन खेल में)

प्रत्येक की गई कार्रवाई से आगे की कार्रवाई हो सकती है तथा अन्य कार्रवाईयां भी बंद हो सकती हैं, यह भी खेल के नियमों पर निर्भर करता है। कल्पना कीजिए कि हमने दलदल खेला - इससे दलदल अगले चरण से हट जाएगा (हम इसे पहले ही खेल चुके हैं), और इससे वन भी हट जाएगा (क्योंकि नियम आपको प्रति बार एक भूमि कार्ड खेलने की अनुमति देते हैं)। उसके बाद, AI 1 काला मान प्राप्त करने का अगला चरण जोड़ता है क्योंकि कोई अन्य विकल्प नहीं है। यदि वह आगे बढ़ता है और टैप द स्वैम्प चुनता है, तो उसे 1 काला मान मिलेगा और वह इसके साथ कुछ भी नहीं कर पाएगा।

1. दलदल खेलें (परिणाम: दलदल खेल में)
1.1 "टैप" दलदल (परिणाम: दलदल "टैप" किया गया, +1 काला मान)
कोई कार्रवाई उपलब्ध नहीं - समाप्त
2. वन खेलें (परिणाम: वन खेल में)

कार्यों की सूची छोटी थी, हम एक मृत अंत पर पहुंच गये। हम अगली कार्रवाई के लिए यही प्रक्रिया दोहराते हैं। हम फॉरेस्ट खेलते हैं, जिसमें "1 हरा मैना प्राप्त करें" क्रिया शुरू होती है, जो बदले में तीसरी क्रिया खोलती है - एल्विश मिस्टिक को बुलाना।

1. दलदल खेलें (परिणाम: दलदल खेल में)
1.1 "टैप" दलदल (परिणाम: दलदल "टैप" किया गया, +1 काला मान)
कोई कार्रवाई उपलब्ध नहीं - समाप्त
2. वन खेलें (परिणाम: वन खेल में)
2.1 "टैप" वन (परिणाम: वन "टैप" किया गया, +1 हरा मान)
2.1.1 एल्विश मिस्टिक को बुलाओ (परिणाम: एल्विश मिस्टिक खेल में, -1 हरा मान)
कोई कार्रवाई उपलब्ध नहीं - समाप्त

अंततः, हमने सभी संभावित कार्यों पर विचार किया और उस प्राणी को बुलाने की एक योजना बना ली।

यह एक बहुत ही सरल उदाहरण है। किसी भी ऐसी योजना को चुनने के बजाय जो कुछ मानदंडों को पूरा करती हो, सर्वोत्तम संभव योजना को चुनना उचित है। आमतौर पर, संभावित योजनाओं का मूल्यांकन अंतिम परिणाम या उनके कार्यान्वयन के कुल लाभ के आधार पर किया जा सकता है। आप भूमि कार्ड खेलने के लिए 1 अंक और किसी प्राणी को बुलाने के लिए 3 अंक प्राप्त कर सकते हैं। स्वैम्प खेलना एक 1 अंक की योजना होगी। और वन → वन पर टैप करें → एल्विश मिस्टिक को बुलाओ खेलने पर तुरंत 4 अंक मिलेंगे।

मैजिक: द गैदरिंग में योजना इसी प्रकार काम करती है, लेकिन यही तर्क अन्य स्थितियों पर भी लागू होता है। उदाहरण के लिए, शतरंज में बिशप के लिए जगह बनाने हेतु मोहरे को हिलाना। या फिर किसी दीवार के पीछे छिपकर सुरक्षित रूप से एक्सकॉम पर गोली चलायें। वैसे भी, तुम्हें अंदाजा मिल गया।

बेहतर योजना

कभी-कभी संभावित कार्य इतने अधिक होते हैं कि प्रत्येक संभावित विकल्प पर विचार करना कठिन हो जाता है। मैजिक: द गैदरिंग के उदाहरण पर लौटते हुए: मान लीजिए कि खेल में और उसके बाद आपके हाथ में कई भूमि और प्राणी कार्ड हैं - चालों के संभावित संयोजनों की संख्या दसियों में हो सकती है। इस समस्या के कई समाधान हैं।

पहली विधि पश्चगामी श्रृंखलाबद्धता है। सभी संयोजनों को आजमाने के बजाय, अंतिम परिणाम से शुरू करना और सीधा रास्ता खोजने का प्रयास करना बेहतर है। पेड़ की जड़ से किसी विशेष पत्ते की ओर जाने के बजाय, हम विपरीत दिशा में चलते हैं - पत्ते से जड़ की ओर। यह विधि सरल एवं तीव्र है।

यदि दुश्मन का स्वास्थ्य 1 है, तो आप "1 या अधिक क्षति पहुंचाने" की योजना बना सकते हैं। इसे प्राप्त करने के लिए, कई शर्तें पूरी होनी चाहिए:

1. क्षति किसी मंत्र द्वारा पहुंचाई जा सकती है - यह हाथ में होना चाहिए।
2. जादू करने के लिए आपको मन की आवश्यकता होती है।
3. मैना प्राप्त करने के लिए आपको भूमि कार्ड खेलना होगा।
4. भूमि कार्ड खेलने के लिए, आपके पास उसका हाथ में होना आवश्यक है।

दूसरा तरीका है सर्वोत्तम-प्रथम खोज। सभी रास्ते आज़माने के बजाय, हम सबसे उपयुक्त रास्ता चुनते हैं। अधिकतर, यह विधि अनावश्यक खोज लागत के बिना एक इष्टतम योजना प्रदान करती है। A* सर्वोत्तम प्रथम खोज का एक रूप है - प्रारंभ से ही सबसे आशाजनक मार्गों की खोज करके, यह अन्य विकल्पों की जांच किए बिना ही सर्वोत्तम मार्ग ढूंढ सकता है।

एक दिलचस्प और तेजी से लोकप्रिय हो रहा सर्वोत्तम-प्रथम खोज विकल्प मोंटे कार्लो ट्री सर्च है। प्रत्येक अनुवर्ती कार्रवाई का चयन करते समय यह अनुमान लगाने के बजाय कि कौन सी योजना दूसरों से बेहतर है, एल्गोरिथ्म प्रत्येक चरण पर यादृच्छिक उत्तराधिकारियों का चयन करता है जब तक कि यह अंत तक नहीं पहुंच जाता (जब योजना के परिणामस्वरूप जीत या हार होती है)। अंतिम परिणाम का उपयोग पिछले विकल्पों के "वजन" को बढ़ाने या घटाने के लिए किया जाता है। इस प्रक्रिया को लगातार कई बार दोहराने से, एल्गोरिथ्म यह अनुमान लगा लेता है कि अगला सबसे अच्छा कदम क्या होगा, भले ही स्थिति बदल जाए (यदि प्रतिद्वंद्वी खिलाड़ी को बाधा पहुंचाने के लिए कार्रवाई करता है)।

खेलों में नियोजन की कोई भी चर्चा लक्ष्य-उन्मुखी कार्य योजना या GOAP के बिना पूरी नहीं होगी। यह एक व्यापक रूप से प्रयुक्त और चर्चित विधि है, लेकिन कुछ विशिष्ट विवरणों के अलावा यह मूलतः वही पश्चगामी श्रृंखलाबद्ध विधि है, जिसके बारे में हमने पहले बात की थी। यदि उद्देश्य "खिलाड़ी को मारना" था और खिलाड़ी कवर के पीछे है, तो योजना यह हो सकती है: ग्रेनेड से मारना → उसे प्राप्त करना → उसे फेंकना।

आमतौर पर कई लक्ष्य होते हैं, जिनमें से प्रत्येक की अपनी प्राथमिकता होती है। यदि सर्वोच्च प्राथमिकता वाला लक्ष्य पूरा नहीं किया जा सकता है (कार्रवाई का कोई संयोजन "खिलाड़ी को मारने" की योजना नहीं बनाता है क्योंकि खिलाड़ी दिखाई नहीं देता है), तो AI कम प्राथमिकता वाले लक्ष्यों पर वापस आ जाएगा।

प्रशिक्षण और अनुकूलन

हम पहले ही कह चुके हैं कि गेम एआई आमतौर पर मशीन लर्निंग का उपयोग नहीं करता है क्योंकि यह वास्तविक समय में एजेंटों को नियंत्रित करने के लिए उपयुक्त नहीं है। लेकिन इसका मतलब यह नहीं है कि इस क्षेत्र से कुछ उधार नहीं लिया जा सकता। हम एक ऐसे प्रतिद्वंद्वी को चाहते हैं जिससे हम कुछ सीख सकें। उदाहरण के लिए, मानचित्र पर सर्वोत्तम स्थितियों के बारे में पता लगाएं। या किसी लड़ाई के खेल में कोई प्रतिद्वंद्वी खिलाड़ी की बार-बार इस्तेमाल की जाने वाली कॉम्बो चालों को रोक देता है, तथा खिलाड़ी को अन्य चालों का उपयोग करने के लिए प्रेरित करता है। इसलिए ऐसी परिस्थितियों में मशीन लर्निंग बहुत उपयोगी हो सकती है।

सांख्यिकी और संभावनाएँ

इससे पहले कि हम जटिल उदाहरणों पर चर्चा करें, आइए देखें कि कुछ सरल माप लेकर और उनका उपयोग करके निर्णय लेने में हम कितनी दूर तक जा सकते हैं। उदाहरण के लिए, किसी वास्तविक समय रणनीति गेम में, हम यह कैसे निर्धारित कर सकते हैं कि कोई खिलाड़ी खेल के पहले कुछ मिनटों में आक्रमण करने में सक्षम होगा या नहीं, तथा इसके विरुद्ध उसे किस प्रकार की रक्षा तैयार करनी है? हम किसी खिलाड़ी के पिछले अनुभवों का अध्ययन करके यह समझ सकते हैं कि भविष्य में उसकी प्रतिक्रिया क्या होगी। आइए इस तथ्य से शुरू करें कि हमारे पास ऐसा प्रारंभिक डेटा नहीं है, लेकिन हम इसे एकत्र कर सकते हैं - हर बार जब एआई किसी मानव के खिलाफ खेलता है, तो वह पहले हमले का समय रिकॉर्ड कर सकता है। कई सत्रों के बाद, हमें खिलाड़ी को भविष्य में हमला करने में लगने वाले समय का औसत मूल्य मिल जाएगा।

औसत मूल्यों के साथ भी एक समस्या है: यदि कोई खिलाड़ी 20 बार दौड़ता है और 20 बार धीरे-धीरे खेलता है, तो वांछित मूल्य कहीं बीच में होंगे, और इससे हमें कुछ भी उपयोगी नहीं मिलेगा। एक समाधान यह है कि इनपुट डेटा को सीमित कर दिया जाए - आप अंतिम 20 टुकड़ों को ध्यान में रख सकते हैं।

कुछ कार्यों की संभावना का आकलन करते समय भी इसी प्रकार का दृष्टिकोण अपनाया जाता है, यह मानते हुए कि खिलाड़ी की पिछली प्राथमिकताएं भविष्य में भी वही रहेंगी। यदि कोई खिलाड़ी हम पर पांच बार फायरबॉल से, दो बार बिजली से तथा एक बार हाथापाई से हमला करता है, तो यह स्पष्ट है कि वह फायरबॉल को प्राथमिकता देता है। आइए अलग-अलग हथियारों के उपयोग की संभावना देखें: आग का गोला = 62,5%, बिजली = 25% और हाथापाई = 12,5%। हमारे खेल ए.आई. को अग्नि सुरक्षा के लिए तैयार रहने की आवश्यकता है।

एक और दिलचस्प तरीका है बड़ी मात्रा में इनपुट डेटा को देखने और स्थिति को वर्गीकृत करने के लिए एक नैवे बेयस क्लासिफायर का उपयोग करना ताकि एआई उचित प्रतिक्रिया दे सके। बायेसियन क्लासिफायर्स ईमेल स्पैम फिल्टर में अपने उपयोग के लिए सर्वाधिक जाने जाते हैं। वहां वे शब्दों की जांच करते हैं, उनकी तुलना उन स्थानों से करते हैं जहां वे पहले आए थे (स्पैम में या नहीं), और आने वाले ईमेल के बारे में निष्कर्ष निकालते हैं। हम यही काम कम इनपुट डेटा के साथ भी कर सकते हैं। एआई द्वारा देखी गई सभी उपयोगी जानकारी (जैसे कि दुश्मन इकाइयाँ क्या बनाई गई हैं, या वे कौन से मंत्र का उपयोग करते हैं, या उन्होंने कौन सी तकनीकों पर शोध किया है) और अंतिम परिणाम (युद्ध या शांति, भीड़ या बचाव, आदि) के आधार पर - हम वांछित एआई व्यवहार का चयन करेंगे।

ये सभी शिक्षण विधियां पर्याप्त हैं, लेकिन परीक्षण डेटा के आधार पर इनका उपयोग करना उचित है। एआई आपके प्लेटेस्टर्स द्वारा उपयोग की गई विभिन्न रणनीतियों के अनुकूल होना सीखेगा। रिलीज के बाद खिलाड़ी के अनुकूल होने वाली एआई बहुत अधिक पूर्वानुमानित या जीतने के लिए बहुत कठिन हो सकती है।

मूल्य-आधारित अनुकूलन

हमारे खेल की दुनिया और नियमों की सामग्री को देखते हुए, हम केवल इनपुट डेटा का उपयोग करने के बजाय निर्णयों को प्रभावित करने वाले मूल्यों के सेट को बदल सकते हैं। आइये इसे इस प्रकार करें:

• एआई को खेल के दौरान दुनिया की स्थिति और प्रमुख घटनाओं के बारे में डेटा एकत्र करने दें (जैसा कि ऊपर बताया गया है)।
• आइये इस डेटा के आधार पर कुछ महत्वपूर्ण मान बदलें।
• हम इन मूल्यों के प्रसंस्करण या मूल्यांकन के आधार पर अपने निर्णय क्रियान्वित करते हैं।

उदाहरण के लिए, एक एजेंट के पास प्रथम-व्यक्ति शूटर मानचित्र पर चुनने के लिए कई कमरे होते हैं। प्रत्येक कमरे का अपना मूल्य होता है, जो यह निर्धारित करता है कि वहां जाना कितना वांछनीय है। एआई यादृच्छिक रूप से मूल्य के आधार पर चुनता है कि किस कमरे में जाना है। इसके बाद एजेंट को याद आता है कि वह किस कमरे में मारा गया था और वह उसका मूल्य कम कर देता है (संभावना है कि वह वहां वापस आएगा)। इसी प्रकार विपरीत स्थिति के लिए - यदि एजेंट कई विरोधियों को नष्ट कर देता है, तो कमरे का मूल्य बढ़ जाता है।

मार्कोव मॉडल

यदि हम एकत्रित आंकड़ों का उपयोग पूर्वानुमान लगाने के लिए करें तो क्या होगा? यदि हम उन सभी कमरों को याद रखें जिनमें हमने खिलाड़ी को एक निश्चित समयावधि में देखा है, तो हम यह अनुमान लगा सकते हैं कि खिलाड़ी किस कमरे में जा सकता है। कमरों में खिलाड़ी की गतिविधियों (मानों) पर नज़र रखकर और उन्हें रिकॉर्ड करके, हम उनका पूर्वानुमान लगा सकते हैं।

आइए तीन कमरे लें: लाल, हरा और नीला। और खेल सत्र देखते समय हमने जो अवलोकन दर्ज किए, वे भी:

प्रत्येक कमरे के लिए अवलोकनों की संख्या लगभग बराबर है - हम अभी भी नहीं जानते कि घात लगाने के लिए अच्छी जगह कहां बनाई जाए। आंकड़े एकत्र करना खिलाड़ियों के पुनः प्रकट होने से भी जटिल हो जाता है, जो पूरे मानचित्र में समान रूप से दिखाई देते हैं। लेकिन मानचित्र पर दिखाई देने के बाद जिस अगले कमरे में वे प्रवेश करते हैं, उसके बारे में डेटा पहले से ही उपयोगी है।

यह स्पष्ट है कि ग्रीन रूम खिलाड़ियों के लिए उपयुक्त है - रेड रूम से अधिकांश लोग इसमें चले जाते हैं, जिनमें से 50% वहीं रहते हैं। इसके विपरीत, नीला कमरा लोकप्रिय नहीं है; लोग वहां लगभग कभी नहीं जाते, और अगर जाते भी हैं तो ज्यादा देर तक नहीं रुकते।

लेकिन आंकड़े हमें कुछ अधिक महत्वपूर्ण बात बताते हैं - जब कोई खिलाड़ी नीले कमरे में होता है, तो अगला कमरा जिसमें हम उसे देखते हैं, वह हरे की बजाय लाल होने की अधिक संभावना होती है। यद्यपि हरा कमरा लाल कमरे की तुलना में अधिक लोकप्रिय है, लेकिन यदि खिलाड़ी नीले कमरे में हो तो स्थिति बदल जाती है। अगली स्थिति (अर्थात् वह कमरा जिसमें खिलाड़ी जाएगा) पिछली स्थिति (अर्थात् वह कमरा जिसमें खिलाड़ी वर्तमान में है) पर निर्भर करती है। निर्भरताओं का अन्वेषण करके, हम स्वतंत्र रूप से अवलोकनों की गणना करने की अपेक्षा अधिक सटीक भविष्यवाणियां कर सकेंगे।

अतीत की स्थिति के आंकड़ों के आधार पर भविष्य की स्थिति की भविष्यवाणी करना मार्कोव मॉडल कहलाता है, और ऐसे उदाहरणों (कमरों के साथ) को मार्कोव श्रृंखला कहा जाता है। चूंकि मॉडल क्रमिक अवस्थाओं के बीच परिवर्तन की संभावना को दर्शाते हैं, इसलिए उन्हें प्रत्येक संक्रमण के चारों ओर एक संभावना के साथ एक FSM के रूप में दर्शाया जाता है। पहले हम एफएसएम का प्रयोग एजेंट की व्यवहारिक स्थिति को दर्शाने के लिए करते थे, लेकिन यह अवधारणा किसी भी स्थिति पर लागू होती है, चाहे वह एजेंट से संबंधित हो या नहीं। इस मामले में, स्थितियाँ उस कमरे का प्रतिनिधित्व करती हैं जिसमें एजेंट रहता है:

यह राज्य परिवर्तनों की सापेक्ष संभावना का प्रतिनिधित्व करने का एक सरल तरीका है, जो एआई को अगले राज्य की भविष्यवाणी करने की कुछ क्षमता देता है। कई कदम आगे की भविष्यवाणी करना संभव है।

यदि कोई खिलाड़ी ग्रीन रूम में है, तो 50% संभावना है कि वह अगले अवलोकन के दौरान वहीं रहेगा। लेकिन क्या संभावना है कि उसके बाद भी वह वहां रहेगा? न केवल इस बात की संभावना है कि खिलाड़ी दो बार निरीक्षण के बाद ग्रीन रूम में ही रहा हो, बल्कि इस बात की भी संभावना है कि वह वहां से चला गया हो और वापस आ गया हो। नये आंकड़ों को ध्यान में रखते हुए नई तालिका इस प्रकार है:

यह दर्शाता है कि दो प्रेक्षणों के बाद किसी खिलाड़ी को ग्रीन रूम में देखने की संभावना 51% होगी - 21% संभावना यह है कि वह रेड रूम से होगा, 5% संभावना यह है कि खिलाड़ी बीच में ब्लू रूम में जाएगा, तथा 25% संभावना यह है कि खिलाड़ी ग्रीन रूम से बाहर ही नहीं निकलेगा।

यह तालिका केवल एक दृश्य उपकरण है - इस प्रक्रिया में प्रत्येक चरण पर केवल संभावनाओं को गुणा करना होता है। इसका मतलब यह है कि आप एक चेतावनी के साथ भविष्य में दूर तक देख सकते हैं: हम मानते हैं कि किसी कमरे में प्रवेश करने की संभावना पूरी तरह से वर्तमान कमरे पर निर्भर करती है। इसे मार्कोव संपत्ति कहा जाता है - भविष्य की स्थिति केवल वर्तमान पर निर्भर करती है। लेकिन यह 100% सटीक नहीं है। खिलाड़ी अन्य कारकों, जैसे स्वास्थ्य स्तर या गोला-बारूद स्तर के आधार पर अपने निर्णय बदल सकते हैं। चूंकि हम इन मूल्यों को रिकॉर्ड नहीं करते, इसलिए हमारे पूर्वानुमान कम सटीक होंगे।

एन-ग्राम

एक लड़ाई वाले खेल और एक खिलाड़ी की संयुक्त चालों की भविष्यवाणी करने के उदाहरण के बारे में आप क्या कहेंगे? जो उसी! लेकिन किसी एक स्थिति या घटना के बजाय, हम सम्पूर्ण अनुक्रम की जांच करेंगे जो एक संयुक्त हमले का निर्माण करते हैं।

ऐसा करने का एक तरीका यह है कि प्रत्येक इनपुट (जैसे किक, पंच या ब्लॉक) को बफर में संग्रहीत किया जाए और पूरे बफर को एक इवेंट के रूप में रिकॉर्ड किया जाए। इसलिए खिलाड़ी सुपरडेथफिस्ट हमले का उपयोग करने के लिए बार-बार किक, किक, पंच दबाता है, एआई सिस्टम सभी इनपुट को एक बफर में संग्रहीत करता है और प्रत्येक चरण में उपयोग किए गए अंतिम तीन को याद रखता है।

(बोल्ड में लिखी पंक्तियां उस समय की हैं जब खिलाड़ी सुपरडेथफिस्ट हमला करता है।)

जब खिलाड़ी किक चुनता है तो एआई सभी विकल्प देखेगा, उसके बाद एक और किक, और फिर ध्यान दें कि अगला इनपुट हमेशा पंच होता है। इससे एजेंट को सुपरडेथफिस्ट कॉम्बो का पूर्वानुमान लगाने और यदि संभव हो तो उसे ब्लॉक करने में सहायता मिलेगी।

घटनाओं के इन अनुक्रमों को एन-ग्राम कहा जाता है, जहां एन संग्रहित तत्वों की संख्या है। पिछले उदाहरण में, यह 3-ग्राम (ट्रिग्राम) था, जिसका अर्थ है कि पहली दो प्रविष्टियों का उपयोग तीसरी की भविष्यवाणी करने के लिए किया जाता है। तदनुसार, 5-ग्राम में, पहली चार प्रविष्टियाँ पांचवीं की भविष्यवाणी करती हैं, और इसी प्रकार आगे भी।

डेवलपर को एन-ग्राम आकार का चयन सावधानी से करना होगा। छोटी संख्या N के लिए कम मेमोरी की आवश्यकता होती है, लेकिन इसमें इतिहास भी कम संग्रहित होता है। उदाहरण के लिए, 2-ग्राम (बिग्राम) किक, किक या किक, पंच रिकॉर्ड करेगा, लेकिन किक, किक, पंच को स्टोर करने में सक्षम नहीं होगा, इसलिए एआई सुपरडेथफिस्ट कॉम्बो पर प्रतिक्रिया नहीं करेगा।

दूसरी ओर, बड़ी संख्या के लिए अधिक मेमोरी की आवश्यकता होती है और एआई को सीखने में अधिक कठिनाई होगी क्योंकि कई संभावित विकल्प होंगे। यदि आपके पास किक, पंच या ब्लॉक के तीन संभावित इनपुट हों, और हम 10 ग्राम का उपयोग करें, तो लगभग 60 विभिन्न विकल्प होंगे।

बिग्राम मॉडल एक सरल मार्कोव श्रृंखला है - प्रत्येक पिछली अवस्था/वर्तमान अवस्था युग्म एक बिग्राम है, और आप पहली अवस्था के आधार पर दूसरी अवस्था का पूर्वानुमान लगा सकते हैं। 3-ग्राम और उससे बड़े एन-ग्राम को मार्कोव श्रृंखला के रूप में भी देखा जा सकता है, जहां सभी तत्व (एन-ग्राम के अंतिम तत्व को छोड़कर) मिलकर पहली अवस्था बनाते हैं, और अंतिम तत्व दूसरी अवस्था बनाता है। लड़ाई के खेल का उदाहरण किक और किक अवस्था से किक और पंच अवस्था में संक्रमण की संभावना को दर्शाता है। एकाधिक इनपुट इतिहास रिकार्डों को एक इकाई मानकर, हम अनिवार्यतः इनपुट अनुक्रम को सम्पूर्ण स्थिति के भाग में रूपांतरित कर देते हैं। इससे हमें मार्कोव गुण मिलता है, जो हमें अगले इनपुट की भविष्यवाणी करने के लिए मार्कोव श्रृंखला का उपयोग करने और यह अनुमान लगाने की अनुमति देता है कि अगला कॉम्बो मूव क्या होगा।

निष्कर्ष

हमने कृत्रिम बुद्धिमत्ता के विकास में सबसे आम उपकरणों और तरीकों के बारे में बात की। हमने उन स्थितियों पर भी गौर किया जिनमें उनका उपयोग किया जाना चाहिए और जहां वे विशेष रूप से उपयोगी हैं।

गेम एआई की मूल बातें समझने के लिए यह पर्याप्त होना चाहिए। लेकिन, निःसंदेह, ये सभी तरीके नहीं हैं। कम लोकप्रिय, लेकिन कम प्रभावी नहीं:

• अनुकूलन एल्गोरिदम जिसमें पहाड़ी चढ़ाई, ग्रेडिएंट डिसेंट और जेनेटिक एल्गोरिदम शामिल हैं
• प्रतिस्पर्धी खोज/योजना एल्गोरिदम (मिनीमैक्स और अल्फा-बीटा प्रूनिंग)
• वर्गीकरण विधियाँ (परसेप्ट्रॉन, न्यूरल नेटवर्क और सपोर्ट वेक्टर मशीन)
• एजेंटों की धारणा और स्मृति को संसाधित करने के लिए प्रणालियाँ
• एआई के लिए वास्तुशिल्प दृष्टिकोण (हाइब्रिड सिस्टम, सबसेट आर्किटेक्चर, और एआई सिस्टम को स्तरित करने के अन्य तरीके)
• एनीमेशन उपकरण (गति योजना और समन्वय)
• प्रदर्शन कारक (विवरण का स्तर, किसी भी समय एल्गोरिदम, और टाइमस्लाइसिंग)

इस विषय पर इंटरनेट संसाधन:

1. GameDev.net ने एआई पर लेख और ट्यूटोरियल वाला अनुभागऔर форум.
2. AiGameDev.com इसमें गेम एआई विकास से संबंधित विषयों की एक विस्तृत श्रृंखला पर कई प्रस्तुतियाँ और लेख शामिल हैं।
3. जीडीसी वॉल्ट इसमें जीडीसी एआई शिखर सम्मेलन के विषय शामिल हैं, जिनमें से कई निःशुल्क उपलब्ध हैं।
4. उपयोगी सामग्री वेबसाइट पर भी मिल सकती है एआई गेम प्रोग्रामर्स गिल्ड.
5. टॉमी थॉम्पसन, एआई शोधकर्ता और गेम डेवलपर, यूट्यूब पर वीडियो बनाते हैं एआई और खेल वाणिज्यिक खेलों में एआई के स्पष्टीकरण और अध्ययन के साथ।

इस विषय पर पुस्तकें:

1. गेम एआई प्रो पुस्तक श्रृंखला लघु लेखों का एक संग्रह है जो बताता है कि विशिष्ट सुविधाओं को कैसे लागू किया जाए या विशिष्ट समस्याओं को कैसे हल किया जाए।

गेम एआई प्रो: गेम एआई पेशेवरों का एकत्रित ज्ञान
गेम एआई प्रो 2: गेम एआई पेशेवरों का एकत्रित ज्ञान
गेम एआई प्रो 3: गेम एआई पेशेवरों का एकत्रित ज्ञान

2. एआई गेम प्रोग्रामिंग विजडम श्रृंखला गेम एआई प्रो श्रृंखला की पूर्ववर्ती है। इसमें पुरानी पद्धतियां भी शामिल हैं, लेकिन उनमें से लगभग सभी आज भी प्रासंगिक हैं।

एआई गेम प्रोग्रामिंग विज़डम 1
एआई गेम प्रोग्रामिंग विज़डम 2
एआई गेम प्रोग्रामिंग विज़डम 3
एआई गेम प्रोग्रामिंग विज़डम 4

3. कृत्रिम बुद्धिमत्ता एक आधुनिक दृष्टिकोण — कृत्रिम बुद्धिमत्ता के सामान्य क्षेत्र को समझने के इच्छुक किसी भी व्यक्ति के लिए यह एक बुनियादी पाठ्य पुस्तक है। यह गेम डेवलपमेंट के बारे में कोई पुस्तक नहीं है - यह एआई के बुनियादी सिद्धांतों को सिखाती है।

स्रोत: www.habr.com