गेमिंग एआई कैसे बनाएं: शुरुआती लोगों के लिए एक गाइड

मुझे खेलों में कृत्रिम बुद्धिमत्ता के बारे में कुछ दिलचस्प सामग्री मिली। सरल उदाहरणों का उपयोग करके एआई के बारे में बुनियादी चीजों की व्याख्या के साथ, और इसके सुविधाजनक विकास और डिजाइन के लिए कई उपयोगी उपकरण और तरीके हैं। इनका उपयोग कैसे, कहां और कब करना है, इसकी भी जानकारी है।

अधिकांश उदाहरण छद्मकोड में लिखे गए हैं, इसलिए किसी उन्नत प्रोग्रामिंग ज्ञान की आवश्यकता नहीं है। कट के नीचे चित्रों और GIFs के साथ पाठ की 35 शीट हैं, इसलिए तैयार हो जाइए।

युपीडी. मैं क्षमा चाहता हूँ, लेकिन मैंने हैब्रे पर इस लेख का अपना अनुवाद पहले ही कर लिया है रोगी शून्य. आप उसका संस्करण पढ़ सकते हैं यहां, लेकिन किसी कारण से लेख मेरे सामने से गुजर गया (मैंने खोज का उपयोग किया, लेकिन कुछ गलत हो गया)। और चूंकि मैं खेल विकास के लिए समर्पित एक ब्लॉग पर लिख रहा हूं, इसलिए मैंने अनुवाद के अपने संस्करण को ग्राहकों के लिए छोड़ने का फैसला किया (कुछ बिंदुओं को अलग तरीके से स्वरूपित किया गया है, कुछ को डेवलपर्स की सलाह पर जानबूझकर छोड़ दिया गया था)।

एआई क्या है?

गेम एआई इस बात पर ध्यान केंद्रित करता है कि किसी वस्तु को उन स्थितियों के आधार पर क्या क्रियाएं करनी चाहिए जिनमें वह स्थित है। इसे आमतौर पर "बुद्धिमान एजेंट" प्रबंधन के रूप में जाना जाता है, जहां एक एजेंट एक खिलाड़ी चरित्र, एक वाहन, एक बॉट, या कभी-कभी कुछ अधिक अमूर्त होता है: संस्थाओं का एक पूरा समूह या यहां तक ​​कि एक सभ्यता। प्रत्येक मामले में, यह एक ऐसी चीज़ है जिसे अपने परिवेश को देखना चाहिए, उसके आधार पर निर्णय लेना चाहिए और उनके अनुसार कार्य करना चाहिए। इसे संवेदना/सोच/कार्य चक्र कहा जाता है:

• संवेदना: एजेंट अपने वातावरण में उन चीजों के बारे में जानकारी ढूंढता या प्राप्त करता है जो उसके व्यवहार को प्रभावित कर सकती हैं (आस-पास के खतरे, इकट्ठा करने के लिए वस्तुएं, तलाशने के लिए दिलचस्प जगहें)।
• सोचें: एजेंट तय करता है कि कैसे प्रतिक्रिया करनी है (यह विचार करता है कि क्या सामान इकट्ठा करना पर्याप्त सुरक्षित है या क्या उसे पहले लड़ना/छिपना चाहिए)।
• अधिनियम: एजेंट पिछले निर्णय को लागू करने के लिए कार्रवाई करता है (दुश्मन या वस्तु की ओर बढ़ना शुरू करता है)।
• ...अब पात्रों के कार्यों के कारण स्थिति बदल गई है, इसलिए चक्र नए डेटा के साथ दोहराता है।

एआई लूप के सेंस भाग पर ध्यान केंद्रित करता है। उदाहरण के लिए, स्वायत्त कारें सड़क की तस्वीरें लेती हैं, उन्हें रडार और लिडार डेटा के साथ जोड़ती हैं और उनकी व्याख्या करती हैं। यह आम तौर पर मशीन लर्निंग द्वारा किया जाता है, जो आने वाले डेटा को संसाधित करता है और इसे अर्थ देता है, "आपसे 20 गज आगे एक और कार है" जैसी अर्थ संबंधी जानकारी निकालता है। ये तथाकथित वर्गीकरण समस्याएं हैं।

गेम्स को जानकारी निकालने के लिए एक जटिल प्रणाली की आवश्यकता नहीं है क्योंकि अधिकांश डेटा पहले से ही इसका एक अभिन्न अंग है। यह निर्धारित करने के लिए कि आगे कोई दुश्मन है या नहीं, छवि पहचान एल्गोरिदम चलाने की कोई आवश्यकता नहीं है - गेम पहले से ही जानता है और जानकारी को सीधे निर्णय लेने की प्रक्रिया में फीड करता है। इसलिए, चक्र का संवेदना भाग अक्सर सोचें और कार्य करें भाग की तुलना में बहुत सरल होता है।

गेम एआई की सीमाएँ

AI की कई सीमाएँ हैं जिनका पालन किया जाना चाहिए:

• एआई को पहले से प्रशिक्षित करने की आवश्यकता नहीं है, जैसे कि यह एक मशीन लर्निंग एल्गोरिदम हो। विकास के दौरान हजारों खिलाड़ियों पर नजर रखने और उनके खिलाफ खेलने का सबसे अच्छा तरीका सीखने के लिए एक तंत्रिका नेटवर्क लिखने का कोई मतलब नहीं है। क्यों? क्योंकि खेल जारी नहीं हुआ है और कोई खिलाड़ी नहीं हैं।
• खेल मज़ेदार और चुनौतीपूर्ण होना चाहिए, इसलिए एजेंटों को लोगों के ख़िलाफ़ सर्वोत्तम दृष्टिकोण नहीं ढूंढना चाहिए।
• एजेंटों को यथार्थवादी दिखने की जरूरत है ताकि खिलाड़ियों को ऐसा लगे कि वे वास्तविक लोगों के खिलाफ खेल रहे हैं। अल्फ़ागो कार्यक्रम ने मनुष्यों से बेहतर प्रदर्शन किया, लेकिन चुने गए चरण खेल की पारंपरिक समझ से बहुत दूर थे। यदि खेल एक मानवीय प्रतिद्वंद्वी का अनुकरण करता है, तो यह भावना मौजूद नहीं होनी चाहिए। एल्गोरिदम को बदलने की आवश्यकता है ताकि यह आदर्श निर्णयों के बजाय प्रशंसनीय निर्णय ले सके।
• एआई को वास्तविक समय में काम करना चाहिए। इसका मतलब यह है कि एल्गोरिदम निर्णय लेने के लिए लंबे समय तक सीपीयू के उपयोग पर एकाधिकार नहीं रख सकता है। यहां तक ​​कि 10 मिलीसेकंड भी बहुत लंबा है, क्योंकि अधिकांश गेम को सभी प्रोसेसिंग करने और अगले ग्राफिक्स फ्रेम पर जाने के लिए केवल 16 से 33 मिलीसेकंड की आवश्यकता होती है।
• आदर्श रूप से, सिस्टम का कम से कम हिस्सा डेटा-संचालित होना चाहिए, ताकि गैर-कोडर परिवर्तन कर सकें और समायोजन अधिक तेज़ी से हो सके।

आइए एआई दृष्टिकोण को देखें जो संपूर्ण सेंस/थिंक/एक्ट चक्र को कवर करता है।

बुनियादी निर्णय लेना

आइए सबसे सरल खेल - पोंग से शुरू करें। लक्ष्य: पैडल को हिलाएं ताकि गेंद उसके ऊपर से उड़ने के बजाय उछल जाए। यह टेनिस की तरह है, जहां यदि आप गेंद को हिट नहीं करते हैं तो आप हार जाते हैं। यहां एआई के पास अपेक्षाकृत आसान काम है - यह तय करना कि प्लेटफॉर्म को किस दिशा में ले जाना है।

सशर्त बयान

पोंग में एआई के लिए, सबसे स्पष्ट समाधान हमेशा प्लेटफ़ॉर्म को गेंद के नीचे रखने का प्रयास करना है।

इसके लिए एक सरल एल्गोरिदम, छद्मकोड में लिखा गया है:

गेम चलने के दौरान प्रत्येक फ़्रेम/अपडेट:
यदि गेंद पैडल के बाईं ओर है:
चप्पू को बाएँ घुमाएँ
अन्यथा यदि गेंद पैडल के दाईं ओर है:
चप्पू को दाएँ घुमाएँ

यदि प्लेटफ़ॉर्म गेंद की गति से चलता है, तो यह पोंग में एआई के लिए आदर्श एल्गोरिदम है। यदि एजेंट के लिए इतना अधिक डेटा और संभावित कार्रवाइयां नहीं हैं तो कुछ भी जटिल करने की आवश्यकता नहीं है।

यह दृष्टिकोण इतना सरल है कि संपूर्ण समझ/सोच/कार्य चक्र मुश्किल से ध्यान देने योग्य है। लेकिन यह वहां है:

• सेंस भाग दो if कथनों में है। गेम को पता है कि गेंद कहां है और प्लेटफॉर्म कहां है, इसलिए एआई उस जानकारी को देखता है।
• दो यदि कथनों में थिंक भाग भी शामिल है। उनमें दो समाधान शामिल हैं, जो इस मामले में परस्पर अनन्य हैं। परिणामस्वरूप, तीन क्रियाओं में से एक का चयन किया जाता है - प्लेटफ़ॉर्म को बाईं ओर ले जाएँ, दाईं ओर ले जाएँ, या यदि यह पहले से ही सही स्थिति में है तो कुछ न करें।
• अधिनियम भाग मूव पैडल लेफ्ट और मूव पैडल राइट स्टेटमेंट में पाया जाता है। गेम डिज़ाइन के आधार पर, वे प्लेटफ़ॉर्म को तुरंत या एक विशिष्ट गति से स्थानांतरित कर सकते हैं।

ऐसे दृष्टिकोणों को प्रतिक्रियाशील कहा जाता है - नियमों का एक सरल सेट है (इस मामले में यदि कोड में बयान हैं) जो दुनिया की वर्तमान स्थिति पर प्रतिक्रिया करते हैं और कार्रवाई करते हैं।

निर्णय वृक्ष

पोंग उदाहरण वास्तव में एक औपचारिक एआई अवधारणा के बराबर है जिसे निर्णय वृक्ष कहा जाता है। एल्गोरिदम इसके माध्यम से "पत्ती" तक पहुंचता है - क्या कार्रवाई करनी है इसके बारे में निर्णय।

आइए हमारे प्लेटफ़ॉर्म के एल्गोरिदम के लिए निर्णय वृक्ष का एक ब्लॉक आरेख बनाएं:

पेड़ के प्रत्येक भाग को नोड कहा जाता है - एआई ऐसी संरचनाओं का वर्णन करने के लिए ग्राफ सिद्धांत का उपयोग करता है। नोड दो प्रकार के होते हैं:

• निर्णय नोड्स: कुछ स्थितियों के परीक्षण के आधार पर दो विकल्पों के बीच चयन करना, जहां प्रत्येक विकल्प को एक अलग नोड के रूप में दर्शाया जाता है।
• अंतिम नोड्स: निष्पादित की जाने वाली क्रिया अंतिम निर्णय का प्रतिनिधित्व करती है।

एल्गोरिथ्म पहले नोड (पेड़ की "जड़") से शुरू होता है। यह या तो यह निर्णय लेता है कि किस चाइल्ड नोड पर जाना है, या यह नोड में संग्रहीत कार्रवाई को निष्पादित करता है और बाहर निकल जाता है।

निर्णय वृक्ष द्वारा पिछले अनुभाग में दिए गए if कथनों के समान कार्य करने का क्या लाभ है? यहां एक सामान्य प्रणाली है जहां प्रत्येक निर्णय में केवल एक शर्त और दो संभावित परिणाम होते हैं। यह डेवलपर को हार्ड-कोड किए बिना किसी ट्री में निर्णयों का प्रतिनिधित्व करने वाले डेटा से एआई बनाने की अनुमति देता है। आइए इसे एक तालिका के रूप में प्रस्तुत करें:

कोड साइड पर आपको स्ट्रिंग्स पढ़ने के लिए एक सिस्टम मिलेगा। उनमें से प्रत्येक के लिए एक नोड बनाएं, दूसरे कॉलम के आधार पर निर्णय तर्क और तीसरे और चौथे कॉलम के आधार पर चाइल्ड नोड्स को कनेक्ट करें। आपको अभी भी स्थितियों और कार्यों को प्रोग्राम करने की आवश्यकता है, लेकिन अब गेम की संरचना अधिक जटिल होगी। यहां आप अतिरिक्त निर्णय और क्रियाएं जोड़ते हैं, और फिर केवल ट्री परिभाषा टेक्स्ट फ़ाइल को संपादित करके संपूर्ण एआई को अनुकूलित करते हैं। इसके बाद, आप फ़ाइल को गेम डिज़ाइनर को स्थानांतरित करते हैं, जो गेम को दोबारा संकलित किए बिना या कोड को बदले बिना व्यवहार को बदल सकता है।

निर्णय वृक्ष तब बहुत उपयोगी होते हैं जब वे उदाहरणों के एक बड़े सेट से स्वचालित रूप से बनाए जाते हैं (उदाहरण के लिए, ID3 एल्गोरिथ्म का उपयोग करके)। यह उन्हें प्राप्त आंकड़ों के आधार पर स्थितियों को वर्गीकृत करने के लिए एक प्रभावी और उच्च प्रदर्शन वाला उपकरण बनाता है। हालाँकि, हम एजेंटों के लिए कार्यों का चयन करने के लिए एक सरल प्रणाली से आगे जाते हैं।

परिदृश्यों

हमने एक निर्णय वृक्ष प्रणाली का विश्लेषण किया जो पूर्व-निर्मित स्थितियों और क्रियाओं का उपयोग करती है। एआई को डिज़ाइन करने वाला व्यक्ति पेड़ को अपनी इच्छानुसार व्यवस्थित कर सकता है, लेकिन उसे अभी भी उस कोडर पर निर्भर रहना होगा जिसने यह सब प्रोग्राम किया है। क्या होगा यदि हम डिज़ाइनर को अपनी परिस्थितियाँ या क्रियाएँ बनाने के लिए उपकरण दे सकें?

ताकि प्रोग्रामर को इस स्थिति के लिए कोड लिखना न पड़े कि क्या बॉल पैडल के बाईं ओर है और क्या बॉल पैडल के दाईं ओर है, वह एक सिस्टम बना सकता है जिसमें डिज़ाइनर इन मानों की जांच करने के लिए शर्तें लिखेगा। फिर निर्णय वृक्ष डेटा इस तरह दिखेगा:

यह अनिवार्य रूप से पहली तालिका के समान ही है, लेकिन समाधानों का अपना कोड होता है, जो कुछ-कुछ if स्टेटमेंट के सशर्त भाग जैसा होता है। कोड पक्ष पर, यह निर्णय नोड्स के लिए दूसरे कॉलम में पढ़ा जाएगा, लेकिन निष्पादित करने के लिए एक विशिष्ट स्थिति की तलाश करने के बजाय (क्या बॉल पैडल के बाईं ओर है), यह सशर्त अभिव्यक्ति का मूल्यांकन करता है और तदनुसार सही या गलत लौटाता है। यह लुआ या एंजेलस्क्रिप्ट स्क्रिप्टिंग भाषा का उपयोग करके किया जाता है। उनका उपयोग करके, एक डेवलपर अपने गेम (बॉल और पैडल) में ऑब्जेक्ट ले सकता है और वेरिएबल बना सकता है जो स्क्रिप्ट (बॉल.पोजिशन) में उपलब्ध होंगे। साथ ही, स्क्रिप्टिंग भाषा C++ से अधिक सरल है। इसे पूर्ण संकलन चरण की आवश्यकता नहीं है, इसलिए यह गेम लॉजिक को त्वरित रूप से समायोजित करने के लिए आदर्श है और "गैर-कोडर्स" को आवश्यक फ़ंक्शन स्वयं बनाने की अनुमति देता है।

उपरोक्त उदाहरण में, स्क्रिप्टिंग भाषा का उपयोग केवल सशर्त अभिव्यक्ति का मूल्यांकन करने के लिए किया जाता है, लेकिन इसका उपयोग कार्यों के लिए भी किया जा सकता है। उदाहरण के लिए, डेटा मूव पैडल राइट एक स्क्रिप्ट स्टेटमेंट (ball.position.x += 10) बन सकता है। ताकि मूव पैडल राइट को प्रोग्राम करने की आवश्यकता के बिना, कार्रवाई को स्क्रिप्ट में भी परिभाषित किया जा सके।

आप इससे भी आगे जा सकते हैं और संपूर्ण निर्णय वृक्ष को स्क्रिप्टिंग भाषा में लिख सकते हैं। यह हार्डकोडेड कंडीशनल स्टेटमेंट के रूप में कोड होगा, लेकिन वे बाहरी स्क्रिप्ट फ़ाइलों में स्थित होंगे, यानी, उन्हें पूरे प्रोग्राम को दोबारा संकलित किए बिना बदला जा सकता है। विभिन्न एआई प्रतिक्रियाओं का त्वरित परीक्षण करने के लिए आप गेमप्ले के दौरान अक्सर स्क्रिप्ट फ़ाइल को संपादित कर सकते हैं।

घटना प्रतिक्रिया

उपरोक्त उदाहरण पोंग के लिए बिल्कुल उपयुक्त हैं। वे लगातार सेंस/थिंक/एक्ट चक्र चलाते हैं और दुनिया की नवीनतम स्थिति के आधार पर कार्य करते हैं। लेकिन अधिक जटिल खेलों में आपको व्यक्तिगत घटनाओं पर प्रतिक्रिया करने की ज़रूरत होती है, न कि एक ही बार में हर चीज़ का मूल्यांकन करने की। इस मामले में पोंग पहले से ही एक बुरा उदाहरण है। चलो कोई दूसरा चुनें.

एक शूटर की कल्पना करें जहां दुश्मन खिलाड़ी का पता लगाने तक गतिहीन रहते हैं, जिसके बाद वे अपनी "विशेषज्ञता" के आधार पर कार्य करते हैं: कोई "जल्दी" करने के लिए दौड़ेगा, कोई दूर से हमला करेगा। यह अभी भी एक बुनियादी प्रतिक्रियाशील प्रणाली है - "यदि कोई खिलाड़ी देखा जाता है, तो कुछ करें" - लेकिन इसे तार्किक रूप से प्लेयर द्वारा देखे गए इवेंट और एक प्रतिक्रिया (एक प्रतिक्रिया का चयन करें और इसे निष्पादित करें) में विभाजित किया जा सकता है।

यह हमें सेंस/थिंक/एक्ट चक्र में वापस लाता है। हम एक सेंस पार्ट को कोड कर सकते हैं जो हर फ्रेम की जांच करेगा कि एआई प्लेयर को देखता है या नहीं। यदि नहीं, तो कुछ नहीं होता, लेकिन यदि वह देखता है, तो प्लेयर सीन इवेंट बन जाता है। कोड में एक अलग अनुभाग होगा जो कहता है कि "जब खिलाड़ी द्वारा देखा गया ईवेंट होता है, तो करें" जहां थिंक और एक्ट भागों को संबोधित करने के लिए आपको आवश्यक प्रतिक्रिया है। इस प्रकार, आप प्लेयर सीन इवेंट के लिए प्रतिक्रियाएं सेट करेंगे: "रशिंग" चरित्र के लिए - चार्जएंडअटैक, और स्नाइपर के लिए - HideAndSnipe। इन संबंधों को पुन: संकलित किए बिना त्वरित संपादन के लिए डेटा फ़ाइल में बनाया जा सकता है। स्क्रिप्टिंग भाषा का उपयोग यहां भी किया जा सकता है।

कठिन निर्णय लेना

हालाँकि सरल प्रतिक्रिया प्रणालियाँ बहुत शक्तिशाली होती हैं, फिर भी कई स्थितियाँ ऐसी होती हैं जहाँ वे पर्याप्त नहीं होती हैं। कभी-कभी आपको एजेंट वर्तमान में क्या कर रहा है उसके आधार पर अलग-अलग निर्णय लेने की आवश्यकता होती है, लेकिन इसे एक शर्त के रूप में कल्पना करना कठिन है। कभी-कभी निर्णय वृक्ष या स्क्रिप्ट में उन्हें प्रभावी ढंग से प्रस्तुत करने के लिए बहुत सारी स्थितियाँ होती हैं। कभी-कभी आपको अगले कदम पर निर्णय लेने से पहले यह आकलन करने की आवश्यकता होती है कि स्थिति कैसे बदलेगी। इन समस्याओं को हल करने के लिए अधिक परिष्कृत दृष्टिकोण की आवश्यकता है।

परिमित अवस्था मशीन

परिमित राज्य मशीन या एफएसएम (परिमित राज्य मशीन) यह कहने का एक तरीका है कि हमारा एजेंट वर्तमान में कई संभावित राज्यों में से एक में है, और यह एक राज्य से दूसरे राज्य में संक्रमण कर सकता है। ऐसे राज्यों की एक निश्चित संख्या है - इसलिए नाम। जीवन का सबसे अच्छा उदाहरण ट्रैफिक लाइट है। अलग-अलग स्थानों पर रोशनी के अलग-अलग क्रम हैं, लेकिन सिद्धांत एक ही है - प्रत्येक अवस्था किसी चीज़ (रुकना, चलना, आदि) का प्रतिनिधित्व करती है। एक ट्रैफिक लाइट किसी भी समय केवल एक ही स्थिति में होती है, और सरल नियमों के आधार पर एक से दूसरे में जाती है।

खेलों में एनपीसी के साथ भी ऐसी ही कहानी है। उदाहरण के लिए, आइए निम्नलिखित अवस्थाओं वाला एक गार्ड लें:

• गश्त.
• आक्रमण करना।
• पलायन.

और इसकी स्थिति बदलने के लिए ये शर्तें:

• यदि गार्ड दुश्मन को देखता है, तो वह हमला करता है।
• यदि गार्ड हमला करता है लेकिन दुश्मन को नहीं देखता है, तो वह गश्त पर लौट आता है।
• यदि कोई गार्ड हमला करता है लेकिन बुरी तरह घायल हो जाता है, तो वह भाग जाता है।

आप गार्जियन स्टेट वेरिएबल और विभिन्न जांचों के साथ इफ़-स्टेटमेंट भी लिख सकते हैं: क्या आस-पास कोई दुश्मन है, एनपीसी का स्वास्थ्य स्तर क्या है, आदि। आइए कुछ और स्टेट्स जोड़ें:

• आलस्य - गश्त के बीच.
• खोजना - जब देखा गया शत्रु गायब हो गया हो।
• सहायता ढूँढना - जब कोई दुश्मन दिख जाए, लेकिन अकेले लड़ने के लिए बहुत मजबूत हो।

उनमें से प्रत्येक के लिए विकल्प सीमित है - उदाहरण के लिए, अगर गार्ड का स्वास्थ्य खराब है तो वह छिपे हुए दुश्मन की तलाश में नहीं जाएगा।

आख़िरकार, "अगर" की एक बड़ी सूची है , वह "बहुत बोझिल हो सकता है, इसलिए हमें एक ऐसी पद्धति को औपचारिक बनाने की आवश्यकता है जो हमें राज्यों और राज्यों के बीच संक्रमण को ध्यान में रखने की अनुमति दे। ऐसा करने के लिए, हम सभी राज्यों को ध्यान में रखते हैं, और प्रत्येक राज्य के अंतर्गत हम अन्य राज्यों में होने वाले सभी परिवर्तनों को, उनके लिए आवश्यक शर्तों के साथ, एक सूची में लिखते हैं।

यह एक राज्य संक्रमण तालिका है - एफएसएम का प्रतिनिधित्व करने का एक व्यापक तरीका। आइए एक आरेख बनाएं और एनपीसी व्यवहार कैसे बदलता है इसका पूरा अवलोकन करें।

आरेख वर्तमान स्थिति के आधार पर इस एजेंट के लिए निर्णय लेने का सार दर्शाता है। इसके अलावा, प्रत्येक तीर राज्यों के बीच एक संक्रमण दिखाता है यदि उसके आगे की स्थिति सत्य है।

प्रत्येक अद्यतन में हम एजेंट की वर्तमान स्थिति की जांच करते हैं, संक्रमणों की सूची देखते हैं, और यदि संक्रमण की शर्तें पूरी होती हैं, तो यह नई स्थिति को स्वीकार करता है। उदाहरण के लिए, प्रत्येक फ्रेम जांचता है कि क्या 10-सेकंड का टाइमर समाप्त हो गया है, और यदि हां, तो गार्ड निष्क्रिय स्थिति से गश्ती में चला जाता है। उसी तरह, हमलावर राज्य एजेंट के स्वास्थ्य की जांच करता है - यदि यह कम है, तो यह पलायन राज्य में चला जाता है।

यह राज्यों के बीच परिवर्तन को संभाल रहा है, लेकिन स्वयं राज्यों से जुड़े व्यवहार के बारे में क्या? किसी विशेष राज्य के लिए वास्तविक व्यवहार को लागू करने के संदर्भ में, आम तौर पर दो प्रकार के "हुक" होते हैं जहां हम एफएसएम को कार्रवाई सौंपते हैं:

• वे कार्रवाइयाँ जो हम वर्तमान स्थिति के लिए समय-समय पर करते हैं।
• एक राज्य से दूसरे राज्य में संक्रमण करते समय हम जो कार्रवाई करते हैं।

पहले प्रकार के उदाहरण. गश्ती राज्य प्रत्येक फ्रेम पर एजेंट को गश्ती मार्ग पर ले जाएगा। हमलावर राज्य प्रत्येक फ्रेम या उस राज्य में संक्रमण शुरू करने का प्रयास करेगा जहां यह संभव है।

दूसरे प्रकार के लिए, संक्रमण पर विचार करें “यदि दुश्मन दिखाई दे रहा है और दुश्मन बहुत मजबूत है, तो फाइंडिंग हेल्प स्थिति पर जाएं। एजेंट को यह चुनना होगा कि मदद के लिए कहां जाना है और इस जानकारी को संग्रहीत करना है ताकि फाइंडिंग हेल्प स्टेट को पता चले कि कहां जाना है। एक बार सहायता मिल जाने पर, एजेंट हमलावर स्थिति में वापस चला जाता है। इस बिंदु पर, वह सहयोगी को खतरे के बारे में बताना चाहेगा, ताकि NotifyFriendOfThreat कार्रवाई हो सके।

एक बार फिर, हम इस प्रणाली को सेंस/थिंक/एक्ट चक्र के लेंस के माध्यम से देख सकते हैं। संक्रमण तर्क द्वारा उपयोग किए गए डेटा में संवेदना सन्निहित है। सोचिए - प्रत्येक राज्य में परिवर्तन उपलब्ध हैं। और अधिनियम किसी राज्य के भीतर या राज्यों के बीच संक्रमण के समय समय-समय पर की जाने वाली कार्रवाइयों द्वारा किया जाता है।

कभी-कभी लगातार मतदान परिवर्तन की स्थिति महंगी हो सकती है। उदाहरण के लिए, यदि प्रत्येक एजेंट यह निर्धारित करने के लिए हर फ्रेम में जटिल गणना करता है कि क्या वह दुश्मनों को देख सकता है और समझ सकता है कि क्या वह गश्ती से हमलावर स्थिति में संक्रमण कर सकता है, तो इसमें बहुत अधिक सीपीयू समय लगेगा।

विश्व की स्थिति में महत्वपूर्ण परिवर्तनों को उन घटनाओं के रूप में सोचा जा सकता है जिन्हें घटित होते ही संसाधित किया जाएगा। एफएसएम द्वारा संक्रमण स्थिति की जांच करने के बजाय "क्या मेरा एजेंट खिलाड़ी को देख सकता है?" प्रत्येक फ्रेम, कम बार जांच करने के लिए एक अलग सिस्टम कॉन्फ़िगर किया जा सकता है (उदाहरण के लिए प्रति सेकंड 5 बार)। और परिणाम यह होता है कि चेक पास होने पर प्लेयर सीन जारी कर दिया जाता है।

इसे एफएसएम को भेज दिया गया है, जिसे अब प्लेयर सीन इवेंट की प्राप्त शर्त पर जाना चाहिए और तदनुसार जवाब देना चाहिए। प्रतिक्रिया देने से पहले लगभग अगोचर देरी को छोड़कर परिणामी व्यवहार समान है। लेकिन सेंस भाग को प्रोग्राम के एक अलग भाग में अलग करने के परिणामस्वरूप प्रदर्शन में सुधार हुआ है।

पदानुक्रमित परिमित राज्य मशीन

Однако работать с большими FSM не всегда удобно. Если мы захотим расширить состояние атаки, заменив его отдельными MeleeAttacking (ближний бой) и RangedAttacking (дальний бой), нам придется изменить переходы из всех других состояний, которые ведут в состояние Attacking (текущие и будущие).

आपने शायद देखा होगा कि हमारे उदाहरण में बहुत सारे डुप्लिकेट ट्रांज़िशन हैं। निष्क्रिय अवस्था में अधिकांश बदलाव पेट्रोलिंग अवस्था में बदलाव के समान होते हैं। अच्छा होगा कि हम खुद को न दोहराएँ, खासकर यदि हम इसी तरह के और राज्य जोड़ते हैं। आइडलिंग और पेट्रोलिंग को "गैर-लड़ाकू" के सामान्य लेबल के तहत समूहित करना समझ में आता है, जहां लड़ाकू राज्यों में संक्रमण का केवल एक सामान्य सेट होता है। अगर हम इस लेबल को एक राज्य के रूप में सोचें, तो आइडलिंग और पेट्रोलिंग सबस्टेट बन जाते हैं। एक नए गैर-लड़ाकू उपराज्य के लिए एक अलग संक्रमण तालिका का उपयोग करने का एक उदाहरण:

मुख्य राज्य:


युद्ध से बाहर की स्थिति:


और आरेख रूप में:

यह वही प्रणाली है, लेकिन एक नई गैर-लड़ाकू स्थिति के साथ जिसमें निष्क्रियता और गश्त शामिल है। प्रत्येक राज्य में सबस्टेट्स के साथ एक एफएसएम होता है (और ये सबस्टेट्स, बदले में, अपने स्वयं के एफएसएम युक्त होते हैं - और इसी तरह जब तक आपको आवश्यकता होती है), हमें एक पदानुक्रमित परिमित राज्य मशीन या एचएफएसएम (पदानुक्रमित परिमित राज्य मशीन) मिलती है। गैर-लड़ाकू राज्य को समूहीकृत करके, हमने अनावश्यक बदलावों का एक समूह काट दिया। हम सामान्य परिवर्तन वाले किसी भी नए राज्य के लिए भी ऐसा ही कर सकते हैं। उदाहरण के लिए, यदि भविष्य में हम हमलावर स्थिति को मेलीअटैकिंग और मिसाइलअटैकिंग राज्यों तक विस्तारित करते हैं, तो वे दुश्मन से दूरी और बारूद की उपलब्धता के आधार पर एक दूसरे के बीच संक्रमण करने वाले उपराज्य होंगे। परिणामस्वरूप, जटिल व्यवहारों और उप-व्यवहारों को न्यूनतम डुप्लिकेट बदलावों के साथ दर्शाया जा सकता है।

व्यवहार वृक्ष

एचएफएसएम के साथ, व्यवहारों के जटिल संयोजन सरल तरीके से बनाए जाते हैं। हालाँकि, इसमें थोड़ी कठिनाई है कि संक्रमण नियमों के रूप में निर्णय लेने का वर्तमान स्थिति से गहरा संबंध है। और कई खेलों में इसकी बिल्कुल आवश्यकता होती है। और राज्य पदानुक्रम का सावधानीपूर्वक उपयोग संक्रमण पुनरावृत्ति की संख्या को कम कर सकता है। लेकिन कभी-कभी आपको ऐसे नियमों की आवश्यकता होती है जो काम करते हों, चाहे आप किसी भी राज्य में हों, या जो लगभग किसी भी राज्य में लागू हों। उदाहरण के लिए, यदि किसी एजेंट का स्वास्थ्य 25% तक गिर जाता है, तो आप चाहेंगे कि वह भाग जाए, भले ही वह युद्ध में हो, निष्क्रिय हो, या बात कर रहा हो - आपको यह शर्त प्रत्येक राज्य में जोड़नी होगी। और यदि आपका डिज़ाइनर बाद में निम्न स्वास्थ्य सीमा को 25% से 10% में बदलना चाहता है, तो इसे फिर से करना होगा।

आदर्श रूप से, इस स्थिति के लिए एक ऐसी प्रणाली की आवश्यकता होती है जिसमें "किस राज्य में रहना है" के बारे में निर्णय स्वयं राज्यों के बाहर होते हैं, ताकि केवल एक ही स्थान पर परिवर्तन किया जा सके और संक्रमण स्थितियों को नहीं छुआ जा सके। व्यवहार वृक्ष यहाँ दिखाई देते हैं।

उन्हें लागू करने के कई तरीके हैं, लेकिन सार लगभग सभी के लिए समान है और निर्णय वृक्ष के समान है: एल्गोरिदम "रूट" नोड से शुरू होता है, और पेड़ में नोड्स होते हैं जो निर्णय या कार्यों का प्रतिनिधित्व करते हैं। हालाँकि कुछ प्रमुख अंतर हैं:

• नोड्स अब तीन मानों में से एक लौटाते हैं: सफल (यदि कार्य पूरा हो गया है), विफल (यदि इसे प्रारंभ नहीं किया जा सकता है), या चल रहा है (यदि यह अभी भी चल रहा है और कोई अंतिम परिणाम नहीं है)।
• दो विकल्पों के बीच चयन करने के लिए कोई और निर्णय नोड नहीं हैं। इसके बजाय, वे डेकोरेटर नोड्स हैं, जिनमें एक चाइल्ड नोड होता है। यदि वे सफल होते हैं, तो वे अपने एकमात्र चाइल्ड नोड को निष्पादित करते हैं।
• क्रियाएं करने वाले नोड्स निष्पादित की जा रही क्रियाओं को दर्शाने के लिए एक रनिंग मान लौटाते हैं।

बड़ी संख्या में जटिल व्यवहार बनाने के लिए नोड्स के इस छोटे सेट को जोड़ा जा सकता है। आइए पिछले उदाहरण से एचएफएसएम गार्ड की एक व्यवहार वृक्ष के रूप में कल्पना करें:

इस संरचना के साथ निष्क्रिय/गश्ती वाले राज्यों से हमलावर या किसी अन्य राज्य में कोई स्पष्ट संक्रमण नहीं होना चाहिए। यदि कोई दुश्मन दिखाई दे रहा है और पात्र का स्वास्थ्य खराब है, तो निष्पादन फ़्लिंग नोड पर रुक जाएगा, भले ही वह पहले किस नोड पर निष्पादन कर रहा था - गश्त, निष्क्रियता, हमला, या कोई अन्य।

व्यवहार वृक्ष जटिल हैं - उन्हें बनाने के कई तरीके हैं, और डेकोरेटर और कंपाउंड नोड्स का सही संयोजन ढूंढना चुनौतीपूर्ण हो सकता है। इस बारे में भी सवाल हैं कि पेड़ की कितनी बार जांच की जाए - क्या हम उसके हर हिस्से की जांच करना चाहते हैं या केवल तब जब कोई स्थिति बदल गई हो? हम नोड्स से संबंधित स्थिति को कैसे संग्रहीत करते हैं - हमें कैसे पता चलेगा कि हम 10 सेकंड के लिए निष्क्रिय रहे हैं, या हमें कैसे पता चलेगा कि पिछली बार कौन से नोड निष्पादित हो रहे थे ताकि हम अनुक्रम को सही ढंग से संसाधित कर सकें?

यही कारण है कि कई कार्यान्वयन हैं। उदाहरण के लिए, कुछ प्रणालियों ने डेकोरेटर नोड्स को इनलाइन डेकोरेटर से बदल दिया है। जब डेकोरेटर की स्थिति बदलती है तो वे पेड़ का पुनर्मूल्यांकन करते हैं, नोड्स को जोड़ने में मदद करते हैं और समय-समय पर अपडेट प्रदान करते हैं।

उपयोगिता आधारित प्रणाली

कुछ खेलों में कई अलग-अलग यांत्रिकी होती हैं। यह वांछनीय है कि उन्हें सरल और सामान्य संक्रमण नियमों के सभी लाभ प्राप्त हों, लेकिन जरूरी नहीं कि वे व्यवहार के संपूर्ण वृक्ष के रूप में हों। विकल्पों का एक स्पष्ट सेट या संभावित कार्यों का एक पेड़ रखने के बजाय, सभी कार्यों की जांच करना और इस समय सबसे उपयुक्त को चुनना आसान है।

उपयोगिता-आधारित प्रणाली इसमें मदद करेगी। यह एक ऐसी प्रणाली है जहां एजेंट के पास विभिन्न प्रकार की कार्रवाइयां होती हैं और वह प्रत्येक की सापेक्ष उपयोगिता के आधार पर चुनता है कि कौन सी क्रियाएं करनी हैं। जहां उपयोगिता इस बात का एक मनमाना माप है कि एजेंट के लिए यह क्रिया करना कितना महत्वपूर्ण या वांछनीय है।

वर्तमान स्थिति और परिवेश के आधार पर किसी कार्रवाई की गणना की गई उपयोगिता, एजेंट किसी भी समय सबसे उपयुक्त अन्य स्थिति की जांच और चयन कर सकता है। यह एफएसएम के समान है, सिवाय इसके कि जहां संक्रमण वर्तमान स्थिति सहित प्रत्येक संभावित स्थिति के अनुमान द्वारा निर्धारित किया जाता है। कृपया ध्यान दें कि हम आगे बढ़ने के लिए सबसे उपयोगी कार्रवाई चुनते हैं (या यदि हमने इसे पहले ही पूरा कर लिया है तो रुकें)। अधिक विविधता के लिए, यह एक छोटी सूची से संतुलित लेकिन यादृच्छिक चयन हो सकता है।

सिस्टम उपयोगिता मूल्यों की एक मनमानी सीमा निर्दिष्ट करता है - उदाहरण के लिए, 0 (पूरी तरह से अवांछनीय) से 100 (पूरी तरह से वांछनीय) तक। प्रत्येक क्रिया में कई पैरामीटर होते हैं जो इस मान की गणना को प्रभावित करते हैं। हमारे अभिभावक उदाहरण पर लौटते हुए:

क्रियाओं के बीच परिवर्तन अस्पष्ट हैं - कोई भी राज्य किसी अन्य का अनुसरण कर सकता है। लौटाए गए उपयोगिता मूल्यों में कार्रवाई प्राथमिकताएं पाई जाती हैं। यदि कोई शत्रु दिखाई दे रहा है, और वह शत्रु मजबूत है, और चरित्र का स्वास्थ्य कम है, तो फ़्लीइंग और फाइंडिंगहेल्प दोनों उच्च गैर-शून्य मान लौटाएंगे। इस मामले में, FindHelp हमेशा उच्चतर रहेगा। इसी तरह, गैर-लड़ाकू गतिविधियाँ कभी भी 50 से अधिक नहीं लौटतीं, इसलिए वे हमेशा लड़ाकू गतिविधियों से कम होंगी। कार्रवाइयां बनाते समय और उनकी उपयोगिता की गणना करते समय आपको इसे ध्यान में रखना होगा।

हमारे उदाहरण में, क्रियाएँ या तो एक निश्चित स्थिर मान या दो निश्चित मानों में से एक लौटाती हैं। एक अधिक यथार्थवादी प्रणाली मूल्यों की एक सतत श्रृंखला से एक अनुमान लौटाएगी। उदाहरण के लिए, यदि एजेंट का स्वास्थ्य खराब है तो भागने की क्रिया उच्च उपयोगिता मान लौटाती है, और यदि दुश्मन बहुत मजबूत है तो हमलावर कार्रवाई कम उपयोगिता मान लौटाती है। इस वजह से, किसी भी स्थिति में जहां एजेंट को लगता है कि उसके पास दुश्मन को हराने के लिए पर्याप्त स्वास्थ्य नहीं है, वहां भागने की कार्रवाई को हमला करने की तुलना में प्राथमिकता दी जाती है। यह किसी भी संख्या के मानदंडों के आधार पर कार्यों को प्राथमिकता देने की अनुमति देता है, जिससे यह दृष्टिकोण व्यवहार वृक्ष या एफएसएम की तुलना में अधिक लचीला और परिवर्तनशील हो जाता है।

प्रत्येक क्रिया में प्रोग्राम गणना के लिए कई शर्तें होती हैं। इन्हें स्क्रिप्टिंग भाषा में या गणितीय सूत्रों की एक श्रृंखला के रूप में लिखा जा सकता है। सिम्स, जो एक पात्र की दैनिक दिनचर्या का अनुकरण करता है, गणना की एक अतिरिक्त परत जोड़ता है - एजेंट को "प्रेरणाओं" की एक श्रृंखला प्राप्त होती है जो उपयोगिता रेटिंग को प्रभावित करती है। यदि कोई पात्र भूखा है, तो वह समय के साथ और भी अधिक भूखा हो जाएगा, और ईटफूड कार्रवाई का उपयोगिता मूल्य तब तक बढ़ जाएगा जब तक कि पात्र इसे निष्पादित नहीं करता है, भूख का स्तर कम हो जाएगा और ईटफूड मान शून्य पर वापस आ जाएगा।

रेटिंग प्रणाली के आधार पर कार्यों का चयन करने का विचार काफी सरल है, इसलिए उपयोगिता-आधारित प्रणाली का उपयोग एआई निर्णय लेने की प्रक्रियाओं के हिस्से के रूप में किया जा सकता है, न कि उनके पूर्ण प्रतिस्थापन के रूप में। निर्णय वृक्ष दो चाइल्ड नोड्स की उपयोगिता रेटिंग मांग सकता है और उच्चतर का चयन कर सकता है। इसी तरह, एक व्यवहार वृक्ष में कार्यों की उपयोगिता का मूल्यांकन करने के लिए एक समग्र उपयोगिता नोड हो सकता है ताकि यह तय किया जा सके कि किस बच्चे को निष्पादित करना है।

संचलन और नेविगेशन

पिछले उदाहरणों में, हमारे पास एक प्लेटफ़ॉर्म था जिसे हम बाएँ या दाएँ घुमाते थे, और एक गार्ड था जो गश्त करता था या हमला करता था। लेकिन हम एक निश्चित अवधि में एजेंट की गतिविधियों को वास्तव में कैसे संभालते हैं? हम गति कैसे निर्धारित करते हैं, हम बाधाओं से कैसे बचते हैं, और जब किसी गंतव्य तक पहुंचना सीधी रेखा में चलने से अधिक कठिन होता है तो हम मार्ग की योजना कैसे बनाते हैं? आइए इस पर नजर डालें.

प्रबंध

प्रारंभिक चरण में, हम मान लेंगे कि प्रत्येक एजेंट की एक गति मान होती है, जिसमें यह शामिल होता है कि वह कितनी तेजी से और किस दिशा में आगे बढ़ रहा है। इसे मीटर प्रति सेकंड, किलोमीटर प्रति घंटा, पिक्सल प्रति सेकंड आदि में मापा जा सकता है। सेंस/थिंक/एक्ट लूप को याद करते हुए, हम कल्पना कर सकते हैं कि थिंक भाग एक गति का चयन करता है, और एक्ट भाग उस गति को एजेंट पर लागू करता है। आमतौर पर गेम में एक भौतिकी प्रणाली होती है जो आपके लिए यह कार्य करती है, प्रत्येक वस्तु की गति मान सीखती है और इसे समायोजित करती है। इसलिए, आप एआई को एक काम के लिए छोड़ सकते हैं - यह तय करने के लिए कि एजेंट के पास कितनी गति होनी चाहिए। यदि आप जानते हैं कि एजेंट कहाँ होना चाहिए, तो आपको इसे निर्धारित गति से सही दिशा में ले जाना होगा। एक बहुत ही तुच्छ समीकरण:

वांछित_यात्रा = गंतव्य_स्थिति - एजेंट_स्थिति

एक 2D दुनिया की कल्पना करें. एजेंट बिंदु (-2,-2) पर है, गंतव्य बिंदु (30, 20) पर उत्तर-पूर्व में कहीं है, और एजेंट के लिए वहां पहुंचने के लिए आवश्यक मार्ग (32, 22) है। मान लीजिए कि इन स्थितियों को मीटर में मापा जाता है - यदि हम एजेंट की गति 5 मीटर प्रति सेकंड लेते हैं, तो हम अपने विस्थापन वेक्टर को स्केल करेंगे और लगभग (4.12, 2.83) की गति प्राप्त करेंगे। इन मापदंडों के साथ, एजेंट लगभग 8 सेकंड में अपने गंतव्य पर पहुंच जाएगा।

Пересчитать значения можно в любое время. Если агент был на полпути к цели, перемещение было бы половиной длины, но так как максимальная скорость агента 5 м/с (мы это решили выше), скорость будет одинаковой. Это также работает для движущихся целей, позволяя агенту вносить небольшие изменения по мере их перемещения.

लेकिन हम और अधिक विविधता चाहते हैं - उदाहरण के लिए, खड़े होने से दौड़ने की ओर बढ़ने वाले चरित्र का अनुकरण करने के लिए धीरे-धीरे गति बढ़ाना। रुकने से पहले अंत में भी ऐसा ही किया जा सकता है। इन विशेषताओं को स्टीयरिंग व्यवहार के रूप में जाना जाता है, जिनमें से प्रत्येक के विशिष्ट नाम हैं: तलाश, पलायन, आगमन, आदि। विचार यह है कि एजेंट की स्थिति और गंतव्य के साथ वर्तमान गति की तुलना के आधार पर त्वरण बलों को एजेंट की गति पर लागू किया जा सकता है। लक्ष्य की ओर बढ़ने के लिए विभिन्न तरीकों का उपयोग करना।

प्रत्येक व्यवहार का थोड़ा अलग उद्देश्य होता है। सीक एंड अराइवल किसी एजेंट को किसी गंतव्य तक ले जाने के तरीके हैं। लक्ष्य के रास्ते में बाधाओं से बचने के लिए बाधा निवारण और पृथक्करण एजेंट की गति को समायोजित करता है। संरेखण और सामंजस्य एजेंटों को एक साथ आगे बढ़ाते रहते हैं। सभी कारकों को ध्यान में रखते हुए एकल पथ वेक्टर का निर्माण करने के लिए विभिन्न स्टीयरिंग व्यवहारों की संख्या को संक्षेप में प्रस्तुत किया जा सकता है। एक एजेंट जो दीवारों और अन्य एजेंटों से दूर रहने के लिए आगमन, पृथक्करण और बाधा निवारण व्यवहार का उपयोग करता है। यह दृष्टिकोण अनावश्यक विवरण के बिना खुले स्थानों में अच्छा काम करता है।

अधिक कठिन परिस्थितियों में, विभिन्न व्यवहारों को जोड़ना बदतर काम करता है - उदाहरण के लिए, आगमन और बाधा निवारण के बीच संघर्ष के कारण एक एजेंट दीवार में फंस सकता है। इसलिए, आपको उन विकल्पों पर विचार करने की आवश्यकता है जो सभी मानों को जोड़ने की तुलना में अधिक जटिल हैं। तरीका यह है: प्रत्येक व्यवहार के परिणामों को जोड़ने के बजाय, आप विभिन्न दिशाओं में आंदोलन पर विचार कर सकते हैं और सबसे अच्छा विकल्प चुन सकते हैं।

हालाँकि, गतिरोध वाले जटिल वातावरण और किस रास्ते पर जाना है इसके बारे में विकल्पों के साथ, हमें और भी अधिक उन्नत चीज़ की आवश्यकता होगी।

रास्ता खोजना

स्टीयरिंग व्यवहार एक खुले क्षेत्र (फुटबॉल मैदान या मैदान) में सरल आंदोलन के लिए बहुत अच्छा है जहां ए से बी तक पहुंचना एक सीधा रास्ता है जिसमें बाधाओं के आसपास केवल मामूली मोड़ होते हैं। जटिल मार्गों के लिए, हमें पाथफाइंडिंग की आवश्यकता है, जो दुनिया की खोज करने और इसके माध्यम से एक मार्ग तय करने का एक तरीका है।

सबसे सरल है एजेंट के बगल में प्रत्येक वर्ग पर एक ग्रिड लागू करना और मूल्यांकन करना कि उनमें से किसे स्थानांतरित करने की अनुमति है। यदि उनमें से एक गंतव्य है, तो शुरुआत तक पहुंचने तक प्रत्येक वर्ग से पिछले वर्ग तक के मार्ग का अनुसरण करें। यही मार्ग है. अन्यथा, आस-पास के अन्य चौराहों के साथ इस प्रक्रिया को तब तक दोहराएँ जब तक कि आपको अपना गंतव्य न मिल जाए या आपके पास चौराहे ख़त्म न हो जाएँ (अर्थात् कोई संभावित मार्ग नहीं है)। इसे औपचारिक रूप से चौड़ाई-प्रथम खोज या बीएफएस (चौड़ाई-प्रथम खोज एल्गोरिदम) के रूप में जाना जाता है। हर कदम पर वह सभी दिशाओं (इसलिए चौड़ाई, "चौड़ाई") को देखता है। खोज स्थान एक वेवफ्रंट की तरह है जो वांछित स्थान तक पहुंचने तक चलता रहता है - अंतिम बिंदु शामिल होने तक खोज स्थान प्रत्येक चरण में विस्तारित होता है, जिसके बाद इसे शुरुआत में वापस खोजा जा सकता है।

परिणामस्वरूप, आपको उन वर्गों की एक सूची प्राप्त होगी जिनके साथ वांछित मार्ग संकलित है। यह पथ है (इसलिए, पथ-खोज) - उन स्थानों की एक सूची जहां एजेंट गंतव्य का अनुसरण करते समय दौरा करेगा।

यह देखते हुए कि हम दुनिया के हर वर्ग की स्थिति जानते हैं, हम पथ पर आगे बढ़ने के लिए स्टीयरिंग व्यवहार का उपयोग कर सकते हैं - नोड 1 से नोड 2 तक, फिर नोड 2 से नोड 3 तक, और इसी तरह। सबसे आसान विकल्प अगले वर्ग के केंद्र की ओर जाना है, लेकिन इससे भी बेहतर विकल्प वर्तमान वर्ग और अगले वर्ग के बीच किनारे के बीच में रुकना है। इसके कारण, एजेंट तीखे मोड़ों पर कोनों को काटने में सक्षम होगा।

बीएफएस एल्गोरिदम के नुकसान भी हैं - यह "गलत" दिशा में उतने ही वर्गों का पता लगाता है जितना "सही" दिशा में। यहीं पर ए* (ए स्टार) नामक एक अधिक जटिल एल्गोरिदम काम में आता है। यह उसी तरह से काम करता है, लेकिन पड़ोसी वर्गों (फिर पड़ोसियों के पड़ोसी, फिर पड़ोसियों के पड़ोसियों के पड़ोसी, और इसी तरह) की आँख बंद करके जांच करने के बजाय, यह नोड्स को एक सूची में एकत्र करता है और उन्हें क्रमबद्ध करता है ताकि जांचा गया अगला नोड हमेशा हो वह जो सबसे छोटे मार्ग की ओर ले जाता है। नोड्स को एक अनुमान के आधार पर क्रमबद्ध किया जाता है जो दो चीजों को ध्यान में रखता है - वांछित वर्ग के लिए एक काल्पनिक मार्ग की "लागत" (किसी भी यात्रा लागत सहित) और यह अनुमान कि वह वर्ग गंतव्य से कितनी दूर है (खोज में पूर्वाग्रह को ध्यान में रखते हुए) सही दिशा)।

यह उदाहरण दिखाता है कि एजेंट एक समय में एक वर्ग की खोज करता है, हर बार निकटवर्ती वर्ग को चुनता है जो सबसे अधिक आशाजनक है। परिणामी पथ बीएफएस के समान है, लेकिन इस प्रक्रिया में कम वर्गों पर विचार किया गया - जिसका खेल के प्रदर्शन पर बड़ा प्रभाव पड़ता है।

ग्रिड के बिना आंदोलन

लेकिन अधिकांश गेम ग्रिड पर नहीं रखे गए हैं, और यथार्थवाद का त्याग किए बिना ऐसा करना अक्सर असंभव होता है। समझौते की जरूरत है. वर्गों का आकार क्या होना चाहिए? बहुत बड़े हैं और वे छोटे गलियारों या मोड़ों का सही ढंग से प्रतिनिधित्व नहीं कर पाएंगे, बहुत छोटे हैं और खोजने के लिए बहुत सारे वर्ग होंगे, जिसमें अंततः बहुत समय लगेगा।

समझने वाली पहली बात यह है कि एक जाल हमें जुड़े हुए नोड्स का एक ग्राफ देता है। ए* और बीएफएस एल्गोरिदम वास्तव में ग्राफ़ पर काम करते हैं और हमारे जाल की बिल्कुल भी परवाह नहीं करते हैं। हम खेल की दुनिया में कहीं भी नोड्स डाल सकते हैं: जब तक किन्हीं दो जुड़े नोड्स के बीच, साथ ही प्रारंभ और अंत बिंदुओं और कम से कम एक नोड के बीच एक कनेक्शन है, एल्गोरिदम पहले की तरह ही काम करेगा। इसे अक्सर वेपॉइंट सिस्टम कहा जाता है, क्योंकि प्रत्येक नोड दुनिया में एक महत्वपूर्ण स्थिति का प्रतिनिधित्व करता है जो किसी भी काल्पनिक पथ का हिस्सा हो सकता है।

उदाहरण 1: प्रत्येक वर्ग में एक गाँठ। खोज उस नोड से शुरू होती है जहां एजेंट स्थित है और वांछित वर्ग के नोड पर समाप्त होता है।

उदाहरण 2: नोड्स का एक छोटा सेट (वेपॉइंट)। खोज एजेंट के स्थान पर शुरू होती है, आवश्यक संख्या में नोड्स से होकर गुजरती है, और फिर गंतव्य तक जारी रहती है।

यह पूरी तरह से लचीली और शक्तिशाली प्रणाली है. लेकिन रास्ता बिंदु कहाँ और कैसे रखा जाए, यह तय करने में कुछ सावधानी बरतने की ज़रूरत है, अन्यथा एजेंट निकटतम बिंदु नहीं देख पाएंगे और रास्ता शुरू नहीं कर पाएंगे। यह आसान होगा यदि हम विश्व की ज्यामिति के आधार पर स्वचालित रूप से मार्गबिंदु स्थापित कर सकें।

यहीं पर नेविगेशन जाल या नवमेश (नेविगेशन जाल) दिखाई देता है। यह आम तौर पर त्रिकोणों का एक 2डी जाल होता है जो दुनिया की ज्यामिति पर मढ़ा जाता है - जहां भी एजेंट को चलने की अनुमति होती है। जाल में प्रत्येक त्रिकोण ग्राफ़ में एक नोड बन जाता है, और इसमें तीन आसन्न त्रिकोण होते हैं जो ग्राफ़ में आसन्न नोड बन जाते हैं।

यह चित्र यूनिटी इंजन का एक उदाहरण है - इसने दुनिया में ज्यामिति का विश्लेषण किया और एक नवमेश बनाया (स्क्रीनशॉट में हल्के नीले रंग में)। नवमेश में प्रत्येक बहुभुज एक ऐसा क्षेत्र है जहां एक एजेंट खड़ा हो सकता है या एक बहुभुज से दूसरे बहुभुज में जा सकता है। इस उदाहरण में, बहुभुज उन मंजिलों से छोटे होते हैं जिन पर वे स्थित हैं - यह एजेंट के आकार को ध्यान में रखने के लिए किया जाता है, जो इसकी नाममात्र स्थिति से आगे बढ़ेगा।

हम फिर से A* एल्गोरिथम का उपयोग करके इस जाल के माध्यम से एक मार्ग खोज सकते हैं। यह हमें दुनिया में लगभग एक आदर्श मार्ग देगा, जो सभी ज्यामिति को ध्यान में रखता है और अनावश्यक नोड्स और वेपॉइंट के निर्माण की आवश्यकता नहीं होती है।

पाथफ़ाइंडिंग एक बहुत व्यापक विषय है जिसके लिए किसी लेख का एक भाग पर्याप्त नहीं है। यदि आप इसका अधिक विस्तार से अध्ययन करना चाहते हैं तो इससे मदद मिलेगी अमित पटेल वेबसाइट.

आयोजन

हमने पथ-खोज से सीखा है कि कभी-कभी केवल एक दिशा चुनना और आगे बढ़ना ही पर्याप्त नहीं है - हमें अपने इच्छित गंतव्य तक पहुंचने के लिए एक मार्ग चुनना होगा और कुछ मोड़ भी लेने होंगे। हम इस विचार को सामान्यीकृत कर सकते हैं: किसी लक्ष्य को प्राप्त करना केवल अगला कदम नहीं है, बल्कि एक संपूर्ण अनुक्रम है जहां कभी-कभी आपको यह पता लगाने के लिए कई कदम आगे देखने की आवश्यकता होती है कि पहला क्या होना चाहिए। इसे नियोजन कहते हैं. पाथफाइंडिंग को योजना के कई विस्तारों में से एक माना जा सकता है। हमारे सेंस/थिंक/एक्ट चक्र के संदर्भ में, यह वह जगह है जहां थिंक भाग भविष्य के लिए कई एक्ट भागों की योजना बनाता है।

आइए बोर्ड गेम मैजिक: द गैदरिंग का उदाहरण देखें। हम अपने हाथों में निम्नलिखित कार्डों का सेट लेकर सबसे पहले जाते हैं:

• दलदल - 1 काला मन (भूमि कार्ड) देता है।
• वन - 1 हरा मन (भूमि कार्ड) देता है।
• भगोड़ा जादूगर - बुलाने के लिए 1 नीले मन की आवश्यकता है।
• एल्विश मिस्टिक - बुलाने के लिए 1 हरे मन की आवश्यकता है।

इसे आसान बनाने के लिए हम शेष तीन कार्डों को अनदेखा कर देते हैं। नियमों के अनुसार, एक खिलाड़ी को प्रति मोड़ 1 लैंड कार्ड खेलने की अनुमति है, वह इस कार्ड से मन निकालने के लिए "टैप" कर सकता है, और फिर मन की मात्रा के अनुसार जादू (किसी प्राणी को बुलाने सहित) कर सकता है। इस स्थिति में, मानव खिलाड़ी फ़ॉरेस्ट खेलना, 1 हरे मन को टैप करना और फिर एल्विश मिस्टिक को बुलाना जानता है। लेकिन गेम AI इसका पता कैसे लगा सकता है?

आसान योजना

तुच्छ तरीका यह है कि प्रत्येक क्रिया को बारी-बारी से तब तक आज़माया जाए जब तक कि कोई उपयुक्त क्रिया शेष न रह जाए। कार्डों को देखकर एआई देखता है कि स्वैम्प क्या खेल सकता है। और वह इसे खेलता है. क्या इस चरण में कोई अन्य कार्रवाई बाकी है? यह एल्विश मिस्टिक या भगोड़े जादूगर को नहीं बुला सकता है, क्योंकि उन्हें बुलाने के लिए क्रमशः हरे और नीले मन की आवश्यकता होती है, जबकि स्वैम्प केवल काला मन प्रदान करता है। और वह अब फ़ॉरेस्ट नहीं खेल पाएगा, क्योंकि वह पहले ही स्वैम्प खेल चुका है। इस प्रकार, गेम एआई ने नियमों का पालन किया, लेकिन यह खराब तरीके से किया। सुधारा जा सकता है।

योजना बनाने से उन कार्यों की सूची मिल सकती है जो खेल को वांछित स्थिति में लाते हैं। जिस प्रकार पथ के प्रत्येक चौराहे पर पड़ोसी होते हैं (रास्ता खोजने में), योजना में प्रत्येक कार्य के भी पड़ोसी या उत्तराधिकारी होते हैं। हम इन क्रियाओं और उसके बाद की क्रियाओं को तब तक देख सकते हैं जब तक हम वांछित स्थिति तक नहीं पहुँच जाते।

हमारे उदाहरण में, वांछित परिणाम "यदि संभव हो तो किसी प्राणी को बुलाना" है। मोड़ की शुरुआत में, हम खेल के नियमों द्वारा अनुमत केवल दो संभावित कार्रवाइयाँ देखते हैं:

1. दलदल खेलें (परिणाम: खेल में दलदल)
2. वन खेलें (परिणाम: खेल में वन)

की गई प्रत्येक कार्रवाई से आगे की कार्रवाई हो सकती है और अन्य कार्रवाई बंद हो सकती है, यह फिर से खेल के नियमों पर निर्भर करता है। कल्पना कीजिए कि हमने स्वैम्प खेला - यह अगले चरण के रूप में स्वैम्प को हटा देगा (हम इसे पहले ही खेल चुके हैं), और यह फ़ॉरेस्ट को भी हटा देगा (क्योंकि नियमों के अनुसार आप प्रति मोड़ एक लैंड कार्ड खेल सकते हैं)। इसके बाद, AI अगले चरण के रूप में 1 ब्लैक मैना प्राप्त करना जोड़ता है क्योंकि कोई अन्य विकल्प नहीं हैं। यदि वह आगे बढ़ता है और टैप द स्वैम्प चुनता है, तो उसे 1 यूनिट ब्लैक मैना प्राप्त होगी और वह इसके साथ कुछ भी नहीं कर पाएगा।

1. दलदल खेलें (परिणाम: खेल में दलदल)
1.1 "टैप" दलदल (परिणाम: दलदल "टैप", +1 इकाई काला मैना)
कोई कार्रवाई उपलब्ध नहीं - END
2. वन खेलें (परिणाम: खेल में वन)

कार्रवाइयों की सूची छोटी थी, हम एक गतिरोध पर पहुंच गए। हम अगले चरण के लिए प्रक्रिया दोहराते हैं। हम फ़ॉरेस्ट खेलते हैं, "1 ग्रीन मैना प्राप्त करें" एक्शन खोलते हैं, जो बदले में तीसरा एक्शन खोलेगा - एल्विश मिस्टिक को बुलाएँ।

1. दलदल खेलें (परिणाम: खेल में दलदल)
1.1 "टैप" दलदल (परिणाम: दलदल "टैप", +1 इकाई काला मैना)
कोई कार्रवाई उपलब्ध नहीं - END
2. वन खेलें (परिणाम: खेल में वन)
2.1 "टैप" वन (परिणाम: वन "टैप" है, + हरे मन की 1 इकाई)
2.1.1 एल्विश मिस्टिक को समन करें (परिणाम: एल्विश मिस्टिक खेल में, -1 हरा मन)
कोई कार्रवाई उपलब्ध नहीं - END

अंत में, हमने सभी संभावित कार्रवाइयों का पता लगाया और एक ऐसी योजना पाई जो एक प्राणी को बुलाती है।

यह एक बहुत ही सरल उदाहरण है. कुछ मानदंडों को पूरा करने वाली किसी भी योजना के बजाय सर्वोत्तम संभव योजना चुनने की सलाह दी जाती है। आमतौर पर संभावित योजनाओं का मूल्यांकन उनके कार्यान्वयन के परिणाम या समग्र लाभ के आधार पर करना संभव है। आप लैंड कार्ड खेलने के लिए 1 अंक और किसी प्राणी को बुलाने के लिए 3 अंक प्राप्त कर सकते हैं। स्वैम्प खेलना 1 सूत्री योजना होगी। और फ़ॉरेस्ट → टैप द फ़ॉरेस्ट → समन एल्विश मिस्टिक खेलने पर तुरंत 4 अंक मिलेंगे।

मैजिक: द गैदरिंग में योजना इसी प्रकार काम करती है, लेकिन अन्य स्थितियों में भी यही तर्क लागू होता है। उदाहरण के लिए, शतरंज में बिशप के चलने के लिए जगह बनाने के लिए मोहरे को हिलाना। या इस तरह XCOM में सुरक्षित रूप से शूट करने के लिए किसी दीवार के पीछे छिप जाएं। सामान्य तौर पर, आपको यह विचार मिल गया है।

बेहतर योजना

कभी-कभी हर संभावित विकल्प पर विचार करने के लिए बहुत अधिक संभावित कार्रवाइयां होती हैं। मैजिक: द गैदरिंग के साथ उदाहरण पर लौटते हुए: मान लीजिए कि खेल में और आपके हाथ में कई भूमि और प्राणी कार्ड हैं - चालों के संभावित संयोजनों की संख्या दर्जनों में हो सकती है। समस्या के कई समाधान हैं.

पहली विधि बैकवर्ड चेनिंग है। सभी संयोजनों को आज़माने के बजाय, अंतिम परिणाम से शुरुआत करना और सीधा रास्ता खोजने का प्रयास करना बेहतर है। पेड़ की जड़ से एक विशिष्ट पत्ते तक जाने के बजाय, हम विपरीत दिशा में चलते हैं - पत्ते से जड़ तक। यह तरीका आसान और तेज़ है.

यदि दुश्मन के पास 1 स्वास्थ्य है, तो आप "सौदा 1 या अधिक क्षति" योजना पा सकते हैं। इसे प्राप्त करने के लिए, कई शर्तों को पूरा करना होगा:

1. जादू से नुकसान हो सकता है - यह हाथ में होना चाहिए।
2. जादू करने के लिए आपको मन की आवश्यकता होती है।
3. मैना पाने के लिए आपको लैंड कार्ड खेलना होगा।
4. लैंड कार्ड खेलने के लिए, इसे आपके हाथ में होना चाहिए।

दूसरा तरीका सर्वोत्तम-प्रथम खोज है। हम सभी रास्ते आज़माने के बजाय सबसे उपयुक्त रास्ता चुनते हैं। अक्सर, यह विधि अनावश्यक खोज लागतों के बिना इष्टतम योजना देती है। ए* सर्वोत्तम प्रथम खोज का एक रूप है - शुरुआत से ही सबसे आशाजनक मार्गों की जांच करके, यह पहले से ही अन्य विकल्पों की जांच किए बिना सबसे अच्छा रास्ता ढूंढ सकता है।

मोंटे कार्लो ट्री सर्च एक दिलचस्प और तेजी से लोकप्रिय सर्वोत्तम-प्रथम खोज विकल्प है। प्रत्येक आगामी कार्रवाई को चुनते समय यह अनुमान लगाने के बजाय कि कौन सी योजनाएँ दूसरों की तुलना में बेहतर हैं, एल्गोरिथ्म प्रत्येक चरण में यादृच्छिक उत्तराधिकारियों को चुनता है जब तक कि यह अंत तक नहीं पहुँच जाता (जब योजना के परिणामस्वरूप जीत या हार हुई)। फिर अंतिम परिणाम का उपयोग पिछले विकल्पों के वजन को बढ़ाने या घटाने के लिए किया जाता है। इस प्रक्रिया को लगातार कई बार दोहराने से, एल्गोरिदम एक अच्छा अनुमान देता है कि सबसे अच्छा अगला कदम क्या होगा, भले ही स्थिति बदल जाए (यदि दुश्मन खिलाड़ी के साथ हस्तक्षेप करने के लिए कार्रवाई करता है)।

खेलों में योजना बनाने की कोई भी कहानी लक्ष्य-उन्मुख कार्य योजना या GOAP (लक्ष्य-उन्मुख कार्य योजना) के बिना पूरी नहीं होगी। यह एक व्यापक रूप से उपयोग की जाने वाली और चर्चा की जाने वाली विधि है, लेकिन कुछ विशिष्ट विवरणों के अलावा, यह मूल रूप से बैकवर्ड चेनिंग विधि है जिसके बारे में हमने पहले बात की थी। यदि उद्देश्य "खिलाड़ी को नष्ट करना" था और खिलाड़ी कवर के पीछे है, तो योजना यह हो सकती है: ग्रेनेड से नष्ट करें → इसे प्राप्त करें → इसे फेंक दें।

आमतौर पर कई लक्ष्य होते हैं, प्रत्येक की अपनी प्राथमिकता होती है। यदि सर्वोच्च प्राथमिकता उद्देश्य पूरा नहीं किया जा सकता है (कार्यों का कोई संयोजन "खिलाड़ी को मार डालो" योजना नहीं बनाता है क्योंकि खिलाड़ी दिखाई नहीं देता है), एआई कम प्राथमिकता वाले उद्देश्यों पर वापस आ जाएगा।

प्रशिक्षण एवं अनुकूलन

हम पहले ही कह चुके हैं कि गेम एआई आमतौर पर मशीन लर्निंग का उपयोग नहीं करता है क्योंकि यह वास्तविक समय में एजेंटों को प्रबंधित करने के लिए उपयुक्त नहीं है। लेकिन इसका मतलब यह नहीं है कि आप इस क्षेत्र से कुछ उधार नहीं ले सकते। हम निशानेबाज़ में एक ऐसा प्रतिद्वंद्वी चाहते हैं जिससे हम कुछ सीख सकें। उदाहरण के लिए, मानचित्र पर सर्वोत्तम स्थितियों के बारे में पता लगाएं। या लड़ाई के खेल में एक प्रतिद्वंद्वी जो खिलाड़ी की अक्सर इस्तेमाल की जाने वाली कॉम्बो चालों को रोकता है, उसे दूसरों का उपयोग करने के लिए प्रेरित करता है। तो ऐसी स्थितियों में मशीन लर्निंग काफी उपयोगी हो सकती है।

सांख्यिकी और संभावनाएँ

जटिल उदाहरणों में जाने से पहले, आइए देखें कि कुछ सरल माप लेकर और निर्णय लेने के लिए उनका उपयोग करके हम कितनी दूर तक जा सकते हैं। उदाहरण के लिए, वास्तविक समय की रणनीति - हम यह कैसे निर्धारित करते हैं कि कोई खिलाड़ी खेल के पहले कुछ मिनटों में हमला शुरू कर सकता है या नहीं और इसके खिलाफ क्या बचाव तैयार करना है? भविष्य में क्या प्रतिक्रियाएँ हो सकती हैं, यह समझने के लिए हम किसी खिलाड़ी के पिछले अनुभवों का अध्ययन कर सकते हैं। शुरुआत करने के लिए, हमारे पास ऐसा कच्चा डेटा नहीं है, लेकिन हम इसे एकत्र कर सकते हैं - हर बार जब एआई किसी इंसान के खिलाफ खेलता है, तो यह पहले हमले के समय को रिकॉर्ड कर सकता है। कुछ सत्रों के बाद, हमें उस समय का औसत मिल जाएगा जो खिलाड़ी को भविष्य में आक्रमण करने में लगेगा।

औसत मूल्यों के साथ भी एक समस्या है: यदि कोई खिलाड़ी 20 बार दौड़ता है और 20 बार धीरे-धीरे खेलता है, तो आवश्यक मान कहीं बीच में होंगे, और इससे हमें कुछ भी उपयोगी नहीं मिलेगा। एक समाधान इनपुट डेटा को सीमित करना है - अंतिम 20 टुकड़ों को ध्यान में रखा जा सकता है।

एक समान दृष्टिकोण का उपयोग तब किया जाता है जब यह मानकर कुछ कार्यों की संभावना का अनुमान लगाया जाता है कि खिलाड़ी की पिछली प्राथमिकताएँ भविष्य में भी वही होंगी। यदि कोई खिलाड़ी हम पर पांच बार आग के गोले से, दो बार बिजली से और एक बार हाथापाई से हमला करता है, तो यह स्पष्ट है कि वह आग के गोले को पसंद करता है। आइए एक्सट्रपलेशन करें और विभिन्न हथियारों के उपयोग की संभावना देखें: आग का गोला = 62,5%, बिजली = 25% और हाथापाई = 12,5%। हमारे गेम एआई को खुद को आग से बचाने के लिए तैयार रहने की जरूरत है।

एक और दिलचस्प तरीका बड़ी मात्रा में इनपुट डेटा का अध्ययन करने और स्थिति को वर्गीकृत करने के लिए नाइव बेयस क्लासिफायर का उपयोग करना है ताकि एआई वांछित तरीके से प्रतिक्रिया कर सके। बायेसियन क्लासिफायर ईमेल स्पैम फिल्टर में उनके उपयोग के लिए सबसे ज्यादा जाने जाते हैं। वहां वे शब्दों की जांच करते हैं, उनकी तुलना उन शब्दों से करते हैं जहां वे शब्द पहले दिखाई दे चुके हैं (स्पैम में या नहीं), और आने वाले ईमेल के बारे में निष्कर्ष निकालते हैं। हम कम इनपुट के साथ भी वही काम कर सकते हैं। एआई द्वारा देखी जाने वाली सभी उपयोगी जानकारी के आधार पर (जैसे कि दुश्मन इकाइयाँ क्या बनाई गई हैं, या वे कौन से मंत्रों का उपयोग करते हैं, या उन्होंने किन तकनीकों पर शोध किया है), और अंतिम परिणाम (युद्ध या शांति, भीड़ या बचाव, आदि) - हम वांछित AI व्यवहार चुनेंगे।

ये सभी प्रशिक्षण विधियाँ पर्याप्त हैं, लेकिन परीक्षण डेटा के आधार पर इनका उपयोग करने की सलाह दी जाती है। एआई आपके प्लेटेस्टर्स द्वारा उपयोग की जाने वाली विभिन्न रणनीतियों को अनुकूलित करना सीखेगा। एआई जो रिलीज के बाद खिलाड़ी के अनुकूल हो जाता है वह बहुत पूर्वानुमानित हो सकता है या उसे हराना बहुत मुश्किल हो सकता है।

मूल्य आधारित अनुकूलन

हमारे खेल की दुनिया की सामग्री और नियमों को देखते हुए, हम केवल इनपुट डेटा का उपयोग करने के बजाय निर्णय लेने को प्रभावित करने वाले मूल्यों के सेट को बदल सकते हैं। हम यह करते हैं:

• एआई को खेल के दौरान दुनिया की स्थिति और प्रमुख घटनाओं पर डेटा एकत्र करने दें (जैसा कि ऊपर बताया गया है)।
• आइए इस डेटा के आधार पर कुछ महत्वपूर्ण मान बदलें।
• हम इन मूल्यों के प्रसंस्करण या मूल्यांकन के आधार पर अपने निर्णय लागू करते हैं।

उदाहरण के लिए, एक एजेंट के पास प्रथम-व्यक्ति शूटर मानचित्र पर चुनने के लिए कई कमरे होते हैं। प्रत्येक कमरे का अपना मूल्य होता है, जो यह निर्धारित करता है कि वहां जाना कितना वांछनीय है। एआई मूल्य के आधार पर यादृच्छिक रूप से चुनता है कि किस कमरे में जाना है। फिर एजेंट को याद आता है कि वह किस कमरे में मारा गया था और उसका मूल्य कम कर देता है (संभावना है कि वह वहां वापस आएगा)। इसी प्रकार विपरीत स्थिति के लिए - यदि एजेंट कई विरोधियों को नष्ट कर देता है, तो कमरे का मूल्य बढ़ जाता है।

मार्कोव मॉडल

यदि हम भविष्यवाणियाँ करने के लिए एकत्रित डेटा का उपयोग करें तो क्या होगा? यदि हम प्रत्येक कमरे को याद रखें जिसमें हम एक खिलाड़ी को एक निश्चित अवधि के लिए देखते हैं, तो हम अनुमान लगा सकते हैं कि खिलाड़ी किस कमरे में जा सकता है। कमरों (मानों) में खिलाड़ी की गतिविधियों को ट्रैक और रिकॉर्ड करके, हम उनका अनुमान लगा सकते हैं।

आइए तीन कमरे लें: लाल, हरा और नीला। और वे टिप्पणियाँ भी जो हमने खेल सत्र देखते समय रिकॉर्ड कीं:

प्रत्येक कमरे में अवलोकनों की संख्या लगभग बराबर है - हम अभी भी नहीं जानते कि घात लगाने के लिए अच्छी जगह कहाँ बनाई जाए। आँकड़े एकत्र करना खिलाड़ियों के पुनः उत्पन्न होने से भी जटिल है, जो पूरे मानचित्र में समान रूप से दिखाई देते हैं। लेकिन मानचित्र पर दिखाई देने के बाद वे जिस अगले कमरे में प्रवेश करते हैं उसके बारे में डेटा पहले से ही उपयोगी है।

यह देखा जा सकता है कि हरा कमरा खिलाड़ियों के लिए उपयुक्त है - अधिकांश लोग लाल कमरे से उसमें चले जाते हैं, जिनमें से 50% आगे भी वहीं रहते हैं। इसके विपरीत, नीला कमरा लोकप्रिय नहीं है; लगभग कोई भी इसमें नहीं जाता है, और यदि जाता है, तो वे लंबे समय तक नहीं रुकते हैं।

लेकिन डेटा हमें कुछ और महत्वपूर्ण बताता है - जब कोई खिलाड़ी नीले कमरे में होता है, तो अगला कमरा जिसमें हम उसे देखेंगे वह लाल होगा, हरा नहीं। भले ही हरा कमरा लाल कमरे की तुलना में अधिक लोकप्रिय है, लेकिन अगर खिलाड़ी नीले कमरे में है तो स्थिति बदल जाती है। अगला राज्य (यानी खिलाड़ी जिस कमरे में जाएगा) पिछले राज्य पर निर्भर करता है (यानी खिलाड़ी वर्तमान में जिस कमरे में है)। क्योंकि हम निर्भरताओं का पता लगाते हैं, हम केवल स्वतंत्र रूप से अवलोकनों की गणना करने की तुलना में अधिक सटीक भविष्यवाणियां करेंगे।

पिछली स्थिति के डेटा के आधार पर भविष्य की स्थिति की भविष्यवाणी करना मार्कोव मॉडल कहा जाता है, और ऐसे उदाहरण (कमरों के साथ) को मार्कोव श्रृंखला कहा जाता है। चूंकि पैटर्न क्रमिक अवस्थाओं के बीच परिवर्तनों की संभावना का प्रतिनिधित्व करते हैं, इसलिए उन्हें प्रत्येक संक्रमण के आसपास संभावना के साथ एफएसएम के रूप में प्रदर्शित किया जाता है। पहले, हम एफएसएम का उपयोग उस व्यवहारिक स्थिति को दर्शाने के लिए करते थे जिसमें एक एजेंट था, लेकिन यह अवधारणा किसी भी स्थिति तक फैली हुई है, चाहे वह एजेंट से जुड़ी हो या नहीं। इस मामले में, राज्य उस कमरे का प्रतिनिधित्व करते हैं जिस पर एजेंट रहता है:

यह राज्य परिवर्तनों की सापेक्ष संभावना का प्रतिनिधित्व करने का एक सरल तरीका है, जिससे एआई को अगले राज्य की भविष्यवाणी करने की कुछ क्षमता मिलती है। आप कई कदम आगे की आशा कर सकते हैं।

यदि कोई खिलाड़ी ग्रीन रूम में है, तो 50% संभावना है कि अगली बार जब उसे देखा जाएगा तो वह वहीं रहेगा। लेकिन क्या संभावना है कि वह इसके बाद भी वहीं रहेगा? न केवल यह संभावना है कि खिलाड़ी दो अवलोकनों के बाद ग्रीन रूम में ही रहा, बल्कि यह भी संभावना है कि वह वहां से चला गया और वापस लौट आया। नए डेटा को ध्यान में रखते हुए नई तालिका यहां दी गई है:

इससे पता चलता है कि दो अवलोकनों के बाद खिलाड़ी को ग्रीन रूम में देखने की संभावना 51% के बराबर होगी - 21% कि वह लाल कमरे से होगा, उनमें से 5% कि खिलाड़ी उनके बीच नीले कमरे में जाएगा, और 25% कि खिलाड़ी ग्रीन रूम नहीं छोड़ेगा।

तालिका केवल एक दृश्य उपकरण है - प्रक्रिया में केवल प्रत्येक चरण में संभावनाओं को गुणा करने की आवश्यकता होती है। इसका मतलब है कि आप एक चेतावनी के साथ भविष्य में दूर तक देख सकते हैं: हम मानते हैं कि एक कमरे में प्रवेश करने की संभावना पूरी तरह से वर्तमान कमरे पर निर्भर करती है। इसे मार्कोव संपत्ति कहा जाता है - भविष्य की स्थिति केवल वर्तमान पर निर्भर करती है। लेकिन ये बात सौ फीसदी सही नहीं है. खिलाड़ी अन्य कारकों के आधार पर निर्णय बदल सकते हैं: स्वास्थ्य स्तर या गोला-बारूद की मात्रा। चूँकि हम इन मूल्यों को रिकॉर्ड नहीं करते हैं, इसलिए हमारे पूर्वानुमान कम सटीक होंगे।

एन-ग्राम

लड़ाई वाले खेल के उदाहरण और खिलाड़ी की कॉम्बो चालों की भविष्यवाणी के बारे में क्या कहना? जो उसी! लेकिन एक राज्य या घटना के बजाय, हम उन संपूर्ण अनुक्रमों की जांच करेंगे जो एक कॉम्बो स्ट्राइक बनाते हैं।

ऐसा करने का एक तरीका प्रत्येक इनपुट (जैसे कि किक, पंच या ब्लॉक) को एक बफर में संग्रहीत करना और पूरे बफर को एक इवेंट के रूप में लिखना है। इसलिए खिलाड़ी सुपरडेथफिस्ट हमले का उपयोग करने के लिए बार-बार किक, किक, पंच दबाता है, एआई सिस्टम सभी इनपुट को एक बफर में संग्रहीत करता है और प्रत्येक चरण में उपयोग किए गए अंतिम तीन को याद रखता है।

(बोल्ड पंक्तियाँ तब होती हैं जब खिलाड़ी सुपरडेथफिस्ट हमला शुरू करता है।)

जब खिलाड़ी किक का चयन करेगा, उसके बाद एक और किक का चयन करेगा तो एआई सभी विकल्प देखेगा, और फिर ध्यान दें कि अगला इनपुट हमेशा पंच है। यह एजेंट को सुपरडेथफिस्ट की कॉम्बो चाल की भविष्यवाणी करने और यदि संभव हो तो उसे ब्लॉक करने की अनुमति देगा।

घटनाओं के इन अनुक्रमों को एन-ग्राम कहा जाता है, जहां एन संग्रहीत तत्वों की संख्या है। पिछले उदाहरण में यह 3-ग्राम (ट्रिग्राम) था, जिसका अर्थ है: पहली दो प्रविष्टियों का उपयोग तीसरे की भविष्यवाणी करने के लिए किया जाता है। तदनुसार, 5-ग्राम में, पहली चार प्रविष्टियाँ पाँचवीं इत्यादि की भविष्यवाणी करती हैं।

डिजाइनर को एन-ग्राम का आकार सावधानी से चुनने की जरूरत है। छोटे N के लिए कम मेमोरी की आवश्यकता होती है लेकिन यह कम इतिहास भी संग्रहीत करता है। उदाहरण के लिए, एक 2-ग्राम (बिग्राम) किक, किक या किक, पंच को रिकॉर्ड करेगा, लेकिन किक, किक, पंच को स्टोर करने में सक्षम नहीं होगा, इसलिए एआई सुपरडेथफिस्ट कॉम्बो का जवाब नहीं देगा।

दूसरी ओर, बड़ी संख्याओं के लिए अधिक मेमोरी की आवश्यकता होती है और AI को प्रशिक्षित करना अधिक कठिन होगा क्योंकि कई और संभावित विकल्प होंगे। यदि आपके पास किक, पंच या ब्लॉक के तीन संभावित इनपुट हैं, और हमने 10-ग्राम का उपयोग किया है, तो यह लगभग 60 हजार विभिन्न विकल्प होंगे।

बिग्राम मॉडल एक सरल मार्कोव श्रृंखला है - प्रत्येक पिछली स्थिति/वर्तमान स्थिति जोड़ी एक बिग्राम है, और आप पहले के आधार पर दूसरे राज्य की भविष्यवाणी कर सकते हैं। 3-ग्राम और बड़े एन-ग्राम को मार्कोव श्रृंखला के रूप में भी सोचा जा सकता है, जहां सभी तत्व (एन-ग्राम में अंतिम को छोड़कर) मिलकर पहली अवस्था बनाते हैं और अंतिम तत्व दूसरी अवस्था बनाते हैं। फाइटिंग गेम का उदाहरण किक और किक अवस्था से किक और पंच अवस्था में संक्रमण की संभावना को दर्शाता है। एकाधिक इनपुट इतिहास प्रविष्टियों को एक इकाई के रूप में मानकर, हम अनिवार्य रूप से इनपुट अनुक्रम को पूरे राज्य के हिस्से में बदल रहे हैं। यह हमें मार्कोव संपत्ति देता है, जो हमें अगले इनपुट की भविष्यवाणी करने और यह अनुमान लगाने के लिए मार्कोव श्रृंखलाओं का उपयोग करने की अनुमति देता है कि अगला कॉम्बो कदम क्या होगा।

निष्कर्ष

हमने कृत्रिम बुद्धिमत्ता के विकास में सबसे सामान्य उपकरणों और दृष्टिकोणों के बारे में बात की। हमने उन स्थितियों पर भी गौर किया जिनमें उनका उपयोग करने की आवश्यकता है और जहां वे विशेष रूप से उपयोगी हैं।

गेम एआई की मूल बातें समझने के लिए यह पर्याप्त होना चाहिए। लेकिन, निःसंदेह, ये सभी तरीके नहीं हैं। कम लोकप्रिय, लेकिन कम प्रभावी नहीं, इसमें शामिल हैं:

• पहाड़ी चढ़ाई, ग्रेडिएंट डिसेंट और जेनेटिक एल्गोरिदम सहित अनुकूलन एल्गोरिदम
• प्रतिकूल खोज/शेड्यूलिंग एल्गोरिदम (मिनीमैक्स और अल्फा-बीटा प्रूनिंग)
• वर्गीकरण विधियाँ (अवधारणा, तंत्रिका नेटवर्क और समर्थन वेक्टर मशीनें)
• एजेंटों की धारणा और स्मृति को संसाधित करने के लिए सिस्टम
• एआई के लिए वास्तुशिल्प दृष्टिकोण (हाइब्रिड सिस्टम, सबसेट आर्किटेक्चर और एआई सिस्टम को ओवरले करने के अन्य तरीके)
• एनीमेशन उपकरण (योजना और गति समन्वय)
• प्रदर्शन कारक (विस्तार का स्तर, कभी भी, और टाइमस्लाइसिंग एल्गोरिदम)

संबंधित संसाधन:

1. GameDev.net के पास है एआई पर लेख और ट्यूटोरियल वाला अनुभागऔर форум.
2. AiGameDev.com इसमें गेम एआई विकास से संबंधित विषयों की एक विस्तृत श्रृंखला पर कई प्रस्तुतियाँ और लेख शामिल हैं।
3. जीडीसी वॉल्ट इसमें जीडीसी एआई शिखर सम्मेलन के विषय शामिल हैं, जिनमें से कई मुफ्त में उपलब्ध हैं।
4. उपयोगी सामग्री वेबसाइट पर भी मिल सकती है एआई गेम प्रोग्रामर्स गिल्ड.
5. टॉमी थॉम्पसन, एआई शोधकर्ता और गेम डेवलपर, यूट्यूब पर वीडियो बनाते हैं एआई और गेम्स व्यावसायिक खेलों में एआई की व्याख्या और अध्ययन के साथ।

विषय पर पुस्तकें:

1. गेम एआई प्रो पुस्तक श्रृंखला छोटे लेखों का एक संग्रह है जो बताती है कि विशिष्ट सुविधाओं को कैसे लागू किया जाए या विशिष्ट समस्याओं को कैसे हल किया जाए।

गेम एआई प्रो: गेम एआई पेशेवरों की एकत्रित जानकारी
गेम एआई प्रो 2: गेम एआई पेशेवरों की एकत्रित जानकारी
गेम एआई प्रो 3: गेम एआई पेशेवरों की एकत्रित जानकारी

2. एआई गेम प्रोग्रामिंग विजडम श्रृंखला गेम एआई प्रो श्रृंखला की पूर्ववर्ती है। इसमें पुराने तरीके शामिल हैं, लेकिन लगभग सभी आज भी प्रासंगिक हैं।

एआई गेम प्रोग्रामिंग विजडम 1
एआई गेम प्रोग्रामिंग विजडम 2
एआई गेम प्रोग्रामिंग विजडम 3
एआई गेम प्रोग्रामिंग विजडम 4

3. कृत्रिम बुद्धिमत्ता एक आधुनिक दृष्टिकोण यह उन सभी के लिए बुनियादी ग्रंथों में से एक है जो कृत्रिम बुद्धिमत्ता के सामान्य क्षेत्र को समझना चाहते हैं। यह गेम डेवलपमेंट के बारे में किताब नहीं है - यह एआई की मूल बातें सिखाती है।

स्रोत: www.habr.com