गेमिंग AI कसे तयार करावे: नवशिक्यांसाठी मार्गदर्शक

मला गेममधील कृत्रिम बुद्धिमत्तेबद्दल काही मनोरंजक सामग्री मिळाली. साधी उदाहरणे वापरून AI बद्दल मूलभूत गोष्टींच्या स्पष्टीकरणासह, आणि त्याच्या सोयीस्कर विकासासाठी आणि डिझाइनसाठी अनेक उपयुक्त साधने आणि पद्धती आहेत. ते कसे, कुठे आणि केव्हा वापरायचे ते देखील आहे.

बहुतेक उदाहरणे स्यूडोकोडमध्ये लिहिलेली आहेत, म्हणून प्रगत प्रोग्रामिंग ज्ञान आवश्यक नाही. कट अंतर्गत चित्रे आणि gif सह मजकूराच्या 35 पत्रके आहेत, म्हणून तयार व्हा.

UPD. मी दिलगीर आहोत, परंतु मी Habré वर या लेखाचे माझे स्वतःचे भाषांतर आधीच केले आहे पेशंट झिरो. तुम्ही त्याची आवृत्ती वाचू शकता येथे, परंतु काही कारणास्तव लेखाने मला पास केले (मी शोध वापरला, परंतु काहीतरी चूक झाली). आणि मी गेम डेव्हलपमेंटसाठी समर्पित ब्लॉगवर लिहित असल्याने, मी माझ्या भाषांतराची आवृत्ती सदस्यांसाठी सोडण्याचा निर्णय घेतला (काही मुद्दे वेगळ्या पद्धतीने स्वरूपित केले आहेत, काही विकासकांच्या सल्ल्यानुसार जाणूनबुजून वगळले आहेत).

एआय म्हणजे काय?

गेम AI वस्तू ज्या स्थितीत आहे त्या परिस्थितीच्या आधारावर कोणत्या क्रिया केल्या पाहिजेत यावर लक्ष केंद्रित करते. याला सामान्यतः "बुद्धिमान एजंट" व्यवस्थापन म्हणून संबोधले जाते, जेथे एजंट हे खेळाडूचे पात्र, वाहन, बॉट किंवा काहीवेळा काहीतरी अमूर्त असते: संपूर्ण घटकांचा समूह किंवा अगदी सभ्यता. प्रत्येक बाबतीत, ही एक अशी गोष्ट आहे की त्याचे वातावरण पाहिले पाहिजे, त्यावर आधारित निर्णय घ्यावा आणि त्यानुसार वागले पाहिजे. याला संवेदना/विचार/कृती चक्र म्हणतात:

• संवेदना: एजंटला त्याच्या वातावरणातील गोष्टींबद्दल माहिती मिळते किंवा प्राप्त होते जी त्याच्या वागणुकीवर परिणाम करू शकतात (जवळपासच्या धमक्या, गोळा करण्यासाठी वस्तू, एक्सप्लोर करण्यासाठी मनोरंजक ठिकाणे).
• विचार करा: प्रतिक्रिया कशी द्यायची हे एजंट ठरवतो (वस्तू गोळा करणे पुरेसे सुरक्षित आहे की नाही किंवा त्याने आधी लढावे/लपावे की नाही याचा विचार करा).
• कायदा: एजंट मागील निर्णयाची अंमलबजावणी करण्यासाठी क्रिया करतो (शत्रू किंवा वस्तूकडे जाणे सुरू करतो).
• ...आता पात्रांच्या कृतींमुळे परिस्थिती बदलली आहे, त्यामुळे चक्र नवीन डेटासह पुनरावृत्ती होते.

एआय लूपच्या सेन्स भागावर लक्ष केंद्रित करते. उदाहरणार्थ, स्वायत्त कार रस्त्याची छायाचित्रे घेतात, त्यांना रडार आणि लिडर डेटासह एकत्र करतात आणि त्यांचा अर्थ लावतात. हे सामान्यत: मशीन लर्निंगद्वारे केले जाते, जे येणार्‍या डेटावर प्रक्रिया करते आणि त्याला अर्थ देते, "तुमच्यापासून 20 यार्ड पुढे दुसरी कार आहे" यासारखी अर्थपूर्ण माहिती काढते. या तथाकथित वर्गीकरण समस्या आहेत.

गेमला माहिती काढण्यासाठी जटिल प्रणालीची आवश्यकता नाही कारण बहुतेक डेटा आधीच त्याचा अविभाज्य भाग आहे. पुढे एखादा शत्रू आहे की नाही हे निर्धारित करण्यासाठी इमेज रेकग्निशन अल्गोरिदम चालवण्याची गरज नाही — गेमला आधीच माहिती आहे आणि थेट निर्णय प्रक्रियेत माहिती फीड केली जाते. म्हणून, चक्राचा सेन्स भाग हा विचार आणि कृती भागापेक्षा खूप सोपा असतो.

गेम AI च्या मर्यादा

AI मध्ये अनेक मर्यादा आहेत ज्यांचे पालन करणे आवश्यक आहे:

• AI ला आगाऊ प्रशिक्षित करण्याची गरज नाही, जसे की ते मशीन लर्निंग अल्गोरिदम आहे. हजारो खेळाडूंवर लक्ष ठेवण्यासाठी आणि त्यांच्याविरुद्ध खेळण्याचा सर्वोत्तम मार्ग शिकण्यासाठी विकासादरम्यान न्यूरल नेटवर्क लिहिण्यात काही अर्थ नाही. का? कारण गेम रिलीज झाला नाही आणि खेळाडू नाहीत.
• गेम मजेदार आणि आव्हानात्मक असावा, म्हणून एजंटना लोकांविरुद्ध सर्वोत्तम दृष्टीकोन सापडू नये.
• एजंटना वास्तववादी दिसणे आवश्यक आहे जेणेकरून खेळाडूंना असे वाटेल की ते वास्तविक लोकांविरुद्ध खेळत आहेत. अल्फागो प्रोग्रामने मानवांना मागे टाकले, परंतु निवडलेल्या पायऱ्या खेळाच्या पारंपारिक समजापासून खूप दूर होत्या. जर गेम मानवी प्रतिस्पर्ध्याचे अनुकरण करत असेल तर ही भावना अस्तित्वात नसावी. अल्गोरिदम बदलणे आवश्यक आहे जेणेकरून ते आदर्श निर्णयांऐवजी प्रशंसनीय निर्णय घेते.
• एआयने रिअल टाइममध्ये कार्य करणे आवश्यक आहे. याचा अर्थ निर्णय घेण्यासाठी अल्गोरिदम दीर्घ कालावधीसाठी CPU वापर मक्तेदारी करू शकत नाही. 10 मिलीसेकंद देखील खूप लांब आहे, कारण बहुतेक गेमला सर्व प्रक्रिया करण्यासाठी आणि पुढील ग्राफिक्स फ्रेमवर जाण्यासाठी फक्त 16 ते 33 मिलीसेकंद लागतात.
• तद्वतच, सिस्टमचा किमान भाग डेटा-चालित असावा, जेणेकरुन नॉन-कोडर बदल करू शकतील आणि ऍडजस्टमेंट अधिक वेगाने होऊ शकतील.

संपूर्ण संवेदना/विचार/कृती चक्र कव्हर करणारे AI दृष्टिकोन पाहू.

मूलभूत निर्णय घेणे

चला सर्वात सोप्या खेळापासून सुरुवात करूया - पाँग. ध्येय: पॅडल हलवा जेणेकरुन चेंडू त्याच्या मागे उडण्याऐवजी त्यावरून बाउन्स होईल. हे टेनिससारखे आहे, जिथे तुम्ही चेंडू न मारल्यास हराल. येथे AI कडे तुलनेने सोपे कार्य आहे - प्लॅटफॉर्म कोणत्या दिशेने हलवायचे हे ठरवणे.

सशर्त विधाने

पोंगमधील एआयसाठी, सर्वात स्पष्ट उपाय म्हणजे प्लॅटफॉर्म नेहमी बॉलच्या खाली ठेवण्याचा प्रयत्न करणे.

यासाठी एक साधा अल्गोरिदम, स्यूडोकोडमध्ये लिहिलेला आहे:

गेम चालू असताना प्रत्येक फ्रेम/अपडेट:
जर चेंडू पॅडलच्या डावीकडे असेल तर:
पॅडल डावीकडे हलवा
अन्यथा चेंडू पॅडलच्या उजवीकडे असल्यास:
पॅडल उजवीकडे हलवा

जर प्लॅटफॉर्म बॉलच्या वेगाने फिरला, तर पोंगमधील एआयसाठी हा आदर्श अल्गोरिदम आहे. एजंटसाठी इतका डेटा आणि संभाव्य कृती नसल्यास काहीही क्लिष्ट करण्याची गरज नाही.

हा दृष्टीकोन इतका सोपा आहे की संपूर्ण संवेदना/विचार/कृती चक्र क्वचितच लक्षात येते. पण ते तिथे आहे:

• सेन्स भाग दोन इफ स्टेटमेंटमध्ये आहे. बॉल कुठे आहे आणि प्लॅटफॉर्म कुठे आहे हे गेमला कळते, म्हणून AI त्या माहितीसाठी ते पाहते.
• दोन इफ स्टेटमेंटमध्ये थिंक भाग देखील समाविष्ट केला आहे. ते दोन उपाय आहेत, जे या प्रकरणात परस्पर अनन्य आहेत. परिणामी, तीनपैकी एक क्रिया निवडली आहे - प्लॅटफॉर्म डावीकडे हलवा, उजवीकडे हलवा किंवा ते आधीच योग्यरित्या स्थित असल्यास काहीही करू नका.
• अॅक्टचा भाग Move Paddle Left आणि Move Paddle Right विधानांमध्ये आढळतो. गेम डिझाइनवर अवलंबून, ते प्लॅटफॉर्म त्वरित किंवा विशिष्ट वेगाने हलवू शकतात.

अशा पध्दतींना प्रतिक्रियाशील म्हणतात - नियमांचा एक साधा संच आहे (या प्रकरणात कोडमध्ये विधाने असल्यास) जी जगाच्या वर्तमान स्थितीवर प्रतिक्रिया देतात आणि कारवाई करतात.

निर्णयाचे झाड

पोंगचे उदाहरण प्रत्यक्षात निर्णय वृक्ष नावाच्या औपचारिक AI संकल्पनेशी समतुल्य आहे. अल्गोरिदम ते एका "पानावर" पोहोचण्यासाठी जाते - कोणती कारवाई करायची याचा निर्णय.

आमच्या प्लॅटफॉर्मच्या अल्गोरिदमसाठी निर्णयाच्या झाडाचा ब्लॉक आकृती बनवू:

झाडाच्या प्रत्येक भागाला नोड म्हणतात - AI अशा संरचनांचे वर्णन करण्यासाठी आलेख सिद्धांत वापरते. नोड्सचे दोन प्रकार आहेत:

• निर्णय नोड्स: काही स्थितीच्या चाचणीवर आधारित दोन पर्यायांमधील निवड करणे, जेथे प्रत्येक पर्याय स्वतंत्र नोड म्हणून दर्शविला जातो.
• एंड नोड्स: अंतिम निर्णयाचे प्रतिनिधित्व करणारी क्रिया.

अल्गोरिदम पहिल्या नोडपासून सुरू होते (झाडाचे "मूळ"). ते एकतर कोणत्या चाइल्ड नोडवर जायचे याचा निर्णय घेते किंवा नोडमध्ये साठवलेली क्रिया चालवते आणि बाहेर पडते.

मागील विभागातील if विधानांप्रमाणेच निर्णयाच्या झाडाने काम करण्याचा काय फायदा आहे? येथे एक सामान्य प्रणाली आहे जिथे प्रत्येक निर्णयाची फक्त एक अट आणि दोन संभाव्य परिणाम असतात. हे डेव्हलपरला हार्ड-कोड न करता ट्रीमधील निर्णयांचे प्रतिनिधित्व करणाऱ्या डेटामधून AI तयार करण्यास अनुमती देते. चला ते टेबलच्या स्वरूपात सादर करूया:

कोडच्या बाजूला तुम्हाला स्ट्रिंग वाचण्यासाठी एक प्रणाली मिळेल. त्या प्रत्येकासाठी एक नोड तयार करा, दुसऱ्या स्तंभावर आधारित निर्णय तर्क आणि तिसऱ्या आणि चौथ्या स्तंभावर आधारित चाइल्ड नोड्स कनेक्ट करा. आपल्याला अद्याप परिस्थिती आणि क्रिया प्रोग्राम करण्याची आवश्यकता आहे, परंतु आता गेमची रचना अधिक जटिल होईल. येथे तुम्ही अतिरिक्त निर्णय आणि कृती जोडता आणि नंतर फक्त वृक्ष व्याख्या मजकूर फाइल संपादित करून संपूर्ण AI सानुकूलित करा. पुढे, तुम्ही फाइल गेम डिझायनरकडे हस्तांतरित करता, जो गेम पुन्हा कंपाइल केल्याशिवाय किंवा कोड न बदलता वर्तन बदलू शकतो.

जेव्हा ते उदाहरणांच्या मोठ्या संचामधून (उदाहरणार्थ, ID3 अल्गोरिदम वापरून) स्वयंचलितपणे तयार केले जातात तेव्हा निर्णय वृक्ष खूप उपयुक्त असतात. हे प्राप्त केलेल्या डेटावर आधारित परिस्थितीचे वर्गीकरण करण्यासाठी त्यांना एक प्रभावी आणि उच्च-कार्यक्षमता साधन बनवते. तथापि, आम्ही एजंट्ससाठी क्रिया निवडण्यासाठी सोप्या प्रणालीच्या पलीकडे जातो.

परिस्थिती

आम्ही निर्णय वृक्ष प्रणालीचे विश्लेषण केले ज्याने पूर्व-निर्मित परिस्थिती आणि कृती वापरली. AI डिझाईन करणारी व्यक्ती त्याला हवे तसे वृक्ष आयोजित करू शकते, परंतु तरीही त्याला हे सर्व प्रोग्राम करणाऱ्या कोडरवर अवलंबून राहावे लागते. आम्ही डिझायनरला त्यांची स्वतःची परिस्थिती किंवा कृती तयार करण्यासाठी साधने देऊ शकलो तर?

जेणेकरुन प्रोग्रामरला इज बॉल लेफ्ट ऑफ पॅडल आणि इज बॉल राईट ऑफ पॅडल या अटींसाठी कोड लिहावा लागणार नाही, तो एक प्रणाली तयार करू शकतो ज्यामध्ये डिझायनर ही मूल्ये तपासण्यासाठी अटी लिहील. मग निर्णय वृक्ष डेटा यासारखा दिसेल:

हे मूलत: पहिल्या सारणीप्रमाणेच आहे, परंतु स्वतःमधील सोल्यूशन्सचा स्वतःचा कोड असतो, थोडासा if स्टेटमेंटच्या कंडिशनल भागासारखा असतो. कोडच्या बाजूने, हे निर्णय नोड्ससाठी दुसऱ्या स्तंभात वाचले जाईल, परंतु कार्यान्वित करण्यासाठी विशिष्ट स्थिती शोधण्याऐवजी (इज बॉल लेफ्ट ऑफ पॅडल), ते सशर्त अभिव्यक्तीचे मूल्यमापन करते आणि त्यानुसार खरे किंवा खोटे परत करते. हे Lua किंवा Angelscript स्क्रिप्टिंग भाषा वापरून केले जाते. त्यांचा वापर करून, विकसक त्याच्या गेममधील वस्तू (बॉल आणि पॅडल) घेऊ शकतो आणि स्क्रिप्टमध्ये उपलब्ध व्हेरिएबल्स तयार करू शकतो (ball.position). तसेच, स्क्रिप्टिंग भाषा C++ पेक्षा सोपी आहे. यासाठी संपूर्ण संकलन स्टेजची आवश्यकता नाही, त्यामुळे गेम लॉजिक त्वरीत समायोजित करण्यासाठी ते आदर्श आहे आणि "नॉन-कोडर" ला आवश्यक कार्ये स्वतः तयार करण्यास अनुमती देते.

वरील उदाहरणामध्ये, स्क्रिप्टिंग भाषा केवळ सशर्त अभिव्यक्तीचे मूल्यांकन करण्यासाठी वापरली जाते, परंतु ती क्रियांसाठी देखील वापरली जाऊ शकते. उदाहरणार्थ, डेटा मूव्ह पॅडल राईट हे स्क्रिप्ट स्टेटमेंट बनू शकते (ball.position.x += 10). जेणेकरून क्रिया देखील स्क्रिप्टमध्ये परिभाषित केली जाईल, पॅडल उजवीकडे हलवा प्रोग्राम न करता.

तुम्ही आणखी पुढे जाऊन संपूर्ण निर्णय वृक्ष स्क्रिप्टिंग भाषेत लिहू शकता. हा हार्डकोड कंडिशनल स्टेटमेंट्सच्या स्वरूपात कोड असेल, परंतु ते बाह्य स्क्रिप्ट फायलींमध्ये स्थित असतील, म्हणजेच ते संपूर्ण प्रोग्राम पुन्हा कंपाइल केल्याशिवाय बदलले जाऊ शकतात. वेगवेगळ्या AI प्रतिक्रियांची द्रुतपणे चाचणी घेण्यासाठी तुम्ही गेमप्लेदरम्यान स्क्रिप्ट फाइल संपादित करू शकता.

कार्यक्रम प्रतिसाद

वरील उदाहरणे पोंगसाठी योग्य आहेत. ते सतत संवेदना/विचार/कृती चक्र चालवतात आणि जगाच्या नवीनतम स्थितीवर आधारित कार्य करतात. परंतु अधिक जटिल गेममध्ये आपल्याला वैयक्तिक इव्हेंटवर प्रतिक्रिया देणे आवश्यक आहे आणि एकाच वेळी सर्व गोष्टींचे मूल्यांकन करू नका. या प्रकरणात पोंग आधीच एक वाईट उदाहरण आहे. चला दुसरा एक निवडा.

एखाद्या नेमबाजाची कल्पना करा जिथे शत्रू खेळाडू शोधत नाहीत तोपर्यंत ते गतिहीन असतात, त्यानंतर ते त्यांच्या "स्पेशलायझेशन" नुसार कार्य करतात: कोणीतरी "घाई" करण्यासाठी धावेल, कोणीतरी दुरून हल्ला करेल. ही अजूनही एक मूलभूत प्रतिक्रियाशील प्रणाली आहे - "जर एखादा खेळाडू दिसला असेल तर काहीतरी करा" - परंतु ते तार्किकदृष्ट्या प्लेअर सीन इव्हेंट आणि प्रतिक्रिया (प्रतिसाद निवडा आणि कार्यान्वित करा) मध्ये विभाजित केले जाऊ शकते.

हे आपल्याला संवेदना/विचार/कृती चक्रात परत आणते. आम्ही सेन्स पार्ट कोड करू शकतो जो प्रत्येक फ्रेमला एआयने प्लेअर पाहतो की नाही हे तपासेल. नाही तर काही होत नाही, पण बघितलं तर Player Seen इव्हेंट तयार होतो. कोडमध्ये एक वेगळा विभाग असेल ज्यामध्ये "जेव्हा प्लेअर सीन इव्हेंट घडतो, तेव्हा करा" असे म्हटले आहे की तुम्हाला विचार आणि कृतीच्या भागांना संबोधित करण्यासाठी आवश्यक प्रतिसाद कुठे आहे. अशाप्रकारे, तुम्ही प्लेअर सीन इव्हेंटवर प्रतिक्रिया सेट कराल: “रशिंग” कॅरेक्टरसाठी - चार्जअँडअटॅक आणि स्निपरसाठी - हायडअँडस्निप. हे संबंध पुन्हा संकलित न करता द्रुत संपादनासाठी डेटा फाइलमध्ये तयार केले जाऊ शकतात. स्क्रिप्टिंग भाषा येथे देखील वापरली जाऊ शकते.

कठीण निर्णय घेणे

जरी साध्या प्रतिक्रिया प्रणाली खूप शक्तिशाली आहेत, अशा अनेक परिस्थिती आहेत जेथे ते पुरेसे नाहीत. काहीवेळा एजंट सध्या काय करत आहे यावर आधारित तुम्हाला वेगवेगळे निर्णय घेण्याची आवश्यकता असते, परंतु ही परिस्थिती म्हणून कल्पना करणे कठीण आहे. निर्णय वृक्ष किंवा स्क्रिप्टमध्ये त्यांचे प्रभावीपणे प्रतिनिधित्व करण्यासाठी कधीकधी बर्याच अटी असतात. काहीवेळा तुम्हाला पुढील पायरीवर निर्णय घेण्यापूर्वी परिस्थिती कशी बदलेल याचे आगाऊ मूल्यांकन करणे आवश्यक आहे. या समस्यांचे निराकरण करण्यासाठी अधिक अत्याधुनिक दृष्टिकोन आवश्यक आहेत.

मर्यादित राज्य मशीन

फिनिट स्टेट मशीन किंवा एफएसएम (फिनाइट स्टेट मशीन) हे सांगण्याचा एक मार्ग आहे की आमचा एजंट सध्या अनेक संभाव्य स्थितींपैकी एका स्थितीत आहे आणि तो एका राज्यातून दुसर्‍या स्थितीत संक्रमण करू शकतो. अशी काही राज्ये आहेत-म्हणूनच हे नाव. आयुष्यातील सर्वोत्तम उदाहरण म्हणजे ट्रॅफिक लाइट. वेगवेगळ्या ठिकाणी लाइट्सचे वेगवेगळे अनुक्रम आहेत, परंतु तत्त्व समान आहे - प्रत्येक राज्य काहीतरी (थांबा, चालणे इ.) दर्शवते. ट्रॅफिक लाइट कोणत्याही वेळी फक्त एकाच स्थितीत असतो आणि सोप्या नियमांच्या आधारे एका स्थितीतून दुसऱ्याकडे जातो.

गेममधील एनपीसीसह ही एक समान कथा आहे. उदाहरणार्थ, खालील राज्यांसह गार्ड घेऊया:

• पेट्रोलिंग.
• हल्ला करत आहे.
• पळून जात आहे.

आणि त्याची स्थिती बदलण्यासाठी या अटी:

• जर रक्षक शत्रूला पाहतो तर तो हल्ला करतो.
• जर रक्षकाने हल्ला केला परंतु शत्रूला यापुढे पाहिले नाही तर तो गस्तीवर परत येतो.
• जर एखाद्या रक्षकाने हल्ला केला पण तो गंभीर जखमी झाला तर तो पळून जातो.

तुम्ही पालक राज्य व्हेरिएबल आणि विविध तपासण्यांसह if-स्टेटमेंट देखील लिहू शकता: जवळपास कोणी शत्रू आहे का, NPC ची आरोग्य पातळी काय आहे, इत्यादी. चला आणखी काही राज्ये जोडूया:

• आळस - गस्त दरम्यान.
• शोधत आहे - जेव्हा लक्षात आलेला शत्रू गायब झाला आहे.
• मदत शोधणे - जेव्हा शत्रू आढळतो, परंतु एकट्याने लढण्यासाठी खूप मजबूत असतो.

त्या प्रत्येकाची निवड मर्यादित आहे - उदाहरणार्थ, रक्षक कमी आरोग्य असल्यास लपलेला शत्रू शोधत नाही.

अखेरीस "जर तर " ची मोठी यादी खूप असह्य होऊ शकते, म्हणून आम्हाला एक पद्धत औपचारिक करणे आवश्यक आहे जी आम्हाला राज्ये आणि राज्यांमधील संक्रमणे लक्षात ठेवण्याची परवानगी देते. हे करण्यासाठी, आम्ही सर्व राज्ये विचारात घेतो आणि प्रत्येक राज्याच्या अंतर्गत आम्ही त्यांच्यासाठी आवश्यक अटींसह इतर राज्यांमधील सर्व संक्रमणे यादीत लिहितो.

हे राज्य संक्रमण सारणी आहे - FSM चे प्रतिनिधित्व करण्याचा एक व्यापक मार्ग. चला एक आकृती काढू आणि NPC वर्तन कसे बदलते याचे संपूर्ण विहंगावलोकन मिळवू.

आकृती सध्याच्या परिस्थितीवर आधारित या एजंटसाठी निर्णय घेण्याचे सार प्रतिबिंबित करते. शिवाय, प्रत्येक बाण त्याच्या पुढील स्थिती सत्य असल्यास राज्यांमधील संक्रमण दर्शवितो.

प्रत्येक अपडेट आम्ही एजंटची सद्य स्थिती तपासतो, संक्रमणांची सूची पाहतो आणि संक्रमणाच्या अटी पूर्ण झाल्यास, ते नवीन स्थिती स्वीकारते. उदाहरणार्थ, प्रत्येक फ्रेम 10-सेकंदाचा टायमर कालबाह्य झाला आहे की नाही हे तपासते आणि तसे असल्यास, गार्ड निष्क्रिय स्थितीतून पेट्रोलिंगकडे जातो. तशाच प्रकारे, अॅटॅकिंग स्टेट एजंटचे आरोग्य तपासते - जर ते कमी असेल तर ते पळून जाण्याच्या स्थितीत जाते.

हे राज्यांमधील संक्रमणे हाताळत आहे, परंतु स्वतः राज्यांशी संबंधित वर्तनाचे काय? एखाद्या विशिष्ट राज्यासाठी वास्तविक वर्तन अंमलात आणण्याच्या दृष्टीने, सामान्यत: दोन प्रकारचे "हुक" असतात जेथे आम्ही FSM ला क्रिया नियुक्त करतो:

• वर्तमान स्थितीसाठी आम्ही वेळोवेळी करत असलेल्या क्रिया.
• एका राज्यातून दुस-या राज्यात संक्रमण करताना आपण ज्या कृती करतो.

पहिल्या प्रकारासाठी उदाहरणे. पेट्रोलिंग स्टेट एजंटला प्रत्येक फ्रेमच्या गस्तीच्या मार्गावर हलवेल. आक्रमण करणारी स्थिती प्रत्येक फ्रेमवर हल्ला सुरू करण्याचा प्रयत्न करेल किंवा हे शक्य असलेल्या राज्यात संक्रमण करेल.

दुस-या प्रकारासाठी, संक्रमणाचा विचार करा “जर शत्रू दिसत असेल आणि शत्रू खूप मजबूत असेल, तर मदत शोधण्याच्या स्थितीवर जा. एजंटने मदतीसाठी कुठे जायचे ते निवडणे आवश्यक आहे आणि ही माहिती संग्रहित करणे आवश्यक आहे जेणेकरून शोध मदत राज्याला कुठे जायचे आहे हे कळेल. एकदा मदत सापडली की, एजंट परत हल्ला करण्याच्या स्थितीत जातो. या टप्प्यावर, तो मित्राला धमकीबद्दल सांगू इच्छितो, म्हणून NotifyFriendOfThreat कारवाई होऊ शकते.

पुन्हा एकदा, आपण या प्रणालीकडे सेन्स/थिंक/अॅक्ट सायकलच्या लेन्समधून पाहू शकतो. ट्रान्झिशन लॉजिकद्वारे वापरल्या जाणार्‍या डेटामध्ये सेन्सचा मूर्त स्वरूप आहे. विचार करा - प्रत्येक राज्यात संक्रमणे उपलब्ध आहेत. आणि कायदा राज्यांतर्गत किंवा राज्यांमधील संक्रमणाच्या वेळी वेळोवेळी केलेल्या कृतींद्वारे केला जातो.

काहीवेळा सतत मतदान संक्रमण परिस्थिती महागात पडू शकते. उदाहरणार्थ, प्रत्येक एजंट शत्रूंना पाहू शकतो की नाही हे निर्धारित करण्यासाठी आणि ते पॅट्रोलिंग ते अटॅकिंग स्थितीत संक्रमण करू शकते की नाही हे निर्धारित करण्यासाठी प्रत्येक फ्रेम जटिल गणना करत असल्यास, यासाठी खूप CPU वेळ लागेल.

जगाच्या अवस्थेतील महत्त्वाच्या बदलांचा विचार केला जाऊ शकतो की ज्या घटना घडतात त्याप्रमाणे प्रक्रिया केली जाईल. FSM संक्रमण स्थिती तपासण्याऐवजी "माझा एजंट प्लेअर पाहू शकतो का?" प्रत्येक फ्रेम, कमी वारंवार तपासण्यासाठी स्वतंत्र प्रणाली कॉन्फिगर केली जाऊ शकते (उदा. प्रति सेकंद 5 वेळा). आणि याचा परिणाम म्हणजे चेक पास झाल्यावर प्लेअर सीन जारी करणे.

हे FSM कडे पाठवले जाते, ज्याने आता प्लेअर सीन इव्हेंट प्राप्त स्थितीवर जावे आणि त्यानुसार प्रतिसाद दिला पाहिजे. प्रतिसाद देण्यापूर्वी जवळजवळ अगोचर विलंब वगळता परिणामी वर्तन समान आहे. परंतु सेन्स भागाला प्रोग्रामच्या वेगळ्या भागामध्ये विभक्त केल्यामुळे कार्यप्रदर्शन सुधारले आहे.

श्रेणीबद्ध मर्यादित राज्य मशीन

तथापि, मोठ्या FSM सह कार्य करणे नेहमीच सोयीचे नसते. जर आम्हाला आक्रमण स्थितीचा विस्तार MeleeAttacking आणि RangedAttacking करण्यासाठी करायचा असेल, तर आम्हाला इतर सर्व राज्यांमधील संक्रमणे बदलावी लागतील ज्यामुळे आक्रमण स्थिती (वर्तमान आणि भविष्यातील) असेल.

तुमच्या लक्षात आले असेल की आमच्या उदाहरणात बरीच डुप्लिकेट संक्रमणे आहेत. निष्क्रिय स्थितीतील बहुतेक संक्रमणे पेट्रोलिंग स्थितीतील संक्रमणांसारखीच असतात. स्वतःची पुनरावृत्ती न करणे चांगले होईल, विशेषत: जर आपण अधिक समान राज्ये जोडली तर. "नॉन-कॉम्बॅट" या सामान्य लेबलखाली आयडलिंग आणि गस्त घालणे याला अर्थ प्राप्त होतो, जेथे लढाऊ राज्यांमध्ये संक्रमणाचा एकच सामान्य संच असतो. जर आपण या लेबलचा एक राज्य म्हणून विचार केला तर Idling आणि Patrolling हे सबस्टेट बनतात. नवीन नॉन-कॉम्बॅट सबस्टेटसाठी स्वतंत्र संक्रमण सारणी वापरण्याचे उदाहरण:

मुख्य राज्ये:


लढाऊ स्थितीबाहेर:


आणि आकृतीच्या स्वरूपात:

ही समान प्रणाली आहे, परंतु नवीन नॉन-कॉम्बॅट स्थितीसह ज्यामध्ये इडलिंग आणि पेट्रोलिंग समाविष्ट आहे. प्रत्येक राज्यामध्ये सबस्टेट्ससह एक FSM असते (आणि या सबस्टेट्समध्ये त्यांचे स्वतःचे FSM असतात - आणि आपल्याला आवश्यक असेल तोपर्यंत), आम्हाला हायरार्किकल फिनाइट स्टेट मशीन किंवा HFSM (हायरार्किकल फिनाइट स्टेट मशीन) मिळते. गैर-लढाऊ स्थितीचे गटबद्ध करून, आम्ही अनावश्यक संक्रमणांचा एक समूह कापला. समान संक्रमण असलेल्या कोणत्याही नवीन राज्यांसाठी आम्ही असेच करू शकतो. उदाहरणार्थ, जर भविष्यात आपण अटॅकिंग स्टेटचा विस्तार MeleeAttacking आणि MissileAttacking स्टेट्समध्ये केला, तर ते सबस्टेट्स असतील जे शत्रूपासूनचे अंतर आणि दारूगोळा उपलब्धतेवर आधारित एकमेकांमध्ये संक्रमण करतात. परिणामी, जटिल वर्तन आणि उप-वर्तणूक कमीतकमी डुप्लिकेट संक्रमणांसह दर्शविली जाऊ शकतात.

वर्तनाचे झाड

HFSM सह, वर्तनांचे जटिल संयोजन सोप्या पद्धतीने तयार केले जातात. तथापि, थोडीशी अडचण आहे की संक्रमण नियमांच्या स्वरूपात निर्णय घेणे सद्य स्थितीशी जवळून संबंधित आहे. आणि बर्‍याच खेळांमध्ये याचीच गरज असते. आणि राज्य पदानुक्रमाचा काळजीपूर्वक वापर केल्याने संक्रमण पुनरावृत्तीची संख्या कमी होऊ शकते. परंतु काहीवेळा तुम्हाला नियमांची आवश्यकता असते जे तुम्ही कोणत्याही राज्यात असलात तरी चालतात किंवा ते जवळजवळ कोणत्याही राज्यात लागू होतात. उदाहरणार्थ, एजंटचे आरोग्य 25% पर्यंत घसरल्यास, तो लढाईत, निष्क्रिय किंवा बोलत असला तरीही त्याने पळून जावे अशी तुमची इच्छा असेल - तुम्हाला ही स्थिती प्रत्येक राज्यात जोडावी लागेल. आणि जर तुमचा डिझायनर नंतर कमी आरोग्य थ्रेशोल्ड 25% वरून 10% पर्यंत बदलू इच्छित असेल तर हे पुन्हा करावे लागेल.

तद्वतच, या परिस्थितीसाठी अशा प्रणालीची आवश्यकता असते ज्यामध्ये "कोणत्या राज्यात असावे" याविषयी निर्णय स्वतः राज्यांच्या बाहेर असतात, फक्त एकाच ठिकाणी बदल करण्यासाठी आणि संक्रमण परिस्थितीला स्पर्श न करण्यासाठी. वर्तनाची झाडे येथे दिसतात.

त्यांची अंमलबजावणी करण्याचे अनेक मार्ग आहेत, परंतु सार सर्वांसाठी अंदाजे समान आहे आणि निर्णयाच्या झाडासारखे आहे: अल्गोरिदम "रूट" नोडने सुरू होतो आणि झाडामध्ये नोड्स असतात जे निर्णय किंवा कृती दर्शवतात. तरीही काही प्रमुख फरक आहेत:

• नोड्स आता तीनपैकी एक मूल्य परत करतात: यशस्वी (जर काम पूर्ण झाले असेल), अयशस्वी (जर ते सुरू केले जाऊ शकत नसेल), किंवा चालू (जर ते अद्याप चालू असेल आणि अंतिम परिणाम नसेल तर).
• दोन पर्यायांपैकी निवडण्यासाठी आणखी कोणतेही निर्णय नोड नाहीत. त्याऐवजी, ते डेकोरेटर नोड आहेत, ज्यात एक मूल नोड आहे. जर ते यशस्वी झाले, तर ते त्यांचे एकमेव मूल नोड कार्यान्वित करतात.
• क्रिया करणार्‍या नोड्स केल्या जात असलेल्या क्रियांचे प्रतिनिधित्व करण्यासाठी रनिंग व्हॅल्यू परत करतात.

नोड्सचा हा लहान संच मोठ्या प्रमाणात जटिल वर्तन तयार करण्यासाठी एकत्र केला जाऊ शकतो. मागील उदाहरणातील HFSM गार्डची वर्तन वृक्ष म्हणून कल्पना करूया:

या संरचनेसह निष्क्रिय/गस्त राज्यांपासून आक्रमण किंवा इतर कोणत्याही राज्यांमध्ये कोणतेही स्पष्ट संक्रमण नसावे. जर एखादा शत्रू दिसत असेल आणि पात्राची तब्येत कमी असेल, तर अंमलबजावणी फ्लींग नोडवर थांबेल, तो आधी कोणता नोड कार्यान्वित करत होता - पेट्रोलिंग, इडलिंग, अॅटॅकिंग किंवा इतर कोणतेही.

वर्तणुकीची झाडे जटिल आहेत-त्यांना तयार करण्याचे अनेक मार्ग आहेत आणि डेकोरेटर्स आणि कंपाऊंड नोड्सचे योग्य संयोजन शोधणे आव्हानात्मक असू शकते. झाड किती वेळा तपासायचे याबद्दल देखील प्रश्न आहेत - आम्ही प्रत्येक भागातून जाऊ इच्छितो की केवळ परिस्थिती बदलली आहे तेव्हाच? आम्ही नोड्सशी संबंधित स्थिती कशी संग्रहित करू - आम्ही 10 सेकंद कधी निष्क्रिय होतो हे आम्हाला कसे कळेल, किंवा आम्हाला कसे कळेल की कोणते नोड्स मागील वेळी कार्यान्वित होते जेणेकरून आम्ही क्रम योग्यरित्या प्रक्रिया करू शकू?

त्यामुळे अनेक अंमलबजावणी आहेत. उदाहरणार्थ, काही प्रणालींनी डेकोरेटर नोड्स इनलाइन डेकोरेटर्सने बदलले आहेत. जेव्हा डेकोरेटरची परिस्थिती बदलते तेव्हा ते झाडाचे पुनर्मूल्यांकन करतात, नोड्समध्ये सामील होण्यास मदत करतात आणि नियतकालिक अद्यतने देतात.

उपयुक्तता-आधारित प्रणाली

काही खेळांमध्ये अनेक भिन्न यांत्रिकी असतात. हे वांछनीय आहे की त्यांना साध्या आणि सामान्य संक्रमण नियमांचे सर्व फायदे मिळतील, परंतु वर्तनाच्या संपूर्ण वृक्षाच्या रूपात आवश्यक नाही. निवडींचा स्पष्ट संच किंवा संभाव्य कृतींचा एक वृक्ष असण्याऐवजी, सर्व क्रियांचे परीक्षण करणे आणि या क्षणी सर्वात योग्य एक निवडणे सोपे आहे.

युटिलिटी-आधारित सिस्टीम यास मदत करेल. ही एक अशी प्रणाली आहे जिथे एजंटकडे विविध क्रिया असतात आणि प्रत्येकाच्या सापेक्ष उपयुक्ततेच्या आधारावर कोणती कार्ये करायची ते निवडतात. जेथे उपयुक्तता ही कृती एजंटसाठी किती महत्त्वाची किंवा इष्ट आहे याचे अनियंत्रित उपाय आहे.

वर्तमान स्थिती आणि वातावरणावर आधारित क्रियेची गणना केलेली उपयुक्तता, एजंट कधीही तपासू शकतो आणि सर्वात योग्य इतर स्थिती निवडू शकतो. हे FSM सारखेच आहे, जेथे संक्रमणे सध्याच्या स्थितीसह प्रत्येक संभाव्य स्थितीसाठी अंदाजानुसार निर्धारित केली जातात. कृपया लक्षात ठेवा की आम्ही पुढे जाण्यासाठी सर्वात उपयुक्त क्रिया निवडतो (किंवा आम्ही ती पूर्ण केली असल्यास राहू). अधिक विविधतेसाठी, ही एका लहान सूचीमधून संतुलित परंतु यादृच्छिक निवड असू शकते.

प्रणाली उपयुक्तता मूल्यांची अनियंत्रित श्रेणी नियुक्त करते - उदाहरणार्थ, 0 (पूर्णपणे अवांछनीय) ते 100 (पूर्णपणे इष्ट). प्रत्येक क्रियेमध्ये अनेक पॅरामीटर्स असतात जे या मूल्याच्या गणनेवर परिणाम करतात. आमच्या पालक उदाहरणाकडे परत येत आहे:

कृतींमधील संक्रमणे अस्पष्ट असतात-कोणतीही अवस्था इतर कोणत्याही स्थितीचे अनुसरण करू शकते. कृती प्राधान्यक्रम परत केलेल्या उपयुक्तता मूल्यांमध्ये आढळतात. जर शत्रू दिसत असेल आणि तो शत्रू बलाढ्य असेल आणि पात्राची तब्येत कमी असेल, तर पळून जाणे आणि FindingHelp दोन्ही उच्च शून्य नसलेली मूल्ये परत करतील. या प्रकरणात, FindingHelp नेहमी उच्च असेल. त्याचप्रमाणे, गैर-लढाऊ क्रियाकलाप कधीही 50 पेक्षा जास्त परत येत नाहीत, म्हणून ते नेहमी लढाऊ क्रियाकलापांपेक्षा कमी असतील. क्रिया तयार करताना आणि त्यांच्या उपयुक्ततेची गणना करताना आपल्याला हे लक्षात घेणे आवश्यक आहे.

आमच्या उदाहरणात, क्रिया एकतर स्थिर स्थिर मूल्य किंवा दोन निश्चित मूल्यांपैकी एक मिळवतात. अधिक वास्तववादी प्रणाली मूल्यांच्या सतत श्रेणीतून अंदाज परत करेल. उदाहरणार्थ, एजंटचे आरोग्य कमी असल्यास फ्लींग अॅक्शन उच्च उपयुक्तता मूल्ये परत करते आणि शत्रू खूप मजबूत असल्यास अॅटॅकिंग अॅक्शन कमी उपयुक्तता मूल्ये परत करते. यामुळे, शत्रूला पराभूत करण्यासाठी एजंटला पुरेसे आरोग्य नाही असे वाटते अशा कोणत्याही परिस्थितीत हल्ला करण्यापेक्षा पळून जाण्याच्या कृतीला प्राधान्य दिले जाते. हे कोणत्याही निकषांच्या आधारावर क्रियांना प्राधान्य देण्यास अनुमती देते, ज्यामुळे हा दृष्टीकोन वर्तन वृक्ष किंवा FSM पेक्षा अधिक लवचिक आणि परिवर्तनीय बनतो.

प्रत्येक क्रियेमध्ये प्रोग्रामच्या गणनेसाठी अनेक अटी असतात. ते स्क्रिप्टिंग भाषेत किंवा गणितीय सूत्रांच्या मालिकेमध्ये लिहिले जाऊ शकतात. सिम्स, जे एखाद्या पात्राच्या दैनंदिन दिनचर्याचे अनुकरण करते, गणनेचा अतिरिक्त स्तर जोडते - एजंटला "प्रेरणा" ची मालिका मिळते जी उपयुक्तता रेटिंगवर प्रभाव टाकते. जर एखादे पात्र भुकेले असेल, तर ते कालांतराने आणखी भुकेले होतील, आणि EatFood कृतीचे उपयुक्त मूल्य पात्र ते पूर्ण करेपर्यंत वाढेल, भूकेची पातळी कमी करेल आणि EatFood चे मूल्य शून्यावर येईल.

रेटिंग सिस्टमवर आधारित कृती निवडण्याची कल्पना अगदी सोपी आहे, म्हणून उपयुक्तता-आधारित प्रणाली AI निर्णय घेण्याच्या प्रक्रियेचा एक भाग म्हणून वापरली जाऊ शकते, त्यांच्यासाठी संपूर्ण बदली म्हणून नाही. निर्णय वृक्ष दोन चाइल्ड नोड्ससाठी उपयुक्तता रेटिंग विचारू शकतो आणि उच्च एक निवडा. त्याचप्रमाणे, कोणते मूल कार्यान्वित करायचे हे ठरवण्यासाठी कृतींच्या उपयुक्ततेचे मूल्यमापन करण्यासाठी वर्तनाच्या झाडामध्ये एक संयुक्त उपयुक्तता नोड असू शकतो.

हालचाल आणि नेव्हिगेशन

मागील उदाहरणांमध्ये, आमच्याकडे एक प्लॅटफॉर्म होता जो आम्ही डावीकडे किंवा उजवीकडे सरकतो आणि एक गार्ड जो गस्त घालतो किंवा हल्ला करतो. पण ठराविक कालावधीत एजंटच्या हालचालींना आपण नेमके कसे हाताळतो? आपण वेग कसा ठरवू, अडथळे कसे टाळू आणि गंतव्यस्थानावर पोहोचणे हे सरळ रेषेत जाण्यापेक्षा अवघड असताना मार्ग कसा आखायचा? हे बघूया.

शासन

सुरुवातीच्या टप्प्यावर, आम्ही असे गृहीत धरू की प्रत्येक एजंटचे वेग मूल्य आहे, ज्यामध्ये ते किती वेगाने आणि कोणत्या दिशेने जात आहे याचा समावेश आहे. हे मीटर प्रति सेकंद, किलोमीटर प्रति तास, पिक्सेल प्रति सेकंद, इत्यादी मध्ये मोजले जाऊ शकते. सेन्स/थिंक/अॅक्ट लूप आठवून, आपण कल्पना करू शकतो की विचार भाग एक वेग निवडतो आणि कायदा भाग एजंटला तो वेग लागू करतो. सामान्यत: गेममध्ये भौतिकशास्त्र प्रणाली असते जी तुमच्यासाठी हे कार्य करते, प्रत्येक ऑब्जेक्टचे गती मूल्य शिकते आणि ते समायोजित करते. म्हणून, तुम्ही एआयला एका कार्यासह सोडू शकता - एजंटची गती किती असावी हे ठरवण्यासाठी. एजंट कुठे असावा हे तुम्हाला माहीत असल्यास, तुम्हाला ते एका सेट वेगाने योग्य दिशेने हलवण्याची गरज आहे. एक अतिशय क्षुल्लक समीकरण:

desired_travel = destination_position – agent_position

2D जगाची कल्पना करा. एजंट बिंदूवर आहे (-2,-2), गंतव्यस्थान कुठेतरी ईशान्येला बिंदूवर आहे (30, 20), आणि एजंटला तेथे जाण्यासाठी आवश्यक मार्ग (32, 22) आहे. समजा या पोझिशन्स मीटरमध्ये मोजल्या जातात - जर आपण एजंटचा वेग 5 मीटर प्रति सेकंद धरला, तर आपण आपला विस्थापन वेक्टर मोजू आणि अंदाजे (4.12, 2.83) वेग मिळवू. या पॅरामीटर्ससह, एजंट जवळजवळ 8 सेकंदात त्याच्या गंतव्यस्थानी पोहोचेल.

तुम्ही कधीही मूल्यांची पुनर्गणना करू शकता. जर एजंट लक्ष्याच्या अर्ध्या मार्गावर असेल, तर हालचालीची लांबी अर्धी असेल, परंतु एजंटचा कमाल वेग 5 मी/से आहे (आम्ही हे वर ठरवले आहे), वेग समान असेल. हे लक्ष्य हलविण्यासाठी देखील कार्य करते, एजंटला ते हलताना लहान बदल करण्यास अनुमती देते.

परंतु आम्हाला अधिक भिन्नता हवी आहे - उदाहरणार्थ, उभे राहून धावत जाणाऱ्या वर्णाचे अनुकरण करण्यासाठी हळूहळू वेग वाढवा. थांबण्यापूर्वी तेच शेवटी केले जाऊ शकते. ही वैशिष्ट्ये सुकाणू वर्तणूक म्हणून ओळखली जातात, ज्यापैकी प्रत्येकाची विशिष्ट नावे आहेत: शोध, पळून जाणे, आगमन इ. कल्पना अशी आहे की एजंटच्या गतीवर प्रवेग शक्ती लागू केली जाऊ शकते, एजंटची स्थिती आणि वर्तमान गतीची गंतव्यस्थानाशी तुलना करून. ध्येयाकडे जाण्यासाठी विविध पद्धती वापरण्यासाठी.

प्रत्येक वर्तनाचा उद्देश थोडा वेगळा असतो. शोध आणि आगमन हे एजंटला गंतव्यस्थानावर नेण्याचे मार्ग आहेत. अडथळे टाळणे आणि पृथक्करण ध्येयाच्या मार्गातील अडथळे टाळण्यासाठी एजंटच्या हालचाली समायोजित करतात. संरेखन आणि सुसंगतता एजंटांना एकत्र हलवत राहते. सर्व घटक विचारात घेऊन एकल पथ वेक्टर तयार करण्यासाठी कितीही भिन्न स्टीयरिंग वर्तणुकीची बेरीज केली जाऊ शकते. एक एजंट जो भिंती आणि इतर एजंट्सपासून दूर राहण्यासाठी आगमन, वेगळे करणे आणि अडथळा टाळण्याच्या वर्तनाचा वापर करतो. हा दृष्टिकोन अनावश्यक तपशीलांशिवाय खुल्या ठिकाणी चांगले कार्य करतो.

अधिक कठीण परिस्थितीत, भिन्न वर्तणूक जोडणे अधिक वाईट कार्य करते - उदाहरणार्थ, आगमन आणि अडथळा टाळणे यांच्यातील संघर्षामुळे एजंट भिंतीमध्ये अडकू शकतो. म्हणून, आपल्याला फक्त सर्व मूल्ये जोडण्यापेक्षा अधिक जटिल पर्यायांचा विचार करणे आवश्यक आहे. मार्ग हा आहे: प्रत्येक वर्तनाचे परिणाम जोडण्याऐवजी, आपण वेगवेगळ्या दिशानिर्देशांमध्ये हालचालींचा विचार करू शकता आणि सर्वोत्तम पर्याय निवडू शकता.

तथापि, एका जटिल वातावरणात आणि कोणत्या मार्गाने जायचे याच्या निवडीसह, आम्हाला आणखी प्रगत काहीतरी हवे आहे.

मार्ग शोधणे

खुल्या भागात (फुटबॉल मैदान किंवा रिंगण) साध्या हालचालीसाठी सुकाणू वर्तणूक उत्तम आहे जिथे A ते B पर्यंत जाणे हा अडथळ्यांभोवती फक्त किरकोळ वळसा असलेला सरळ मार्ग आहे. जटिल मार्गांसाठी, आम्हाला पाथफाइंडिंगची आवश्यकता आहे, जो जगाचा शोध घेण्याचा आणि त्याद्वारे मार्ग ठरवण्याचा एक मार्ग आहे.

एजंटच्या शेजारी असलेल्या प्रत्येक स्क्वेअरवर ग्रिड लागू करणे आणि त्यापैकी कोणते हलवण्याची परवानगी आहे याचे मूल्यांकन करणे सर्वात सोपा आहे. जर त्यापैकी एक गंतव्यस्थान असेल, तर तुम्ही सुरवातीला पोहोचेपर्यंत प्रत्येक चौकापासून मागील एकापर्यंतच्या मार्गाचे अनुसरण करा. हा मार्ग आहे. अन्यथा, तुम्हाला तुमचे गंतव्यस्थान सापडेपर्यंत किंवा तुमचे चौरस संपेपर्यंत जवळपासच्या इतर चौकांसह प्रक्रिया पुन्हा करा (म्हणजे कोणताही मार्ग शक्य नाही). यालाच औपचारिकपणे ब्रेडथ-फर्स्ट सर्च किंवा बीएफएस (ब्रेडथ-फर्स्ट सर्च अल्गोरिदम) म्हणून ओळखले जाते. प्रत्येक पावलावर तो सर्व दिशांना दिसतो (म्हणूनच रुंदी, "रुंदी"). शोध जागा एका वेव्हफ्रंट सारखी असते जी इच्छित स्थानापर्यंत पोहोचेपर्यंत हलते - शेवटचा बिंदू समाविष्ट होईपर्यंत शोध जागा प्रत्येक पायरीवर विस्तृत होते, त्यानंतर ती सुरुवातीस परत शोधली जाऊ शकते.

परिणामी, आपल्याला चौरसांची सूची प्राप्त होईल ज्यासह इच्छित मार्ग संकलित केला आहे. हा मार्ग आहे (म्हणून, पाथफाइंडिंग) - गंतव्यस्थान फॉलो करताना एजंट भेट देतील अशा ठिकाणांची यादी.

आम्हाला जगातील प्रत्येक स्क्वेअरची स्थिती माहित असल्याने, आम्ही मार्गावर जाण्यासाठी स्टीयरिंग वर्तन वापरू शकतो - नोड 1 ते नोड 2, नंतर नोड 2 ते नोड 3 आणि असेच. पुढील चौकोनाच्या मध्यभागी जाणे हा सर्वात सोपा पर्याय आहे, परंतु त्याहूनही चांगला पर्याय म्हणजे सध्याच्या चौकोन आणि पुढील चौकाच्या मध्यभागी थांबणे. यामुळे, एजंट तीक्ष्ण वळणांवर कोपरे कापण्यास सक्षम असेल.

BFS अल्गोरिदमचे तोटे देखील आहेत - ते "चुकीच्या" दिशेने "योग्य" दिशेने जितके चौरस शोधते. येथेच A* (A star) नावाचा अधिक जटिल अल्गोरिदम कार्यात येतो. हे त्याच प्रकारे कार्य करते, परंतु शेजारच्या चौरसांचे (नंतर शेजाऱ्यांचे शेजारी, नंतर शेजाऱ्यांचे शेजाऱ्यांचे शेजारी, आणि असेच) आंधळेपणाने परीक्षण करण्याऐवजी, ते सूचीमध्ये नोड्स एकत्रित करते आणि त्यांना क्रमवारी लावते जेणेकरून पुढील नोड तपासले जातात. सर्वात लहान मार्गाकडे नेणारा. ह्युरिस्टिकच्या आधारे नोड्सची क्रमवारी लावली जाते ज्यामध्ये दोन गोष्टी विचारात घेतल्या जातात- इच्छित चौकापर्यंतच्या काल्पनिक मार्गाची "किंमत" (कोणत्याही प्रवासाच्या खर्चासह) आणि तो चौरस गंतव्यस्थानापासून किती अंतरावर आहे याचा अंदाज (मध्ये शोधाचा पूर्वग्रह करून) योग्य दिशा).

हे उदाहरण दर्शविते की एजंट एका वेळी एक चौरस शोधतो, प्रत्येक वेळी सर्वात आशादायक असलेल्या जवळचा एक निवडतो. परिणामी मार्ग BFS सारखाच आहे, परंतु प्रक्रियेत कमी वर्गांचा विचार केला गेला - ज्याचा गेम कामगिरीवर मोठा प्रभाव पडतो.

ग्रिडशिवाय हालचाल

परंतु बहुतेक गेम ग्रिडवर ठेवलेले नसतात आणि वास्तववादाचा त्याग केल्याशिवाय असे करणे अनेकदा अशक्य असते. तडजोडी आवश्यक आहेत. चौरसांचा आकार किती असावा? खूप मोठे आणि ते लहान कॉरिडॉर किंवा वळण योग्यरित्या दर्शवू शकणार नाहीत, खूप लहान आणि शोधण्यासाठी बरेच चौरस असतील, ज्यांना शेवटी खूप वेळ लागेल.

समजून घेण्याची पहिली गोष्ट म्हणजे जाळी आपल्याला जोडलेल्या नोड्सचा आलेख देते. A* आणि BFS अल्गोरिदम प्रत्यक्षात आलेखांवर कार्य करतात आणि आमच्या जाळीची अजिबात काळजी घेत नाहीत. आम्ही गेमच्या जगात कुठेही नोड्स ठेवू शकतो: जोपर्यंत कोणत्याही दोन जोडलेल्या नोड्समध्ये, तसेच प्रारंभ आणि शेवटच्या बिंदूंमध्ये आणि कमीतकमी एका नोड्समध्ये कनेक्शन आहे तोपर्यंत, अल्गोरिदम पूर्वीप्रमाणेच कार्य करेल. याला सहसा वेपॉईंट सिस्टम म्हटले जाते, कारण प्रत्येक नोड जगातील एक महत्त्वपूर्ण स्थान दर्शवितो जो कोणत्याही काल्पनिक मार्गांचा भाग असू शकतो.

उदाहरण 1: प्रत्येक चौकोनात एक गाठ. शोध एजंट असलेल्या नोडपासून सुरू होतो आणि इच्छित स्क्वेअरच्या नोडवर समाप्त होतो.

उदाहरण 2: नोड्सचा एक छोटा संच (वेपॉइंट्स). शोध एजंटच्या चौकातून सुरू होतो, आवश्यक संख्येच्या नोड्समधून जातो आणि नंतर गंतव्यस्थानापर्यंत जातो.

ही एक पूर्णपणे लवचिक आणि शक्तिशाली प्रणाली आहे. पण वेपॉईंट कुठे आणि कसा ठेवायचा हे ठरवताना काही काळजी घेणे आवश्यक आहे, अन्यथा एजंट्सला जवळचा बिंदू दिसत नाही आणि मार्ग सुरू करता येणार नाही. जगाच्या भूमितीच्या आधारे आपण आपोआप मार्गबिंदू ठेवू शकलो तर ते सोपे होईल.

या ठिकाणी नेव्हिगेशन मेश किंवा नवमेश (नेव्हिगेशन मेश) दिसते. हे सहसा त्रिकोणांचे 2D जाळी असते जे जगाच्या भूमितीवर आच्छादित असते - जिथे एजंटला चालण्याची परवानगी असते. जाळीतील प्रत्येक त्रिकोण आलेखामध्ये एक नोड बनतो आणि त्यात तीन समीप त्रिकोण असतात जे आलेखामध्ये समीप नोड बनतात.

हे चित्र युनिटी इंजिनचे उदाहरण आहे - त्याने जगातील भूमितीचे विश्लेषण केले आणि नवमेश (फिकट निळ्या रंगात स्क्रीनशॉटमध्ये) तयार केले. नवमेशमधील प्रत्येक बहुभुज हे असे क्षेत्र आहे जेथे एजंट उभे राहू शकतो किंवा एका बहुभुजातून दुसऱ्या बहुभुजात जाऊ शकतो. या उदाहरणात, बहुभुज ते ज्या मजल्यांवर आहेत त्यापेक्षा लहान आहेत - हे एजंटचा आकार विचारात घेण्यासाठी केले जाते, जे त्याच्या नाममात्र स्थानाच्या पलीकडे वाढेल.

आपण पुन्हा A* अल्गोरिदम वापरून या जाळीतून मार्ग शोधू शकतो. हे आपल्याला जगातील जवळजवळ परिपूर्ण मार्ग देईल, जे सर्व भूमिती विचारात घेते आणि अनावश्यक नोड्स आणि वेपॉइंट्स तयार करण्याची आवश्यकता नाही.

पाथफाइंडिंग हा विषय खूप विस्तृत आहे ज्यासाठी लेखाचा एक भाग पुरेसा नाही. जर तुम्हाला त्याचा अधिक तपशीलवार अभ्यास करायचा असेल तर हे मदत करेल अमित पटेल वेबसाइट.

नियोजन

आम्ही पाथफाइंडिंगसह शिकलो आहोत की काहीवेळा फक्त एक दिशा निवडणे आणि हलणे पुरेसे नसते - आम्हाला आमच्या इच्छित गंतव्यस्थानावर जाण्यासाठी मार्ग निवडावा लागतो आणि काही वळणे घ्यावी लागतात. आम्ही या कल्पनेचे सामान्यीकरण करू शकतो: ध्येय साध्य करणे ही केवळ पुढची पायरी नसून एक संपूर्ण क्रम आहे जिथे काहीवेळा तुम्हाला पहिले काय असावे हे शोधण्यासाठी अनेक पायऱ्या पुढे पहाव्या लागतात. याला नियोजन म्हणतात. नियोजनाच्या अनेक विस्तारांपैकी एक म्हणून पाथफाइंडिंगचा विचार केला जाऊ शकतो. आमच्या संवेदना/विचार/कृती चक्राच्या दृष्टीने, येथे विचार भाग भविष्यासाठी अनेक अधिनियम भागांची योजना करतो.

मॅजिक: द गॅदरिंग या बोर्ड गेमचे उदाहरण पाहू. आम्ही आमच्या हातात खालील कार्डे घेऊन प्रथम जातो:

• दलदल - 1 काळा मान (लँड कार्ड) देते.
• वन - 1 हिरवा मान (लँड कार्ड) देते.
• फरारी विझार्ड - बोलावण्यासाठी 1 निळा माना आवश्यक आहे.
• एल्विश मिस्टिक - बोलावण्यासाठी 1 हिरवा मान आवश्यक आहे.

ते सोपे करण्यासाठी आम्ही उर्वरित तीन कार्डांकडे दुर्लक्ष करतो. नियमांनुसार, खेळाडूला प्रत्येक वळणावर 1 लँड कार्ड खेळण्याची परवानगी आहे, तो या कार्डावर "टॅप" करू शकतो आणि त्यातून माना काढू शकतो आणि नंतर मानाच्या प्रमाणात (प्राण्याला बोलावण्यासह) जादू करू शकतो. या परिस्थितीत, मानवी खेळाडूला वन खेळणे, 1 हिरवा माना टॅप करणे आणि नंतर एल्विश मिस्टिकला बोलावणे माहित आहे. पण गेम एआय हे कसे शोधू शकेल?

सोपे नियोजन

क्षुल्लक दृष्टीकोन म्हणजे प्रत्येक कृती आलटून पालटून पाहणे जोपर्यंत योग्य गोष्टी शिल्लक नाहीत. कार्ड्स पाहून, एआय पाहते की दलदल काय खेळू शकते. आणि तो खेळतो. या वळणावर इतर काही कृती शिल्लक आहेत का? ते एल्विश मिस्टिक किंवा फ्युजिटिव्ह विझार्ड यांना बोलावू शकत नाही, कारण त्यांना बोलावण्यासाठी अनुक्रमे हिरवा आणि निळा माना आवश्यक आहे, तर स्वॅम्प फक्त काळा माना प्रदान करतो. आणि तो यापुढे फॉरेस्ट खेळू शकणार नाही, कारण त्याने आधीच स्वॅम्प खेळला आहे. अशा प्रकारे, गेम AI ने नियमांचे पालन केले, परंतु ते खराब केले. सुधारता येईल.

नियोजनामुळे खेळाला इच्छित स्थितीत आणणाऱ्या क्रियांची सूची मिळू शकते. ज्याप्रमाणे मार्गावरील प्रत्येक चौकाला शेजारी असतात (पाथफाइंडिंगमध्ये), प्लॅनमधील प्रत्येक क्रियेला शेजारी किंवा उत्तराधिकारी देखील असतात. आम्ही इच्छित स्थितीपर्यंत पोहोचेपर्यंत या क्रिया आणि त्यानंतरच्या क्रिया शोधू शकतो.

आमच्या उदाहरणात, इच्छित परिणाम म्हणजे "शक्य असल्यास एखाद्या प्राण्याला बोलावणे." वळणाच्या सुरूवातीस, आम्ही गेमच्या नियमांद्वारे परवानगी दिलेल्या फक्त दोन संभाव्य क्रिया पाहतो:

1. दलदल खेळा (परिणाम: खेळातील दलदल)
2. वन खेळा (परिणाम: खेळातील वन)

केलेल्या प्रत्येक कृतीमुळे पुढील क्रिया होऊ शकतात आणि इतरांना बंद करू शकतात, पुन्हा गेमच्या नियमांवर अवलंबून. कल्पना करा की आम्ही दलदल खेळला आहे - हे पुढील पायरी म्हणून दलदल काढून टाकेल (आम्ही ते आधीच खेळले आहे), आणि हे जंगल देखील काढून टाकेल (कारण नियमांनुसार तुम्ही प्रत्येक वळणावर एक लँड कार्ड खेळू शकता). यानंतर, AI पुढील पायरी म्हणून 1 काळा माना मिळवत आहे कारण इतर कोणतेही पर्याय नाहीत. जर त्याने पुढे जाऊन टॅप द स्वॅम्प निवडले, तर त्याला 1 युनिट काळ्या माना प्राप्त होतील आणि त्याच्याशी तो काहीही करू शकणार नाही.

1. दलदल खेळा (परिणाम: खेळातील दलदल)
1.1 “टॅप” दलदल (परिणाम: दलदल “टॅप”, काळ्या मानाचे +1 युनिट)
कोणतीही क्रिया उपलब्ध नाही - END
2. वन खेळा (परिणाम: खेळातील वन)

क्रियांची यादी लहान होती, आम्ही शेवटपर्यंत पोहोचलो. आम्ही पुढील चरणासाठी प्रक्रिया पुन्हा करतो. आम्ही फॉरेस्ट खेळतो, "1 हिरवा मान मिळवा" कृती उघडतो, ज्यामुळे तिसरी क्रिया उघडली जाईल - एल्विश मिस्टिकला बोलावणे.

1. दलदल खेळा (परिणाम: खेळातील दलदल)
1.1 “टॅप” दलदल (परिणाम: दलदल “टॅप”, काळ्या मानाचे +1 युनिट)
कोणतीही क्रिया उपलब्ध नाही - END
2. वन खेळा (परिणाम: खेळातील वन)
2.1 “टॅप” फॉरेस्ट (परिणाम: जंगल “टॅप केलेले” आहे, हिरव्या मानाचे +1 युनिट)
2.1.1 समन एल्विश मिस्टिक (परिणाम: नाटकात एल्विश मिस्टिक, -1 हिरवा माना)
कोणतीही क्रिया उपलब्ध नाही - END

शेवटी, आम्ही सर्व संभाव्य क्रियांचा शोध घेतला आणि एक योजना सापडली जी एखाद्या प्राण्याला बोलावते.

हे एक अतिशय साधे उदाहरण आहे. काही निकषांची पूर्तता करणारी कोणतीही योजना निवडण्याऐवजी शक्य तितकी सर्वोत्तम योजना निवडण्याचा सल्ला दिला जातो. संभाव्य योजनांचे परिणाम किंवा त्यांच्या अंमलबजावणीच्या एकूण फायद्यावर आधारित मूल्यमापन करणे शक्य आहे. लँड कार्ड खेळण्यासाठी तुम्ही स्वतःला 1 गुण आणि एखाद्या प्राण्याला बोलावण्यासाठी 3 गुण मिळवू शकता. स्वॅम्प खेळणे ही 1 पॉइंट योजना असेल. आणि फॉरेस्ट → टॅप द फॉरेस्ट → समन एल्विश मिस्टिक खेळत असताना लगेच ४ गुण मिळतील.

मॅजिक: द गॅदरिंगमध्ये नियोजन हे असेच कार्य करते, परंतु हेच तर्क इतर परिस्थितींमध्ये लागू होते. उदाहरणार्थ, बिशपला बुद्धिबळ खेळण्यासाठी जागा तयार करण्यासाठी प्यादे हलवणे. किंवा अशा प्रकारे XCOM मध्ये सुरक्षितपणे शूट करण्यासाठी भिंतीमागे कव्हर घ्या. सर्वसाधारणपणे, आपल्याला कल्पना येते.

सुधारित नियोजन

कधीकधी प्रत्येक संभाव्य पर्यायाचा विचार करण्यासाठी बर्याच संभाव्य क्रिया असतात. मॅजिकसह उदाहरणाकडे परत येत आहे: द गॅदरिंग: समजा की गेममध्ये आणि तुमच्या हातात अनेक जमीन आणि प्राणी कार्डे आहेत - हालचालींच्या संभाव्य संयोजनांची संख्या डझनभर असू शकते. समस्येचे अनेक उपाय आहेत.

पहिली पद्धत बॅकवर्ड चेनिंग आहे. सर्व संयोजनांचा प्रयत्न करण्याऐवजी, अंतिम परिणामासह प्रारंभ करणे आणि थेट मार्ग शोधण्याचा प्रयत्न करणे चांगले आहे. झाडाच्या मुळापासून विशिष्ट पानाकडे जाण्याऐवजी आपण विरुद्ध दिशेने - पानापासून मुळाकडे जातो. ही पद्धत सोपी आणि वेगवान आहे.

शत्रूकडे 1 आरोग्य असल्यास, आपण "डील 1 किंवा अधिक नुकसान" योजना शोधू शकता. हे साध्य करण्यासाठी, अनेक अटी पूर्ण केल्या पाहिजेत:

1. स्पेलमुळे नुकसान होऊ शकते - ते हातात असणे आवश्यक आहे.
2. शब्दलेखन करण्यासाठी, तुम्हाला मनाची आवश्यकता आहे.
3. माना मिळविण्यासाठी, तुम्हाला लँड कार्ड खेळणे आवश्यक आहे.
4. लँड कार्ड खेळण्यासाठी, ते तुमच्या हातात असणे आवश्यक आहे.

दुसरा मार्ग सर्वोत्तम-प्रथम शोध आहे. सर्व मार्ग वापरण्याऐवजी, आम्ही सर्वात योग्य मार्ग निवडतो. बर्याचदा, ही पद्धत अनावश्यक शोध खर्चाशिवाय इष्टतम योजना देते. A* हा सर्वोत्कृष्ट प्रथम शोधाचा एक प्रकार आहे - सुरुवातीपासून सर्वात आशादायक मार्गांचे परीक्षण करून, इतर पर्यायांची तपासणी न करता तो आधीपासूनच सर्वोत्तम मार्ग शोधू शकतो.

एक मनोरंजक आणि वाढत्या लोकप्रिय सर्वोत्तम-प्रथम शोध पर्याय म्हणजे मॉन्टे कार्लो ट्री शोध. प्रत्येक त्यानंतरची कृती निवडताना कोणती योजना इतरांपेक्षा चांगली आहे याचा अंदाज घेण्याऐवजी, अल्गोरिदम शेवटपर्यंत पोहोचेपर्यंत प्रत्येक पायरीवर यादृच्छिक उत्तराधिकारी निवडतो (जेव्हा योजनेचा परिणाम विजय किंवा पराभवात होतो). अंतिम परिणाम नंतर मागील पर्यायांचे वजन वाढवण्यासाठी किंवा कमी करण्यासाठी वापरला जातो. या प्रक्रियेची सलग अनेक वेळा पुनरावृत्ती करून, अल्गोरिदम परिस्थिती बदलली तरीही (शत्रूने खेळाडूमध्ये व्यत्यय आणण्यासाठी कारवाई केल्यास) पुढील सर्वोत्तम हालचाल काय आहे याचा चांगला अंदाज येतो.

गोल-ओरिएंटेड अॅक्शन प्लॅनिंग किंवा GOAP (गोल-ओरिएंटेड अॅक्शन प्लॅनिंग) शिवाय गेममधील नियोजनाची कोणतीही कथा पूर्ण होणार नाही. ही एक व्यापकपणे वापरली जाणारी आणि चर्चा केलेली पद्धत आहे, परंतु काही विशिष्ट तपशीलांव्यतिरिक्त, ही मूलत: मागे असलेली साखळी पद्धत आहे ज्याबद्दल आपण आधी बोललो होतो. जर "खेळाडूचा नाश" करण्याचा उद्देश असेल आणि खेळाडू कव्हरच्या मागे असेल, तर योजना अशी असू शकते: ग्रेनेडने नष्ट करा → ते मिळवा → फेकून द्या.

सहसा अनेक उद्दिष्टे असतात, प्रत्येकाची स्वतःची प्राथमिकता असते. सर्वोच्च प्राधान्याचे उद्दिष्ट पूर्ण होऊ न शकल्यास (क्रियेच्या कोणत्याही संयोजनामुळे "खेळाडूला मारणे" योजना तयार होत नाही कारण खेळाडू दिसत नाही), AI कमी प्राधान्याच्या उद्दिष्टांकडे परत जाईल.

प्रशिक्षण आणि अनुकूलन

आम्ही आधीच सांगितले आहे की गेम AI सहसा मशीन लर्निंग वापरत नाही कारण तो रिअल टाइममध्ये एजंट्स व्यवस्थापित करण्यासाठी योग्य नाही. परंतु याचा अर्थ असा नाही की आपण या क्षेत्रातून काहीतरी कर्ज घेऊ शकत नाही. शूटरमध्ये आम्हाला असा प्रतिस्पर्धी हवा आहे की ज्याच्याकडून आम्ही काहीतरी शिकू शकतो. उदाहरणार्थ, नकाशावरील सर्वोत्तम स्थानांबद्दल शोधा. किंवा लढाऊ खेळातील एक प्रतिस्पर्धी जो खेळाडूच्या वारंवार वापरल्या जाणार्‍या कॉम्बो मूव्हला ब्लॉक करेल, त्याला इतरांचा वापर करण्यास प्रवृत्त करेल. त्यामुळे अशा परिस्थितीत मशीन लर्निंग खूप उपयुक्त ठरू शकते.

आकडेवारी आणि संभाव्यता

जटिल उदाहरणांमध्ये जाण्यापूर्वी, काही सोपी मोजमापं घेऊन आणि निर्णय घेण्यासाठी त्यांचा वापर करून आपण किती पुढे जाऊ शकतो ते पाहू या. उदाहरणार्थ, रीअल-टाइम स्ट्रॅटेजी - खेळाच्या पहिल्या काही मिनिटांत खेळाडू हल्ला करू शकतो की नाही हे आम्ही कसे ठरवू आणि याविरुद्ध कोणता बचाव तयार करायचा? भविष्यातील प्रतिक्रिया काय असू शकतात हे समजून घेण्यासाठी आम्ही खेळाडूच्या भूतकाळातील अनुभवांचा अभ्यास करू शकतो. सुरुवातीला, आमच्याकडे असा कच्चा डेटा नाही, परंतु आम्ही तो गोळा करू शकतो - प्रत्येक वेळी जेव्हा एआय माणसाविरुद्ध खेळते तेव्हा ते पहिल्या हल्ल्याची वेळ नोंदवू शकते. काही सत्रांनंतर, आम्हाला भविष्यात खेळाडूला आक्रमण करण्यासाठी लागणारा सरासरी वेळ मिळेल.

सरासरी मूल्यांमध्ये देखील समस्या आहे: जर एखाद्या खेळाडूने 20 वेळा धाव घेतली आणि 20 वेळा हळू खेळला, तर आवश्यक मूल्ये मध्यभागी कुठेतरी असतील आणि यामुळे आम्हाला काहीही उपयुक्त होणार नाही. एक उपाय म्हणजे इनपुट डेटा मर्यादित करणे - शेवटचे 20 तुकडे विचारात घेतले जाऊ शकतात.

खेळाडूची भूतकाळातील प्राधान्ये भविष्यात सारखीच असतील असे गृहीत धरून काही क्रियांच्या संभाव्यतेचा अंदाज लावताना समान दृष्टिकोन वापरला जातो. एखाद्या खेळाडूने आपल्यावर पाच वेळा फायरबॉल, दोन वेळा विजेचा आणि एकदा हाणामारी केली, तर तो फायरबॉलला प्राधान्य देतो हे उघड आहे. चला एक्सट्रापोलेट करू आणि भिन्न शस्त्रे वापरण्याची संभाव्यता पाहू: फायरबॉल = 62,5%, लाइटनिंग = 25% आणि मेली = 12,5%. आमचा गेम AI ला आगीपासून स्वतःचे संरक्षण करण्यासाठी तयारी करणे आवश्यक आहे.

आणखी एक मनोरंजक पद्धत म्हणजे मोठ्या प्रमाणात इनपुट डेटाचा अभ्यास करण्यासाठी आणि परिस्थितीचे वर्गीकरण करण्यासाठी नेव्ह बेज क्लासिफायर वापरणे जेणेकरुन एआय इच्छित पद्धतीने प्रतिक्रिया देईल. बायेसियन क्लासिफायर ईमेल स्पॅम फिल्टर्समध्ये त्यांच्या वापरासाठी प्रसिद्ध आहेत. तेथे ते शब्दांचे परीक्षण करतात, ते शब्द आधी कुठे दिसले होते (स्पॅममध्ये किंवा नाही) त्यांची तुलना करतात आणि येणार्‍या ईमेलबद्दल निष्कर्ष काढतात. अगदी कमी इनपुटसहही आपण तेच करू शकतो. AI पाहत असलेल्या सर्व उपयुक्त माहितीवर आधारित (जसे की कोणती शत्रू युनिट्स तयार केली गेली आहेत, किंवा ते कोणते शब्दलेखन वापरतात, किंवा त्यांनी कोणत्या तंत्रज्ञानावर संशोधन केले आहे) आणि अंतिम परिणाम (युद्ध किंवा शांतता, गर्दी किंवा बचाव इ.) - आम्ही इच्छित AI वर्तन निवडू.

या सर्व प्रशिक्षण पद्धती पुरेशा आहेत, परंतु चाचणी डेटावर आधारित त्यांचा वापर करणे उचित आहे. AI तुमच्या प्लेटेस्टर्सनी वापरलेल्या वेगवेगळ्या रणनीतींशी जुळवून घ्यायला शिकेल. रिलीझ झाल्यानंतर प्लेअरशी जुळवून घेणारे AI खूप अंदाज लावता येण्यासारखे किंवा पराभूत करणे खूप कठीण होऊ शकते.

मूल्य आधारित अनुकूलन

आमच्या खेळाच्या जगाची सामग्री आणि नियम लक्षात घेता, आम्ही केवळ इनपुट डेटा वापरण्याऐवजी निर्णय घेण्यावर प्रभाव टाकणारी मूल्ये बदलू शकतो. आम्ही हे करतो:

• AI ला खेळादरम्यानच्या जगाची स्थिती आणि महत्त्वाच्या घटनांचा डेटा गोळा करू द्या (वरीलप्रमाणे).
• या डेटावर आधारित काही महत्त्वाची मूल्ये बदलू.
• आम्ही या मूल्यांवर प्रक्रिया करून किंवा मूल्यमापन करून आमचे निर्णय लागू करतो.

उदाहरणार्थ, एजंटकडे फर्स्ट पर्सन शूटर मॅपमधून निवडण्यासाठी अनेक खोल्या आहेत. प्रत्येक खोलीचे स्वतःचे मूल्य असते, जे त्याला भेट देणे किती इष्ट आहे हे ठरवते. एआय यादृच्छिकपणे मूल्याच्या आधारावर कोणत्या खोलीत जायचे ते निवडते. त्यानंतर एजंटला आठवते की तो कोणत्या खोलीत मारला गेला होता आणि त्याचे मूल्य कमी करतो (तो तेथे परत येण्याची शक्यता). त्याचप्रमाणे उलट परिस्थितीसाठी - जर एजंटने अनेक विरोधकांना नष्ट केले तर खोलीचे मूल्य वाढते.

मार्कोव्ह मॉडेल

आम्ही गोळा केलेला डेटा अंदाज बांधण्यासाठी वापरला तर? एखाद्या विशिष्ट कालावधीसाठी आपण खेळाडू पाहतो त्या प्रत्येक खोलीत आपल्याला आठवत असेल, तर तो खेळाडू कोणत्या खोलीत जाऊ शकतो याचा अंदाज लावू. खोल्यांमध्ये (मूल्ये) खेळाडूच्या हालचालींचा मागोवा घेऊन आणि रेकॉर्ड करून, आम्ही त्यांचा अंदाज लावू शकतो.

चला तीन खोल्या घेऊ: लाल, हिरवा आणि निळा. आणि गेम सत्र पाहताना आम्ही रेकॉर्ड केलेली निरीक्षणे देखील:

प्रत्येक खोलीतील निरीक्षणांची संख्या जवळजवळ समान आहे - घात करण्यासाठी चांगली जागा कोठे बनवायची हे आम्हाला अद्याप माहित नाही. संपूर्ण नकाशावर समान रीतीने दिसणार्‍या खेळाडूंच्या पुनरुत्पादनामुळे आकडेवारी गोळा करणे देखील अवघड आहे. परंतु नकाशावर दिसल्यानंतर त्यांनी प्रवेश केलेल्या पुढील खोलीचा डेटा आधीच उपयुक्त आहे.

हे पाहिले जाऊ शकते की ग्रीन रूम खेळाडूंना अनुकूल आहे - बहुतेक लोक लाल खोलीतून त्याकडे जातात, त्यापैकी 50% पुढे तिथेच राहतात. त्याउलट, निळी खोली लोकप्रिय नाही; जवळजवळ कोणीही त्याच्याकडे जात नाही आणि जर ते गेले तर ते जास्त काळ टिकत नाहीत.

परंतु डेटा आम्हाला आणखी महत्त्वाचे काहीतरी सांगतो - जेव्हा एखादा खेळाडू निळ्या खोलीत असतो, तेव्हा आम्ही त्याला ज्या खोलीत पाहतो ती लाल रंगाची असते, हिरवी नसते. लाल खोलीपेक्षा ग्रीन रूम अधिक लोकप्रिय असूनही, खेळाडू निळ्या खोलीत असल्यास परिस्थिती बदलते. पुढील स्थिती (म्हणजे खेळाडू ज्या खोलीत जाईल) मागील स्थितीवर अवलंबून असते (म्हणजे खेळाडू सध्या ज्या खोलीत आहे). आम्ही अवलंबित्व शोधत असल्यामुळे, आम्ही केवळ निरीक्षणे स्वतंत्रपणे मोजली तर त्यापेक्षा आम्ही अधिक अचूक अंदाज लावू.

भूतकाळातील डेटाच्या आधारे भविष्यातील स्थितीचा अंदाज लावणे याला मार्कोव्ह मॉडेल म्हणतात आणि अशा उदाहरणांना (खोल्यांसह) मार्कोव्ह चेन म्हणतात. नमुने क्रमिक स्थितींमधील बदलांच्या संभाव्यतेचे प्रतिनिधित्व करत असल्याने, ते प्रत्येक संक्रमणाभोवती संभाव्यतेसह FSMs म्हणून दृश्यमानपणे प्रदर्शित केले जातात. पूर्वी, आम्ही एजंट असलेल्या वर्तणुकीतील स्थितीचे प्रतिनिधित्व करण्यासाठी FSM वापरत असे, परंतु ही संकल्पना कोणत्याही राज्यापर्यंत विस्तारते, मग ती एजंटशी संबंधित असो किंवा नसो. या प्रकरणात, राज्ये एजंट व्यापलेल्या खोलीचे प्रतिनिधित्व करतात:

राज्य बदलांच्या सापेक्ष संभाव्यतेचे प्रतिनिधित्व करण्याचा हा एक सोपा मार्ग आहे, ज्यामुळे एआयला पुढील स्थितीचा अंदाज घेण्याची क्षमता मिळते. आपण अनेक पावले पुढे अंदाज लावू शकता.

जर एखादा खेळाडू ग्रीन रुममध्ये असेल, तर पुढच्या वेळी तो तिथेच राहण्याची शक्यता ५०% असते. पण त्यानंतरही तो तिथे असण्याची शक्यता काय? दोन निरीक्षणानंतर खेळाडू ग्रीन रुममध्येच राहण्याची शक्यता नाही तर तो सोडला आणि परत आला अशीही शक्यता आहे. नवीन डेटा लक्षात घेऊन नवीन सारणी येथे आहे:

हे दर्शविते की दोन निरीक्षणांनंतर खेळाडूला ग्रीन रूममध्ये पाहण्याची शक्यता 51% - 21% इतकी असेल की तो लाल खोलीतील असेल, त्यापैकी 5% खेळाडू त्यांच्या दरम्यानच्या निळ्या खोलीला भेट देईल आणि 25% की खेळाडू ग्रीन रूम सोडणार नाही.

टेबल हे फक्त एक व्हिज्युअल साधन आहे - प्रक्रियेसाठी फक्त प्रत्येक टप्प्यावर संभाव्यता गुणाकार करणे आवश्यक आहे. याचा अर्थ तुम्ही एका सावधगिरीने भविष्याकडे पाहू शकता: आम्ही असे गृहीत धरतो की खोलीत प्रवेश करण्याची शक्यता सध्याच्या खोलीवर पूर्णपणे अवलंबून असते. याला मार्कोव्ह प्रॉपर्टी म्हणतात - भविष्यातील स्थिती केवळ वर्तमानावर अवलंबून असते. पण हे शंभर टक्के अचूक नाही. खेळाडू इतर घटकांवर अवलंबून निर्णय बदलू शकतात: आरोग्य पातळी किंवा दारूगोळा. आम्ही ही मूल्ये रेकॉर्ड करत नसल्यामुळे आमचे अंदाज कमी अचूक असतील.

एन-ग्राम

लढाऊ खेळाच्या उदाहरणाबद्दल आणि खेळाडूच्या कॉम्बो हालचालींचा अंदाज लावण्यासाठी काय? सारखे! परंतु एका राज्य किंवा कार्यक्रमाऐवजी, आम्ही कॉम्बो स्ट्राइक बनवणारे संपूर्ण अनुक्रम तपासू.

हे करण्याचा एक मार्ग म्हणजे प्रत्येक इनपुट (जसे की किक, पंच किंवा ब्लॉक) बफरमध्ये संग्रहित करणे आणि संपूर्ण बफरला इव्हेंट म्हणून लिहा. त्यामुळे सुपरडेथफिस्ट हल्ला वापरण्यासाठी खेळाडू वारंवार किक, किक, पंच दाबतो, एआय सिस्टम सर्व इनपुट्स एका बफरमध्ये संग्रहित करते आणि प्रत्येक चरणात वापरलेले शेवटचे तीन लक्षात ठेवते.

(खेळाडू SuperDeathFist हल्ला सुरू करतो तेव्हा ठळक रेषा असतात.)

जेव्हा खेळाडू किक निवडतो, त्यानंतर दुसरी किक निवडतो तेव्हा AI सर्व पर्याय पाहेल आणि नंतर लक्षात येईल की पुढील इनपुट नेहमी पंच आहे. हे एजंटला SuperDeathFist च्या कॉम्बो मूव्हचा अंदाज लावू देईल आणि शक्य असल्यास ते ब्लॉक करेल.

घटनांच्या या क्रमांना N-grams म्हणतात, जेथे N ही संग्रहित घटकांची संख्या आहे. मागील उदाहरणात ते 3-ग्राम (ट्रिग्राम) होते, ज्याचा अर्थ: पहिल्या दोन नोंदी तिसऱ्याचा अंदाज लावण्यासाठी वापरल्या जातात. त्यानुसार, 5-ग्राममध्ये, पहिल्या चार नोंदी पाचव्या आणि याप्रमाणेच अंदाज लावतात.

डिझायनरने एन-ग्रॅमचा आकार काळजीपूर्वक निवडणे आवश्यक आहे. लहान N ला कमी मेमरी आवश्यक असते परंतु कमी इतिहास देखील साठवतो. उदाहरणार्थ, 2-ग्राम (बिग्राम) किक, किक किंवा किक, पंच रेकॉर्ड करेल, परंतु किक, किक, पंच संग्रहित करण्यात सक्षम होणार नाही, त्यामुळे AI सुपरडेथफिस्ट कॉम्बोला प्रतिसाद देणार नाही.

दुसरीकडे, मोठ्या संख्येसाठी अधिक मेमरी आवश्यक आहे आणि AI ला प्रशिक्षित करणे अधिक कठीण होईल कारण तेथे बरेच संभाव्य पर्याय असतील. जर तुमच्याकडे किक, पंच किंवा ब्लॉकचे तीन संभाव्य इनपुट असतील आणि आम्ही 10-ग्रॅम वापरले, तर ते सुमारे 60 हजार भिन्न पर्याय असतील.

बिग्राम मॉडेल ही एक साधी मार्कोव्ह साखळी आहे - प्रत्येक भूतकाळातील/वर्तमान स्थितीची जोडी एक बिगग्राम आहे आणि तुम्ही पहिल्याच्या आधारे दुसऱ्या स्थितीचा अंदाज लावू शकता. 3-ग्रॅम आणि मोठ्या एन-ग्रॅमचा विचार मार्कोव्ह चेन म्हणून देखील केला जाऊ शकतो, जिथे सर्व घटक (एन-ग्राममधील शेवटचा घटक वगळता) एकत्रितपणे पहिली अवस्था बनवतात आणि शेवटचा घटक दुसरा. लढाऊ खेळाचे उदाहरण किक आणि किक स्थितीतून किक आणि पंच स्थितीत जाण्याची संधी दर्शवते. एकापेक्षा जास्त इनपुट इतिहास नोंदींना एकच एकक मानून, आम्ही मूलत: इनपुट क्रम संपूर्ण राज्याच्या भागामध्ये बदलत आहोत. हे आम्हाला मार्कोव्ह गुणधर्म देते, जे आम्हाला पुढील इनपुटचा अंदाज लावण्यासाठी आणि पुढे कोणती कॉम्बो मूव्ह असेल याचा अंदाज लावण्यासाठी मार्कोव्ह चेन वापरण्याची परवानगी देते.

निष्कर्ष

आम्ही कृत्रिम बुद्धिमत्तेच्या विकासातील सर्वात सामान्य साधने आणि दृष्टिकोनांबद्दल बोललो. आम्ही कोणत्या परिस्थितीत त्यांचा वापर करणे आवश्यक आहे आणि ते विशेषतः उपयुक्त आहेत ते देखील पाहिले.

गेम AI च्या मूलभूत गोष्टी समजून घेण्यासाठी हे पुरेसे असावे. परंतु, अर्थातच, या सर्व पद्धती नाहीत. कमी लोकप्रिय, परंतु कमी प्रभावी नाही हे समाविष्ट आहे:

• हिल क्लाइंबिंग, ग्रेडियंट डिसेंट आणि अनुवांशिक अल्गोरिदमसह ऑप्टिमायझेशन अल्गोरिदम
• विरोधी शोध/शेड्युलिंग अल्गोरिदम (मिनिमॅक्स आणि अल्फा-बीटा छाटणी)
• वर्गीकरण पद्धती (परसेप्ट्रॉन, न्यूरल नेटवर्क आणि सपोर्ट वेक्टर मशीन)
• एजंट्सची समज आणि स्मरणशक्ती प्रक्रिया करण्यासाठी प्रणाली
• AI कडे वास्तुशास्त्रीय दृष्टीकोन (हायब्रीड सिस्टीम, उपसंच आर्किटेक्चर आणि AI सिस्टम आच्छादित करण्याचे इतर मार्ग)
• अॅनिमेशन साधने (नियोजन आणि गती समन्वय)
• कार्यप्रदर्शन घटक (तपशीलाची पातळी, कधीही, आणि टाइमस्लाइसिंग अल्गोरिदम)

विषयावरील ऑनलाइन संसाधने:

1. GameDev.net आहे AI वरील लेख आणि ट्यूटोरियलसह विभागआणि मंच.
2. AiGameDev.com गेम एआय डेव्हलपमेंटशी संबंधित विविध विषयांवर अनेक सादरीकरणे आणि लेख आहेत.
3. जीडीसी व्हॉल्ट GDC AI समिटमधील विषयांचा समावेश आहे, त्यापैकी बरेच विनामूल्य उपलब्ध आहेत.
4. उपयुक्त साहित्य वेबसाइटवर देखील आढळू शकते एआय गेम प्रोग्रामर गिल्ड.
5. टॉमी थॉम्पसन, AI संशोधक आणि गेम डेव्हलपर, YouTube वर व्हिडिओ बनवतात एआय आणि गेम्स व्यावसायिक गेममधील एआयचे स्पष्टीकरण आणि अभ्यासासह.

विषयावरील पुस्तके:

1. गेम एआय प्रो पुस्तक मालिका हा लहान लेखांचा संग्रह आहे ज्यामध्ये विशिष्ट वैशिष्ट्ये कशी लागू करावी किंवा विशिष्ट समस्यांचे निराकरण कसे करावे हे स्पष्ट केले आहे.

गेम एआय प्रो: गेम एआय प्रोफेशनल्सचे कलेक्टेड विजडम
गेम एआय प्रो 2: गेम एआय प्रोफेशनल्सचे कलेक्टेड विजडम
गेम एआय प्रो 3: गेम एआय प्रोफेशनल्सचे कलेक्टेड विजडम

2. AI गेम प्रोग्रामिंग विस्डम सिरीज ही गेम एआय प्रो सिरीजची पूर्ववर्ती आहे. यात जुन्या पद्धती आहेत, परंतु जवळजवळ सर्व आजही संबंधित आहेत.

एआय गेम प्रोग्रामिंग बुद्धी 1
एआय गेम प्रोग्रामिंग बुद्धी 2
एआय गेम प्रोग्रामिंग बुद्धी 3
एआय गेम प्रोग्रामिंग बुद्धी 4

3. कृत्रिम बुद्धिमत्ता: एक आधुनिक दृष्टीकोन कृत्रिम बुद्धिमत्तेचे सामान्य क्षेत्र समजून घेऊ इच्छिणाऱ्या प्रत्येकासाठी मूलभूत ग्रंथांपैकी एक आहे. हे गेम डेव्हलपमेंटबद्दलचे पुस्तक नाही - ते AI च्या मूलभूत गोष्टी शिकवते.

स्त्रोत: www.habr.com