ডিপমাইন্ড এআই মাস্টার্স টিম প্লে এবং কোয়েক III-তে মানুষের চেয়ে এগিয়ে

পতাকা ক্যাপচার করা একটি মোটামুটি সহজ প্রতিযোগিতামূলক মোড যা অনেক জনপ্রিয় শ্যুটারদের মধ্যে পাওয়া যায়। প্রতিটি দলের বেসে অবস্থিত একটি মার্কার থাকে, এবং লক্ষ্য প্রতিপক্ষ দলের মার্কারকে ক্যাপচার করা এবং সফলভাবে নিজের কাছে নিয়ে আসা। যাইহোক, মানুষের পক্ষে যা বোঝা সহজ তা মেশিনের পক্ষে এত সহজ নয়। পতাকা ক্যাপচার করার জন্য, নন-প্লেয়ার অক্ষর (বট) ঐতিহ্যগতভাবে হিউরিস্টিকস এবং সাধারণ অ্যালগরিদম ব্যবহার করে প্রোগ্রাম করা হয় যা পছন্দের সীমিত স্বাধীনতা প্রদান করে এবং মানুষের থেকে উল্লেখযোগ্যভাবে নিকৃষ্ট। কিন্তু কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং এই পরিস্থিতিকে সম্পূর্ণ পরিবর্তন করার প্রতিশ্রুতি দেয়।

В প্রবন্ধ, প্রায় এক বছর পর এই সপ্তাহে সায়েন্স জার্নালে প্রকাশিত হয়েছে প্রিপ্রিন্ট, পাশাপাশি হিসাবে আপনার ব্লগ, ডিপমাইন্ড, অ্যালফাবেটের একটি লন্ডন-ভিত্তিক সহযোগী প্রতিষ্ঠানের গবেষকরা, এমন একটি সিস্টেম বর্ণনা করেছেন যা শুধুমাত্র আইডি সফ্টওয়্যারের কোয়েক III এরিনা মানচিত্রে পতাকা ক্যাপচার করতে শিখতে পারে না, তবে সম্পূর্ণ নতুন টিম কৌশলও তৈরি করতে পারে, কোনোভাবেই মানুষের থেকে নিকৃষ্ট নয়।

“কেউ এআইকে এই গেমটি কীভাবে খেলতে হবে তা জানায়নি, এটির কেবল ফলাফল ছিল - এআই তার প্রতিপক্ষকে পরাজিত করুক বা না করুক। এই পদ্ধতিটি ব্যবহার করার সৌন্দর্য হল যে আপনি কখনই জানেন না যে আপনি যখন এজেন্টদের প্রশিক্ষণ দেবেন তখন কী আচরণ ফুটে উঠবে,” বলেছেন ডিপমাইন্ডের একজন গবেষণা বিজ্ঞানী ম্যাক্স জাডারবার্গ যিনি আগে মেশিন লার্নিং সিস্টেম আলফাস্টারে কাজ করেছিলেন (সম্প্রতি ছাড়িয়ে গেছে StarCraft II-তে পেশাদারদের মানব দল)। তিনি আরও ব্যাখ্যা করেছিলেন যে তাদের নতুন কাজের মূল পদ্ধতিটি হল, প্রথমত, চাঙ্গা শিক্ষা, যা সফ্টওয়্যার এজেন্টদের নির্দিষ্ট লক্ষ্য অর্জনের জন্য ঠেলে দেওয়ার জন্য এক ধরণের পুরষ্কার সিস্টেম ব্যবহার করে এবং AI টিম জিতেছে বা না করেছে তা নির্বিশেষে পুরস্কার সিস্টেম কাজ করে। , কিন্তু -দ্বিতীয়ভাবে, এজেন্টদের দলে প্রশিক্ষিত করা হয়েছিল, যা এআইকে প্রথম থেকেই টিম ইন্টারঅ্যাকশন মাস্টার করতে বাধ্য করেছিল।

"একটি গবেষণার দৃষ্টিকোণ থেকে, এটি একটি অ্যালগরিদমিক পদ্ধতির জন্য একটি অভিনবত্ব যা সত্যিই উত্তেজনাপূর্ণ," ম্যাক্স যোগ করেছেন। "আমরা যেভাবে আমাদের এআইকে প্রশিক্ষণ দিয়েছি তা ভালভাবে দেখায় যে কীভাবে কিছু ক্লাসিক বিবর্তনীয় ধারণাগুলিকে স্কেল করা যায় এবং বাস্তবায়ন করা যায়।"

উস্কানিমূলকভাবে ফর দ্য উইন (FTW) নামকরণ করা হয়েছে, ডিপমাইন্ডের এজেন্টরা একটি কনভোল্যুশনাল নিউরাল নেটওয়ার্ক ব্যবহার করে স্ক্রীন পিক্সেল থেকে সরাসরি শিখে, মানুষের ভিজ্যুয়াল কর্টেক্সের অনুকরণে স্তরে সাজানো গাণিতিক ফাংশন (নিউরন) এর একটি সেট। প্রাপ্ত ডেটা একাধিক স্বল্প-মেয়াদী মেমরি সহ দুটি নেটওয়ার্কে প্রেরণ করা হয় (ইংরেজি দীর্ঘ স্বল্প-মেয়াদী মেমরি - LSTM), দীর্ঘমেয়াদী নির্ভরতা সনাক্ত করতে সক্ষম। তাদের মধ্যে একটি দ্রুত প্রতিক্রিয়া গতির সাথে অপারেশনাল ডেটা পরিচালনা করে, অন্যটি কৌশল বিশ্লেষণ এবং প্রণয়নের জন্য ধীরে ধীরে কাজ করে। উভয়ই বৈচিত্রময় মেমরির সাথে যুক্ত, যা তারা গেম জগতের পরিবর্তনের পূর্বাভাস দিতে এবং অনুকরণ করা গেম কন্ট্রোলারের মাধ্যমে ক্রিয়া সম্পাদন করতে একসাথে ব্যবহার করে।

মোট, ডিপমাইন্ড 30 জন এজেন্টকে প্রশিক্ষণ দিয়েছে, তাদের সাথে খেলার জন্য অনেক সতীর্থ এবং প্রতিপক্ষকে দিয়েছে এবং এলোমেলোভাবে গেম কার্ডগুলিকে বেছে নিয়েছে যাতে AI তাদের মনে রাখতে না পারে। প্রতিটি এজেন্টের নিজস্ব পুরষ্কার সংকেত ছিল, এটি পতাকা ক্যাপচারের মতো নিজস্ব অভ্যন্তরীণ লক্ষ্য তৈরি করতে দেয়। প্রতিটি AI পৃথকভাবে পতাকা ক্যাপচারের প্রায় 450 হাজার গেম খেলেছে, যা প্রায় চার বছরের গেমিং অভিজ্ঞতার সমতুল্য।

সম্পূর্ণ প্রশিক্ষিত FTW এজেন্টরা যেকোন মানচিত্র, টিম রোস্টার এবং দলের আকারে সাধারণ কৌশল প্রয়োগ করতে শিখেছে। তারা সতীর্থদের অনুসরণ করা, শত্রুর ঘাঁটিতে ক্যাম্পিং করা এবং আক্রমণকারীদের থেকে তাদের ঘাঁটি রক্ষা করার মতো মানবিক আচরণগুলি শিখেছে এবং তারা ধীরে ধীরে কম উপকারী নিদর্শন হারিয়েছে যেমন মিত্রকে খুব কাছ থেকে দেখা।

তাহলে কি ফলাফল অর্জিত হয়েছে? 40-জনের একটি টুর্নামেন্টে যেখানে মানুষ এবং এজেন্টরা এলোমেলোভাবে একসাথে এবং একে অপরের বিরুদ্ধে উভয়ই খেলেছে, FTW এজেন্টরা মানব খেলোয়াড়দের জয়ের হারকে উল্লেখযোগ্যভাবে ছাড়িয়ে গেছে। AI এর Elo রেটিং, যা জয়ের সম্ভাবনা, ছিল 1600, যেখানে "শক্তিশালী" মানব খেলোয়াড়দের জন্য 1300 এবং "গড়" মানব খেলোয়াড়ের জন্য 1050 ছিল।

এটি আশ্চর্যজনক নয়, যেহেতু AI এর প্রতিক্রিয়া গতি মানুষের তুলনায় উল্লেখযোগ্যভাবে বেশি, যা প্রারম্ভিক পরীক্ষায় প্রাক্তনটিকে একটি উল্লেখযোগ্য সুবিধা দিয়েছে। কিন্তু বিল্ট-ইন 257 মিলিসেকেন্ড লেটেন্সির কারণে যখন এজেন্টদের নির্ভুলতা হ্রাস করা হয়েছিল এবং প্রতিক্রিয়ার সময় বৃদ্ধি পেয়েছে, তখনও AI এখনও মানুষের চেয়ে এগিয়ে। উন্নত এবং নৈমিত্তিক খেলোয়াড়রা মোট গেমের মাত্র 21% এবং 12% জিতেছে।

অধিকন্তু, গবেষণাটি প্রকাশের পরে, বিজ্ঞানীরা জটিল স্তরের আর্কিটেকচার এবং ফিউচার ক্রসিংস এবং আয়রনউডের মতো অতিরিক্ত বস্তু সহ পূর্ণাঙ্গ কোয়েক III এরিনা মানচিত্রে এজেন্টদের পরীক্ষা করার সিদ্ধান্ত নিয়েছিলেন, যেখানে AI টেস্ট ম্যাচে সফলভাবে মানুষকে চ্যালেঞ্জ করতে শুরু করেছিল। . গবেষকরা যখন এজেন্টদের নিউরাল নেটওয়ার্ক অ্যাক্টিভেশন প্যাটার্নের দিকে তাকালেন, অর্থাৎ, ইনকামিং তথ্যের উপর ভিত্তি করে আউটপুট নির্ধারণের জন্য দায়ী নিউরনের কার্যকারিতা, তারা রুম প্রতিনিধিত্বকারী ক্লাস্টার, পতাকার অবস্থা, সতীর্থ এবং প্রতিপক্ষের দৃশ্যমানতা এবং শত্রু ঘাঁটিতে এজেন্টদের উপস্থিতি বা অনুপস্থিতি। বা দল-ভিত্তিক, এবং গেমপ্লের অন্যান্য গুরুত্বপূর্ণ দিক। এমনকি প্রশিক্ষিত এজেন্টদের মধ্যে এমন নিউরনও থাকে যা নির্দিষ্ট পরিস্থিতিতে সরাসরি এনকোড করে, যেমন যখন একটি পতাকা কোনো এজেন্ট দ্বারা নেওয়া হয় বা যখন কোনো মিত্র তা ধরে রাখে।

"আমি মনে করি যে জিনিসগুলি দেখতে হবে তা হল এই মাল্টি-এজেন্ট দলগুলি অত্যন্ত শক্তিশালী, এবং আমাদের অধ্যয়ন এটি প্রদর্শন করে," জাডারবার্গ বলেছেন। "গত কয়েক বছর ধরে আমরা এটিই আরও ভাল এবং আরও ভাল করতে শিখছি - কীভাবে শক্তিবৃদ্ধি শেখার সমস্যা সমাধান করা যায়।" এবং উন্নত প্রশিক্ষণ সত্যিই দুর্দান্তভাবে কাজ করেছে।"

থোর গ্রেপেল, ইউনিভার্সিটি কলেজ লন্ডনের কম্পিউটার বিজ্ঞানের অধ্যাপক এবং একজন ডিপমাইন্ড বিজ্ঞানী, বিশ্বাস করেন তাদের কাজ এআই-এর ভবিষ্যতের জন্য মাল্টি-এজেন্ট শেখার সম্ভাবনাকে তুলে ধরে। এটি মানব-মেশিন মিথস্ক্রিয়া এবং একে অপরের পরিপূরক বা একসাথে কাজ করে এমন সিস্টেমগুলিতে গবেষণার ভিত্তি হিসাবেও কাজ করতে পারে।

“আমাদের ফলাফলগুলি দেখায় যে মাল্টি-এজেন্ট রিইনফোর্সমেন্ট লার্নিং সফলভাবে একটি জটিল গেমকে এমনভাবে আয়ত্ত করতে পারে যেখানে মানব খেলোয়াড়রা এমনকি বিশ্বাস করতে পারে যে কম্পিউটার প্লেয়াররা আরও ভাল সতীর্থ তৈরি করে। গবেষণাটি প্রশিক্ষিত এজেন্টরা কীভাবে আচরণ করে এবং একসাথে কাজ করে তার অত্যন্ত আকর্ষণীয় গভীর বিশ্লেষণও প্রদান করে, গ্র্যাপেল বলেছেন। "যা এই ফলাফলগুলিকে এত উত্তেজনাপূর্ণ করে তোলে তা হল যে এই এজেন্টরা প্রথম ব্যক্তির মধ্যে তাদের পরিবেশ উপলব্ধি করে, [অর্থাৎ] একজন মানব খেলোয়াড়ের মতো। কীভাবে কৌশলগতভাবে খেলতে হয় এবং তাদের সতীর্থদের সাথে সহযোগিতা করতে হয় তা শিখতে, এই এজেন্টদের খেলার ফলাফলের প্রতিক্রিয়ার উপর নির্ভর করতে হয়েছিল, কোন শিক্ষক বা কোচ তাদের কী করতে হবে তা না দেখিয়ে।"

উত্স: 3dnews.ru