ওপেনএআই লুকোচুরির খেলায় এআই টিমওয়ার্ক শেখায়

লুকোচুরির একটি ভাল পুরনো দিনের খেলা কৃত্রিম বুদ্ধিমত্তা (AI) বটগুলির জন্য একটি দুর্দান্ত পরীক্ষা হতে পারে যাতে তারা কীভাবে সিদ্ধান্ত নেয় এবং একে অপরের সাথে এবং তাদের চারপাশের বিভিন্ন বস্তুর সাথে যোগাযোগ করে তা প্রদর্শন করতে পারে।

এটার ভিতর নতুন নিবন্ধ, ওপেনএআই এর গবেষকদের দ্বারা প্রকাশিত, একটি অলাভজনক কৃত্রিম বুদ্ধিমত্তা গবেষণা সংস্থা যা বিখ্যাত হয়ে উঠেছে বিশ্ব চ্যাম্পিয়নদের বিরুদ্ধে জয় কম্পিউটার গেম ডোটা 2-এ, বিজ্ঞানীরা বর্ণনা করেছেন যে কীভাবে কৃত্রিম বুদ্ধিমত্তা দ্বারা নিয়ন্ত্রিত এজেন্টরা ভার্চুয়াল পরিবেশে একে অপরের থেকে অনুসন্ধান এবং লুকানোর ক্ষেত্রে আরও পরিশীলিত হতে প্রশিক্ষিত হয়েছিল। সমীক্ষার ফলাফলগুলি দেখিয়েছে যে দুটি বটের একটি দল মিত্র ছাড়াই যে কোনও একক এজেন্টের চেয়ে আরও কার্যকরভাবে এবং দ্রুত শিখে।

বিজ্ঞানীরা এমন একটি পদ্ধতি ব্যবহার করেছেন যা দীর্ঘদিন ধরে এর খ্যাতি জিতেছে শক্তিবৃদ্ধি সহ মেশিন লার্নিং, যেখানে কৃত্রিম বুদ্ধিমত্তা এটির সাথে অজানা পরিবেশে স্থাপন করা হয়, যখন এটির সাথে ইন্টারঅ্যাক্ট করার নির্দিষ্ট উপায় থাকে, সেইসাথে এর ক্রিয়াকলাপের এক বা অন্য ফলাফলের জন্য পুরষ্কার এবং জরিমানা করার একটি ব্যবস্থা থাকে। ভার্চুয়াল পরিবেশে ভার্চুয়াল এনভায়রনমেন্টে বিভিন্ন ক্রিয়া সম্পাদন করার ক্ষমতার কারণে এই পদ্ধতিটি বেশ কার্যকর, যা একজন ব্যক্তি কল্পনা করতে পারে তার চেয়ে কয়েক মিলিয়ন গুণ দ্রুত। এটি একটি প্রদত্ত সমস্যা সমাধানের জন্য সবচেয়ে কার্যকর কৌশলগুলি খুঁজে পেতে ট্রায়াল এবং ত্রুটির অনুমতি দেয়। তবে এই পদ্ধতিরও কিছু সীমাবদ্ধতা রয়েছে, উদাহরণস্বরূপ, একটি পরিবেশ তৈরি করা এবং অসংখ্য প্রশিক্ষণ চক্র পরিচালনার জন্য বিশাল কম্পিউটিং সংস্থানগুলির প্রয়োজন এবং প্রক্রিয়াটির জন্যই AI কর্মের ফলাফলগুলিকে তার লক্ষ্যের সাথে তুলনা করার জন্য একটি সঠিক সিস্টেমের প্রয়োজন। উপরন্তু, এইভাবে এজেন্ট দ্বারা অর্জিত দক্ষতা বর্ণিত কাজের মধ্যে সীমাবদ্ধ এবং, একবার AI এটির সাথে মানিয়ে নিতে শিখলে, আর কোন উন্নতি হবে না।

লুকোচুরি খেলার জন্য AI-কে প্রশিক্ষণ দেওয়ার জন্য, বিজ্ঞানীরা "আনডাইরেক্টেড এক্সপ্লোরেশন" নামক একটি পদ্ধতি ব্যবহার করেছিলেন, যেখানে এজেন্টদের গেমের বিশ্ব সম্পর্কে তাদের বোঝার বিকাশ এবং বিজয়ী কৌশলগুলি তৈরি করার সম্পূর্ণ স্বাধীনতা রয়েছে। এটি মাল্টি-এজেন্ট শেখার পদ্ধতির মতো যা ডিপমাইন্ডের গবেষকরা একাধিক কৃত্রিম বুদ্ধিমত্তা সিস্টেম ব্যবহার করার সময় ব্যবহার করেছিলেন কোয়েক III এরিনায় পতাকা মোড ক্যাপচার খেলার জন্য প্রশিক্ষণ দেওয়া হয়েছিল. এই ক্ষেত্রে, এআই এজেন্টরা আগে গেমের নিয়মগুলিতে প্রশিক্ষিত ছিল না, তবে সময়ের সাথে সাথে তারা মৌলিক কৌশলগুলি শিখেছিল এবং এমনকি অ-তুচ্ছ সমাধান দিয়ে গবেষকদের অবাক করতে সক্ষম হয়েছিল।

লুকোচুরির খেলায়, বেশ কিছু এজেন্ট যাদের কাজটি লুকিয়ে রাখা ছিল তাদের প্রতিপক্ষের দৃষ্টি এড়ানোর প্রয়োজন ছিল সামান্য মাথার সূচনার পর যখন অনুসন্ধানকারী এজেন্টদের দলটি স্থির ছিল। তদুপরি, এই প্রসঙ্গে "দৃষ্টির রেখা" হল একটি পৃথক বটের সামনে একটি 135 ডিগ্রি শঙ্কু। এজেন্টরা খেলার জায়গার বাইরে খুব বেশি দূরে যেতে পারেনি এবং চারপাশে ছড়িয়ে ছিটিয়ে থাকা কিছু বাহ্যিক বস্তু (বাক্স, চলমান দেয়াল, বিশেষ র‌্যাম্প) ব্যবহার করার ক্ষমতা সহ এলোমেলোভাবে তৈরি কক্ষগুলি নেভিগেট করতে বাধ্য হয়েছিল যা কভার তৈরি করতে এবং তাদের মধ্যে অনুপ্রবেশ করতে উভয়ই ব্যবহার করা যেতে পারে। .

একটি দীর্ঘ শেখার প্রক্রিয়ার মাধ্যমে, এআই এজেন্টরা ছয়টি অনন্য কৌশল শিখেছে, যার প্রতিটি তাদের গেমের পরবর্তী পর্যায়ে অগ্রসর হতে সাহায্য করেছে। প্রথমে, অন্বেষণকারী এবং লুকিয়ে থাকা দলগুলি কেবল পালিয়ে গিয়েছিল এবং একে অপরকে তাড়া করেছিল, কিন্তু প্রায় 25 মিলিয়ন ম্যাচের পরে, লুকানো দলটি বাক্সগুলির সাথে প্যাসেজগুলিকে ব্লক করতে এবং সেগুলি থেকে আশ্রয় তৈরি করতে শিখেছিল। আরও 75 মিলিয়ন ম্যাচের পরে, দলটি এই আস্তানাগুলিতে প্রবেশের জন্য র‌্যাম্প ব্যবহার করার উপায়গুলি আবিষ্কার করেছিল। আরও 10 মিলিয়ন রাউন্ডের পরে, হাইডাররা র‌্যাম্পগুলিকে খেলার ক্ষেত্রের প্রান্তে টেনে আনতে শিখেছিল এবং প্রতিপক্ষকে সেগুলি ব্যবহার করতে বাধা দেওয়ার জন্য তাদের জায়গায় লক করতে শিখেছিল।

388 মিলিয়ন ম্যাচের পরে, সন্ধানকারীরা তাদের কাছে আনা ক্রেটে আরোহণ করার জন্য অবরুদ্ধ র‌্যাম্প ব্যবহার করতে শিখেছে এবং তারপরে, সরাসরি তাদের উপর চলে গিয়ে, বহনযোগ্য দেয়াল থেকে তৈরি শত্রুদের আস্তানাগুলি ভেদ করতে শিখেছে। এবং অবশেষে, 458 মিলিয়ন ম্যাচের পরে, লুকিয়ে থাকা দলটি উপসংহারে পৌঁছেছে যে তাদের সমস্ত বস্তুকে ব্লক করতে হবে এবং তারপরে একটি আশ্রয় তৈরি করতে হবে, যা দৃশ্যত তাদের চূড়ান্ত বিজয়ের দিকে পরিচালিত করেছিল।

যা বিশেষভাবে চিত্তাকর্ষক তা হল যে 22 মিলিয়ন ম্যাচের পরে, এজেন্টরা তাদের ক্রিয়াকলাপগুলিকে সমন্বয় করতে শিখেছে এবং তাদের সহযোগিতার কার্যকারিতা কেবল ভবিষ্যতে বৃদ্ধি পেয়েছে, উদাহরণস্বরূপ, প্রত্যেকে একটি আশ্রয় তৈরি করতে তাদের নিজস্ব বাক্স বা প্রাচীর নিয়ে এসেছে এবং তাদের বস্তুর অংশ বেছে নিয়েছে বিরোধীদের জন্য এটি আরও কঠিন খেলা করতে ব্লক করুন।

বিজ্ঞানীরা শেখার গতিতে প্রশিক্ষণের বস্তুর সংখ্যা (নিউরাল নেটওয়ার্কের মাধ্যমে পাস করা ডেটার পরিমাণ - "ব্যাচের আকার") এর প্রভাব সম্পর্কিত একটি গুরুত্বপূর্ণ বিষয়ও উল্লেখ করেছেন। ডিফল্ট মডেলটিতে 132,3 ঘন্টার প্রশিক্ষণের জন্য 34 মিলিয়ন ম্যাচের প্রয়োজন ছিল যেখানে লুকিয়ে থাকা দলটি র‌্যাম্পগুলি ব্লক করতে শিখেছে, যেখানে আরও ডেটা প্রশিক্ষণের সময় লক্ষণীয়ভাবে হ্রাস করেছে। উদাহরণস্বরূপ, প্যারামিটারের সংখ্যা (সম্পূর্ণ প্রশিক্ষণ প্রক্রিয়া চলাকালীন প্রাপ্ত ডেটার অংশ) 0,5 মিলিয়ন থেকে 5,8 মিলিয়নে বৃদ্ধির ফলে স্যাম্পলিং দক্ষতা 2,2 গুণ বৃদ্ধি পেয়েছে, এবং ইনপুট ডেটার আকার 64 KB থেকে 128 KB হ্রাস করা প্রশিক্ষণকে হ্রাস করেছে। সময় প্রায় দেড় বার।

তাদের কাজ শেষে, গবেষকরা পরীক্ষা করার সিদ্ধান্ত নিয়েছিলেন যে কতটা ইন-গেম প্রশিক্ষণ এজেন্টদের গেমের বাইরে একই ধরনের কাজগুলি মোকাবেলায় সহায়তা করতে পারে। মোট পাঁচটি পরীক্ষা ছিল: বস্তুর সংখ্যা সম্পর্কে সচেতনতা (বোঝে যে একটি বস্তুর অস্তিত্ব অব্যাহত থাকে যদিও এটি দৃষ্টির বাইরে থাকে এবং ব্যবহার না করা হয়); "লক এবং রিটার্ন" - একজনের আসল অবস্থান মনে রাখার ক্ষমতা এবং কিছু অতিরিক্ত কাজ শেষ করার পরে এটিতে ফিরে যাওয়ার ক্ষমতা; "অনুক্রমিক ব্লকিং" - 4টি বাক্স এলোমেলোভাবে দরজা ছাড়াই তিনটি কক্ষে অবস্থিত ছিল, কিন্তু ভিতরে প্রবেশের জন্য র‌্যাম্প সহ, এজেন্টদের সেগুলিকে খুঁজে বের করতে এবং ব্লক করতে হবে; পূর্বনির্ধারিত সাইটে বাক্স স্থাপন; একটি সিলিন্ডার আকারে একটি বস্তুর চারপাশে একটি আশ্রয় তৈরি করা।

ফলস্বরূপ, পাঁচটি কাজের মধ্যে তিনটিতে, যে বটগুলি গেমের প্রাথমিক প্রশিক্ষণ নিয়েছিল তারা দ্রুত শিখেছে এবং স্ক্র্যাচ থেকে সমস্যাগুলি সমাধান করার জন্য প্রশিক্ষিত AI-এর চেয়ে ভাল ফলাফল দেখিয়েছে। তারা কাজটি সম্পূর্ণ করতে এবং প্রারম্ভিক অবস্থানে ফিরে আসার ক্ষেত্রে, ক্রমানুসারে বন্ধ কক্ষে বাক্সগুলি ব্লক করা এবং প্রদত্ত এলাকায় বাক্স স্থাপন করার ক্ষেত্রে কিছুটা ভাল পারফর্ম করেছে, কিন্তু বস্তুর সংখ্যা সনাক্ত করতে এবং অন্য বস্তুর চারপাশে আবরণ তৈরি করার ক্ষেত্রে কিছুটা দুর্বল পারফর্ম করেছে।

গবেষকরা মিশ্র ফলাফলগুলিকে দায়ী করেছেন কীভাবে এআই কিছু দক্ষতা শেখে এবং মনে রাখে। “আমরা মনে করি যে কাজগুলি যেখানে গেমের প্রাক-প্রশিক্ষণ সর্বোত্তমভাবে পারফর্ম করেছে সেগুলি পূর্বে শেখা দক্ষতাগুলিকে পরিচিত উপায়ে পুনঃব্যবহার করার সাথে জড়িত, বাকি কাজগুলি স্ক্র্যাচ থেকে প্রশিক্ষিত AI-এর চেয়ে ভালভাবে সম্পাদন করার জন্য সেগুলিকে অন্যভাবে ব্যবহার করতে হবে, যা অনেকটাই আরও জটিল,” কাজের সহ-লেখক লিখুন। "এই ফলাফলটি প্রশিক্ষণের মাধ্যমে অর্জিত দক্ষতাগুলিকে এক পরিবেশ থেকে অন্য পরিবেশে স্থানান্তর করার সময় কার্যকরভাবে পুনঃব্যবহারের জন্য পদ্ধতিগুলি বিকাশের প্রয়োজনীয়তা তুলে ধরে।"

যে কাজটি করা হয়েছে তা সত্যিই চিত্তাকর্ষক, যেহেতু এই শিক্ষার পদ্ধতিটি ব্যবহার করার সম্ভাবনা যে কোনও গেমের সীমার বাইরে রয়েছে। গবেষকরা বলছেন যে তাদের কাজ "পদার্থবিজ্ঞান-ভিত্তিক" এবং "মানুষের মতো" আচরণের সাথে AI তৈরির দিকে একটি গুরুত্বপূর্ণ পদক্ষেপ যা রোগ নির্ণয় করতে পারে, জটিল প্রোটিন অণুর গঠনের পূর্বাভাস দিতে পারে এবং সিটি স্ক্যান বিশ্লেষণ করতে পারে।

নীচের ভিডিওতে আপনি স্পষ্টভাবে দেখতে পাচ্ছেন যে কীভাবে সম্পূর্ণ শেখার প্রক্রিয়াটি ঘটেছিল, কীভাবে AI টিমওয়ার্ক শিখেছিল এবং এর কৌশলগুলি আরও বেশি ধূর্ত এবং জটিল হয়ে উঠেছে।

উত্স: 3dnews.ru