শক্তিবৃদ্ধি শেখার বা বিবর্তনীয় কৌশল? - উভয়

হে হাবর!

আমরা প্রায়শই এখানে দুই বছর পুরানো পাঠ্যের অনুবাদ পোস্ট করার সিদ্ধান্ত নেই, কোড ছাড়াই এবং স্পষ্টভাবে একাডেমিক প্রকৃতির - কিন্তু আজ আমরা একটি ব্যতিক্রম করব। আমরা আশা করি যে নিবন্ধটির শিরোনামে উদ্ভূত দ্বিধা আমাদের অনেক পাঠককে উদ্বিগ্ন করে, এবং আপনি ইতিমধ্যেই বিবর্তনমূলক কৌশলগুলির মৌলিক কাজটি পড়েছেন যার সাথে এই পোস্টটি মূল যুক্তি দেয় বা এখন এটি পড়বে। বিড়াল স্বাগতম!

মার্চ 2017-এ, OpenAI কাগজটি দিয়ে গভীর শিক্ষা সম্প্রদায়ের মধ্যে তরঙ্গ সৃষ্টি করেছিলশক্তিবৃদ্ধি শেখার একটি পরিমাপযোগ্য বিকল্প হিসাবে বিবর্তন কৌশল" এই কাজটি এই সত্যের পক্ষে চিত্তাকর্ষক ফলাফল বর্ণনা করেছে যে রিইনফোর্সমেন্ট লার্নিং (RL) একটি কীলক হয়ে ওঠেনি এবং জটিল নিউরাল নেটওয়ার্ক প্রশিক্ষণের সময়, অন্যান্য পদ্ধতিগুলি চেষ্টা করার পরামর্শ দেওয়া হয়। তারপরে একটি বিতর্কের সূত্রপাত হয় শক্তিবৃদ্ধি শেখার গুরুত্ব এবং শিক্ষার সমস্যা সমাধানের জন্য "অবশ্যই" প্রযুক্তি হিসাবে এটির মর্যাদা কতটা প্রাপ্য তা নিয়ে। এখানে আমি বলতে চাই যে এই দুটি প্রযুক্তিকে প্রতিযোগী হিসাবে বিবেচনা করা উচিত নয়, যার একটি স্পষ্টতই অন্যটির চেয়ে ভাল; বিপরীতভাবে, তারা শেষ পর্যন্ত একে অপরের পরিপূরক। প্রকৃতপক্ষে, আপনি যদি এটি তৈরি করতে লাগে তা সম্পর্কে একটু চিন্তা সাধারণ এআই এবং এই ধরনের সিস্টেম, যা তাদের অস্তিত্ব জুড়ে শেখা, বিচার এবং পরিকল্পনা করতে সক্ষম হবে, তাহলে আমরা প্রায় নিশ্চিতভাবে এই সিদ্ধান্তে উপনীত হব যে এই বা সেই সম্মিলিত সমাধানের প্রয়োজন হবে। যাইহোক, এটি অবিকল এই সম্মিলিত সমাধান ছিল যা প্রকৃতি এসেছিল, যা বিবর্তনের সময় স্তন্যপায়ী প্রাণী এবং অন্যান্য উচ্চতর প্রাণীদের জটিল বুদ্ধিমত্তা দিয়েছিল।

বিবর্তনীয় কৌশল

ওপেনএআই পেপারের মূল থিসিসটি ছিল যে, ঐতিহ্যগত ব্যাকপ্রোপাগেশনের সাথে রিইনফোর্সমেন্ট লার্নিং ব্যবহার করার পরিবর্তে, তারা একটি "বিবর্তনীয় কৌশল" (ES) ব্যবহার করে জটিল সমস্যা সমাধানের জন্য একটি নিউরাল নেটওয়ার্ককে সফলভাবে প্রশিক্ষিত করেছে। এই ES পদ্ধতির মধ্যে রয়েছে ওজনের একটি নেটওয়ার্ক-ব্যাপী বন্টন বজায় রাখা, সমান্তরালভাবে কাজ করা একাধিক এজেন্ট এবং এই বিতরণ থেকে নির্বাচিত পরামিতিগুলি ব্যবহার করে। প্রতিটি এজেন্ট তার নিজস্ব পরিবেশে কাজ করে এবং একটি পর্বের নির্দিষ্ট সংখ্যক পর্ব বা পর্যায় শেষ করার পরে, অ্যালগরিদম একটি ক্রমবর্ধমান পুরস্কার প্রদান করে, যা ফিটনেস স্কোর হিসাবে প্রকাশ করা হয়। এই মানটিকে বিবেচনায় নিয়ে, পরামিতিগুলির বন্টন আরও সফল এজেন্টদের দিকে স্থানান্তরিত করা যেতে পারে, কম সফল ব্যক্তিদের বঞ্চিত করে। শত শত এজেন্টদের অংশগ্রহণের সাথে এই ধরনের একটি অপারেশন লক্ষ লক্ষ বার পুনরাবৃত্তি করে, ওজনের বন্টনকে এমন একটি জায়গায় স্থানান্তর করা সম্ভব যা এজেন্টদের তাদের অর্পিত কাজটি সমাধান করার জন্য একটি উচ্চ-মানের নীতি তৈরি করতে দেয়। প্রকৃতপক্ষে, নিবন্ধে উপস্থাপিত ফলাফলগুলি চিত্তাকর্ষক: এটি দেখানো হয়েছে যে আপনি যদি সমান্তরালভাবে এক হাজার এজেন্ট চালান, তবে দুই পায়ে নৃতাত্ত্বিক গতিবিধি আধ ঘন্টারও কম সময়ে শেখা যেতে পারে (যদিও সবচেয়ে উন্নত RL পদ্ধতিতেও বেশি খরচ করা প্রয়োজন। এর উপর এক ঘন্টার বেশি)। আরো বিস্তারিত তথ্যের জন্য, আমি চমৎকার পড়ার পরামর্শ দিই পোস্ট পরীক্ষার লেখক থেকে, সেইসাথে বৈজ্ঞানিক নিবন্ধ.

নৃতাত্ত্বিক সোজা হাঁটা শেখানোর জন্য বিভিন্ন কৌশল, OpenAI থেকে ES পদ্ধতি ব্যবহার করে অধ্যয়ন করা হয়েছে।

কালো বাক্স

এই পদ্ধতির বড় সুবিধা হল এটি সহজেই সমান্তরাল করা যায়। যদিও RL পদ্ধতি, যেমন A3C, কর্মী থ্রেড এবং একটি প্যারামিটার সার্ভারের মধ্যে তথ্য আদান-প্রদানের প্রয়োজন, ES-এর শুধুমাত্র ফিটনেস অনুমান এবং সাধারণীকৃত প্যারামিটার বিতরণ তথ্য প্রয়োজন। এই সরলতার কারণে এই পদ্ধতিটি স্কেলিং ক্ষমতার দিক থেকে আধুনিক RL পদ্ধতির চেয়ে অনেক এগিয়ে। যাইহোক, এই সব বৃথা আসে না: আপনি কালো বক্স নীতি অনুযায়ী নেটওয়ার্ক অপ্টিমাইজ করতে হবে. এই ক্ষেত্রে, "ব্ল্যাক বক্স" এর অর্থ হল যে প্রশিক্ষণের সময় নেটওয়ার্কের অভ্যন্তরীণ কাঠামো সম্পূর্ণরূপে উপেক্ষা করা হয়, এবং শুধুমাত্র সামগ্রিক ফলাফল (পর্বের জন্য পুরষ্কার) ব্যবহার করা হয় এবং এটি একটি নির্দিষ্ট নেটওয়ার্কের ওজন হবে কিনা তার উপর নির্ভর করে। পরবর্তী প্রজন্মের দ্বারা উত্তরাধিকারসূত্রে প্রাপ্ত হবে। এমন পরিস্থিতিতে যেখানে আমরা পরিবেশ থেকে খুব বেশি প্রতিক্রিয়া পাই না—এবং অনেক প্রথাগত RL সমস্যায় পুরষ্কারের প্রবাহ খুবই বিরল—সমস্যা একটি "আংশিক কালো বক্স" থেকে "সম্পূর্ণ ব্ল্যাক বক্স"-এ পরিণত হয়। এই ক্ষেত্রে, আপনি উল্লেখযোগ্যভাবে উত্পাদনশীলতা বৃদ্ধি করতে পারেন, তাই, অবশ্যই, এই ধরনের একটি আপস ন্যায্য। "যদিও তারা হতাশাজনকভাবে শোরগোল করে তবে গ্রেডিয়েন্টের প্রয়োজন কার?" - এটি সাধারণ মতামত।

যাইহোক, যে পরিস্থিতিতে প্রতিক্রিয়া আরও সক্রিয়, জিনিসগুলি ES এর জন্য ভুল হতে শুরু করে। OpenAI দল বর্ণনা করে যে কিভাবে একটি সাধারণ MNIST শ্রেণীবিভাগ নেটওয়ার্ককে ES ব্যবহার করে প্রশিক্ষিত করা হয়েছিল, এবং এইবার প্রশিক্ষণটি 1000 গুণ ধীরগতির ছিল। আসল বিষয়টি হ'ল ইমেজ শ্রেণীবিভাগে গ্রেডিয়েন্ট সিগন্যালটি কীভাবে নেটওয়ার্ককে আরও ভাল শ্রেণিবিন্যাস শেখানো যায় সে সম্পর্কে অত্যন্ত তথ্যপূর্ণ। এইভাবে, সমস্যাটি RL কৌশলের সাথে কম এবং পরিবেশে বিক্ষিপ্ত পুরষ্কারের সাথে বেশি হয় যা শোরগোল গ্রেডিয়েন্ট তৈরি করে।

প্রকৃতির সমাধান

যদি আমরা প্রকৃতির উদাহরণ থেকে শেখার চেষ্টা করি, এআই বিকাশের উপায়গুলি সম্পর্কে চিন্তা করি, তবে কিছু ক্ষেত্রে এআই হিসাবে ভাবা যেতে পারে সমস্যা ভিত্তিক পদ্ধতি. সর্বোপরি, প্রকৃতি এমন সীমাবদ্ধতার মধ্যে কাজ করে যা কম্পিউটার বিজ্ঞানীদের নেই। একটি মতামত আছে যে একটি নির্দিষ্ট সমস্যা সমাধানের জন্য একটি বিশুদ্ধভাবে তাত্ত্বিক পদ্ধতি পরীক্ষামূলক বিকল্পগুলির চেয়ে আরও কার্যকর সমাধান প্রদান করতে পারে। যাইহোক, আমি এখনও মনে করি এটি পরীক্ষা করা সার্থক হবে যে কীভাবে নির্দিষ্ট সীমাবদ্ধতার (পৃথিবী) অধীনে কাজ করা একটি গতিশীল সিস্টেম নমনীয় এবং জটিল আচরণে সক্ষম এজেন্ট (প্রাণী, বিশেষত স্তন্যপায়ী) তৈরি করেছে। যদিও এই সীমাবদ্ধতাগুলির মধ্যে কিছু সিমুলেটেড ডেটা বিজ্ঞান জগতে প্রযোজ্য নয়, অন্যগুলি ঠিক আছে।

স্তন্যপায়ী প্রাণীদের বুদ্ধিবৃত্তিক আচরণ পরীক্ষা করার পরে, আমরা দেখতে পাই যে এটি দুটি ঘনিষ্ঠভাবে আন্তঃসম্পর্কিত প্রক্রিয়াগুলির জটিল পারস্পরিক প্রভাবের ফলে গঠিত হয়: অন্যদের অভিজ্ঞতা থেকে শেখা и করতে করতে শেখা. প্রাক্তনটিকে প্রায়শই প্রাকৃতিক নির্বাচন দ্বারা চালিত বিবর্তনের সাথে সমতুল্য করা হয়, তবে এখানে আমি এপিজেনেটিক্স, মাইক্রোবায়োম এবং অন্যান্য প্রক্রিয়াগুলিকে বিবেচনায় নিতে একটি বিস্তৃত শব্দ ব্যবহার করি যা জেনেটিকালি সম্পর্কহীন জীবের মধ্যে অভিজ্ঞতা ভাগ করে নেওয়াকে সক্ষম করে। দ্বিতীয় প্রক্রিয়া, অভিজ্ঞতা থেকে শেখা, এমন সমস্ত তথ্য যা একটি প্রাণী তার সারা জীবন ধরে শিখতে পারে এবং এই তথ্যটি সরাসরি বাইরের বিশ্বের সাথে এই প্রাণীর মিথস্ক্রিয়া দ্বারা নির্ধারিত হয়। এই শ্রেণীতে বস্তুগুলিকে চিনতে শেখা থেকে শুরু করে শেখার প্রক্রিয়ার অন্তর্নিহিত যোগাযোগ আয়ত্ত করা পর্যন্ত সবকিছুই অন্তর্ভুক্ত।

মোটামুটিভাবে বলতে গেলে, প্রকৃতিতে ঘটে যাওয়া এই দুটি প্রক্রিয়াকে নিউরাল নেটওয়ার্ক অপ্টিমাইজ করার জন্য দুটি বিকল্পের সাথে তুলনা করা যেতে পারে। বিবর্তনীয় কৌশল, যেখানে গ্রেডিয়েন্ট সম্পর্কিত তথ্য জীব সম্পর্কে তথ্য আপডেট করতে ব্যবহৃত হয়, অন্যদের অভিজ্ঞতা থেকে শেখার কাছাকাছি আসে। একইভাবে, গ্রেডিয়েন্ট পদ্ধতি, যেখানে এক বা অন্য অভিজ্ঞতা অর্জন এজেন্টের আচরণে এক বা অন্য পরিবর্তনের দিকে নিয়ে যায়, নিজের অভিজ্ঞতা থেকে শেখার সাথে তুলনীয়। যদি আমরা চিন্তা করি যে এই দুটি পদ্ধতির প্রতিটি প্রাণীদের মধ্যে বুদ্ধিমান আচরণ বা ক্ষমতার ধরনগুলি বিকাশ করে, তুলনাটি আরও স্পষ্ট হয়ে ওঠে। উভয় ক্ষেত্রেই, "বিবর্তনীয় পদ্ধতি" প্রতিক্রিয়াশীল আচরণের অধ্যয়নকে প্রচার করে যা একজনকে একটি নির্দিষ্ট ফিটনেস বিকাশ করতে দেয় (জীবিত থাকার জন্য যথেষ্ট)। হাঁটতে শেখা বা বন্দীদশা থেকে পালাতে শেখা অনেক ক্ষেত্রে আরও "সহজাত" আচরণের সমতুল্য যা জেনেটিক স্তরে অনেক প্রাণীর মধ্যে "কঠিন"। উপরন্তু, এই উদাহরণটি নিশ্চিত করে যে বিবর্তনীয় পদ্ধতিগুলি সেই ক্ষেত্রে প্রযোজ্য যেখানে পুরস্কারের সংকেত অত্যন্ত বিরল (উদাহরণস্বরূপ, একটি শিশুর সফলভাবে বেড়ে ওঠার ঘটনা)। এই ধরনের ক্ষেত্রে, এই ঘটনাটি ঘটার বহু বছর আগে সম্পাদিত কোনো নির্দিষ্ট কাজের সাথে পুরস্কারের সম্পর্ক স্থাপন করা অসম্ভব। অন্যদিকে, যদি আমরা এমন একটি ক্ষেত্রে বিবেচনা করি যেখানে ES ব্যর্থ হয়, যেমন চিত্র শ্রেণীবিভাগ, ফলাফলগুলি 100-এর বেশি বছর ধরে পরিচালিত অগণিত আচরণগত মনস্তাত্ত্বিক পরীক্ষায় অর্জিত প্রাণী শিক্ষার ফলাফলের সাথে উল্লেখযোগ্যভাবে তুলনীয়।

প্রাণীদের কাছ থেকে শেখা

শক্তিবৃদ্ধি শিক্ষায় ব্যবহৃত পদ্ধতিগুলি অনেক ক্ষেত্রে সরাসরি মনস্তাত্ত্বিক সাহিত্য থেকে নেওয়া হয় অপারেন্ট কন্ডিশনার, এবং অপারেন্ট কন্ডিশনিং পশু মনোবিজ্ঞান ব্যবহার করে অধ্যয়ন করা হয়েছিল। যাইহোক, রিচার্ড সাটন, রিইনফোর্সমেন্ট লার্নিংয়ের দুই প্রতিষ্ঠাতাদের একজন, মনোবিজ্ঞানে স্নাতক ডিগ্রি রয়েছে। অপারেন্ট কন্ডিশনার প্রেক্ষাপটে, প্রাণীরা পুরষ্কার বা শাস্তিকে নির্দিষ্ট আচরণগত নিদর্শনগুলির সাথে যুক্ত করতে শেখে। প্রশিক্ষক এবং গবেষকরা এই পুরষ্কার সমিতিকে এক বা অন্য উপায়ে ম্যানিপুলেট করতে পারেন, প্রাণীদের বুদ্ধিমত্তা বা নির্দিষ্ট আচরণ প্রদর্শন করতে প্ররোচিত করে। যাইহোক, অপারেন্ট কন্ডিশনিং, যা প্রাণী গবেষণায় ব্যবহৃত হয়, একই কন্ডিশনিংয়ের আরও স্পষ্ট রূপ ছাড়া আর কিছুই নয় যার ভিত্তিতে প্রাণীরা তাদের সারা জীবন শিখে। আমরা প্রতিনিয়ত পরিবেশ থেকে ইতিবাচক শক্তিবৃদ্ধির সংকেত পাই এবং সেই অনুযায়ী আমাদের আচরণ সামঞ্জস্য করি। প্রকৃতপক্ষে, অনেক স্নায়ুবিজ্ঞানী এবং জ্ঞানীয় বিজ্ঞানীরা বিশ্বাস করেন যে মানুষ এবং অন্যান্য প্রাণীরা আসলে আরও উচ্চ স্তরে কাজ করে এবং সম্ভাব্য পুরষ্কারের উপর ভিত্তি করে ভবিষ্যতের পরিস্থিতিতে তাদের আচরণের ফলাফলের ভবিষ্যদ্বাণী করতে শেখে।

অভিজ্ঞতা থেকে শেখার ক্ষেত্রে ভবিষ্যদ্বাণীর কেন্দ্রীয় ভূমিকা উপরে বর্ণিত গতিবিদ্যাকে উল্লেখযোগ্য উপায়ে পরিবর্তন করে। যে সংকেতটিকে আগে খুব বিরল (এপিসোডিক পুরষ্কার) হিসাবে বিবেচনা করা হয়েছিল তা খুব ঘন হতে দেখা যাচ্ছে। তাত্ত্বিকভাবে, পরিস্থিতি এমন কিছু: যে কোনো সময়ে, স্তন্যপায়ী প্রাণীর মস্তিষ্ক সংবেদনশীল উদ্দীপনা এবং ক্রিয়াগুলির একটি জটিল প্রবাহের উপর ভিত্তি করে ফলাফল গণনা করে, যখন প্রাণীটি কেবল এই স্রোতে নিমজ্জিত থাকে। এই ক্ষেত্রে, প্রাণীর চূড়ান্ত আচরণ একটি শক্তিশালী সংকেত দেয় যা পূর্বাভাসের সামঞ্জস্য এবং আচরণের বিকাশের জন্য ব্যবহার করা আবশ্যক। মস্তিষ্ক ভবিষ্যতে পূর্বাভাস (এবং, সেই অনুযায়ী, নেওয়া কর্মের গুণমান) অপ্টিমাইজ করার জন্য এই সমস্ত সংকেত ব্যবহার করে। এই পদ্ধতির একটি ওভারভিউ চমৎকার বইতে দেওয়া হয়েছে "সার্ফিং অনিশ্চয়তাজ্ঞানীয় বিজ্ঞানী এবং দার্শনিক অ্যান্ডি ক্লার্ক। যদি আমরা এই ধরনের যুক্তিকে কৃত্রিম এজেন্টদের প্রশিক্ষণে এক্সট্রাপোলেট করি, তাহলে শক্তিবৃদ্ধি শেখার একটি মৌলিক ত্রুটি প্রকাশ পায়: এই দৃষ্টান্তে ব্যবহৃত সংকেতটি যা হতে পারে (বা হওয়া উচিত) তার তুলনায় আশাহীনভাবে দুর্বল। যে ক্ষেত্রে সিগন্যাল স্যাচুরেশন বাড়ানো অসম্ভব (সম্ভবত কারণ এটি সহজাতভাবে দুর্বল বা নিম্ন-স্তরের প্রতিক্রিয়ার সাথে যুক্ত), এটি সম্ভবত একটি প্রশিক্ষণ পদ্ধতি পছন্দ করা ভাল যা ভাল সমান্তরাল, উদাহরণস্বরূপ, ES।

নিউরাল নেটওয়ার্কের সমৃদ্ধ প্রশিক্ষণ

স্তন্যপায়ী মস্তিষ্কের অন্তর্নিহিত উচ্চতর স্নায়ু ক্রিয়াকলাপের নীতির উপর ভিত্তি করে, যা ক্রমাগত ভবিষ্যদ্বাণী করতে ব্যস্ত থাকে, সাম্প্রতিক অগ্রগতি শক্তিবৃদ্ধি শেখার ক্ষেত্রে করা হয়েছে, যা এখন এই ধরনের ভবিষ্যদ্বাণীগুলির গুরুত্বকে বিবেচনা করে। আমি অবিলম্বে আপনার কাছে দুটি অনুরূপ কাজের সুপারিশ করতে পারি:

• ভবিষ্যতের পূর্বাভাস দিয়ে কাজ করতে শেখা
• অনিয়ন্ত্রিত অক্জিলিয়ারী টাস্ক সহ শক্তিবৃদ্ধি শিক্ষা

এই উভয় কাগজপত্রে, লেখক ভবিষ্যতে পরিবেশের অবস্থা সম্পর্কে পূর্বাভাস ফলাফল সহ তাদের নিউরাল নেটওয়ার্কের সাধারণ ডিফল্ট নীতির পরিপূরক। প্রথম নিবন্ধে, পূর্বাভাস বিভিন্ন পরিমাপের ভেরিয়েবলের উপর প্রয়োগ করা হয় এবং দ্বিতীয়টিতে, পরিবেশের পরিবর্তন এবং এজেন্টের আচরণের ক্ষেত্রে পূর্বাভাস প্রয়োগ করা হয়। উভয় ক্ষেত্রেই, ইতিবাচক শক্তিবৃদ্ধির সাথে যুক্ত বিক্ষিপ্ত সংকেত অনেক বেশি সমৃদ্ধ এবং আরও তথ্যপূর্ণ হয়ে ওঠে, যা দ্রুত শেখার এবং আরও জটিল আচরণ অর্জন উভয়েরই অনুমতি দেয়। এই ধরনের উন্নতিগুলি শুধুমাত্র একটি গ্রেডিয়েন্ট সিগন্যাল ব্যবহার করে এমন পদ্ধতিগুলির সাথে উপলব্ধ, এবং "ব্ল্যাক বক্স" নীতিতে কাজ করে এমন পদ্ধতিগুলির সাথে নয়, যেমন ES৷

উপরন্তু, অভিজ্ঞতা এবং গ্রেডিয়েন্ট পদ্ধতি থেকে শেখা অনেক বেশি কার্যকর। এমনকি এমন ক্ষেত্রে যেখানে রিইনফোর্সমেন্ট লার্নিং ব্যবহার করার চেয়ে দ্রুত ইএস পদ্ধতি ব্যবহার করে একটি নির্দিষ্ট সমস্যা অধ্যয়ন করা সম্ভব হয়েছিল, লাভটি অর্জিত হয়েছিল এই কারণে যে ES কৌশলটি RL এর তুলনায় বহুগুণ বেশি ডেটা জড়িত ছিল। এই ক্ষেত্রে প্রাণীদের শেখার নীতিগুলির উপর প্রতিফলিত করে, আমরা লক্ষ্য করি যে অন্য কারো উদাহরণ থেকে শেখার ফলাফল অনেক প্রজন্মের পরে নিজেকে প্রকাশ করে, যখন কখনও কখনও নিজের দ্বারা অনুভব করা একটি ঘটনাই প্রাণীটির চিরকালের জন্য পাঠ শেখার জন্য যথেষ্ট। লাইক করার সময় উদাহরণ ছাড়া প্রশিক্ষণ যদিও এটি প্রথাগত গ্রেডিয়েন্ট পদ্ধতিতে পুরোপুরি মাপসই করে না, এটি ES এর চেয়ে অনেক বেশি বোধগম্য। আছে, উদাহরণস্বরূপ, যেমন পন্থা নিউরাল এপিসোডিক নিয়ন্ত্রণ, যেখানে প্রশিক্ষণের সময় Q-মানগুলি সংরক্ষণ করা হয়, তারপরে প্রোগ্রামটি পদক্ষেপ নেওয়ার আগে সেগুলি পরীক্ষা করে। ফলাফল হল একটি গ্রেডিয়েন্ট পদ্ধতি যা আপনাকে আগের থেকে অনেক দ্রুত সমস্যার সমাধান করতে শিখতে দেয়। নিউরাল এপিসোডিক নিয়ন্ত্রণের একটি নিবন্ধে, লেখক মানব হিপ্পোক্যাম্পাসের কথা উল্লেখ করেছেন, যা একটি একক অভিজ্ঞতার পরেও একটি ঘটনা সম্পর্কে তথ্য ধরে রাখতে সক্ষম এবং তাই, নাটকগুলি সঙ্কটপূর্ণ ভূমিকা মনে রাখার প্রক্রিয়ায় এই ধরনের প্রক্রিয়াগুলির জন্য এজেন্টের অভ্যন্তরীণ সংস্থায় অ্যাক্সেস প্রয়োজন, যা সংজ্ঞা অনুসারে, ES দৃষ্টান্তে অসম্ভব।

সুতরাং, কেন তাদের একত্রিত না?

সম্ভবত এই নিবন্ধটির বেশিরভাগই এই ধারণা ছেড়ে যেতে পারে যে আমি আরএল পদ্ধতির পক্ষে। যাইহোক, আমি আসলে মনে করি যে দীর্ঘমেয়াদে সর্বোত্তম সমাধান হল উভয় পদ্ধতিকে একত্রিত করা, যাতে প্রতিটিটি এমন পরিস্থিতিতে ব্যবহৃত হয় যেখানে এটি সবচেয়ে উপযুক্ত। স্পষ্টতই, অনেক প্রতিক্রিয়াশীল নীতির ক্ষেত্রে বা ইতিবাচক শক্তিবৃদ্ধির খুব বিরল সংকেত সহ পরিস্থিতিতে, ES জয়ী হয়, বিশেষ করে যদি আপনার হাতে কম্পিউটিং ক্ষমতা থাকে যার উপর আপনি ব্যাপকভাবে সমান্তরাল প্রশিক্ষণ চালাতে পারেন। অন্যদিকে, রিইনফোর্সমেন্ট লার্নিং বা তত্ত্বাবধানে শেখার ব্যবহার করে গ্রেডিয়েন্ট পদ্ধতিগুলি কার্যকর হবে যখন আমাদের ব্যাপক প্রতিক্রিয়ার অ্যাক্সেস থাকে এবং কীভাবে দ্রুত এবং কম ডেটা সহ একটি সমস্যা সমাধান করতে হয় তা শিখতে হবে।

প্রকৃতির দিকে ঘুরে, আমরা দেখতে পাই যে প্রথম পদ্ধতিটি, সংক্ষেপে, দ্বিতীয়টির ভিত্তি স্থাপন করে। এই কারণেই, বিবর্তনের সময়, স্তন্যপায়ী প্রাণীরা এমন মস্তিষ্ক তৈরি করেছে যা তাদের পরিবেশ থেকে আসা জটিল সংকেত থেকে অত্যন্ত কার্যকরভাবে শিখতে দেয়। সুতরাং, প্রশ্ন খোলা থাকে। সম্ভবত বিবর্তনীয় কৌশলগুলি আমাদের কার্যকর শেখার আর্কিটেকচার উদ্ভাবন করতে সাহায্য করবে যা গ্রেডিয়েন্ট শেখার পদ্ধতির জন্যও কার্যকর হবে। সর্বোপরি, প্রকৃতির দ্বারা পাওয়া সমাধানটি সত্যিই খুব সফল।

উত্স: www.habr.com