ওপেনএআই: মিথ্যা বলার জন্য এআইকে শাস্তি দেওয়া অর্থহীন - এটি আরও বেশি প্রতারণা শুরু করে

AI মডেলগুলি মাঝে মাঝে যে হ্যালুসিনেশন বা ইচ্ছাকৃতভাবে ভুল উত্তর দেয়, তা সমগ্র শিল্পের অন্যতম প্রধান সমস্যা হয়ে দাঁড়িয়েছে, যার ফলে কিছু নাগরিক AI ব্যবহার করতে একেবারেই অস্বীকার করছেন। ওপেনএআই গবেষকরা দেখেছেন যে এই ধরনের ত্রুটিগুলি ঠিক করা আগের ধারণার চেয়েও বেশি কঠিন হতে পারে।

ওপেনএআই কোম্পানির বিজ্ঞানীরা প্রকাশ করেছেন গবেষণার ফল, যেখানে তারা জটিল AI মডেলগুলির উপর নিয়ন্ত্রণ প্রতিষ্ঠার তাদের প্রচেষ্টা বর্ণনা করেছে, যার মধ্যে যুক্তি মডেলগুলিও রয়েছে, যাতে তারা প্রতিষ্ঠিত সীমা অতিক্রম করতে না পারে। গবেষকরা অনন্য কৌশল এবং পদ্ধতি ব্যবহার করেছেন, যার মধ্যে রয়েছে দূষিত কর্মকাণ্ডের জন্য শাস্তি এবং ব্যবহারকারীকে প্রতারিত করার প্রচেষ্টা। প্রকল্পটিতে অন্যান্য বিষয়ের মধ্যে, OpenAI দ্বারা তৈরি কিন্তু বাজারে প্রকাশিত না হওয়া একটি AI মডেল ব্যবহার করা হয়েছিল, যা ব্যবহারকারীকে প্রতারণা করে বা কিছু পদক্ষেপ এড়িয়ে যাওয়ার মাধ্যমে সহজতর করা যেতে পারে এমন বিভিন্ন কাজ অর্পণ করা হয়েছিল।

মডেলটির শেখার ফলাফল মূলত রিইনফোর্সমেন্ট লার্নিং পর্যায়ের উপর নির্ভর করে, যেখানে এটি একটি কমান্ড কার্যকর করার জন্য বা সঠিক প্রতিক্রিয়া তৈরি করার জন্য একটি পুরষ্কার পায়। এআই মডেলগুলি কাঙ্ক্ষিত ফলাফল অর্জনের জন্য নির্দিষ্ট নিয়ম এবং নির্দেশিকা ভঙ্গ সহ কারসাজির মাধ্যমে পুরষ্কার পাওয়ার চেষ্টা করে। গবেষকরা আশা করেছিলেন যে তারা ত্রুটিগুলি সনাক্ত করতে পারবেন এবং এর যুক্তির শৃঙ্খল ট্র্যাক করে AI এর আচরণ আরও ভালভাবে বুঝতে পারবেন, কিন্তু এটি সাহায্য করেনি। যুক্তির শৃঙ্খলকে সরাসরি অপ্টিমাইজ করার প্রচেষ্টা, অর্থাৎ, নির্দেশাবলীকে এড়িয়ে না যাওয়ার জন্য একটি আদেশ জারি করা, শুধুমাত্র একটি স্বল্পমেয়াদী প্রভাব দেয়, বিজ্ঞানীরা খুঁজে পেয়েছেন: "এটি সমস্ত অবাঞ্ছিত আচরণ দূর করে না এবং মডেলটিকে তার আসল উদ্দেশ্য লুকিয়ে রাখতে পারে।"

প্রকল্পের লেখকদের স্বীকার করতে হয়েছিল যে মডেলগুলি পর্যবেক্ষণের প্রক্রিয়াগুলি "ভঙ্গুর"। যুক্তির শৃঙ্খলের কঠোর তত্ত্বাবধান AI কে তার ভুলগুলি আড়াল করতে উৎসাহিত করতে পারে যাতে সীমাবদ্ধতাগুলি এড়িয়ে পুরস্কৃত হয়। কোডিং কাজ সম্পাদনের সময় পরীক্ষার মডেলটি পর্যবেক্ষণ করার জন্য বাণিজ্যিক GPT-4o ব্যবহার করা হয়েছিল, কিন্তু পরীক্ষার বিষয় অসাবধানতাবশত ভুল করেছিল এবং যুক্তির শৃঙ্খলে খোলাখুলিভাবে স্বীকার করেছিল যে সে পুরষ্কার পাওয়ার জন্য এটি করেছিল; উদাহরণস্বরূপ, এটি কিছু প্রোগ্রাম অকালে বন্ধ করে দিয়েছে। এরপর গবেষকরা মডেলটিকে শাস্তি দেওয়ার চেষ্টা করেছিলেন, কিন্তু এর প্রভাব ক্ষণস্থায়ী ছিল: যুক্তির শৃঙ্খল এখনও গোলমালের মাধ্যমে পুরস্কার পাওয়ার এবং ভুল উত্তর দেওয়ার চেষ্টা করার লক্ষণ দেখিয়েছিল। অর্থাৎ, সে নিয়ন্ত্রক AI থেকে তার উদ্দেশ্য লুকানোর একটি উপায় খুঁজে পেয়েছে।

এই ক্ষেত্রে, সমস্যাটি যদি অব্যাহত থাকে এবং মানুষ আর হস্তক্ষেপ করতে না পারে, তাহলে বিশ্ব মানব-স্তরের AI-এর জন্য প্রস্তুত কিনা তা এখনও স্পষ্ট নয়। গবেষকরা আশা করেন যে ভবিষ্যতে প্রতারণা বা লুকানো কৌশল ছাড়াই যুক্তির শৃঙ্খলের মাধ্যমে মডেলগুলিকে প্রভাবিত করার উপায় থাকবে - তারা অপ্টিমাইজেশন পদ্ধতিগুলিকে কম অনুপ্রবেশকারী এবং সহজবোধ্য করার প্রস্তাব করছেন।

উত্স:

• Windows মধ্য

উত্স: 3dnews.ru