মানুষ এবং এআই দ্বারা লিখিত কোডে ত্রুটির সংখ্যার তুলনা

CodeRabbit-এর গবেষকরা GitHub-এর ওপেন-সোর্স প্রকল্পগুলিতে ৪৭০টি পুল রিকোয়েস্ট (৩৫০টি AI-জেনারেটেড, ১৫০টি হাতে লেখা) বিশ্লেষণ করেছেন এবং এই সিদ্ধান্তে পৌঁছেছেন যে AI সহকারীদের দ্বারা তৈরি পরিবর্তনগুলিতে ম্যানুয়ালি লেখা কোডের তুলনায় ১.৭ গুণ বেশি উল্লেখযোগ্য ত্রুটি এবং ১.৪ গুণ বেশি জটিল সমস্যা রয়েছে। গড়ে, AI-জেনারেটেড পুল রিকোয়েস্টে ১০.৮৩টি সমস্যা ছিল, যেখানে ম্যানুয়ালি লেখা পরিবর্তনগুলিতে ৬.৪৫টি সমস্যা ছিল।

পৃথক সমস্যার বিভাগগুলি পরীক্ষা করার সময়, AI-জেনারেটেড কোডে 1.75 গুণ বেশি লজিক্যাল ত্রুটি, 1.64 গুণ বেশি কোডের মান এবং রক্ষণাবেক্ষণের সমস্যা, 1.56 গুণ বেশি সুরক্ষা সমস্যা এবং 1.41 গুণ বেশি কর্মক্ষমতা সমস্যা ছিল। এছাড়াও, AI-জেনারেটেড কোডে পাসওয়ার্ড ভুলভাবে পরিচালনা করার সম্ভাবনা 1.88 গুণ বেশি, বস্তুগুলিতে অনিরাপদ অ্যাক্সেস প্রদানের সম্ভাবনা 1.91 গুণ বেশি, ক্রস-সাইট স্ক্রিপ্টিং (XSS) এর সম্মুখীন হওয়ার সম্ভাবনা 2.74 গুণ বেশি এবং অনিরাপদ ডেটা ডিসিরিয়ালাইজেশনের সম্মুখীন হওয়ার সম্ভাবনা 1.82 গুণ বেশি ছিল। এদিকে, মানব-লিখিত কোডে 1.76 গুণ বেশি বানান ত্রুটি এবং 1.32 গুণ বেশি পরীক্ষা-সম্পর্কিত ত্রুটি ছিল।

আরও কিছু গবেষণা:

• কর্টেক্সের নভেম্বরের এক গবেষণায় দেখা গেছে যে, গত বছরের তুলনায়, AI ব্যবহারের ফলে প্রতি ডেভেলপারের জন্য তৈরি পুল রিকোয়েস্টের সংখ্যা গড়ে ২০% বৃদ্ধি পেয়েছে, কিন্তু পুল রিকোয়েস্টে সমস্যার সংখ্যা ২৩.৫% বৃদ্ধি পেয়েছে এবং পরিবর্তন প্রত্যাখ্যানের হার প্রায় ৩০% বৃদ্ধি পেয়েছে।
• নেপলস বিশ্ববিদ্যালয়ের আগস্ট মাসের এক গবেষণায় এই সিদ্ধান্তে উপনীত হয়েছে যে এআই-জেনারেটেড কোড সাধারণত সহজ এবং আরও অভিন্ন, তবে এতে আরও অব্যবহৃত গঠন এবং ইনলাইন ডিবাগিং রয়েছে, যখন হাতে লেখা কোড কাঠামোগতভাবে আরও জটিল এবং রক্ষণাবেক্ষণের সমস্যা বেশি।
• জুলাই মাসে METR গ্রুপের একটি পরীক্ষায় দেখা গেছে যে AI সহকারীরা কাজ সমাপ্তির গতি বাড়ানোর পরিবর্তে ধীরগতি করে, যদিও অংশগ্রহণকারীরা ব্যক্তিগতভাবে বিশ্বাস করতেন যে AI তাদের কাজের গতি বাড়ায়।
• মোনাশ বিশ্ববিদ্যালয়ের জানুয়ারি মাসের এক গবেষণায় দেখা গেছে যে GPT-4 আরও জটিল কোড তৈরি করে যার রক্ষণাবেক্ষণের জন্য আরও উন্নয়নের প্রয়োজন হয়, তবে পরীক্ষায় এটি আরও ভালো পারফর্ম করে।

উত্স: opennet.ru