CodeRabbit şirkətinin tədqiqatçıları GitHub-dakı açıq layihələrdə 470 pull sorğusunu (350 - AI tərəfindən yaradılmış, 150 - əl ilə yazılmış) analiz edərək, AI köməkçiləri tərəfindən yaradılan dəyişikliklərdə əl ilə yazılmış koddan 1.7 dəfə daha çox əhəmiyyətli səhvlər və 1.4 dəfə daha çox kritik problemlərin mövcud olduğunu bildirdilər. AI vasitəsilə yaradılan pull sorğularında ortalama 10.83 problem, əl ilə yaradılmış dəyişikliklərdə isə bu göstərici 6.45-dir.
Problem kateqoriyaları nəzərə alındıqda, AI kodunda 1.75 dəfə daha çox lojiq səhvlər, 1.64 dəfə daha çox kodun keyfiyyəti və saxlanması ilə bağlı problemlər, 1.56 dəfə daha çox təhlükəsizlik problemləri və 1.41 dəfə daha çox performans problemləri var. Ayrıca, AI vasitəsilə yaradılan kodda şifrələrin düzgün işlənməsi ehtimalı 1.88 dəfə, obyektlərə təhlükəsiz olmayan girişin verilməsi ehtimalı 1.91 dəfə, XSS (Cross-Site Scripting) ehtimalı 2.74 dəfə və məlumatların təhlükəsiz olmayan deserializasiyası ehtimalı 1.82 dəfə daha yüksəkdir. Eyni zamanda, insanlar tərəfindən yazılmış kodda 1.76 dəfə daha çox yazı səhvləri və testlərlə əlaqədar səhvlər 1.32 dəfə daha çoxdur.
Bəzi digər tədqiqatlar:
- Cortex tərəfindən noyabr ayında aparılan tədqiqat göstərir ki, keçən il ilə müqayisədə AI istifadəsi sayəsində bir inkişafçının yaratdığı pull sorğularının sayı ortalama 20% artmışdır, lakin pull sorğularında problemlərin sayı 23.5% artmışdır və dəyişikliklərin qəbul edilmə səviyyəsi təxminən 30% artmışdır.
- Avqust ayında Neapolitana Universitetində aparılan tədqiqatın nəticəsi göstərir ki, AI tərəfindən yaradılan kodun ümumilikdə daha sadə və homogen olduğu, lakin daha çox istifadə olunmayan strukturlar və daxili debuq insertlərinin mövcud olduğu, əl ilə yazılmış kodun isə struktural olaraq daha mürəkkəb olduğu və daha çox saxlanma problemləri olduğu qeyd olunub.
- METR qrupunun iyul təcrübəsi göstərdi ki, AI köməkçiləri tapşırıqların həllini sürətləndirmir, əksinə yavaşladır, lakin iştirakçılar subyektiv olaraq, AI-nin işlərini sürətləndirdiyini düşünüblər.
- Monash Universitetinin yanvar ayı tədqiqatında GPT-4-ün daha mürəkkəb kod yarada bildiyi, bunun saxlanması üçün tənzimlənməsini tələb etdiyi, lakin testləri keçməkdə daha yaxşı nəticə göstərdiyi bildirilir.
Mənbə: opennet.ru
