Изследователи от компанията CodeRabbit анализираха 470 pull заявки (350 — създадени от AI, 150 — написани ръчно) в отворени проекти на GitHub и стигнаха до извода, че в промените, генерирани от AI асистенти, присъстват 1.7 пъти повече значителни дефекти и 1.4 пъти повече критични проблеми, отколкото в ръчно написания код. Средно в генерираните чрез AI pull заявки имаше 10.83 проблема, докато в създадените ръчно промените този показател беше 6.45.
При разглеждане на отделни категории проблеми, в създадения AI код имаше 1.75 пъти повече логически грешки, 1.64 пъти повече проблеми с качеството и поддръжката на кода, 1.56 пъти повече проблеми със сигурността и 1.41 пъти повече проблеми с производителността. Допълнително се отбелязва, че в генерирания чрез AI код вероятността за неправилна обработка на пароли е 1.88 пъти по-висока, 1.91 пъти — несигурно предоставяне на достъп до обекти, 2.74 пъти — междусайтово скриптиране (XSS) и 1.82 пъти — несигурна десериализация на данни. В същото време в написания от хора код грешките с правописа са 1.76 пъти повече и 1.32 пъти повече грешки, свързани с тестването.
Някои други проучвания:
- В проучване, проведено през ноември от компания Cortex, се отбелязва, че в сравнение с миналата година, благодарение на приложението на AI, броят на създаваните от един разработчик pull заявки е нараснал средно с 20%, но броят на проблемите в pull заявките се е увеличил с 23.5%, а нивото на откази при внасяне на промени е нараснало с около 30%.
- В проучване от август проведено от Неаполитанския университет, се установява, че генерираният чрез AI код като цяло е по-прост и еднообразен, но съдържа повече неизползвани конструкции и вградени отладъчни вмъквания, докато ръчно написаният код е структурно по-сложен и съдържа повече проблеми с поддръжката.
- Юлският експеримент на групата METR показа, че AI помощниците не ускоряват, а забавят решаването на поставените задачи, при това субективно участниците считали, че AI е ускорил работата им.
- В януарското проучване на университета Монаш се посочва, че GPT-4 генерира по-сложен код, който изисква допълнителна работа за по-нататъшна поддръжка, но по-добре се справя с минаването на тестове.
Източник: opennet.ru
