Изследователи от компания CodeRabbit анализирали 470 pull-запитвания (350 — създадени от AI, 150 — написани ръчно) в отворени проекти в GitHub и стигнали до извода, че в промените, генерирани от AI асистенти, има 1.7 пъти повече значителни дефекти и 1.4 пъти повече критични проблеми, отколкото в ръчно написания код. В средно генерираните чрез AI pull-запитвания има 10.83 проблема, докато в създадените ръчно изменения този показател е 6.45.
При разглеждане на отделни категории проблеми, в създадения от AI код има 1.75 пъти повече логически грешки, 1.64 пъти повече проблеми с качеството и поддръжката на кода, 1.56 пъти повече проблеми със сигурността и 1.41 пъти повече проблеми с производителността. Допълнително се отбелязва, че в генерирания чрез AI код вероятността за некоректна обработка на пароли е 1.88 пъти по-висока, 1.91 пъти — небезопасно предоставяне на достъп до обекти, 2.74 пъти — междусайтов скриптинг (XSS) и 1.82 пъти — небезопасна десериализация на данни. В същото време в написания от хора код има 1.76 пъти повече правописни грешки и 1.32 пъти повече грешки, свързани с тестването.
Някои други изследвания:
- В изследването, проведено през ноември от компания Cortex, се отбелязва, че в сравнение с миналата година, благодарение на прилагането на AI, средният брой на създаваните от един разработчик pull-запитвания се е увеличил с 20%, но броят на проблемите в pull-запитванията е нараснал с 23.5%, а нивото на отказите при извършване на промени се е увеличило приблизително с 30%.
- В августовското изследване на Неаполитанския университет е направен изводът, че генерираният чрез AI код е по-прост и еднообразен, но съдържа повече неизползвани конструкции и вградени отладъчни вставки, докато ръчно написаният код е структурно по-сложен и съдържа повече проблеми с поддръжката.
- Юлският експеримент на групата METR показа, че AI асистентите не ускоряват, а забавят решаването на поставените задачи, въпреки че участниците субективно смятали, че AI е ускорил работата им.
- В януарското изследване на Университета Монаша се посочва, че GPT-4 генерира по-сложен код, който изисква доработка за по-нататъшна поддръжка, но по-добре се справя с преминаването на тестовете.
Източник: opennet.ru
