A CodeRabbit kutatói 470 pull-kérelmet (350 – AI által létrehozott, 150 – kézi írású) elemeztek nyílt forráskódú projekteken a GitHub-on, és arra a következtetésre jutottak, hogy az AI-asszisztensek által generált módosításokban 1,7-szer több jelentős hiba és 1,4-szer több kritikus probléma található, mint a kéziekben. Az AI által generált pull-kérelmek átlagosan 10,83 problémát tartalmaztak, míg a kézzel létrehozott módosítások esetében ez a szám 6,45 volt.
A problémák egyes kategóriáinak vizsgálatakor megállapították, hogy az AI által létrehozott kódban 1,75-szer több logikai hiba, 1,64-szer több minőségi és karbantartási probléma, 1,56-szor több biztonsági probléma és 1,41-szer több teljesítményprobléma található. Ezenkívül megjegyzik, hogy az AI által generált kódban 1,88-szor nagyobb a valószínűsége a jelszavak helytelen kezelésének, 1,91-szer nagyobb a biztonságos hozzáférés nyújtásának az objektumokhoz, 2,74-szer a keresztoldali skriptek (XSS) esetén, és 1,82-szer a biztonságos deszerializálás hiányának. Ezzel szemben az ember által írt kódokban 1,76-szor több helyesírási hiba és 1,32-szer több teszteléssel kapcsolatos hiba található.
Néhány egyéb kutatás:
- A Cortex által novemberben végzett kutatás megjegyzi, hogy a tavalyi évhez képest az AI alkalmazásának köszönhetően az egy fejlesztő által létrehozott pull-kérések száma átlagosan 20%-kal nőtt, de a pull-kérelmekben található problémák száma 23,5%-kal, a módosítások elutasítási aránya pedig körülbelül 30%-kal megnőtt.
- A Nápolyi Egyetem augusztusi kutatásában arra a következtetésre jutottak, hogy az AI által generált kód általában egyszerűbb és egységesebb, de több nem használt konstrukciót és beágyazott hibakeresési utasítást tartalmaz, míg a kézzel írt kód strukturálisan bonyolultabb és több karbantartási probléma található benne.
- A METR csoport júliusi kísérlete megmutatta, hogy az AI-asszisztensek nem gyorsítják, hanem lassítják a feladatok megoldását, bár a résztvevők szubjektíven úgy érezték, hogy az AI felgyorsította a munkájukat.
- A Monashi Egyetem januári kutatásában megállapították, hogy a GPT-4 bonyolultabb kódot generál, amely átdolgozást igényel a további karbantartáshoz, de jobban teljesít a teszteken való átmenet során.
Forrás: opennet.ru
