Cercetătorii de la CodeRabbit au analizat 470 de pull request-uri (350 – create de AI, 150 – scrise manual) în proiecte deschise pe GitHub și au ajuns la concluzia că modificările generate de asistenții AI au 1,7 ori mai multe defecte semnificative și cu 1,4 ori mai multe probleme critice decât codul scris manual. În medie, pull request-urile generate de AI au avut 10,83 probleme, în timp ce modificările create manual au avut un indicator de 6,45.
Luând în considerare categorii separate de probleme, codul creat de AI a avut de 1,75 ori mai multe erori logice, de 1,64 ori mai multe probleme cu calitatea și mentenanța codului, de 1,56 ori mai multe probleme de securitate și de 1,41 ori mai multe probleme de performanță. De asemenea, s-a observat că în codul generat de AI, există o probabilitate de 1,88 ori mai mare de a gestiona greșit parolele, de 1,91 ori mai mare pentru a oferi în mod nesigur acces la obiecte, de 2,74 ori mai mare pentru scripting intersite (XSS) și de 1,82 ori mai mare pentru deserializarea nesigură a datelor. În același timp, în codul scris de oameni s-au găsit de 1,76 ori mai multe greșeli de ortografie și de 1,32 ori mai multe erori cauzate de testare.
Unele alte cercetări:
- Într-un studiu realizat în noiembrie de către Cortex, se observă că, spre deosebire de anul trecut, datorită aplicării AI, numărul pull request-urilor create de un singur dezvoltator a crescut în medie cu 20%, dar numărul problemelor în pull request-uri a crescut cu 23,5%, iar rata de respingere a modificărilor a crescut cu aproximativ 30%.
- Studiul din august de la Universitatea Neapolitană a concluzionat că codul generat de AI este, în general, mai simplu și uniform, dar conține mai multe construcții neutilizate și inserții de debug integrate, în timp ce codul scris manual este structurally mai complex și conține mai multe probleme de mentenanță.
- Experimentul din iulie realizat de grupul METR a arătat că asistenții AI nu accelerează, ci întârzie rezolvarea sarcinilor, deși participanții considera subiectiv că AI le-a accelerat munca.
- Studiul din ianuarie de la Universitatea Monash a indicat că GPT-4 generează cod mai complex, care necesită revizuiri pentru mentenanța ulterioară, dar care reușește mai bine la trecerea testelor.
Sursa: opennet.ro
