Cercetătorii de la CodeRabbit au analizat 470 de pull request-uri (350 generate de inteligență artificială, 150 scrise de mână) în proiecte open-source de pe GitHub și au concluzionat că modificările generate de asistenții inteligenți artificiali conțineau de 1.7 ori mai multe defecte semnificative și de 1.4 ori mai multe probleme critice decât codul scris manual. În medie, pull request-urile generate de inteligență artificială conțineau 10.83 de probleme, în timp ce modificările scrise manual conțineau 6.45.
La examinarea categoriilor individuale de probleme, codul generat de inteligența artificială a avut de 1.75 ori mai multe erori logice, de 1.64 ori mai multe probleme de calitate și mentenanță a codului, de 1.56 ori mai multe probleme de securitate și de 1.41 ori mai multe probleme de performanță. În plus, codul generat de inteligența artificială a avut o probabilitate de 1.88 ori mai mare de a gestiona incorect parolele, de 1.91 ori mai mare de a oferi acces nesigur la obiecte, de 2.74 ori mai mare de a întâlni cross-site scripting (XSS) și de 1.82 ori mai mare de a întâlni deserializare nesigură a datelor. Între timp, codul scris de oameni a avut de 1.76 ori mai multe erori de ortografie și de 1.32 ori mai multe erori legate de testare.
Alte câteva studii:
- Un studiu realizat în noiembrie de Cortex a constatat că, comparativ cu anul trecut, utilizarea inteligenței artificiale a crescut numărul mediu de solicitări de extragere create per dezvoltator cu 20%, dar numărul de probleme din solicitările de extragere a crescut cu 23.5%, iar rata de respingere a modificărilor a crescut cu aproximativ 30%.
- Un studiu realizat în august de Universitatea din Napoli a concluzionat că, în general, codul generat de inteligența artificială este mai simplu și mai uniform, dar conține mai multe construcții neutilizate și depanare inline, în timp ce codul scris de mână este mai complex din punct de vedere structural și are mai multe probleme de mentenanță.
- Un experiment realizat în iulie de grupul METR a arătat că asistenții cu inteligență artificială încetinesc, în loc să accelereze, finalizarea sarcinilor, chiar dacă participanții credeau subiectiv că inteligența artificială le accelera munca.
- Un studiu realizat în ianuarie de Universitatea Monash a constatat că GPT-4 generează un cod mai complex, care necesită dezvoltare suplimentară pentru întreținere, dar are performanțe mai bune în teste.
Sursa: opennet.ru
