CodeRabbit'i teadlased analüüsisid 470 pulli taotlust (350 - loodud AI poolt, 150 - käsitsi kirjutatud) avatud projektides GitHubis ning jõudsid järeldusele, et AI-assistentide genereeritud muudatustes esines 1,7 korda rohkem olulisi defekte ja 1,4 korda rohkem kriitilisi probleeme kui käsitsi kirjutatud koodis. Keskmiselt olid AI kaudu genereeritud pulli taotlustes 10,83 probleemi, samas kui käsitsi loodud muudatustes oli see arv 6,45.
Kui vaadata probleeme eraldi kategooriates, siis AI loodud koodis olid 1,75 korda rohkem loogika vigu, 1,64 korda rohkem kvaliteedi ja hooldatavuse probleeme, 1,56 korda rohkem turbeprobleeme ja 1,41 korda rohkem jõudluse probleeme. Täiendavalt märgitakse, et AI genereeritud koodis on 1,88 korda tõenäolisem vale paroolide käsitlemine, 1,91 korda - ebaohutu juurdepääsu andmine objektidele, 2,74 korda - ristsaidiliste skriptimise (XSS) ja 1,82 korda - ebaohutu andmete deserialiseerimine. Samas on inimeste kirjutatud koodis 1,76 korda rohkem õigekirjavigu ja 1,32 korda rohkem testimisega seotud vigu.
Mõned teised uuringud:
- Cortexi läbi viidud novembrikuu uuringus märgitakse, et võrreldes eelmise aastaga on AI kasutamise tõttu ühe arendaja poolt loodud pulli taotluste arv keskmiselt suurenenud 20%, kuid pulli taotlustes esinevate probleemide arv on suurenenud 23,5%, samas kui muudatuste taastumise määr on suurenenud umbes 30%.
- Neapoli Ülikooli augustikuu uuringus jõuti järeldusele, et AI kaudu genereeritud kood on üldiselt lihtsam ja ühtlasem, kuid sisaldab rohkem kasutamata konstruktsioone ja sisse ehitatud silumisülesandeid, samas kui käsitsi kirjutatud kood on struktuuriliselt keerukam ja sisaldab rohkem hooldatavuse probleeme.
- METRi rühma juulikuu katse näitas, et AI-assistendid ei kiirenda, vaid aeglustavad ülesannete lahendamist, kuigi subjektiivselt arvasid osalejad, et AI kiirendas nende tööd.
- Monashi ülikooli jaanuarikuu uuringus märgitakse, et GPT-4 genereerib keerukamat koodi, mis vajab edasiseks hoolduseks kohandamist, kuid suudab paremini läbida teste.
Allikas: opennet.ru
