CodeRabbiti teadlased analüüsisid 470 pull-request'i (350 — AI loodud, 150 — käsitsi kirjutatud) avatud projektides GitHubis ja jõudsid järeldusele, et AI-assistentide genereeritud muudatustes on 1,7 korda rohkem olulisi vigu ja 1,4 korda rohkem kriitilisi probleeme kui käsitsi kirjutatud koodis. Keskmiselt sisaldasid AI abil genereeritud pull-request'id 10,83 probleemi, samas kui käsitsi loodud muudatustes oli see näitaja 6,45.
Teatud probleemikategooriate puhul oli AI genereeritud koodis 1,75 korda rohkem loogika vigu, 1,64 korda rohkem kvaliteedi ja hooldatavuse probleeme, 1,56 korda rohkem turvalisuse probleeme ning 1,41 korda rohkem jõudluse probleeme. Täiendavalt on märgitud, et AI genereeritud koodis on 1,88 korda suurem tõenäosus vale paroolide töötlemise osas, 1,91 korda - ebausaldusväärse juurdepääsu andmise osas objektidele, 2,74 korda - veebirünnakute (XSS) osas ja 1,82 korda - ebausaldusväärse andmete deserialiseerimise osas. Samas on inimsuhete kaudu kirjutatud koodis 1,76 korda rohkem õigekirjavigu ja 1,32 korda rohkem teste puudutavaid vigu.
Mõned muud uuringud:
- Cortexi novembris läbiviidud uuringus märgitakse, et võrreldes eelmise aastaga on AI rakendamise tõttu ühe arendaja loodud pull-requestide arv keskmiselt suurenenud 20%, kuid pull-requestide probleemide arv kasvas 23,5% ja muudatuste tegemise tagasilöögid suurenesid umbes 30%.
- Augusti uuringus Napoli ülikoolist jõuti järeldusele, et AI kaudu genereeritud kood on üldiselt lihtsam ja ühtlasem, kuid sisaldab rohkem kasutamata konstruktsioone ja sisseehitatud silumisinstantsse, samas kui käsitsi kirjutatud kood on struktuuriliselt keerukam ja sisaldab rohkem hoidmisprobleeme.
- Juuli katse rühmituse METR poolt näitas, et AI-abistajad ei kiirenda, vaid aeglustavad ülesannete lahendamist, samas kui osalejad pidasid subjektiivselt AI-d oma tööd kiiremaks.
- Jaanuari uuringus Monashi ülikoolist märgitakse, et GPT-4 genereerib keerukamat koodi, mis vajab edasiseks hoolduseks kohandamist, kuid suudab paremini läbida teste.
Allikas: opennet.ru
