Forskere fra CodeRabbit har analyseret 470 pull-anmodninger (350 - skabt af AI, 150 - skrevet i hånden) i åbne projekter på GitHub og konkluderet, at ændringer genereret af AI-assistenter indeholder 1,7 gange flere betydelige fejl og 1,4 gange flere kritiske problemer end manualt skrevet kode. I gennemsnit var der 10,83 problemer i de AI-genererede pull-anmodninger, mens det tal for ændringer skrevet i hånden var 6,45.
Når man ser på de enkelte problemkategorier, var der 1,75 gange flere logiske fejl i den skabte AI-kode, 1,64 gange flere kvalitets- og vedligeholdelsesproblemer i koden, 1,56 gange flere sikkerhedsproblemer og 1,41 gange flere præstationsproblemer. Derudover er det bemærket, at den AI-genererede kode har 1,88 gange højere sandsynlighed for forkert håndtering af adgangskoder, 1,91 gange højere sandsynlighed for usikker adgang til objekter, 2,74 gange mere sårbarhed over for Cross-Site Scripting (XSS) og 1,82 gange højere sandsynlighed for usikker deserialisering af data. I mellemtiden har den menneskeskrevne kode 1,76 gange flere stavefejl og 1,32 gange flere testrelaterede fejl.
Nogle andre undersøgelser:
- I en undersøgelse udført af Cortex i november angives det, at sammenlignet med sidste år er antallet af pull-anmodninger skabt af en enkelt udvikler steget med 20% i gennemsnit takket være brugen af AI, men antallet af problemer i pull-anmodningerne er steget med 23,5%, og afvisningsniveauet for ændringer er steget med cirka 30%.
- I en undersøgelse fra universitetet i Napoli i august konkluderes det, at den AI-genererede kode generelt er enklere og mere ensartet, men indeholder flere ubrugte konstruktioner og indbyggede fejlsøgningsindsatser, mens den manuelt skrevne kode er strukturelt mere kompleks og har flere vedligeholdelsesproblemer.
- En juli-eksperiment fra METR-gruppen viste, at AI-assistenter ikke fremskynder, men faktisk forsinker løsning af opgaverne, selvom deltagerne subjektivt mente, at AI havde fremskyndet deres arbejde.
- I en januarundersøgelse fra Monash Universitetet angives det, at GPT-4 genererer mere kompleks kode, som kræver yderligere arbejde for at sikre vedligeholdelse, men den klarer sig bedre i tests.
Kilde: opennet.ru
