Forskare från företaget CodeRabbit har analyserat 470 pull-förfrågningar (350 – skapade av AI, 150 – skrivna för hand) i öppna projekt på GitHub och kommit fram till att det finns 1,7 gånger fler betydande fel och 1,4 gånger fler kritiska problem i de ändringar som genererats av AI-assistenter jämfört med handskriven kod. I genomsnitt innehöll AI-genererade pull-förfrågningar 10,83 problem, medan den handskrivna koden hade 6,45.
När man ser på specifika problemkategorier fanns det 1,75 gånger fler logiska fel i AI-genererad kod, 1,64 gånger fler kvalitets- och underhållsproblem, 1,56 gånger fler säkerhetsproblem och 1,41 gånger fler prestandaproblem. Dessutom noteras att sannolikheten för felaktig hantering av lösenord i AI-genererad kod var 1,88 gånger högre, att osäkert ge åtkomst till objekt var 1,91 gånger högre, 2,74 gånger mer sannolikt med Cross-Site Scripting (XSS) och 1,82 gånger mer sannolikt med osäker deserialisering av data. Samtidigt fanns det 1,76 gånger fler stavfel och 1,32 gånger fler testrelaterade fel i handskriven kod.
Några andra studier:
- I en studie som genomfördes i november av Cortex noteras att i jämförelse med förra året har antalet pull-förfrågningar som en utvecklare skapar ökat med 20 % tack vare användningen av AI, men antalet problem i pull-förfrågningar har ökat med 23,5 % och avvisningsgraden vid ändringsförslag har ökat med cirka 30 %.
- I en augustistudie från Neapolitanska universitet dras slutsatsen att AI-genererad kod i allmänhet är enklare och mer enhetlig, men innehåller fler oanvända konstruktioner och inbäddade felsökningsinsatser, medan handskriven kod är strukturellt mer komplicerad och innehåller fler underhållsproblem.
- Juli-experimentet av METR-gruppen visade att AI-assistenter inte påskyndar utan faktiskt saktar ner lösningen av uppsatta uppgifter, trots att deltagarna subjektivt ansåg att AI hade snabbarbetet.
- I januari-forskningen från Monash universitet nämns att GPT-4 genererar mer komplex kod som kräver modifiering för vidare underhåll, men som klarar tester bättre.
Källa: opennet.ru
