Utvärdering av AI-verktygs effektivitet visar på en avmattning, inte en acceleration, av utvecklingen

Forskargruppen METR (Model Evaluation & Threat Research) har publicerat resultaten av ett experiment för att utvärdera effektiviteten av att använda AI-verktyg för att skriva kod. I motsats till förväntningarna visade studien att AI-assistenter inte snabbar upp, utan saktar ner, lösningen av uppgifter, trots att deltagarna i experimentet subjektivt trodde att AI accelererade deras arbete.

Faktum är att när man använde en AI-assistent var den genomsnittliga tiden som spenderades på en uppgift 19 % längre, medan deltagarna trodde att AI hjälpte dem att slutföra uppgiften 20 % snabbare, och innan de påbörjade uppgiften trodde de att AI skulle hjälpa dem att snabba upp uppgiften med 24 %. Resultaten skiljer sig också avsevärt från förutsägelserna från experter inom ekonomi och maskininlärning, som förutspådde tidsbesparingar på 39 % respektive 38 % vid användning av AI.

Under experimentet ombads 16 utvecklare med öppen källkod och genomsnittlig erfarenhet av AI-verktyg att lösa 246 uppgifter relaterade till att åtgärda buggar och lägga till nya funktioner. Uppgifterna genererades baserat på verkliga problem i GitHub-repositorier för projekt som de utvalda utvecklarna hade minst 5 års erfarenhet av. Vissa uppgifter erbjöds slumpmässigt att lösas manuellt, och vissa erbjöds att lösas med hjälp av valfri AI-assistent efter utvecklarens val (de flesta föredrog Cursor-kodredigeraren med Claude 3.5/3.7 Sonnet-modellen).

Experimentet, som pågick från februari till juni 2025, omfattade projekt med öppen källkod som mito, stdlib, ghc, cabal, flair, jsdom, hypothesis, trieve, scikit-learn, gpt-neox och transformers. I genomsnitt hade de inblandade projekten 23 1.1 GitHub-stjärnor, 20 miljoner kodrader, 710 XNUMX commits och XNUMX bidragsgivare.

Följande möjliga orsaker till långsam problemlösning vid användning av AI nämns:

• Låg kvalitet på AI-rekommendationer – utvecklare accepterade mindre än 44 % av AI-genererade förslag och lade ner mycket tid på att rensa och kontrollera dem.
• Överdriven optimism om AI:s användbarhet och uppblåsta förväntningar på AI-verktygens kapacitet.
• Deltagarna hade omfattande erfarenhet av att arbeta med de repositories som uppgifterna löstes för. Utvecklarna var mycket väl insatta i projekten och AI-hjälp var inte av värde i denna situation.
• Experimentet använde för stora och komplexa databaser, vilket AI:n inte fungerar bra med.
• Implicit databaskontext – AI förstod inte det sammanhang den arbetade i.

Slutsats: utvecklare lägger mindre tid på att skriva kod, söka efter information och läsa dokumentation när de använder AI-verktyg, men dessa besparingar uppvägs av den ökade tiden som läggs på att generera AI-frågor, analysera prompter, vänta på resultat, granska förslag och inte göra någonting alls. Istället för att generera kod läggs tid på att interagera med AI:n, studera resultaten och kontrollera den föreslagna koden. Det är möjligt att om mindre erfarna utvecklare, som är mindre ansvariga för kodgranskning eller arbetar med en okänd kodbas, hade deltagit i experimentet, skulle andra utvecklingseffektivitetsmått ha erhållits.

Dessutom genomförde Qodo en undersökning av 609 utvecklare som använder AI i sin kodning. 78 % rapporterade en ökad produktivitet efter att ha använt AI, 60 % rapporterade en ökning av den totala kodkvaliteten tack vare AI och 20 % rapporterade en minskning av kodkvaliteten efter att ha använt AI. Samtidigt noterade 76 % att de inte använder AI-kod utan föregående manuell granskning. Artikeln noterar också att enskilda utvecklare känner sig betydligt bättre när de använder AI, eftersom de kan tillhandahålla mer kod, men på bekostnad av ökad arbetsbelastning för dem som ansvarar för att acceptera kod i projekt, granska ändringar och kontrollera kvalitet.

Källa: opennet.ru