U gruppu di ricerca METR (Model Evaluation & Threat Research) hà publicatu i risultati di un esperimentu per valutà l'efficacità di l'usu di strumenti di IA per a scrittura di codice. Contrariamente à l'aspettative, u studiu hà dimustratu chì l'assistenti di IA ùn acceleranu micca, ma rallentanu a suluzione di i compiti, malgradu u fattu chì i participanti à l'esperimentu credevanu soggettivamente chì l'IA accelerava u so travagliu.
In fatti, quandu si usa un assistente IA, u tempu mediu passatu nantu à un compitu era 19% più longu, mentre chì i participanti credevanu chì l'IA li aiutava à compie u compitu 20% più velocemente, è prima di inizià u compitu, credevanu chì l'IA li aiuterebbe à accelerà u compitu di 24%. I risultati differenu ancu significativamente da e previsioni di l'esperti in u campu di l'ecunumia è di l'apprendimentu automaticu, chì anu previstu un risparmiu di tempu di 39% è 38%, rispettivamente, quandu si usa l'IA.
Durante l'esperimentu, 16 sviluppatori open source cù una sperienza media cù strumenti di IA sò stati dumandati à risolve 246 compiti ligati à a correzione di bug è l'aghjunta di nuove funzionalità. I compiti sò stati generati basendu si nantu à prublemi reali in i repositori GitHub di prughjetti cù i quali i sviluppatori selezziunati avianu almenu 5 anni di sperienza. Alcuni compiti sò stati offerti à casu per esse risolti manualmente, è altri sò stati offerti per esse risolti cù qualsiasi assistente di IA di a scelta di u sviluppatore (a maiò parte hà preferitu l'editore di codice Cursor cù u mudellu Claude 3.5/3.7 Sonnet).
L'esperimentu, chì s'hè svoltu da ferraghju à ghjugnu 2025, hà implicatu prughjetti open source cum'è mito, stdlib, ghc, cabal, flair, jsdom, hypothesis, trieve, scikit-learn, gpt-neox è transformers. In media, i prughjetti implicati avianu 23 1.1 stelle GitHub, 20 milioni di linee di codice, 710 XNUMX commit è XNUMX cuntributori.
Sò mintuvate e seguenti pussibili ragioni per una risoluzione lenta di i prublemi quandu si usa l'IA:
- Bassa qualità di e raccomandazioni di l'IA - i sviluppatori anu accettatu menu di u 44% di e suggerimenti generati da l'IA è anu passatu assai tempu à pulisce è verificà.
- Ottimismu eccessivu nantu à l'utilità di l'IA è aspettative gonfiate nantu à e capacità di i strumenti di l'IA.
- I participanti avianu una vasta sperienza di travagliu cù i repositori per i quali i travagli eranu risolti. I sviluppatori eranu assai esperti in i prughjetti è l'assistenza di l'IA ùn era di nisun valore in questa situazione.
- L'esperimentu hà utilizatu repositori troppu grandi è cumplessi, cù i quali l'IA ùn funziona micca bè.
- Cuntestu implicitu di u repositoriu - L'IA ùn hà micca capitu u cuntestu in u quale travagliava.
In fondu: i sviluppatori passanu menu tempu à scrive codice, à circà infurmazioni è à leghje a ducumentazione quandu utilizanu strumenti di IA, ma questi risparmi sò compensati da l'aumentu di u tempu passatu à generà query di IA, à analizà prompt, à aspittà risultati, à rivedere suggerimenti è à ùn fà nunda. Invece di generà codice, si passa u tempu à interagisce cù l'IA, à studià i risultati è à verificà u codice prupostu. Hè pussibule chì se i sviluppatori menu sperimentati, chì sò menu rispunsevuli di a revisione di u codice, o chì travaglianu cù una basa di codice scunnisciuta, avianu participatu à l'esperimentu, si sarianu ottenute diverse metriche di efficienza di sviluppu.
Inoltre, un'inchiesta di 609 sviluppatori chì utilizanu l'IA in a so codificazione hè stata realizata da Qodo. 78% anu signalatu un aumentu di a produttività dopu avè utilizatu l'IA, 60% anu signalatu un aumentu di a qualità generale di u codice grazia à l'IA, è 20% anu signalatu una diminuzione di a qualità di u codice dopu avè utilizatu l'IA. À u listessu tempu, 76% anu nutatu chì ùn utilizanu micca u codice IA senza una revisione manuale previa. L'articulu nota ancu chì i sviluppatori individuali si sentenu significativamente megliu quandu utilizanu l'IA, postu chì sò capaci di furnisce più codice, ma à u costu di un aumentu di a carica di travagliu per quelli chì sò rispunsevuli di accettà u codice in i prughjetti, rivedere i cambiamenti è verificà a qualità.
Source: opennet.ru
