I ricercatori dell'azienda CodeRabbit hanno analizzato 470 pull request (350 create da AI, 150 scritte a mano) in progetti open source su GitHub, giungendo alla conclusione che nelle modifiche generate dagli assistenti AI ci sono 1,7 volte più difetti significativi e 1,4 volte più problemi critici rispetto al codice scritto a mano. In media, nei pull request generati tramite AI erano presenti 10,83 problemi, mentre nei cambiamenti creati manualmente questo valore era di 6,45.
Esaminando le singole categorie di problemi, nel codice creato da AI c'erano 1,75 volte più errori logici, 1,64 volte più problemi di qualità e manutenibilità del codice, 1,56 volte più problemi di sicurezza e 1,41 volte più problemi di prestazioni. Si osserva inoltre che nel codice generato tramite AI vi è 1,88 volte maggiore probabilità di gestire erroneamente le password, 1,91 volte di fornire accesso non sicuro agli oggetti, 2,74 volte per il cross-site scripting (XSS) e 1,82 volte per la deserializzazione non sicura dei dati. Allo stesso tempo, nel codice scritto da esseri umani si registrano 1,76 volte più errori ortografici e 1,32 volte più errori legati al testing.
Alcuni altri studi:
- In uno studio condotto a novembre dall'azienda Cortex, si evidenzia che rispetto allo scorso anno, grazie all'impiego dell'AI, il numero di pull request creati da un singolo sviluppatore è aumentato in media del 20%, ma il numero di problemi nelle pull request è cresciuto del 23,5%, e il tasso di rifiuto nell'implementazione delle modifiche è aumentato di circa il 30%.
- Nella ricerca di agosto dell'Università di Napoli è emerso che il codice generato tramite AI è complessivamente più semplice e uniforme, ma contiene più costrutti inutilizzati e inserimenti di debug integrati, mentre il codice scritto a mano è strutturalmente più complesso e presenta più problemi di manutenibilità.
- L'esperimento di luglio del gruppo METR ha dimostrato che gli assistenti AI non accelerano, ma rallentano la risoluzione dei compiti assegnati, anche se i partecipanti ritenevano soggettivamente che l'AI avesse velocizzato il loro lavoro.
- In una ricerca di gennaio dell'Università di Monash si afferma che GPT-4 genera codice più complesso, che richiede modifiche per un ulteriore supporto, ma riesce a superare meglio i test.
Fonte: opennet.ru
