Investigadores de CodeRabbit analizaron 470 pull requests (350 creados por IA, 150 escritos a mano) en proyectos abiertos en GitHub y concluyeron que los cambios generados por asistentes de IA contienen 1.7 veces más defectos significativos y 1.4 veces más problemas críticos que el código escrito a mano. En promedio, los pull requests generados por IA presentaron 10.83 problemas, mientras que en los cambios hechos a mano este número fue de 6.45.
Al considerar categorías específicas de problemas, el código creado por IA presentó 1.75 veces más errores lógicos, 1.64 veces más problemas de calidad y mantenibilidad, 1.56 veces más problemas de seguridad y 1.41 veces más problemas de rendimiento. Además, se observa que el código generado por IA tiene 1.88 veces más probabilidades de manejar incorrectamente contraseñas, 1.91 veces más probabilidades de otorgar acceso no seguro a objetos, 2.74 veces más posibilidades de scripting entre sitios (XSS) y 1.82 veces más posibilidades de deserialización de datos insegura. Mientras tanto, en el código escrito por humanos hay 1.76 veces más errores ortográficos y 1.32 veces más errores relacionados con pruebas.
Algunos otros estudios:
- En un estudio realizado en noviembre por Cortex, se señala que, en comparación con el año pasado, gracias al uso de IA, el número de pull requests creados por un desarrollador ha aumentado en promedio un 20%, pero el número de problemas en los pull requests ha crecido en un 23.5% y la tasa de rechazos al implementar cambios ha aumentado aproximadamente un 30%.
- En el estudio de agosto de la Universidad de Nápoles, se concluye que el código generado por IA es en general más simple y uniforme, pero contiene más construcciones no utilizadas y inserciones de depuración integradas, mientras que el código escrito a mano es estructuralmente más complejo y presenta más problemas de mantenibilidad.
- El experimento de julio del grupo METR mostró que los asistentes de IA no aceleran, sino que ralentizan la resolución de tareas, aunque los participantes consideraron subjetivamente que la IA había acelerado su trabajo.
- En la investigación de enero de la Universidad de Monash, se indica que GPT-4 genera código más complejo, que requiere ajustes para un mejor mantenimiento, pero que pasa mejor las pruebas.
Fuente: opennet.ru
