Pesquisadores da empresa CodeRabbit analisaram 470 pull requests (350 — criados por IA, 150 — escritos manualmente) em projetos open source no GitHub e concluíram que nas alterações geradas por assistentes de IA há 1,7 vezes mais defeitos significativos e 1,4 vezes mais problemas críticos do que no código escrito manualmente. Em média, os pull requests gerados por IA continham 10,83 problemas, enquanto as alterações criadas manualmente apresentaram 6,45.
Ao considerar categorias específicas de problemas, o código gerado por IA apresentava 1,75 vezes mais erros lógicos, 1,64 vezes mais problemas de qualidade e manutenção do código, 1,56 vezes mais problemas de segurança e 1,41 vezes mais problemas de desempenho. Além disso, observa-se que o código gerado por IA tem 1,88 vezes mais chances de tratamento inadequado de senhas, 1,91 vezes mais de fornecimento inseguro de acesso a objetos, 2,74 vezes mais de cross-site scripting (XSS) e 1,82 vezes mais de desserialização insegura de dados. Enquanto isso, o código escrito por humanos apresentou 1,76 vezes mais erros ortográficos e 1,32 vezes mais erros relacionados a testes.
Outros estudos:
- Em um estudo realizado em novembro pela Cortex, foi destacado que, em comparação ao ano passado, graças à aplicação de IA, o número de pull requests criados por um desenvolvedor aumentou em média 20%, mas o número de problemas nos pull requests cresceu em 23,5%, e a taxa de rejeição ao implementar alterações aumentou cerca de 30%.
- No estudo de agosto da Universidade de Nápoles, foi concluído que o código gerado por IA é, em geral, mais simples e homogêneo, mas contém mais construções não utilizadas e inserções de depuração embutidas, enquanto o código escrito manualmente é estruturalmente mais complexo e contém mais problemas de manutenção.
- O experimento de julho do grupo METR mostrou que assistentes de IA não aceleram, mas desaceleram a resolução das tarefas propostas, embora os participantes tenham considerado subjetivamente que a IA acelerou seu trabalho.
- Uma pesquisa de janeiro da Universidade Monash indica que o GPT-4 gera código mais complexo, que requer melhorias para suporte futuro, mas lida melhor com a realização de testes.
Fonte: opennet.ru
