Comparaison du nombre d'erreurs dans le code écrit par des humains et IA.

Des chercheurs de l'entreprise CodeRabbit ont analysé 470 pull requests (350 générées par l'IA, 150 écrites manuellement) dans des projets ouverts sur GitHub et en sont arrivés à la conclusion que les modifications générées par des assistants IA présentent 1,7 fois plus de défauts significatifs et 1,4 fois plus de problèmes critiques que le code écrit manuellement. En moyenne, les pull requests générées par l'IA contenaient 10,83 problèmes, tandis que les modifications créées manuellement avaient ce chiffre de 6,45.

En examinant des catégories spécifiques de problèmes, le code généré par l'IA contenait 1,75 fois plus d'erreurs logiques, 1,64 fois plus de problèmes de qualité et de maintenabilité du code, 1,56 fois plus de problèmes de sécurité et 1,41 fois plus de problèmes de performance. De plus, il est noté que dans le code généré par l'IA, la probabilité d'un traitement incorrect des mots de passe est 1,88 fois plus élevée, 1,91 fois plus pour l'accès non sécurisé aux objets, 2,74 fois plus pour le cross-site scripting (XSS) et 1,82 fois plus pour la désérialisation non sécurisée des données. En revanche, le code écrit par des humains contenait 1,76 fois plus de fautes d'orthographe et 1,32 fois plus d'erreurs liées aux tests.

Quelques autres études :

• Dans une étude réalisée en novembre par l'entreprise Cortex, il est indiqué qu'en comparaison avec l'année dernière, grâce à l'application de l'IA, le nombre de pull requests créées par un seul développeur a augmenté en moyenne de 20 %, mais le nombre de problèmes dans les pull requests a augmenté de 23,5 %, et le taux d'échec lors de l'application des modifications a augmenté d'environ 30 %.
• Dans une étude d'août de l'Université de Naples, il a été conclu que le code généré par l'IA est en général plus simple et plus uniforme, mais contient plus de constructions inutilisées et d'instructions de débogage intégrées, tandis que le code écrit manuellement est structurellement plus complexe et contient plus de problèmes de maintenabilité.
• L'expérience de juillet du groupe METR a montré que les assistants IA ne permettent pas d'accélérer, mais au contraire ralentissent la résolution des tâches assignées, même si les participants pensaient subjectivement que l'IA avait accéléré leur travail.
• Dans une étude de janvier de l'Université de Monash, il est indiqué que GPT-4 génère un code plus complexe, nécessitant des retouches pour une maintenance ultérieure, mais qui réussit mieux à passer les tests.

Source : opennet.ru