Vergleich der Anzahl von Fehlern im Code, der von Menschen und KI geschrieben wurde.

Forscher von CodeRabbit haben 470 Pull-Requests (350 – AI-generiert, 150 – manuell erstellt) in offenen Projekten auf GitHub analysiert und festgestellt, dass in den von AI-Assistenz erstellten Änderungen 1,7-mal mehr signifikante Defekte und 1,4-mal mehr kritische Probleme vorhanden sind als im manuell geschriebenen Code. Im Durchschnitt wiesen die AI-generierten Pull-Requests 10,83 Probleme auf, während manuell erstellte Änderungen nur 6,45 Probleme enthielten.

Bei der Betrachtung einzelner Problembereiche ergab der erzeugte AI-Code im Durchschnitt 1,75-mal mehr logische Fehler, 1,64-mal mehr Probleme mit der Qualität und Wartbarkeit des Codes, 1,56-mal mehr Sicherheitsprobleme und 1,41-mal mehr Leistungsprobleme. Zudem wird festgestellt, dass im durch AI generierten Code die Wahrscheinlichkeit für eine fehlerhafte Verarbeitung von Passwörtern 1,88-mal höher ist, die unsichere Bereitstellung von Zugängen zu Objekten 1,91-mal, Cross-Site-Scripting (XSS) 2,74-mal und unsichere Deserialisierung von Daten 1,82-mal höher ist. Im Vergleich dazu weist der von Menschen geschriebene Code 1,76-mal mehr Rechtschreibfehler und 1,32-mal mehr fehlerbezogene Probleme im Zusammenhang mit Tests auf.

Einige andere Studien:

• In einer im November durchgeführten Untersuchung der Firma Cortex wird festgestellt, dass im Vergleich zum Vorjahr durch den Einsatz von AI die Anzahl der von einem Entwickler erstellten Pull-Requests im Durchschnitt um 20% gestiegen ist, die Anzahl der Problems in den Pull-Requests jedoch um 23,5% zugenommen hat und die Ablehnungsrate bei Änderungen etwa um 30% gestiegen ist.
• In einer Studie der Neapolitanischen Universität im August wurde festgestellt, dass durch KI generierter Code insgesamt einfacher und einheitlicher ist, jedoch mehr ungenutzte Konstruktionen und integrierte Debugging-Einfügungen enthält. Im Gegensatz dazu ist händisch geschriebener Code strukturell komplexer und weist mehr Wartungsprobleme auf.
• Das Experiment der METR-Gruppe im Juli zeigte, dass KI-Assistenten die Lösung gegebener Aufgaben nicht beschleunigen, sondern tatsächlich verlangsamen, obwohl die Teilnehmer subjektiv der Meinung waren, dass die KI ihre Arbeit beschleunigt habe.
• In einer Studie der Monash-Universität im Januar wurde festgestellt, dass GPT-4 komplexeren Code generiert, der für die weitere Wartung überarbeitet werden muss, aber besser bei Testdurchläufen abschneidet.

Quelle: opennet.ru