Interview mit Greg Kroah-Hartman über Fehlerberichte, die von KI generiert wurden

Auf der Konferenz KubeCon Europe führte The Register ein Interview mit Greg Kroah-Hartman, der für die Unterstützung der stabilen und der "staging" Zweige des Linux-Kernels verantwortlich ist und die Hauptverantwortung für 16 Untersysteme des Kernels hat. Im Interview wird Gregs Einstellung zu den von KI erstellten Fehlerberichten diskutiert. KI wird im Kernel bereits zur Überprüfung von Änderungen im Netzwerkunterssystem, eBPF und DRM eingesetzt, und zur Überprüfung der übermittelten Änderungen wurde kürzlich das Sashiko-Tool von Google integriert.

Einige von Gregs Aussagen:

• „Vor einigen Monaten haben wir das erhalten, was wir AI-Müll nannten – KI-generierte Sicherheitsberichte, die offensichtlich falsch oder von geringer Qualität waren. Das war sogar amüsant. Wir haben uns darüber nicht wirklich Gedanken gemacht… Vor einem Monat passierte etwas, und die Situation änderte sich vollständig. Jetzt bekommen wir echte Berichte.“
• „Ähnliches beobachten wir nicht nur im Linux-Bereich – alle Open-Source-Projekte erhalten echte Berichte, die mit Hilfe von KI erstellt wurden, und die sind jetzt qualitativ hochwertig und valide. Die Sicherheits Teams der größten Open-Source-Projekte stellen in ihrer informellen Kommunikation untereinander dieselbe Tendenz fest.“
• Auf die Frage, woran das liegt, antwortete Greg: „Wir wissen es nicht. Es scheint, als wüsste niemand. Entweder sind viele Werkzeuge viel besser geworden, oder die Leute haben angefangen zu sagen: ‚Hey, lass uns darum kümmern.‘ Es scheint, als betreffe das viele verschiedene Gruppen und Unternehmen. Was den Kernel betrifft, so werden wir damit umgehen. Unser Team ist viel größer geworden, es ist sehr verstreut auf der ganzen Welt, und unser Wachstum ist eine Realität, die nicht nachlässt. Es sind Kleinigkeiten, nichts Ernstes, aber Hilfe in dieser Angelegenheit könnte für alle Open-Source-Projekte erforderlich sein. Kleinere Projekte haben viel weniger Möglichkeiten, mit dem plötzlich erhöhten Fluss von von KI generierten Fehler- und Sicherheitsberichten umzugehen, die echte Fehler erwähnen und nicht Müll.“
• Greg berichtete, dass er, als er die KI bat, Fehler aus einem vorgeschlagenen Satz von Änderungen zu finden, 60 Fehler fand und Patches zu deren Behebung bereitstellte. Nur ein Drittel der gefundenen Fehler waren tatsächlich Fehler, und von den Patches erwiesen sich nur 2/3 als korrekte Lösungen, die keine Nachbearbeitung benötigten, aber all das war bei Weitem nicht nutzlos. Laut Greg können die Maintainer dies nicht ignorieren, zumal die Ergebnisse der KI-Arbeit immer besser werden. Um die mit KI erstellten Patches zu kennzeichnen, wurde das Tag „Co-developed:“ hinzugefügt. Dabei wird KI im Kern hauptsächlich bei der Überprüfung von Änderungen eingesetzt, trotz einzelner Versuche, KI für die Erstellung neuer Funktionalitäten zu nutzen.
• Eines der auffälligsten Vorteile der KI ist die Verkürzung der Bearbeitungszeit für Patches. Wenn der KI-Assistent offensichtliche Probleme erkennt, erhalten die Patch-Autoren Feedback lange bevor der tatsächliche Maintainer den Patch lesen kann: „Wenn ich sehe, dass das System auf etwas reagiert, gibt es schneller Feedback an den Autor, als es der Maintainer tun könnte, und das ist großartig. Wir haben bereits eine Reihe von Bots, die Patches überprüfen. Wenn ich bemerke, dass sie einen Fehler ausgeben, verstehe ich sofort, dass ich als Maintainer noch nicht einmal darauf schauen muss. Und der Entwickler denkt: ‚Oh, ich kann morgen eine andere Version machen‘, was hilft, das Feedback ein wenig zu verbessern.“

Quelle: opennet.ru