Rémi Verschelde, einer der wichtigsten Begleiter der Open-Source-Spiele-Engine Godot und Mitbegründer des Unternehmens W4 Games, erklärte, dass der zunehmende Strom von qualitativ minderwertigen Pull-Requests, die mithilfe von großen Sprachmodellen generiert werden, die Entwickler von Godot, die mit der Überprüfung von Änderungen beschäftigt sind, erschöpft und demoralisiert. Laut Rémi ist das Projekt Godot stolz auf seine Offenheit für neue Teilnehmer und bietet jedem Benutzer die Möglichkeit, die Entwicklung der Engine zu beeinflussen. Die Begleiter von Godot verbringen viel Zeit damit, Pull-Requests in den richtigen Zustand zu bringen, aber angesichts der derzeitigen Flut an fragwürdigen Änderungen weiß Rémi nicht, wie viel die Mannschaft noch aushalten kann.
Derzeit gibt es im Godot-Repository auf GitHub über 4600 offene Pull-Requests. Adriaan de Jongh, Direktor des Spieleentwicklungsstudios Hidden Folks, charakterisierte den Zustand der durch KI generierten Müll-Pull-Requests für Godot als ein völliges Durcheinander und eine enorme Zeitverschwendung für die Reviewer, die gezwungen sind, Zeit mit der Analyse von Änderungen zu verbringen, die oft keinen Sinn ergeben, mit übermäßig wortreichen Beschreibungen versehen sind und von Entwicklern eingereicht werden, die ihre eigenen Patches nicht verstehen.
Mit dem Aufkommen von KI-Tools sind die Begleiter zusätzlich gezwungen zu klären, ob der Code von einem Menschen geschrieben wurde oder automatisch generiert wurde, und auch zu prüfen, ob der Autor den Code, den er eingereicht hat, versteht. Außerdem müssen sie herausfinden, ob die Autoren ihren Code getestet haben oder ob die präsentierten Testergebnisse lediglich von der KI gefälscht sind. Darüber hinaus versteht Rémi nicht, wie er in Situationen handeln soll, in denen Auto-Patch-Autoren auf die Frage nach der Nutzung von KI mit „Ich habe es nur für die Beschreibung verwendet, weil ich schlecht Englisch schreibe“ antworten, was eine eindeutige Klassifizierung des Beitrags unmöglich macht.
Es wird festgestellt, dass die Begleiter mehrmals täglich die Pull-Requests von neuen Teilnehmern überprüfen müssen, aus Zweifeln an deren Qualität. Die einzige Lösung, um den bisherigen Ansatz zur Entwicklung beizubehalten, sieht Rémi in einer Erhöhung der Projektfinanzierung, um zusätzliche Begleiter zu bezahlen, die die AI-generierten Inhalte überprüfen.
Ähnliche Schwierigkeiten hat das Blender-Projekt, das Anfang Februar mit der Entwicklung einer Politik zu mit AI erstellten Patches begonnen hat. Bereits zuvor hatten die Linux Foundation, Fedora, GNOME, Firefox, Ghostty, Servo und LLVM Regeln für solche Fälle verabschiedet. Im Januar begann GitHub eine Diskussion über die Einführung von Maßnahmen zur Einschränkung von niedrigwertigen Pull-Anfragen, die von AI-Assistenten generiert und ohne manuelle Überprüfung eingereicht wurden, die nicht den Qualitätsanforderungen entsprechen und erhebliche Schwierigkeiten für die Entwickler verursachen.
Quelle: opennet.ru
