Camilla Moraes, Produktmanagerin bei GitHub, hat die Diskussion über die Einführung der Möglichkeit auf GitHub gestartet, automatisch unerwünschte Pull-Requests, die von KI-Assistenten generiert und ohne manuelle Prüfung gesendet wurden und nicht den Qualitätsanforderungen entsprechen, zu blockieren. Solche Änderungen schaffen eine zusätzliche Belastung für die Betreuer, die gezwungen sind, Zeit mit der Analyse von nutzlosem Code zu verbringen.
Als kurzfristige Lösung für das Problem wird die Möglichkeit in Betracht gezogen, Pull-Requests schnell über die Weboberfläche zu löschen (ohne in der Historie abzulegen, anstatt sie als geschlossen zu markieren) und anpassbare Rechte für das Einreichen von Pull-Requests zu verwenden, die es den Repository-Besitzern erlauben, Änderungen nur von Personen zuzulassen, die zuvor Änderungen vorgenommen haben.
Für langfristige Lösungen wird die Erweiterung des Berechtigungsmodells und die Bereitstellung von Werkzeugen für die Betreuer zur flexiblen Festlegung von Regeln erwähnt, die definieren, wer Pull-Requests erstellen und überprüfen darf und welchen Anforderungen die Pull-Requests entsprechen müssen. Außerdem wird vorgeschlagen, KI zur Überprüfung der Einhaltung der gesendeten Änderungen an den Regeln und Qualitätsstandards jedes Projekts (z.B. wie in CONTRIBUTING.md festgelegt) sowie zur Identifizierung und speziellen Kennzeichnung von Änderungen einzusetzen, die mit Hilfe von KI erstellt wurden.
Unter den im Verlauf der Diskussion geäußerten Vorschlägen ist auch die Einführung eines Filters zu erwähnen, der das Einreichen von Pull-Requests ohne vorherige Eröffnung von Issue-Diskussionen mit einer Erklärung der Gründe für die Änderungen verbietet, sowie die Information der Betreuer über den Eingang von Pull-Requests von Neulingen erst nach dem erfolgreichen Abschluss von Tests im Continuous Integration-System.
Statistiken eines der Hauptentwickler des Frameworks genkit zeigen, dass nur eine von zehn Änderungen, die in KI erstellt wurden, die Kriterien für die Eröffnung eines Pull-Requests erfüllt. Ein Teilnehmer des Azure-Core-Upstream-Projekts fasste die Hauptbedenken der Betreuer zusammen:
- Verletzung des Vertrauensmodells bei der Überprüfung – die Prüfer können sich nicht sicher sein, dass der Absender der Änderung den übermittelten Code selbst geschrieben hat und dessen Inhalt versteht.
- Von KI-Assistenten generierte Pull-Requests können strukturell korrekt aussehen, aber logisch inkorrekt, unsicher oder ungetestet sein.
- Die Praxis der zeilenweisen Überprüfung bleibt unerlässlich, aber sie kann unter den zunehmenden Änderungen, die durch KI-Assistenten entstehen, nicht skaliert werden.
- Die Begleiter empfinden Unbehagen, wenn sie Pull-Requests annehmen, die sie nicht vollständig verstehen, während KI-Assistenten die Übermittlung großer Änderungen ohne tiefes Verständnis erleichtern.
- Die kognitive Belastung der Begleiter erhöht sich, da sie nun nicht nur den Code überprüfen, sondern auch beurteilen müssen, ob dessen Autor ihn versteht.
- Das Auftreten von KI-Tools hat die Belastung der Begleiter nicht verringert, sondern erhöht.
Zusätzlich kann auf eine Untersuchung hingewiesen werden, die von mehreren europäischen Universitäten durchgeführt wurde und den Einfluss von Vibe-Coding auf das Ökosystem offener Projekte untersucht. Die Forscher entwickelten ein Gleichgewichtsmodell des Open-Source-Ökosystems, das zeigte, dass Rückmeldungen, die zuvor für das explosive Wachstum offener Projekte verantwortlich waren, nach der Verbreitung von Vibe-Coding einen gegenteiligen Effekt erzeugen — die Anzahl der Entwickler, die bereit sind, Code zu teilen, nimmt ab, die Vielfalt offener Projekte verringert sich und die Qualität nimmt ab. Eine mögliche Lösung des Problems wird in der Einführung eines Finanzierungsmodells genannt, das an Spotify erinnert, bei dem KI-Plattformen Einnahmen aus Abonnements für Dienste unter den Begleitern basierend auf dem Grad der Nutzung der Projekte umverteilen.
Beim Vibe-Coding hören Entwickler auf, verfügbare Lösungen zu analysieren, Dokumentationen zu lesen, Fehlermeldungen zu senden und mit Teams zu interagieren, die offene Bibliotheken entwickeln. Offene Projekte verlieren die Rückmeldung von Nutzern. Es wird für neue Projekte schwieriger, sich durchzusetzen, da KI-Assistenzsysteme die notwendigen offenen Bibliotheken basierend auf den Informationen, die zum Zeitpunkt des Modelltrainings verfügbar waren, selbst auswählen. Aufgrund der verringerten direkten Interaktion mit Nutzern leidet die Monetarisierung offener Projekte, die auf Supportdienste und Werbung/Spendensammlungen auf Websites angewiesen sind. Durch den Rückgang des Feedbacks leidet auch die Qualität. Andererseits erhöht Vibe-Coding die Produktivität bei der Erstellung neuer Produkte, die auf fremdem Code basieren, und erleichtert die Implementierung neuer Bibliotheken.
Ein Beispiel ist das Projekt Tailwind CSS, dessen Downloadzahlen aus dem NPM-Repository weiterhin steigen, aber der Traffic zur Dokumentation seit Anfang 2023 um 40 % gesunken ist und die Einnahmen um 80 % gefallen sind. Außerdem wurde ein Rückgang der Diskussionsaktivität auf Stack Overflow um etwa 25 % festgestellt, sechs Monate nach dem Start von ChatGPT.
Quelle: opennet.ru
