Camilla Moraes, product manager at GitHub, began a discussion about adding the possibility of automatically blocking junk pull requests generated by AI assistants, submitted without manual review and not meeting quality standards. Such changes create additional burdens on maintainers, who are forced to spend time sifting through useless code.
As short-term solutions to the problem, the possibility of quickly deleting pull requests through the web interface (removing them without leaving a trace in history instead of marking them as closed) and using customizable permissions for submitting pull requests is being considered, allowing repository owners to permit changes only from contributors who have previously made contributions.
In terms of long-term solutions, expanding the authority model and providing maintainers with tools for flexibly defining rules regarding who has the right to create and review pull requests and what requirements these pull requests must meet is mentioned. Additionally, it is proposed to involve AI to determine compliance of submitted changes with the rules and quality standards of each project (for example, as specified in the CONTRIBUTING.md file), as well as to identify and mark changes prepared with the help of AI.
Among the suggestions made during the discussion, creating a filter that prevents the submission of pull requests without prior opening of issue discussions explaining the reasons for the changes is also noted, as well as notifying maintainers about incoming pull requests from newcomers only after passing tests in the continuous integration system.
According to statistics from one of the key developers of the genkit framework, only one in ten changes prepared in AI meets the criteria for opening a pull request. One of the participants in the Azure Core Upstream project summarized the main concerns of maintainers:
- Violation of the trust model during review ā reviewers cannot be sure that the person submitting the change wrote the code they submitted and understands its essence.
- De door AI-assistenten gegenereerde pull-verzoeken kunnen er structureel correct uitzien, maar logischerwijs onjuist, onveilig of onbeproefd zijn.
- De praktijk van regel-voor-regel review blijft verplicht, maar kan niet opschalen onder de groei van veranderingen die door AI-assistenten worden aangemaakt.
- Begeleiders ervaren ongemak bij het accepteren van pull-verzoeken die ze niet volledig begrijpen, terwijl AI-assistenten de overdracht van grote veranderingen vereenvoudigen zonder diepgaand begrip.
- De cognitieve belasting bij begeleiders neemt toe, omdat ze nu niet alleen de code moeten controleren, maar ook moeten schatten of de auteur deze begrijpt.
- De opkomst van AI-tools heeft de belasting voor begeleiders niet verminderd, maar zelfs vergroot.
Daarnaast kan worden opgemerkt dat verschillende Europese universiteiten een onderzoek hebben uitgevoerd naar de impact van vibe-coding op het ecosysteem van open projecten. Onderzoekers ontwikkelden een evenwichtsmodel voor het ecosysteem van open code, dat aantoonde dat feedback, die eerder verantwoordelijk was voor de explosieve groei van open projecten, na de verspreiding van vibe-coding een tegenovergesteld effect creƫert: het aantal ontwikkelaars dat bereid is code te delen vermindert, de diversiteit van open projecten neemt af en de kwaliteit daalt. Een van de mogelijke oplossingen voor dit probleem is de invoering van een financieringsmodel, vergelijkbaar met Spotify, waarbij AI-platforms de inkomsten van abonnementen op diensten voor ontwikkelaars herverdelen onder begeleiders, afhankelijk van de mate van gebruik van de projecten.
Bij vibe-coderen stoppen ontwikkelaars met het analyseren van beschikbare oplossingen, het lezen van documentatie, het indienen van foutmeldingen en het interageren met de teams die open bibliotheken ontwikkelen. Open projecten verliezen hun terugkoppeling met gebruikers. Nieuwe projecten hebben het moeilijker om door te breken, omdat AI-assistenten zelf de benodigde open bibliotheken selecteren op basis van de informatie die beschikbaar was op het moment van trainen van het model. Door de afname van directe interactie met gebruikers lijdt de monetisatie van open projecten, die afhankelijk zijn van ondersteuningsdiensten en het tonen van advertenties/het verzamelen van donaties op websites. Door de afname van terugkoppeling lijdt de kwaliteit. Aan de andere kant verhoogt vibe-coderen de productiviteit bij het creƫren van nieuwe producten gebaseerd op andermans code, en vereenvoudigt het de implementatie van nieuwe bibliotheken.
Een voorbeeld is het project Tailwind CSS, waarvan het aantal downloads vanuit de NPM-repository blijft groeien, maar het verkeer naar de documentatie is sinds begin 2023 met 40% gedaald, en de inkomsten zijn met 80% afgenomen. Er is ook een afname van de activiteit op Stack Overflow waargenomen van ongeveer 25%, zes maanden na de lancering van ChatGPT.
Bron: opennet.ru
