Camilla Moraes, a product manager at GitHub, initiated a discussion about adding a feature to GitHub to automatically block junk pull requests generated by AI assistants, which are sent without manual review and do not meet quality standards. Such changes create an additional burden on maintainers, who are forced to spend time parsing through useless code.
As short-term solutions to the problem, the possibility of quickly deleting pull requests through the web interface (removal without leaving a trace in history instead of marking them as closed) and using customizable permissions for submitting pull requests is being considered, allowing repository owners to permit changes only from previous contributors.
For long-term solutions, the expansion of the permission model and the provision of tools for maintainers to flexibly set rules that define who has the right to create and review pull requests, as well as what requirements must be met by pull requests, are mentioned. Additionally, using AI to determine compliance of the submitted changes with the rules and quality standards of each project (e.g., specified in the CONTRIBUTING.md file) is proposed, as well as identifying and specially marking changes prepared with the help of AI.
Among the suggestions made during the discussion, the creation of a filter that prohibits the submission of pull requests without prior opening of issue discussions explaining the reasons for the changes is also noteworthy, as well as notifying maintainers of pull requests from newcomers only after successfully passing tests in the continuous integration system.
According to statistics from one of the key developers of the genkit framework, only one in ten changes prepared by AI meets the criteria for opening a pull request. One of the participants in the Azure Core Upstream project summarized the main concerns of the maintainers:
- The violation of the trust model during review — reviewers cannot be sure that the sender of the change wrote the submitted code and understands its essence.
- Az AI-asszisztensek által generált pull-kérdések szerkezetileg helyesnek tűnhetnek, de logikailag hibásak, nem biztonságosak vagy nem tesztelt működésűek.
- A soronkénti felülvizsgálat gyakorlata továbbra is kötelező, azonban a törvényszerűen növekvő változások mellett, amelyeket az AI-asszisztensek generálnak, nem skálázható.
- A támogatók feszültséget éreznek a pull-kérdések elfogadása során, amelyeket nem értenek meg teljesen, míg az AI-asszisztensek megkönnyítik nagyobb változások közvetítését mély megértés nélkül.
- Növekszik a kognitív teher a támogatókra, akiknek most nemcsak a kódot kell ellenőrizniük, hanem azt is értékelniük, hogy a szerző megérti-e azt.
- Az AI-eszközök megjelenése nem csökkentette, hanem növelte a támogatók terheit.
Továbbá megemlíthető, hogy több európai egyetem által végzett kutatás vizsgálta a vibe-kódolás hatását a nyílt projektek ökoszisztémájára. A kutatók kidolgoztak egy nyílt kód ökoszisztéma egyensúlyi modelljét, amely azt mutatta, hogy az eddig a nyílt projektek robbanásszerű növekedéséért felelős visszacsatolások, a vibe-kódolás elterjedése után ellentétes hatást gyakorolnak - csökken a kód megosztására hajlandó fejlesztők száma, csökken a nyílt projektek sokfélesége és romlik a minőség. A probléma megoldásának egyik lehetősége a Spotify-ra emlékeztető finanszírozási modell bevezetése, amelyben az AI-platformok a szolgáltatások előfizetéseiből származó bevételeket a projektek használatának mértéke alapján osztják újra a fejlesztők között.
A vibecoding során a fejlesztők leállítják a rendelkezésre álló megoldások elemzését, a dokumentációk olvasását, a hibabejelentések küldését és az interakciót a nyílt könyvtárakat fejlesztő csapatokkal. A nyílt projektek elvesztik a visszajelzést a felhasználóktól. Az új projektek számára nehezebbé válik a boldogulás, mivel az AI-asszisztensek saját maguk választják ki a szükséges nyílt könyvtárakat az oktatási modelljük alapján elérhető információk alapján. A felhasználókkal való közvetlen interakció csökkenése miatt a támogatási szolgáltatásokon és a reklámok megjelenítésén/díjgyűjtésen alapuló nyílt projektek monetizálása sérül. A visszajelzés csökkenése sújtja a minőséget is. Másrészt a vibecoding növeli a termékek fejlesztésének hatékonyságát idegen kódok alapján, és leegyszerűsíti az új könyvtárak bevezetését.
Példaként említhetjük a Tailwind CSS projektet, melynek NPM-tárolójából való letöltésének száma továbbra is növekszik, de a dokumentációra irányuló forgalom 2023 eleje óta 40%-kal csökkent, míg a bevételek 80%-kal estek vissza. A Stack Overflow-n folytatott beszélgetések aktivitásának csökkenését is észlelték, körülbelül 25%-kal, 6 hónappal a ChatGPT megjelenése után.
Forrás: opennet.ru
