Camilla Moraes, a product manager at GitHub, initiated a discussion on adding a feature to GitHub for automatically blocking spam pull requests generated by AI assistants that are submitted without manual review and do not meet quality requirements. Such changes create an additional burden on maintainers, who are forced to spend time sorting through useless code.
As short-term solutions, the possibility of quickly deleting pull requests through the web interface (without leaving a trace in history instead of marking them as closed) and using customizable permissions for submitting pull requests is being considered. This would allow repository owners to permit changes only from contributors who have made changes previously.
In terms of long-term solutions, expanding the powers model and providing maintainers with tools to flexibly set rules defining who has the right to create and review pull requests, and what requirements pull requests must meet, has been mentioned. Additionally, it is proposed to use AI to determine if the submitted changes comply with the rules and quality standards of each project (for example, specified in the CONTRIBUTING.md file), as well as to identify and specially mark changes prepared using AI.
Among the suggestions made during the discussion, the creation of a filter prohibiting the submission of pull requests without prior issue discussion explaining the reasons for the changes is also notable, as well as notifying maintainers about incoming pull requests from newcomers only after passing tests in the continuous integration system.
According to statistics from one of the key developers of the genkit framework, only one in ten changes prepared by AI meets the criteria for opening a pull request. One participant from the Azure Core Upstream project summarized the main concerns of maintainers:
- Violation of the trust model during review—reviewers cannot be sure that the person submitting the change wrote the provided code and understands its essence.
- Az AI-asszisztensek által generált pull kérések szerkezetileg helyesnek tűnhetnek, de logikailag hibásak, nem biztonságosak vagy nem ellenőrizve működnek.
- A soronkénti felülvizsgálat gyakorlata továbbra is kötelező, de nem skálázható a AI-asszisztensek által generált változások növekvő mennyisége mellett.
- A kísérők kényelmetlenül érzik magukat a pull kérések átvételénél, amelyeket nem értenek meg teljesen, míg az AI-asszisztensek egyszerűsítik a nagyobb változások átadását anélkül, hogy mélyreható megértéssel rendelkeznének.
- Növekszik a kísérőkre háruló kognitív teher, akiknek most nemcsak a kódot kell ellenőrizniük, hanem azt is értékelniük kell, hogy a szerző megérti-e azt.
- Az AI-eszközök megjelenése nem csökkentette, hanem növelte a kísérőkre háruló terheket.
Ezen kívül említhető egy több európai egyetem által végzett kutatás a vibe-kódolás hatásáról a nyílt projektek ökoszisztémájára. A kutatók kifejlesztettek egy nyílt kód ökoszisztéma egyensúlyi modelljét, amely azt mutatta, hogy a visszajelzések, amelyek korábban a nyílt projektek robbanásszerű növekedéséért voltak felelősek, a vibe-kódolás elterjedése után ellenkező hatást fejtenek ki - csökken a kódot megosztani kész fejlesztők száma, csökken a nyílt projektek sokfélesége és csökken a minőség. A probléma megoldásának egyik javasolt módja egy Spotify-szerű finanszírozási modell bevezetése, amelyben az AI-platformok az előfizetésekből származó bevételeket a projektek használatának mértéke szerint osztják el a kísérők között.
A vibe coding során a fejlesztők abbahagyják a rendelkezésre álló megoldások elemzését, a dokumentáció olvasását, a hibajelentések küldését és az open source könyvtárakat fejlesztő csapatokkal való interakciót. Az open source projektek elveszítik a visszajelzést a felhasználóktól. Az új projekteknek nehezebb érvényesülniük, mivel az AI-asszisztensek önállóan választják ki a szükséges open source könyvtárakat a modell tanulása során rendelkezésre álló információk alapján. Az interakció csökkenésével a nyílt projektek monetizálása szenved, amelyek az ügyfélszolgáltatásokra, hirdetések megjelenítésére/adománygyűjtésre alapoznak. A visszajelzés csökkenése miatt a minőség is szenved. Másrészt a vibe coding növeli a munkateljesítményt új termékek létrehozásakor, amelyek idegen kódon alapulnak, és egyszerűsíti új könyvtárak integrációját.
Példaként említhetjük a Tailwind CSS projektet, amelynek letöltésszáma a NPM tárolóból továbbra is növekszik, de a dokumentációra irányuló forgalom 2023 eleje óta 40%-kal csökkent, a bevételek pedig 80%-kal estek vissza. Emellett a Stack Overflow-n folytatott beszélgetések aktivitása körülbelül 25%-kal csökkent, hat hónappal a ChatGPT bevezetése után.
Forrás: opennet.ru
