Rémi Verschelde, een van de sleutelpersonen achter de open game-engine Godot en medeoprichter van W4 Games, heeft verklaard dat de toenemende stroom van lage kwaliteit pull-requests, gegenereerd door grote taalmodellen, de ontwikkelaars van Godot uitput en demoraliseert, die verantwoordelijk zijn voor het beoordelen van de wijzigingen. Volgens Rémi is het Godot-project trots op zijn openheid voor nieuwe deelnemers en biedt het elke gebruiker de mogelijkheid om invloed uit te oefenen op de ontwikkeling van de engine. De ontwikkelaars van Godot besteden veel tijd aan het helpen om pull-requests in de juiste staat te krijgen, maar met de huidige overvloed aan twijfelachtige wijzigingen weet Rémi niet hoeveel langer het team kan volhouden.
Momenteel zijn er meer dan 4600 open pull-requests in de Godot-repository op GitHub. Adriaan de Jongh, directeur van de gamestudio Hidden Folks, beschreef de toestand van de AI-geproduceerde rommel pull-requests voor Godot als een complete zooien en een enorme verspilling van tijd voor de beoordelaars, die gedwongen worden tijd te besteden aan het analyseren van wijzigingen die vaak geen zin hebben, voorzien zijn van overtollig lange beschrijvingen en worden ingediend door ontwikkelaars die hun eigen patches niet begrijpen.
Met de komst van AI-tools zijn de ontwikkelaars genoodzaakt om extra te bepalen of de code door een mens is geschreven of automatisch is gegenereerd, evenals om te begrijpen of de auteur de code begrijpt die hij heeft ingediend. Ze moeten ook uitzoeken of de auteurs hun code hebben getest of dat de gepresenteerde testresultaten slechts door AI zijn gefabriceerd. Bovendien begrijpt Rémi niet hoe te handelen in situaties waarin auteurs van patches op de vraag over het gebruik van AI antwoorden: 'ik heb het alleen voor de beschrijving gebruikt, omdat ik slecht in het Engels schrijf', wat het onmogelijk maakt om de bijdrage eenduidig te classificeren.
Het wordt opgemerkt dat ontwikkelaars meerdere keren per dag pull-requests van nieuwkomers moeten hercontroleerden, waarbij ze twijfelen aan hun kwaliteit. Het enige oplossing om de vroegere benadering van ontwikkeling te behouden, denkt Rémi, is de financiering van het project te verhogen zodat er extra ontwikkelaars kunnen worden betaald, die de AI-rotzooi zullen beoordelen.
Het Blender-project ondervindt soortgelijke problemen en is begin februari begonnen met het ontwikkelen van beleid voor patches die met behulp van AI zijn gemaakt. Eerder hebben de Linux Foundation, Fedora, GNOME, Firefox, Ghostty, Servo en LLVM regels vastgesteld voor dergelijke gevallen. In januari begon GitHub een discussie over de implementatie van maatregelen om de instroom van laagwaardige pull-aanvragen, gegenereerd door AI-assistenten en zonder handmatige controle verzonden, te beperken, die niet voldoen aan kwaliteitsnormen en ernstige problemen veroorzaken voor de onderhouders.
Bron: opennet.ru
