Защита от невалидни AI-промени на GitHub. Оценка на влиянието на вайб-кодирането в екосистемата на отворения софтуер

Камилла Мораес (Camilla Moraes), продуктов мениджър в компанията GitHub, стартира дискусия за добавяне на възможността за автоматично блокиране на ненужни pull заявки, генерирани от AI асистенти, изпратени без ръчна проверка и несъответстващи на стандартите за качество. Тези изменения създават допълнително натоварване за поддържащите, които трябва да отделят време за анализиране на безполезен код.

Като краткосрочни решения на проблема се разглежда бързо премахване на pull заявките през уеб интерфейса (изтриване без да остават следи в историята, вместо да бъдат маркирани като затворени) и използването на настраиваеми права за изпращане на pull заявки, което позволява на собствениците на хранилища да разрешават предаването на промени само на участниците, които вече са направили промени.

От решенията с дългосрочен ефект се споменава разширяване на моделите на правомощия и предоставяне на инструменти на поддържащите за гъвкаво задаване на правила, определящи кой има право да създава и рецензира pull заявки и изискванията, на които трябва да отговарят. Освен това, се предлага използването на AI за оценка на съответствието на изпратените промени с правилата и стандартите за качество на всеки проект (например, зададени в файла CONTRIBUTING.md), както и откриване и специално отбелязване на промени, подготвени с помощта на AI.

От предложенията, изразени по време на дискусията, може да се отбележи създаването на филтър, който да забрани изпращането на pull заявки без предварително отваряне на issue-дискусии с обяснения за причините за реализирането на промените, както и уведомяване на поддържащите за постъпването на pull заявки от новаците само след успешното преминаване на тестовете в системата за непрекъсната интеграция.

Според статистиката на един от водещите разработчици на фреймворка genkit, едва едно от десет изменения, подготвени с AI, отговаря на критериите за отваряне на pull заявка. Един от участниците в проекта Azure Core Upstream обобщи основните опасения на поддържащите:

  • Нарушение на модела на доверие при рецензиране — рецензентите не могат да бъдат сигурни, че изпратилият промените е написал подадения код и разбира неговата същност.
  • Генерираните от AI асистенти pull заявки могат структурно да изглеждат правилно, но да са логически неверни, небезопасни или непроверени в работата си.
  • Практиката на рецензиране ред по ред остава задължителна, но тя не може да се мащабира в условия на нарастващи промени, генерирани от AI асистенти.
  • Сопровождащите изпитват дискомфорт при приемането на pull заявки, които не разбират напълно, докато AI асистентите опростяват предаването на големи промени без дълбочинно разбиране.
  • Когнитивното натоварване на съпровождащите се увеличава, защото те вече трябва не само да проверяват кода, но и да оценят дали авторът му го разбира.
  • Появата на AI инструменти не е намалила, а е увеличила натоварването на съпровождащите.

Допълнително, можем да отбележим проведено от няколко европейски университета изследване на влиянието на вайб-кодинга върху екосистемата на отворените проекти. Изследователите разработили модел на равновесие на екосистемата на отворения код, който показва, че обратните връзки, които по-рано отговаряха за експлозивния растеж на отворените проекти, след разпространението на вайб-кодинга създават обратен ефект — намалява броят на разработчиците, готови да споделят код, намалява разнообразието на отворените проекти и се понижава качеството. Едно от решенията на проблема е внедряването на модел на финансиране, подобен на Spotify, при който AI платформите преразпределят приходите от абонаменти на услуги за разработчиците, в зависимост от степента на използване на проектите.

При вайб-кодинге разработчиците спират да анализират наличните решения, да четат документацията, да изпращат съобщения за грешки и да взаимодействат с екипите, които развиват отворени библиотеки. Отворените проекти губят обратна връзка от потребителите. Новите проекти стават по-трудни за пробив, тъй като AI-асистентите сами подбират необходимите отворени библиотеки на базата на информацията, налична по времето на обучението на модела. Поради намаляване на директната интеракция с потребителите страда монетизацията на отворените проекти, свързани с услуги за поддръжка и показване на реклама/събиране на дарения на сайтовете. В резултат на намаляване на обратната връзка страда качеството. От друга страна, вайб-кодингът увеличава производителността на труда при създаване на нови продукти, основани на чужд код, и опростява внедряването на нови библиотеки.

Като пример може да се посочи проектът Tailwind CSS, чият брой изтегляния от репозитория NPM продължава да расте, но трафикът към документацията е намалял с 40% от началото на 2023 година, а приходите са спаднали с 80%. Също така е отбелязано намаляване на активността на обсъжданията в Stack Overflow с около 25% след 6 месеца от старта на ChatGPT.

Защита от невалидни AI-промени на GitHub. Оценка на влиянието на вайб-кодирането в екосистемата на отворения софтуерЗащита от невалидни AI-промени на GitHub. Оценка на влиянието на вайб-кодирането в екосистемата на отворения софтуер


Източник: opennet.ru
Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри 🔥 Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри | ProHoster