Ochrana před úpravami na GitHubu založenými na umělé inteligenci: Hodnocení dopadu kódování na Vibe na ekosystém open source

Camilla Moraes, produktová manažerka GitHubu, zahájila diskuse o přidání funkce do GitHubu, která by automaticky blokovala spamové pull requesty generované asistenty s umělou inteligencí, odeslané bez manuální kontroly a nesplňující požadavky na kvalitu. Takové změny vytvářejí dodatečnou zátěž pro správce, kteří jsou nuceni trávit čas kontrolou zbytečného kódu.

Mezi krátkodobá řešení, která se zvažují, patří možnost rychlého mazání pull requestů prostřednictvím webového rozhraní (jejich mazání bez zanechání značky v historii namísto označení jako uzavřených) a použití přizpůsobitelných oprávnění pull requestů, která umožňují vlastníkům repozitářů omezit změny pouze na ty, kteří je dříve provedli.

Dlouhodobá řešení zahrnují rozšíření modelu oprávnění a poskytnutí nástrojů správcům pro flexibilní definování pravidel pro to, kdo může vytvářet a kontrolovat pull requesty a jaké požadavky musí pull requesty splňovat. Dále se navrhuje použití umělé inteligence k určení, zda odeslaná změna splňuje pravidla a standardy kvality každého projektu (například ty definované v souboru CONTRIBUTING.md), a také k identifikaci a specifickému označení změn připravených pomocí umělé inteligence.

Mezi návrhy vznesenými během diskuse stojí za zmínku také vytvoření filtru, který zakazuje odesílání pull requestů bez předchozího zahájení diskuse o problému s vysvětlením důvodů pro implementaci změn, a také informování správců o přijetí pull requestů od nováčků až po úspěšném dokončení testů v systému průběžné integrace.

Podle statistik jednoho z klíčových vývojářů frameworku genkit pouze jedna z deseti změn připravených v AI splňuje kritéria pro otevření pull requestu. Jeden z účastníků projektu Azure Core Upstream shrnul hlavní obavy správců:

  • Porušení modelu důvěryhodnosti při kontrole – recenzenti si nemohou být jisti, že osoba, která změnu odeslala, napsala odeslaný kód a rozumí jeho podstatě.
  • Žádosti o načtení (pull request) generované asistenty s umělou inteligencí se mohou jevit strukturálně správné, ale logicky nesprávné, nebezpečné nebo neotestované.
  • Praxe kontroly řádek po řádku zůstává povinná, ale nemůže se rozšiřovat tváří v tvář rostoucím změnám generovaným asistenty umělé inteligence.
  • Správci se cítí nepříjemně při přijímání pull requestů, kterým plně nerozumí, zatímco asistenti s umělou inteligencí usnadňují zavádění velkých změn bez hlubokého porozumění.
  • Kognitivní zátěž správců se zvyšuje, protože nyní musí nejen kontrolovat kód, ale také posoudit, zda mu autor rozumí.
  • Příchod nástrojů umělé inteligence nesnížil, ale spíše zvýšil pracovní zátěž podpůrného personálu.

Za zmínku stojí i studie provedená několika evropskými univerzitami o dopadu Vibe kódování na ekosystém open source. Výzkumníci vyvinuli model rovnováhy ekosystému open source, který ukázal, že zpětnovazební smyčky, které dříve podporovaly explozivní růst open source projektů, mají nyní po rozšíření Vibe kódování opačný účinek: počet vývojářů ochotných sdílet kód klesá, rozmanitost open source projektů se zmenšuje a kvalita klesá. Jedním z navrhovaných řešení je zavedení modelu financování podobného Spotify, v němž platformy umělé inteligence přerozdělují příjmy z předplatného vývojářů mezi správce na základě využívání projektů.

S Vibe kódováním vývojáři přestávají analyzovat dostupná řešení, číst dokumentaci, hlásit chyby a interagovat s týmy vyvíjejícími open-source knihovny. Open-source projekty ztrácejí zpětnou vazbu od uživatelů. Pro nové projekty je obtížnější prosadit se, protože asistenti umělé inteligence automaticky vybírají potřebné open-source knihovny na základě informací dostupných v době trénování modelu. Snížená přímá interakce s uživateli ovlivňuje monetizaci open-source projektů, které se spoléhají na podpůrné služby a reklamní/darovací kampaně na webových stránkách. Snížená zpětná vazba také ovlivňuje kvalitu. Na druhou stranu Vibe kódování zvyšuje produktivitu při vytváření nových produktů založených na kódu třetích stran a zjednodušuje implementaci nových knihoven.

Jako příklad je uveden projekt Tailwind CSS: počet stažení z repozitáře NPM nadále roste, ale návštěvnost dokumentace se od začátku roku 2023 snížila o 40 % a tržby klesly o 80 %. Byl také zaznamenán pokles diskusní aktivity na Stack Overflow přibližně o 25 %, a to šest měsíců po spuštění ChatGPT.

 Ochrana před úpravami na GitHubu založenými na umělé inteligenci: Hodnocení dopadu kódování na Vibe na ekosystém open source  Ochrana před úpravami na GitHubu založenými na umělé inteligenci: Hodnocení dopadu kódování na Vibe na ekosystém open source


Zdroj: opennet.ru

Přidat komentář