Ochrana před spamovými AI změnami na GitHubu. Vyhodnocení vlivu vibe kódování na ekosystém open source.

Camilla Moraes, produktová manažerka společnosti GitHub, zahájila diskusi o přidání možnosti automatického blokování zbytečných pull-requestů generovaných AI asistenty, které byly odeslány bez ruční kontroly a nesplňují požadavky na kvalitu. Takové změny vytvářejí dodatečnou zátěž pro správce, kteří musí trávit čas analýzou zbytečného kódu.

Jako krátkodobé řešení problému se zvažuje možnost rychlého odstranění pull-requestů prostřednictvím webového rozhraní (odstranění bez záznamu do historie místo označení jako uzavřené) a použití konfigurovatelných práv pro odesílání pull-requestů, které umožní vlastníkům repozitářů povolit odeslání změn pouze účastníkům, kteří již dříve přispěli.

Mezi dlouhodobá řešení patří rozšíření modelu pravomocí a poskytnutí nástrojů správcům pro flexibilní nastavení pravidel určených k určení, kdo má právo vytvářet a přezkoumávat pull-requesty a jakým požadavkům musí pull-requesty vyhovovat. Dále se navrhuje využití AI k určení souladu odeslaných změn s pravidly a standardy kvality každého projektu (například vymezenými v souboru CONTRIBUTING.md), stejně jako ke zjištění a speciálnímu označení změn připravených pomocí AI.

Mezi návrhy, které se objevily během diskuse, můžeme také zmínit vytvoření filtru, který zakazuje odesílání pull-requestů bez předchozího otevření issue-diskuse s vysvětlením důvodů realizace změn, a také informování správců o odeslání pull-requestů od nováčků až po úspěšném absolvování testů v systému kontinuální integrace.

Podle statistik jednoho z klíčových vývojářů frameworku genkit splňuje pouze jeden ze z deseti změn připravených pomocí AI kriteriím pro otevření pull-requestu. Jeden z účastníků projektu Azure Core Upstream shrnul hlavní obavy správců:

  • Narušení modelu důvěry při přezkoumání — recenzenti nemohou mít jistotu, že autor změny napsal předávaný kód a rozumí jeho podstatě.
  • AI generované pull requesty mohou strukturálně vypadat správně, ale mohou být logicky nesprávné, nezabezpečené nebo neověřené v praxi.
  • Praxe podrobného hodnocení zůstává nezbytná, ale nemůže se rozšiřovat v podmínkách rostoucích změn, které vytváří AI asistenti.
  • Zdravotnickým pracovníkům vzniká nepohodlí při akceptaci pull requestů, které plně nechápou, zatímco AI asistenti usnadňují přenos velkých změn bez hlubokého porozumění.
  • Zvyšuje se kognitivní zátěž pro provádějící, kteří nyní musí nejen kontrolovat kód, ale také hodnotit, zda jej autor chápal.
  • Vznik nástrojů AI nezmenšil, ale zvýšil zátěž na provádějící.

Dále lze zmínit studii, kterou provedlo několik evropských univerzit, zkoumá vliv vibe-codingu na ekosystém otevřených projektů. Výzkumníci vyvinuli model rovnováhy ekosystému otevřeného kódu, který ukázal, že zpětné vazby, které byly dříve zodpovědné za explozivní růst otevřených projektů, po rozšíření vibe-codingu vytvářejí opačný efekt – klesá počet vývojářů ochotných sdílet kód, snižuje se rozmanitost otevřených projektů a zhoršuje se kvalita. Jako jedna z možností řešení problému se zmiňuje zavedení modelu financování podobného Spotify, při kterém AI platformy redistribuují příjmy z předplatného na služby pro vývojáře mezi provádějícími, v závislosti na míře využívání projektů.

Při vibračním kódování vývojáři přestávají analyzovat dostupná řešení, číst dokumentaci, posílat chybové hlášení a interagovat s týmy, které vyvíjejí otevřené knihovny. Otevřené projekty ztrácejí zpětnou vazbu od uživatelů. Novým projektům se stává obtížnější prosadit se, protože asistenti AI sami vybírají potřebné otevřené knihovny na základě informací dostupných v době trénování modelu. V důsledku snížení přímé interakce s uživateli trpí monetizace otevřených projektů, které jsou závislé na podporních službách a zobrazení reklam / sbírání darů na stránkách. Klesající zpětná vazba ovlivňuje kvalitu. Na druhou stranu vibrační kódování zvyšuje produktivitu práce při vytváření nových produktů založených na cizím kódu a usnadňuje zavádění nových knihoven.

Příkladem je projekt Tailwind CSS, jehož počet stažení z repozitáře NPM nadále roste, ale provoz na dokumentaci od začátku roku 2023 klesl o 40 %, a příjmy poklesly o 80 %. Bylo také zaznamenáno snížení aktivity diskuzí na Stack Overflow přibližně o 25 % šest měsíců po spuštění ChatGPT.

Ochrana před spamovými AI změnami na GitHubu. Vyhodnocení vlivu vibe kódování na ekosystém open source.Ochrana před spamovými AI změnami na GitHubu. Vyhodnocení vlivu vibe kódování na ekosystém open source.


Zdroj: opennet.ru
Koupit spolehlivý hosting pro webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Koupit spolehlivý hosting pro webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster