Proteção contra alterações de AI indesejadas no GitHub. Avaliação do impacto do vibe coding no ecossistema de software livre.

Camilla Moraes, gerente de produto na GitHub, iniciou a discussão sobre a adição de uma possibilidade no GitHub para bloquear automaticamente pull requests indesejados gerados por assistentes de IA, enviados sem checagem manual e que não atendem aos requisitos de qualidade. Essas alterações criam uma carga extra para os mantenedores, que são forçados a gastar tempo analisando código irrelevante.

Entre as soluções de curto prazo consideradas, está a possibilidade de remoção rápida de pull requests via interface web (remoção sem registro no histórico em vez de serem marcados como fechados) e o uso de permissões personalizáveis para enviar pull requests, permitindo que os proprietários dos repositórios autorizem a submissão de alterações apenas a colaboradores que já tenham contribuído anteriormente.

Entre as soluções de longo prazo, menciona-se a ampliação do modelo de permissões e a disponibilização de ferramentas para os mantenedores definirem regras flexíveis sobre quem tem permissão para criar e revisar pull requests e quais requisitos devem ser atendidos por esses pull requests. Além disso, sugere-se usar IA para verificar se a alteração enviada está de acordo com as regras e padrões de qualidade de cada projeto (por exemplo, estabelecidos no arquivo CONTRIBUTING.md), além de identificar e marcar especificamente alterações preparadas com a ajuda de IA.

Entre as propostas levantadas durante a discussão, destaca-se a criação de um filtro que proíbe o envio de pull requests sem a abertura prévia de uma issue de discussão explicando os motivos da implementação das alterações, além de informar os mantenedores sobre o recebimento de pull requests de novatos apenas após a aprovação dos testes no sistema de integração contínua.

Segundo as estatísticas de um dos principais desenvolvedores do framework genkit, apenas uma em cada dez alterações preparadas por IA atende aos critérios para a abertura de um pull request. Um dos participantes do projeto Azure Core Upstream resumiu as principais preocupações dos mantenedores:

  • Quebra do modelo de confiança na revisão — os revisores não podem ter certeza de que quem enviou a alteração escreveu o código transmitido e compreende sua essência.
  • Os pull requests gerados por assistentes de IA podem parecer estruturalmente corretos, mas podem ser logicamente incorretos, inseguros ou não testados em sua funcionalidade.
  • A prática de revisão linha a linha continua sendo obrigatória, mas não pode ser escalada diante do aumento das mudanças trazidas por assistentes de IA.
  • Os mantenedores sentem desconforto ao aceitar pull requests que não compreendem completamente, enquanto os assistentes de IA simplificam a transmissão de grandes mudanças sem um entendimento profundo.
  • A carga cognitiva sobre os mantenedores aumenta, pois agora eles devem não apenas verificar o código, mas também avaliar se o autor o compreende.
  • O surgimento de ferramentas de IA não reduziu, mas aumentou a carga sobre os mantenedores.

Adicionalmente, pode-se mencionar um estudo realizado por várias universidades europeias sobre o impacto do vibe-coding no ecossistema de projetos abertos. Os pesquisadores desenvolveram um modelo de equilíbrio para o ecossistema de código aberto, que mostrou que o feedback, que antes era responsável pelo crescimento explosivo de projetos abertos, após a disseminação do vibe-coding cria um efeito inverso — diminuindo o número de desenvolvedores dispostos a compartilhar código, reduzindo a diversidade de projetos abertos e comprometendo a qualidade. Uma das possíveis soluções do problema é a adoção de um modelo de financiamento semelhante ao Spotify, onde plataformas de IA redistribuem a receita das assinaturas de serviços para desenvolvedores entre os mantenedores, dependendo do grau de uso dos projetos.

Com o vibe-coding, os desenvolvedores param de analisar soluções disponíveis, ler documentações, enviar relatórios de erro e interagir com equipes que desenvolvem bibliotecas abertas. Projetos abertos perdem o retorno de feedback dos usuários. Novos projetos têm mais dificuldade em se destacar, já que assistentes de IA escolhem as bibliotecas abertas necessárias com base nas informações disponíveis no momento do treinamento do modelo. A diminuição da interação direta com os usuários prejudica a monetização de projetos abertos, que dependem de serviços de suporte e da exibição de anúncios/coleta de doações em sites. A qualidade é afetada pela redução do feedback. Por outro lado, o vibe-coding aumenta a produtividade ao criar novos produtos baseados em códigos alheios e facilita a adoção de novas bibliotecas.

Um exemplo é o projeto Tailwind CSS, cujo número de downloads no repositório NPM continua a crescer, mas o tráfego para a documentação caiu 40% desde o início de 2023, e as receitas despencaram 80%. Também foi notada uma diminuição de 25% na atividade de discussões no Stack Overflow aproximadamente 6 meses após o lançamento do ChatGPT.

Proteção contra alterações de AI indesejadas no GitHub. Avaliação do impacto do vibe coding no ecossistema de software livre.Proteção contra alterações de AI indesejadas no GitHub. Avaliação do impacto do vibe coding no ecossistema de software livre.


Fonte: opennet.ru
Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS 🔥 Compre hospedagem confiável para sites com proteção contra DDoS, servidores VPS VDS | ProHoster