Protección contra cambios no deseados generados por IA en GitHub. Evaluación del impacto del código de tipo vibe en el ecosistema del software de código abierto

Camila Moraes, gerente de producto de GitHub, inició una discusión sobre la adición de la capacidad en GitHub para bloquear automáticamente pull requests generados por asistentes de IA, enviados sin revisión manual y que no cumplen con los requisitos de calidad. Tales cambios crean una carga adicional para los mantenedores, quienes deben invertir tiempo en revisar código inútil.

Como soluciones a corto plazo, se considera la posibilidad de eliminar rápidamente pull requests a través de la interfaz web (eliminación sin dejar rastro en el historial en lugar de marcarlos como cerrados) y el uso de derechos configurables para enviar pull requests, permitiendo a los propietarios de repositorios habilitar la transmisión de cambios solo a participantes que previamente hayan contribuido.

Entre las soluciones a largo plazo se menciona la expansión del modelo de permisos y la provisión de herramientas para los mantenedores que les permitan establecer reglas flexibles sobre quién tiene derecho a crear y revisar pull requests y cuáles son los requisitos que deben cumplir dichos pull requests. Además, se sugiere utilizar IA para determinar la conformidad de los cambios enviados con las reglas y estándares de calidad de cada proyecto (por ejemplo, establecidos en el archivo CONTRIBUTING.md), así como para identificar y marcar explícitamente cambios preparados con ayuda de IA.

Entre las propuestas discutidas también se destaca la creación de un filtro que prohíba el envío de pull requests sin la apertura previa de discusiones en issues explicando las razones de la implementación de cambios, así como la notificación a los mantenedores sobre la llegada de pull requests de novatos solo después de haber pasado con éxito pruebas en el sistema de integración continua.

Según las estadísticas de uno de los desarrolladores clave del framework genkit, solo uno de cada diez cambios preparados por IA cumple con los criterios para abrir un pull request. Uno de los participantes del proyecto Azure Core Upstream resumió las principales preocupaciones de los mantenedores:

  • Ruptura del modelo de confianza en la revisión — los revisores no pueden estar seguros de que el remitente del cambio escribió el código enviado y comprende su esencia.
  • Las solicitudes pull generadas por asistentes de IA pueden parecer estructuralmente correctas, pero ser lógicamente incorrectas, inseguras o no verificadas en su funcionamiento.
  • La práctica de revisión línea por línea sigue siendo obligatoria, pero no puede escalar en un entorno de creciente cambio, impulsado por asistentes de IA.
  • Los encargados sienten incomodidad al aceptar solicitudes pull que no comprenden completamente, mientras que los asistentes de IA simplifican la transmisión de grandes cambios sin un entendimiento profundo.
  • La carga cognitiva sobre los encargados ha aumentado, quienes ahora deben no solo revisar el código, sino también evaluar si su autor lo comprende.
  • La aparición de herramientas de IA no ha reducido, sino que ha aumentado la carga sobre los encargados.

Además, se puede mencionar un estudio realizado por varias universidades europeas sobre el impacto del 'vibe coding' en el ecosistema de proyectos abiertos. Los investigadores desarrollaron un modelo de equilibrio del ecosistema de código abierto que mostró que las retroalimentaciones, que antes fomentaban un crecimiento explosivo en proyectos abiertos, crean un efecto inverso tras la difusión del 'vibe coding' — disminuye el número de desarrolladores dispuestos a compartir código, se reduce la diversidad de proyectos abiertos y disminuye la calidad. Una de las posibles soluciones al problema se menciona como la implementación de un modelo de financiamiento similar al de Spotify, donde las plataformas de IA redistribuyen los ingresos de las suscripciones de servicios para desarrolladores entre los encargados, según el grado de uso de los proyectos.

En la codificación por vibra, los desarrolladores dejan de analizar las soluciones disponibles, leer la documentación, enviar informes de errores e interactuar con los equipos que desarrollan bibliotecas abiertas. Los proyectos abiertos pierden retroalimentación de los usuarios. Los nuevos proyectos tienen más dificultades para abrirse camino, ya que los asistentes de IA seleccionan por sí mismos las bibliotecas abiertas necesarias basándose en la información disponible en el momento del entrenamiento del modelo. La reducción de la interacción directa con los usuarios afecta la monetización de los proyectos abiertos, vinculados a servicios de soporte y a la exhibición de anuncios/recaudación de donaciones en los sitios. La falta de retroalimentación perjudica la calidad. Por otro lado, la codificación por vibra aumenta la productividad laboral al crear nuevos productos basados en código ajeno y facilita la implementación de nuevas bibliotecas.

Como ejemplo, se presenta el proyecto Tailwind CSS, que sigue aumentando su número de descargas desde el repositorio de NPM, pero el tráfico hacia la documentación ha disminuido en un 40% desde principios de 2023, y los ingresos han caído en un 80%. También se ha observado una reducción del 25% en la actividad de discusiones en Stack Overflow aproximadamente seis meses después del lanzamiento de ChatGPT.

Protección contra cambios no deseados generados por IA en GitHub. Evaluación del impacto del código de tipo vibe en el ecosistema del software de código abiertoProtección contra cambios no deseados generados por IA en GitHub. Evaluación del impacto del código de tipo vibe en el ecosistema del software de código abierto


Fuente: opennet.ru
Compra un hosting fiable para sitios web con protección contra DDoS, servidores VPS VDS 🔥 Compra un hosting fiable para sitios web con protección contra DDoS, servidores VPS VDS | ProHoster