La empresa Google ha permitido prohibir el rastreo de sitios por parte de los robots que se utilizan para el entrenamiento de redes neuronales de la compañía.
Se puede ocultar el contenido del sitio de los robots. Bard y VertexAI, y esta prohibición no afectará la indexación del sitio por parte del motor de búsqueda. Para esto, es necesario agregar la entrada correspondiente en robots.txt.
Con la expansión de la base de modelos de IA, Google planea ampliar automáticamente la posibilidad de prohibir la indexación del sitio por parte de estas IA.
Fuente: linux.org.ru
