O Google tornou possível evitar o rastreamento de sites por robôs usados para treinar as redes neurais da empresa.
Você pode ocultar o conteúdo do site dos robôs Bardo и Vertex AI, e tal proibição não afetará a indexação do site pelo próprio mecanismo de busca. Para fazer isso, você precisa adicionar uma entrada correspondente ao robots.txt.
À medida que a base de modelos de IA se expande, o Google planeja expandir automaticamente a capacidade de impedir que essas IAs indexem um site.
Fonte: linux.org.ru