A Google habilitou a possibilidade de proibir a varredura do site por robôs usados para treinar redes neurais da empresa.
É possível ocultar o conteúdo do site de robôs Bard e VertexAI, e essa proibição não afetará a indexação do site pelo mecanismo de busca. Para isso, é necessário adicionar a entrada correspondente no robots.txt.
Com a expansão da base de modelos de IA, o Google pretende automaticamente ampliar a possibilidade de proibir a indexação do site por essas IAs.
Fonte: linux.org.ru
