L'entreprise Google a rendu possible l'interdiction de l'exploration d'un site par des robots utilisés pour l'apprentissage des réseaux neuronaux de l'entreprise.
Il est possible de cacher le contenu du site aux robots. Bard et VertexAI, tout en indiquant que cette interdiction n'affectera pas l'indexation du site par le moteur de recherche lui-même. Pour cela, il suffit d'ajouter l'enregistrement correspondant dans le fichier robots.txt.
Avec l'extension de la base de modèles d'IA, Google prévoit d'élargir automatiquement la possibilité d'interdire l'indexation des sites par ces IA.
Source : linux.org.ru
