Google a mis en œuvre une fonctionnalité pour interdire le crawl des sites par des robots des réseaux neuronaux
Google a donné la possibilité d'interdire le crawl des sites par les robots qui apprennent avec les réseaux de neurones de l'entreprise. Il est possible de cacher le contenu du site aux robots Bard et VertexAI, tout en permettant que l'indexation par le moteur de recherche lui-même ne soit pas affectée. Pour ce faire, il suffit d'ajouter une entrée correspondante dans le fichier robots.txt. Avec l'expansion de sa base de modèles d'IA, Google prévoit également d'automatiser la possibilité d'interdire l'indexation du site […]