Google ha reso possibile vietare la scansione del sito da parte dei robot utilizzati per l'addestramento delle proprie reti neurali.
È possibile nascondere il contenuto del sito dai robot Bard e VertexAI, e tale divieto non influirà sull'indicizzazione del sito da parte dei motori di ricerca. Per questo è necessario aggiungere la relativa voce nel robots.txt.
Con l'espansione della base dei modelli di intelligenza artificiale, Google prevede di ampliare automaticamente anche la possibilità di vietare l'indicizzazione del sito a queste IA.
Fonte: linux.org.ru
