Компания Google предостави възможност да забраните на роботи, използвани за обучение на нейронни мрежи на компанията, да сканират сайта.
Можете да скриете съдържанието на сайта от роботи Bard и VertexAI, като такава забрана няма да повлияе на индексирането на сайта от самата търсачка. За целта трябва да добавите съответния ред в robots.txt.
С разширяването на базата данни от модели на ИИ, Google планира автоматично да разширява и възможността за забрана на индексирането на сайта от тези ИИ.
Източник: linux.org.ru
