Google реализира функционалност за забрана на сканирането на сайтове от роботи за изкуствен интелект.

Компания Google сделала возможность запретить сканирование сайта роботами, использующимися для обучения нейросетей компании.

Скрыть содержимое сайта можно от роботов Bard и VertexAI, при этом такой запрет не повлияет на индексирование сайта самим поисковиком. Для этого нужно добавить в robots.txt соответствующую запись.

С расширением базы моделей ИИ Google планирует автоматически расширять и возможность запрета индексации сайта этими ИИ.

Източник: linux.org.ru