Google реализовала фунциональность для запрета сканирования сайтов роботами нейросетей
Компания Google сделала возможность запретить сканирование сайта роботами, использующимися для обучения нейросетей компании. Скрыть содержимое сайта можно от роботов Bard и VertexAI, при этом такой запрет не повлияет на индексирование сайта самим поисковиком. Для этого нужно добавить в robots.txt соответствующую запись. С расширением базы моделей ИИ Google планирует автоматически расширять и возможность запрета индексации сайта […]
