谷歌已经实现了阻止神经网络机器人抓取网站的功能

谷歌已经可以阻止用于训练该公司神经网络的机器人进行网站爬行。

您可以对机器人隐藏网站内容 诗人 и 顶点AI，而且这样的禁令不会影响搜索引擎本身对该网站的索引。 为此，您需要向 robots.txt 添加相应的条目。

随着人工智能模型基础的扩展，谷歌计划自动扩展阻止这些人工智能对网站进行索引的能力。

来源： linux.org.ru