Google は、同社のニューラル ネットワークのトレーニングに使用されるロボットによるサイト クローリングを防止できるようにしました。
サイトのコンテンツをロボットから隠すことができます 吟遊詩人 и 頂点AI、そのような禁止は、検索エンジン自体によるサイトのインデックス作成には影響しません。 これを行うには、対応するエントリを robots.txt に追加する必要があります。
AI モデルのベースが拡大するにつれて、Google はこれらの AI によるサイトのインデックス作成を防ぐ機能を自動的に拡張する予定です。
出所： linux.org.ru