Google hat die Möglichkeit geschaffen, das Crawlen von Websites durch Roboter, die zur Schulung der hauseigenen KI eingesetzt werden, zu untersagen.
Inhalte einer Website können vor Robotern verborgen werden. Bard und VertexAI, wobei dieses Verbot die Indizierung der Website durch die Suchmaschine selbst nicht beeinflusst. Dazu muss eine entsprechende Eintragung in die robots.txt vorgenommen werden.
Mit der Erweiterung der KI-Modellbasis plant Google auch, die Möglichkeit zur Untersagung der Indizierung durch diese KIs automatisch auszubauen.
Quelle: linux.org.ru
