Google hat die Funktionalität zur Sperrung der Indizierung von Websites durch KI-Bots implementiert.
Das Unternehmen Google hat die Möglichkeit geschaffen, das Crawlen von Webseiten durch Roboter, die für das Training von KI-Modellen verwendet werden, zu verbieten. Der Inhalt einer Webseite kann vor den Robotern Bard und VertexAI verborgen werden, wobei dieses Verbot die Indizierung der Webseite durch die Suchmaschine selbst nicht beeinträchtigt. Dazu muss der entsprechende Eintrag in die robots.txt aufgenommen werden. Mit der Erweiterung der KI-Modellbasis plant Google, auch die Möglichkeit zum Verbot der Indizierung einer Webseite automatisch zu erweitern […]