Das Unternehmen Google hat die Möglichkeit geschaffen, das Crawlen von Websites durch Roboter, die für das Training von KI-Modellen verwendet werden, zu verbieten.
Inhalte der Website können vor Robotern verborgen werden. Bard und VertexAI, wobei ein solches Verbot das Indizieren der Website durch die Suchmaschine nicht beeinträchtigt. Dazu muss die entsprechende Zeile in die robots.txt hinzugefügt werden.
Mit der Erweiterung der KI-Modellbibliothek plant Google, auch die Möglichkeit zu schaffen, die Indizierung von Websites durch diese KIs zu verbieten.
Quelle: linux.org.ru
