Das Unternehmen Google hat die Möglichkeit geschaffen, das Crawlen von Websites durch Roboter, die fĂŒr das Training von KI-Modellen verwendet werden, zu verbieten.
Inhalte der Website können vor Robotern verborgen werden. Bard und VertexAI, wobei ein solches Verbot das Indizieren der Website durch die Suchmaschine nicht beeintrĂ€chtigt. Dazu muss die entsprechende Zeile in die robots.txt hinzugefĂŒgt werden.
Mit der Erweiterung der KI-Modellbibliothek plant Google, auch die Möglichkeit zu schaffen, die Indizierung von Websites durch diese KIs zu verbieten.
Quelle: linux.org.ru
