Google hat es ermöglicht, das Crawlen von Websites durch Roboter zu verhindern, die zum Trainieren der neuronalen Netze des Unternehmens eingesetzt werden.
Sie können Websiteinhalte vor Robotern verbergen Barde и VertexAI, und ein solches Verbot hat keinen Einfluss auf die Indexierung der Website durch die Suchmaschine selbst. Dazu müssen Sie der robots.txt einen entsprechenden Eintrag hinzufügen.
Da die Basis an KI-Modellen wächst, plant Google, die Möglichkeit, diese KIs daran zu hindern, eine Website zu indizieren, automatisch zu erweitern.
Source: linux.org.ru