Google heeft het mogelijk gemaakt om te voorkomen dat sites worden gecrawld door robots die worden gebruikt om de neurale netwerken van het bedrijf te trainen.
U kunt site-inhoud verbergen voor robots Bard и HoekpuntAI, en een dergelijk verbod heeft geen invloed op de indexering van de site door de zoekmachine zelf. Om dit te doen, moet u een corresponderend item toevoegen aan robots.txt.
Naarmate de basis van AI-modellen groter wordt, is Google van plan om automatisch de mogelijkheid uit te breiden om te voorkomen dat deze AI’s een site indexeren.
Bron: linux.org.ru