Ginawang posible ng Google na pigilan ang pag-crawl sa site ng mga robot na ginagamit upang sanayin ang mga neural network ng kumpanya.
Maaari mong itago ang nilalaman ng site mula sa mga robot Bard ΠΈ VertexAI, at ang naturang pagbabawal ay hindi makakaapekto sa pag-index ng site ng mismong search engine. Para magawa ito, kailangan mong magdagdag ng kaukulang entry sa robots.txt.
Habang lumalawak ang base ng mga modelo ng AI, pinaplano ng Google na awtomatikong palawakin ang kakayahang pigilan ang mga AI na ito sa pag-index ng isang site.
Pinagmulan: linux.org.ru