Google telah memungkinkan untuk menghalang merangkak tapak web oleh robot yang digunakan untuk melatih rangkaian saraf syarikat.
Anda boleh menyembunyikan kandungan tapak web daripada robot. Bard и VertexAI, tetapi larangan ini tidak akan menjejaskan pengindeksan enjin carian tapak. Untuk melakukan ini, anda perlu menambah entri yang sesuai pada robots.txt.
Apabila asas model AInya berkembang, Google merancang untuk mengembangkan keupayaan secara automatik untuk menghalang AI ini daripada mengindeks tapak.
Sumber: linux.org.ru
