Google telah memungkinkan untuk mencegah perayapan situs oleh robot yang digunakan untuk melatih jaringan saraf perusahaan.
Anda dapat menyembunyikan konten situs dari robot Penyair ΠΈ VertexAI, dan larangan tersebut tidak akan mempengaruhi pengindeksan situs oleh mesin pencari itu sendiri. Untuk melakukan ini, Anda perlu menambahkan entri yang sesuai ke robots.txt.
Seiring dengan berkembangnya basis model AI, Google berencana untuk secara otomatis memperluas kemampuan untuk mencegah AI ini mengindeks situs.
Sumber: linux.org.ru