Google има имплементирано функционалност за да ги спречи роботите на невронската мрежа да ползат страници

Google овозможи да се спречи индексирање на страницата од роботи кои се користат за обука на невронските мрежи на компанијата.

Можете да ја скриете содржината на страницата од роботите Бард и VertexAI, а таквата забрана нема да влијае на индексирањето на страницата од самиот пребарувач. За да го направите ова, треба да додадете соодветен запис во robots.txt.

Како што се проширува основата на моделите со вештачка интелигенција, Google планира автоматски да ја прошири способноста за да ги спречи овие ВИ да индексираат локација.

Извор: linux.org.ru