Firma Google umożliwiła zablokowanie skanowania strony przez roboty używane do szkolenia ich sieci neuronowych.
Można zablokować zawartość strony przed robotami. Bard i VertexAI, przy czym taka blokada nie wpłynie na indeksowanie strony przez wyszukiwarkę. W tym celu należy dodać odpowiedni wpis do pliku robots.txt.
Rozszerzając bazę modeli AI, Google planuje automatycznie zwiększać również możliwość zablokowania indeksowania stron przez te AI.
Źródło: linux.org.ru
