Google je omogućio da robotima koji se koriste za obuku neuronskih mreža kompanije spriječi indeksiranje web stranica.
Možete sakriti sadržaj stranice od robota bard и VertexAI, a takva zabrana neće uticati na indeksiranje stranice od strane samog pretraživača. Da biste to učinili, morate dodati odgovarajući unos u robots.txt.
Kako se baza AI modela širi, Google planira automatski proširiti mogućnost da spriječi ove AI da indeksiraju web lokaciju.
izvor: linux.org.ru
