A Google lehetőséget biztosított a weboldal robotok általi feltérképezésének letiltására, amelyeket a cég mesterséges intelligenciájának tanításához használnak.
A weboldal tartalmát a robotok elől el lehet rejteni. Bard és VertexAI, ez a letiltás azonban nem befolyásolja a weboldal keresőmotorok általi indexelését. Ehhez a robots.txt fájlba megfelelő bejegyzést kell hozzáadni.
A Google az AI modellek bővítésével automatikusan szeretné kiterjeszteni a weboldalak indexelésének letiltásának lehetőségét is.
Forrás: linux.org.ru
