Google har implementerat funktionalitet för att förhindra att webbplatser genomsöks av robotar från neurala nätverk.

Google har gjort det möjligt att förbjuda webbplatser från att genomsökas av robotar som används för att träna företagets neurala nätverk.

Innehållet på webbplatsen kan döljas från robotar. Bard och VertexAI, samtidigt som detta förbud inte påverkar webbplatsens indexering av sökmotorn själv. För detta behöver en motsvarande post läggas till i robots.txt.

Med utvidgningen av AI-modeller planerar Google att automatiskt utöka möjligheten att förbjuda indexering av webbplatser från dessa AI.

Källa: linux.org.ru