Google har gjort det möjligt att förhindra webbplatsgenomsökning av robotar som används för att träna företagets neurala nätverk.
Du kan dölja webbplatsinnehåll från robotar Bard и VertexAI, och ett sådant förbud kommer inte att påverka indexeringen av webbplatsen av själva sökmotorn. För att göra detta måste du lägga till en motsvarande post i robots.txt.
När basen av AI-modeller expanderar planerar Google att automatiskt utöka möjligheten att förhindra dessa AI:er från att indexera en webbplats.
Källa: linux.org.ru