Compania Google a realizat posibilitatea de a interzice scanarea site-ului de către roboți folosiți pentru antrenarea rețelelor neuronale ale companiei.
Conținutul site-ului poate fi ascuns de roboți Bard și VertexAI, totuși, această interdicție nu va afecta indexarea site-ului de către motorul de căutare propriu-zis. Pentru aceasta, este necesar să adăugați o înregistrare corespunzătoare în robots.txt.
Cu extinderea bazei de modele AI, Google plănuiește să extindă automat și posibilitatea de a interzice indexarea site-ului de către aceste AI.
Sursa: linux.org.ru
