Google har givet mulighed for at forbyde scanning af hjemmesider af de robotter, der bruges til at træne virksomhedens neurale netværk.
Indholdet på hjemmesiden kan skjules for robotter. Bard og VertexAI, og dette forbud vil ikke påvirke indekseringen af hjemmesiden af søgemaskinen. For at gøre dette skal der tilføjes en passende post i robots.txt.
Med udvidelsen af Google AI-modelbasen planlægger virksomheden automatisk at udvide muligheden for at forbyde indeksering af hjemmesider af disse AI-systemer.
Kilde: linux.org.ru
