Google har gjort det mulig å forhindre nettstedsgjennomgang av roboter som brukes til å trene selskapets nevrale nettverk.
Du kan skjule nettstedinnhold fra roboter Bard и VertexAI, og et slikt forbud vil ikke påvirke indekseringen av nettstedet av søkemotoren selv. For å gjøre dette må du legge til en tilsvarende oppføring i robots.txt.
Etter hvert som basen av AI-modeller utvides, planlegger Google automatisk å utvide muligheten for å forhindre at disse AI-ene indekserer et nettsted.
Kilde: linux.org.ru