Google har implementert funksjonalitet for å forby nettsider fra å bli skannet av nevrale nettverksroboter.
Google har gjort det mulig å forby skanning av nettsteder av roboter som brukes til å trene selskapets nevrale nettverk. Innholdet på nettstedet kan skjules fra robotene Bard og VertexAI, og denne forbudet vil ikke påvirke indekseringen av nettstedet av søkemotoren selv. For å gjøre dette, må du legge til en tilsvarende oppføring i robots.txt. Med utvidelsen av Google sine AI-modeller planlegger de å automatisk utvide muligheten for å forby indeksering av nettstedet […]
