Google은 회사의 신경망을 훈련시키는 데 사용되는 로봇에 의한 사이트 크롤링을 방지할 수 있도록 했습니다.
로봇으로부터 사이트 콘텐츠를 숨길 수 있습니다 음유 시인 и 버텍스AI, 이러한 금지는 검색 엔진 자체의 사이트 색인 생성에 영향을 미치지 않습니다. 이렇게 하려면 robots.txt에 해당 항목을 추가해야 합니다.
AI 모델의 기반이 확장됨에 따라 Google은 이러한 AI가 사이트를 색인화하는 것을 방지하는 기능을 자동으로 확장할 계획입니다.
출처 : linux.org.ru