Kompania Google krijoi mundësinë për të ndaluar skanimin e faqes nga robotët që përdoren për trajnim të rrjeteve nervore të kompanisë.
Mund të fshihni përmbajtjen e faqes nga robotët. Bard dhe VertexAI, por ky ndalim nuk do të ndikojë në indeksimin e faqes nga vetë motorët e kërkimit. Për këtë, duhet të shtoni shënimin përkatës në robots.txt.
Me zgjerimin e bazës së modeleve të AI, Google planifikon të zgjasë automatikisht dhe mundësinë për ndalimin e indeksimit të faqes nga këto AI.
Burimi: linux.org.ru
