Google ka implementuar funksionalitetin për ndalimin e skanimit të faqeve nga robotët e rrjeteve neurale.
Kompania Google ka bërë të mundur ndalimin e skanimit të faqes nga robotët që përdoren për trajnimin e rrjeteve neurale të kompanisë. Mund të fshihen përmbajtjet e faqes nga robotët Bard dhe VertexAI, ndërsa ky ndalim nuk do të ketë ndikim në indeksimin e faqes nga vetë motorin e kërkimit. Për këtë, duhet të shtoni një regjistrim përkatës në robots.txt. Me zgjerimin e bazës së modeleve të AI, Google planifikon të zgjasë automatikisht mundësinë e ndalimit të indeksimit të faqes […]
