Google on võimaldanud vältida saidil roomamist robotite poolt, mida kasutatakse ettevõtte närvivõrkude koolitamiseks.
Saate saidi sisu robotite eest peita bard и VertexAI, ja selline keeld ei mõjuta saidi indekseerimist otsingumootori enda poolt. Selleks tuleb robots.txt-i lisada vastav kirje.
AI mudelite baasi laienedes kavatseb Google automaatselt laiendada võimalust takistada nendel AI-del saiti indekseerimast.
Allikas: linux.org.ru