A Google lehetővé tette a cég neurális hálózatainak betanítására használt robotok webhely-feltérképezésének megakadályozását.
A webhely tartalmát elrejtheti a robotok elől Dalnok и VertexAI, és ez a tiltás nem érinti a webhelynek a keresőmotor általi indexelését. Ehhez hozzá kell adnia egy megfelelő bejegyzést a robots.txt fájlhoz.
Ahogy az AI-modellek bázisa bővül, a Google azt tervezi, hogy automatikusan bővíti annak lehetőségét, hogy megakadályozza, hogy ezek az AI-k indexeljenek egy webhelyet.
Forrás: linux.org.ru