В последно време значително нарасна активността на уеб ботовете, индексиращи трафик. В допълнение на коректно функциониращите ботове, се разпространиха и "неистови" ботове, които игнорират правилата за индексиране в robots.txt, идващи от десетки хиляди различни IP адреси, pretending to be legitimate users и не спазващи разумна политика за интензивност на заявките. Тези ботове създават огромно паразитно натоварване на сървърите, нарушават нормалната работа на системите и отнемат време на администраторите. Активността на подобни ботове се възприема от много хора като злонамерени действия.
Като мерка за забавяне на работата на подобни ботове, а също и на ботовете, сканиращи неизправени уязвимости в типични уеб приложения, един от администраторите предложи метода "zip-бомба". Същността на метода е, че на уеб бота в отговор на заявка за страница се предава съдържание, ефективно компресирано с метода "deflate", размерът на което при разпаковане многократно надвишава размера на предадените по мрежата данни. Например, при използване на метода "deflate", съдържанието от /dev/zero, опаковано в 10 MB, при разпаковане ще изисква 1 GB дисково пространство. При използване на метода за компресия "brotli" е постигнато ниво, при което предаването на 81 MB води до разпаковане на 100 TB данни.
Активирането на подобна защита може да се осъществи чрез създаване на капани, които са достъпни по невидими връзки, отбелязани с флага ‘rel="nofollow"’, изключени от индексиране чрез robots.txt и сработващи при достатъчно високо ниво на рекурсия за ботове, опитващи се да се представят за обикновени потребители. На практика предложен метод не се препоръчва, тъй като сайтът може да бъде занесен в черен списък от Google и да започне да маркира като злонамерен в браузера Chrome с активиран режим „Safe Browsing“.
Източник: opennet.ru
