Viimasel ajal on veebibotide aktiivsus, mis indekseerivad liiklust, oluliselt kasvanud. Lisaks korralikult töötavatele botidele on levinud ka "ägedad" botid, mis ignoreerivad robots.txt indekseerimise reegleid, tungides kümnete tuhandete erinevate IP-de kaudu, teeseldeslegitiimseid kasutajaid ja järgimata mõistlikku päringu saatmise intensiivsuse poliitikat. Need botid loovad serveritele tohutu parasiitliku koormuse, segavad süsteemide normaalset toimimist ning võtavad administraatorite aeg. Paljude poolt tõlgendatakse selliste botide tegevust pahatahtlike toimingutena.
Kuna meetmena sarnaste botide töö aeglustamiseks, samuti botide jaoks, mis skaneerivad parandamata haavatavusi tüüpilistes veebi rakendustes, pakkus üks administraator välja „zip-pommi“ meetodi. Meetodi põhiolemus on see, et veebobotile antakse vastuseks lehe päringule sisu, mis on tõhusalt kokku surutud „deflate“ meetodiga, mille suurus lahtipakkimisel ületab korduvalt võrgu kaudu edastatud andmete suurust. Näiteks kui kasutada „deflate“ meetodit, siis 10 MB suurusesse /dev/zero, pakitud, nõuab lahtipakkimisel 1 GB kettaruumi. „Brotli“ kompressioonimeetodil õnnestus saavutada tase, kus 81 MB edastamine viib 100 TB andmete lahtipakkimiseni.
Sarnase kaitse aktiveerimine on võimalik lõksude loomise kaudu, mis on saadaval nähtamatute linkide kaudu, mis on märgitud rel=»nofollow» vähendamiseks, välja jäetud robots.txt kaudu ja aktiveeritud piisavalt kõrge rekhursiivsuse tasemega botide jaoks, kes püüavad end tavaliste kasutajatena varjata. Praktikas ei soovitata soovitatud meetodit rakendada, kuna veebisait võib Google'i poolt musta nimekirja kantud ja hakata Chrome'i brauseris märgistama kahjulikuks, kui on aktiveeritud „Safe Browsing” režiim.
Allikas: opennet.ru
