U posljednje vrijeme značajno je porasla aktivnost web-botova koji indeksiraju promet. Osim ispravno funkcionirajućih botova, pojavili su se "divlji" botovi koji ignoriraju pravila indeksiranja robots.txt, dolaze s tisućama različitih IP adresa, pretvaraju se u legitimne korisnike i ne pridržavaju se razumnog intenziteta slanja zahtjeva. Ovi botovi stvaraju ogromno parazitsko opterećenje na poslužiteljima, ometaju normalno funkcioniranje sustava i oduzimaju vrijeme administratorima. Aktivnost takvih botova mnogi smatraju zloćudnim djelovanjem.
Kao mjera za usporavanje rada ovakvih botova, kao i botova koji skeniraju neispravljene ranjivosti u uobičajenim web-aplikacijama, jedan od administratora predložio je metodu "zip-bombe". Suština metode je u tome da se web-botu kao odgovor na zahtjev stranice šalje sadržaj koji je učinkovito komprimiran metodom "deflate", čija veličina nakon raspakiranja višestruko premašuje veličinu podataka poslanih mrežom. Na primjer, koristeći metodu "deflate", sadržaj iz /dev/zero, upakiran u 10 MB, prilikom raspakiranja zahtijeva 1 GB diskovnog prostora. Koristeći metodu kompresije "brotli", postignut je nivo pri kojem prijenos od 81 MB dovodi do raspakiravanja 100 TB podataka.
Aktivirati ovakvu zaštitu moguće je stvaranjem zamki koje su dostupne putem nevidljivih veza, označenih oznakom ‘rel="nofollow"‘, isključenih iz indeksiranja putem robots.txt i aktiviraju se pri dovoljno visokom nivou rekurzije za botove koji pokušavaju pretvarati se u obične korisnike. U praksi se predložena metoda ne preporučuje, jer bi web stranica mogla biti stavljena na crnu listu od strane Googlea i počela bi biti označena kao štetna u pregledniku Chrome uz uključen način „Sigurno pregledavanje“.
Izvor: opennet.ru
