Kohët e fundit ka pasur një rritje të madhe të aktivitetit të web-botëve që indeksojnë trafik. Përveç botëve që funksionojnë siç duhet, janë përhapur edhe botët "të egër", që injorojnë rregullat e indeksimit robots.txt, duke u lidhur me dhjetëra mijëra IP të ndryshme, duke u bërë si përdorues legjitimë dhe që nuk ndjekin një politikë arsyeshëm të intensitetit të kërkesave. Këta botë krijojnë një ngarkesë të madhe parazite mbi serverët, prishin funksionimin normal të sistemeve dhe i marrin kohën administratorëve. Aktiviteti i tillë i botëve për një shumë njerëzish perceptohet si veprime të dëmshme.
Si një masë për të ngadalësuar punën e këtyre botëve, si dhe botëve që skanojnë vulnerabilitetet e pa rregulluar në aplikacionet web, një nga administratorët propozoi një metodë "zip-bombë". Eshte thelbi i metodës që web-botëve, në përgjigje të kërkesës për një faqe, u dërgohet përmbajtje e kompresuar efektivisht me metodën "deflate", e cila, kur shpërndahet, tejkalon shumë herë madhësinë e të dhenave të dërguara përmes rrjetit. Për shembull, duke përdorur metodën "deflate", përmbajtja nga /dev/zero, e paketuara në 10 MB, kërkon 1 GB hapësirë të diskut kur shpërndahet. Duke përdorur metodën e kompresimit "brotli", u arrit një nivel ku dërgimi i 81 MB çon në shpërndarjen e 100 TB të dhënash.
Aktivizimi i njĂ« mbrojtjeje tĂ« tillĂ« mund tĂ« bĂ«het pĂ«rmes krijimit tĂ« gjilpĂ«rave, tĂ« cilat janĂ« tĂ« disponueshme pĂ«rmes lidhjeve tĂ« padukshme, tĂ« shĂ«nuara me flamurin ârel="nofollow"â, tĂ« pĂ«rjashtuar nga indeksimi pĂ«rmes robots.txt dhe qĂ« aktivizohen kur ka njĂ« nivel tĂ« mjaftueshĂ«m tĂ« rikursivitetit pĂ«r botĂ«t qĂ« pĂ«rpiqen tĂ« bĂ«hen si pĂ«rdorues normalĂ«. NĂ« praktikĂ«, metoda e propozuar nuk rekomandohet, pasi faqja mund tĂ« pĂ«rfshihet nĂ« listĂ«n e zezĂ« tĂ« Google dhe do tĂ« fillojĂ« tĂ« markohet si e dĂ«mshme nĂ« shfletuesin Chrome me modalitetin "Safe Browsing" tĂ« aktivizuar.
Burimi: opennet.ru
