Përdorimi i bombës zip për të luftuar robotët e dëmshëm të internetit

Koha e fundit ka pësuar një rritje të konsiderueshme aktivizmi të web-botëve që indeksojnë trafikun. Përveç botëve që punojnë siç duhet, u përhapën edhe botët "të pamatur", të cilët injorojnë rregullat e indeksimit robots.txt, që tentojnë me dhjetëra mijëra IP të ndryshëm, duke pretenduar se janë përdorues legjitimë dhe që nuk ndjekin një politikë të arsyeshme të intensitetit të dërgimit të kërkesave. Këta botë krijojnë një ngarkesë të madhe parazitare mbi serverët, pengojnë funksionimin normal të sistemeve dhe iu vjedhin kohën administratorëve. Aktiviteti i tillë bota perceptohet nga shumë si veprime malinj.

Si një masë për të ngadalësuar veprimtarinë e tillë botesh, si dhe botëve që skanojnë dobësitë e pa riparuara në aplikacione tipike web, një nga administratorët propozoi metodën "zip-bomë". Thelbi i metodës është që, në përgjigje të kërkesës për një faqe, botit web i dërgohet një përmbajtje e kompresuar në mënyrë efektive me metodën "deflate", që pas çkompresimit ka një madhësi shumë më të madhe se ajo që u dërgua përmes rrjetit. Për shembull, duke përdorur metodën "deflate", përmbajtja nga /dev/zero, e paketuar në 10 MB, do të kërkonte 1 GB hapësirë disku pas çkompresimit. Duke përdorur metodën e kompresimit "brotli", është arritur një nivel ku dërgimi i 81 MB rezulton në një çkompresim të 100 TB të dhënash.

Aktivizimi i mbrojtjes të tillë mund të bëhet përmes krijimit të grackave, të cilat janë të disponueshme përmes lidhjeve të padukshme, të cilat kanë flamurin 'rel="nofollow"', janë përjashtuar nga indeksimi përmes robots.txt dhe aktivizohen kur niveli i rekursivitetit për botët që përpiqen të pretendohen si përdorues normalë është mjaft i lartë. Në praktikë, aplikimi i metodës së propozuar nuk rekomandohet, pasi faqja mund të vihet në listën e zezë nga Google dhe do të fillojë të shënohet si malinj në shfletuesin Chrome me modulin "Safe Browsing" aktiv.

Burimi: opennet.ru

Bli një hosting të besueshëm për faqet me mbrojtje DDoS, VPS VDS serverë 🔥 Bli një hosting të besueshëm për faqet me mbrojtje DDoS, VPS VDS serverë | ProHoster