Plotësohen shtesat e shfletuesit për të angazhuar në ndërtimin e një rrjeti të shpërndarë skrapimi për AI-botët

Kërkuesit e sigurisë nga kompania Secure Annex vënë re rritjen e popullaritetit të një metode të re monetizimi për shtesat e shfletuesit, ku përdoruesit e shtesave formojnë një rrjet të shpërndarë që përdoret për scraping (indeksimin e përmbajtjes së faqeve të internetit). Sistemet e përdoruesve shfrytëzohen si web-bot dhe proxy për të shkarkuar përmbajtjen e faqeve të internetit — shtesa e instaluar në shfletues merr udhëzime për indeksimin e faqeve nga një server i jashtëm, dhe më pas, në një iframe të fshehtë, nis shkarkimin e përmbajtjes së kërkuar dhe i transferon të dhënat e marra në një shërbim të jashtëm. Në katalogët Chrome, Firefox dhe Edge, kjo skemë monetizimi është identifikuar në 245 shtesa, me gjithsej 909 mijë instalime.

Puna organizohet përmes përfshirjes në kodin e shtesave të shfletuesit të bibliotekës së hapur JavaScript mellowtel.js, e ofruar nën licencën LGPLv3. Biblioteka zhvillohet nga projekti Mellowtel, i cili promovon një platformë të re monetizimi, e cila, përveç shtesave të shfletuesit, mund të përdoret gjithashtu në programe të bazuara në framework-e si Flutter dhe Electron. Ideja kryesore e platformës është që zhvilluesit e shtesave të shfletuesit dhe aplikacioneve mund të fitojnë para jo përmes reklamave ose metodave dyshuese, siç është shitja e të dhënave që dëmtojnë privatësinë e përdoruesve, por përmes realizimit të detyrave për indeksimin e përmbajtjes në internet për të trajnuar sistemet AI.

Nevoja e kompanive AI për të dhëna për trajtimin e modeleve ka sjellë shfaqjen e shumë botëve që indeksojnë faqe interneti pa një kufizim të arsyeshëm të intensitetit të dërgimit të kërkesave dhe duke injoruar rregullat e indeksimit robots.txt. Këto bota krijojnë një ngarkesë të madhe parazite mbi hostingut, shkelin funksionimin normal të sistemeve dhe shqetësojnë administratorët, prandaj së fundmi po fillojnë të bllokohen aktivisht (për shembull, rrjeti i shpërndarjes së përmbajtjes Cloudflare ka realizuar një opsion për bllokimin e këtyre botëve si rregull default).

Kompani AI janë të gatshme të paguajnë për indeksimin dhe platforma Mellowtel ofron mundësinë për të përmbushur këtë nevojë përmes angazhimit të përdoruesve të zakonshëm në procesin e mbledhjes së të dhënave nga faqet e internetit. Platforma u jep pronarëve të shtesave 55% të mjeteve të fituara nga bashkëpunimi me kompanitë AI. Projekti është plotësisht legjitim dhe insistojnë që pjesëmarrja në scraping duhet të jetë vullnetarë dhe të aktivizohet vetëm pas miratimit të qartë nga përdoruesi. Nënkuptohet se përdoruesi si një shenjë falenderimi për zhvilluesit e shtesës mund të aktivizojë modalitetin e scraping dhe t'u ofrojë atyre mbështetje financiare indirekte.

Problemi është se jo të gjithë zhvilluesit e shtesave janë të gatshëm të punojnë me ndershmëri dhe në mënyrë të hapur. Në disa shtesa përpiqen të fshehin aktivizimin e monetizimit Mellowtel pa miratimin e përdoruesit, gjë që rezulton në atë që përdoruesi pa miratim të qartë bëhet pjesë e një rrjeti të shpërndarë për shkarkimin e të dhënave nga faqet e internetit. Nga 45 shtesat për Chrome që përdorin Mellowtel, 12 tashmë janë bllokuar nga Google për aktivitet të dëmshëm. Në katalogun e Microsoft është bllokuar 8 nga 129 shtesa, ndërsa në katalogun e Mozilla janë bllokuar 2 nga 71 shtesa. Arsyet e heqjes nuk detajohen, por nuk përjashtohet që arsyeja të jetë përdorimi jo të duhur i Mellowtel.

Zhvilluesi i Mellowtel shpalli se për të zgjidhur problemin me aktivizimin e fshehur të scraping, shërbimi do të kalojë në një kontroll të detyrueshëm të të gjitha shtesave që përdorin Mellowtel për të siguruar që scraping të jetë çaktivizuar si rregull në mënyrë të parazgjedhur (aktivizimi vetëm pas miratimit të qartë të përdoruesit) dhe të ketë një buton të dukshëm për çaktivizimin. Kërkesat për të marrë detyra nga shtesat që nuk kalojnë verifikimin do të vendosen në karantinë dhe do të injorohen.

Gjatë funksionimit të shtesave që përdorin bibliotekën Mellowtel, vendosen një lidhje websocket me një server të jashtëm, të lokalizuar në cloud AWS, përmes të cilit transmetojnë informacione mbi disponueshmërinë e përdoruesit, vendin, kapacitetin e kanaleve të lidhjes dhe aktivizimin e mbështetjes për scraping nga përdoruesi. Periodikisht dërgohen kërkesa heartbeat për të kontrolluar disponueshmërinë e klientit. Kur paraqiten detyra për shkarkimin e përmbajtjes në faqet që përdoruesi po shikon, vendoset një iframe i fshehtë, nga i cili realizohet scraping.

Për të ngarkuar faqe të jashtme nga iframe, që përdoret gjatë shikimit të faqeve të tjera, biblioteka përkohësisht anashkalon mbrojtjen e ofruar nga shfletuesi për ngarkimin e përmbajtjes së jashtme, duke hequr headers HTTP Content-Security-Policy dhe X-Frame-Options, dhe i rikthen ato pasi faqja e nevojshme është ngarkuar. Heqja bëhet përmes modifikimit të kërkesave rrjetore me anë të API-së declarativeNetRequest (për të aksesuar këtë API, shtesat kërkojnë një autorizim të veçantë). Çaktivizimi përkohësisht i headers Content-Security-Policy dhe X-Frame-Options ndikon negativisht në siguri, pasi për një periudhë kohore hiqet mbrojtja standarde ndaj sulmeve me skriptim ndërsite (XSS).

Platforma Mellowtel është e afiljuar me kompaninë Olostep, e cila ofron një API për skrapimin, e cila mund të anashkalojë mbrojtjen nga botët dhe të ekzekutojë paralelisht deri në 100,000 kërkesa në minutë. Aktiviteti i tillë i shërbimit, i përdorur në kontekstin e një faqeje, mund të krahasohet me realizimin e një sulmi të shpërndarë DoS. Shërbimi gjithashtu potencialisht mund të përdorë përdoruesit si proxy për të nxjerrë përmbajtje nga faqe private, të aksesueshme vetëm në nënsistemet, për të cilat përdoruesi ka akses përmes VPN.

Burimi: opennet.ru

Bli një hosting të besueshëm për faqet me mbrojtje DDoS, VPS VDS serverë 🔥 Bli një hosting të besueshëm për faqet me mbrojtje DDoS, VPS VDS serverë | ProHoster