Brahivori laiendused kaasavad AI-robotite jaotatud võrgu ehitamisse

Turvauuringute ettevõtte Secure Annex teadlased on tähele pannud, et on tõusnud uue brahivori laienduste rahastamismeetodi populaarsus, mille käigus moodustatakse kasutajatest jaotatud võrk, mida kasutatakse kraapimiseks (veebilehtede sisu indekseerimiseks). Kasutajate süsteeme kasutatakse veebirobotitena ja proksidena, et alla laadida veebilehtede sisu — installitud brahivori laiendus saab väliselt serverilt juhiseid veebilehtede indekseerimiseks, seejärel käivitab eraldi varjatud iframe allalaadimise ja edastab saadud andmed välisteenusele. Chrome'i, Firefoxi ja Edge'i kataloogides on selle rahastamisskeemi kasutamine tuvastatud 245 laienduses, mille koosseisus on kokku 909 tuhat paigaldust.

Töö korraldatakse avatud JavaScripti raamatukogu mellowtel.js, mis tarnitakse LGPLv3 litsentsi all, integreerimise kaudu brahivori laienduste koodiga. Raamatukogu arendatakse Mellowtel projekti poolt, mis edendab uut rahastamisplatvormi, mida saab kasutada mitte ainult brahivori laiendustes, vaid ka Flutteri ja Electoni raamistike põhjal arendatud programmides. Platvormi peamine idee on, et brahivori laienduste ja rakenduste arendajad saavad raha teenida mitte reklaamide näitamise või kahtlaste meetodite, nagu kasutajate privaatsust rikkumise kaudu andmete müümise, vaid veebisisu indekseerimise ülesannete täitmise kaudu AI-süsteemide õpetamiseks.

AI-ettevõtete vajadus andmete järele mudelite koolitamiseks on suurendanud arvukate robotite hulka, mis indekseerivad veebilehti, järgimata mõistlikult päringute saatmise intensiivsust ja eirates robots.txt indekseerimise reegleid. Need robotid loovad tohutu parasiitliku koormuse serverid, rikuvad süsteemide normaalset toimimist ja võtavad administraatorite ajast, seetõttu on viimastel aegadel hakanud neid aktiivselt blokeerima (näiteks Cloudflare'i sisu edastamise võrk on juurutanud vaikimisi sarnaste robotite blokeerimise võimaluse).

AI-ettevõtted on valmis maksma indekseerimise eest ja platvorm Mellowtel on loonud võimaluse rahuldada seda vajadust, kaasates tavakasutajaid andmete kogumise protsessi veebisaitidelt. Platvorm edastab täienduste omanikele 55% tuludest, mis saadakse koostööst AI-ettevõtetega. Projekt on täiesti legitiimne ja rõhutab, et osalemine skreipimises peaks olema vabatahtlik ning aktiveeritud ainult pärast kasutaja selget nõusolekut. Eeldatavasti võib kasutaja tänutunde tõttu arendajatele aktiveerida skreipimise režiimi ja pakkuda neile kaudset rahalist toetust.

Probleem on selles, et mitte kõik täienduste arendajad ei ole valmis töötama ausalt ja avatud. Mõnes täienduses üritatakse varjatult aktiveerida Mellowteli monetiseerimist, mööda minnes teenuse reeglitest, mis toob kaasa selle, et kasutaja satub ilma selge nõusolekuta jaotunud võrku andmete allalaadimiseks veebisaitidelt. 45 Chrome'i täiendusest, mis kasutavad Mellowteli, on 12 juba Google'i poolt blokeeritud kahjuliku aktiivsuse tõttu. Microsofti kataloogis on 129 täiendusest blokeeritud 8, ning Mozilla kataloogis 71 täiendusest on blokeeritud 2. Eemaldamise põhjuseid ei detailiseerita, kuid ei exkludeerita, et põhjus võib olla Mellowteli vale kasutamine.

Mellowteli arendaja teatas, et võimaliku varjatud skreipimise aktiveerimise probleemi lahendamiseks läheb teenus üle kohustuslikule kontrollile kõikide Mellowteli kasutavate täienduste osas, et tagada, et skreipimine on vaikimisi deaktiveeritud (aktiveerimine ainult pärast kasutaja selget nõusolekut) ja et on olemas nähtav nupp, et skreipimist deaktiveerida. Kontrollimata täiendustelt saadetud ülesannete päringud paigutatakse karantiini ja neid ignoreeritakse.

Tööprotsessi käigus kasutavad Mellowtel'i lisandmoodulid veebisocket'i ühendust välise serveriga, mis asub AWS-is, kus edastatakse teavet kasutaja kättesaadavuse, riigi, kanalite lairiba ja kasutaja skrapingu toe aktiveerimise kohta. Perioodiliselt saadetakse ühenduse kaudu südame löögiküsimusi, et kontrollida kliendi olemasolu. Kui ilmnevad sisulehe allalaadimise ülesanded, lisatakse vaadatavatele lehtedele peidetud iframe, kust toimub skraping.

Väliste lehtede laadimiseks iframe'ist, mis lisatakse teiste veebisaitide vaatamisel, ületab raamatukogu ajutiselt brauseris pakutud kaitset kolmanda osapoole sisu laadimise vastu, lõigates välja HTTP-pealkirjad Content-Security-Policy ja X-Frame-Options, ning tagastades need pärast vajaliku lehe laadimist. Lõikamine toimub võrgu päringute modifitseerimise kaudu API declarativeNetRequest abil (selle API juurde juurdepääsuks küsivad lisandmoodulid eraldi õigusi). Content-Security-Policy ja X-Frame-Options pealkirjade ajutine väljalülitamine mõjutab turvalisust negatiivselt, kuna see eemaldab mingiks ajaks sisseehitatud kaitse ristsaidirünnakute (XSS) eest.

Mellowtel'i platvorm on seotud ettevõttega Olostep, mis pakub skrapingu API-d, mis suudab vältida botikaitset ja samal ajal teostada kuni 100 000 päringut minutis. Sellist teenuse aktiivsust, rakendatuna ühe saidi kontekstis, võib võrrelda jaotatud DoS-rünnakuga. Teenust saab ka potentsiaalselt kasutada kasutajad proksi kaudu privaatsete lehtede sisu hankimiseks, mis on kergesti juurdepääsetavad ainult alamvõrkudest, kuhu kasutaja pääseb juurde. VPN.

Allikas: opennet.ru