Webbläsartillägg involverar skapandet av ett distribuerat nätverk för skrapning för AI-botar

Säkerhetsforskare från företaget Secure Annex har uppmärksammat den ökande populariteten för en ny metod att monetisera webbläsartillägg, där användare av tilläggen bildar ett distribuerat nätverk som används för att skrapa (indexera webbplatsinnehåll). Användarnas system används som webbbotar och proxyservrar för att ladda ner innehåll från webbplatser — det installerade webbläsartillägget tar emot instruktioner för indexering av webbplatser från en extern server och initierar sedan nedladdningen av den begärda informationen i en separat dold iframe och vidarebefordrar de erhållna uppgifterna till en extern tjänst. I katalogerna för Chrome, Firefox och Edge har denna monetiseringsmetod identifierats i 245 tillägg, med totalt 909 000 installationer.

Arbetet organiseras genom att integrera en öppen JavaScript-bibliotek mellowtel.js i koden för webbläsartillägg, som tillhandahålls under LGPLv3-licensen. Biblioteket utvecklas av projektet Mellowtel, som främjar en ny monetiseringsplattform som, förutom webbläsartillägg, kan användas i program baserade på ramverken Flutter och Electron. Den grundläggande idén med plattformen är att utvecklare av webbläsartillägg och applikationer kan tjäna pengar utan att använda annonsering eller tveksamma metoder som att sälja data som inkräktar på användarnas integritet, utan istället genom att utföra uppgifter för att indexera webbinnehåll för att träna AI-system.

Behovet av data för att träna modeller från AI-företag har lett till uppkomsten av många botar som indexerar webbplatser utan rimlig begränsning av begärningsintensitet och ignorerar reglerna för indexering i robots.txt. Eftersom dessa botar skapar en enorm parasitbelastning på servrar, stör normal drift av systemen och tar tid från administratörerna, börjar de senaste veckorna att aktivt blockera dem (till exempel har innehållsleveransnätverket Cloudflare implementerat en funktion för att blockera sådana bottar som standard).

AI-företag är villiga att betala för indexering, och plattformen Mellowtel har erbjudit en lösning på detta genom att involvera vanliga användare i insamlingsprocessen av data från webbplatser. Plattformen överför 55 % av de medel som tjänas genom samarbetet med AI-företagen till tilläggens ägare. Projektet är helt legitimt och insisterar på att deltagande i skrapning ska vara frivilligt och aktiveras först efter användarens uttryckliga samtycke. Det underförstås att användaren, som ett tack till utvecklarna av tillägget, kan aktivera skrapningsläget och ge dem ekonomiskt stöd indirekt.

Problemet är att inte alla tilläggsutvecklare är villiga att arbeta ärligt och öppet. I vissa tillägg försöker man i hemlighet aktivera Mellowtel-monetisering utan användarens vetskap, vilket leder till att användaren utan uttryckligt samtycke blir en del av ett distribuerat nätverk för dataöverföring från webbplatser. Av 45 tillägg till Chrome som använder Mellowtel har 12 redan blockerats av Google för skadlig aktivitet. I Microsofts katalog har 8 av 129 tillägg blockerats, och i Mozillas katalog har 2 av 71 tillägg blockerats. Anledningarna till borttagningarna specificeras inte, men det kan misstänkas att det berott på felaktig användning av Mellowtel.

Utvecklaren av Mellowtel har meddelat att för att lösa problemet med eventuellt dolt aktiverande av skrapning kommer tjänsten att införa obligatorisk granskning av alla tillägg som använder Mellowtel, för att säkerställa att skrapningen är avstängd som standard (aktivering endast efter uttryckligt samtycke från användaren) och att det finns en synlig knapp för att stänga av det. Begärningar om att ta emot uppdrag från tillägg som inte klarar granskningen kommer att placeras i karantän och ignoreras.

Under arbetet med tillägg som använder Mellowtel-biblioteket upprättas en websocket-anslutning till en extern server som ligger i AWS-molnet, genom vilken information om användarens tillgänglighet, land, bandbredd och aktivering av skrappingstöd överförs. Periodiskt skickas heartbeat-förfrågningar genom anslutningen för att kontrollera klientens tillgänglighet. När det finns uppgifter om att ladda ner innehåll sätts en dold iframe in på de sidor som användaren besöker, från vilken skrappingen utförs.

För att ladda externa sidor från den iframe som sätts in vid visning av andra webbplatser kringgår biblioteket tillfälligt den skydd som erbjuds av webbläsaren mot laddning av extern innehåll, genom att skära bort HTTP-huvuden Content-Security-Policy och X-Frame-Options och återställer dem efter att den behövda sidan har laddats. Avskärningen utförs genom att modifiera nätverksförfrågningar med hjälp av API:t declarativeNetRequest (tillägget begär ett separat tillstånd för åtkomst till detta API). Den tillfälliga avstängningen av huvuden Content-Security-Policy och X-Frame-Options påverkar säkerheten negativt, eftersom den under en kort tid tar bort det inbyggda skyddet mot attacker med hjälp av cross-site scripting (XSS).

Mellowtel-plattformen är kopplad till företaget Olostep, som erbjuder ett API för skrapping som kan kringgå botsskydd och samtidigt utföra upp till 100 000 förfrågningar per minut. Denna typ av aktivitet från tjänsten, tillämpad på en enda webbplats, kan jämföras med en distribuerad DoS-attack. Tjänsten kan också potentiellt använda användare som proxy för att extrahera innehåll från privata webbplatser som endast är tillgängliga inom subnet, som användaren får åtkomst till genom VPN.

Källa: opennet.ru