Extensiile de browser implică în construirea unei rețele distribuite de scraping pentru boturile AI.

Cercetătorii de securitate de la Secure Annex au observat o creștere a popularității unei noi metode de monetizare a extensiilor de browser, prin care utilizatorii extensiilor formează o rețea distribuită utilizată pentru scraping (indexarea conținutului site-urilor). Sistemele utilizatorilor sunt folosite ca web-boti și proxy pentru descărcarea conținutului site-urilor — extensia de browser instalată primește de la un server extern instrucțiuni pentru indexarea site-urilor, după care într-un iframe ascuns inițiază descărcarea conținutului solicitat și transmite datele obținute serviciului extern. În catalogul Chrome, Firefox și Edge, utilizarea acestui model de monetizare a fost identificată în 245 de extensii, cu un total de 909.000 de instalări.

Funcționarea este organizată prin includerea în codul extensiilor de browser a bibliotecii JavaScript open source mellowtel.js, livrată sub licența LGPLv3. Biblioteca este dezvoltată de proiectul Mellowtel, care promovează o nouă platformă de monetizare, care, pe lângă extensiile de browser, poate fi utilizată în aplicații bazate pe cadrele Flutter și Electron. Ideea principală a platformei este că dezvoltatorii de extensii de browser și aplicații pot câștiga bani nu prin afișarea de reclame sau metode dubioase, cum ar fi vânzarea de date care afectează intimitatea utilizatorilor, ci prin îndeplinirea sarcinilor de indexare a conținutului web pentru a antrena sistemele AI.

Nevoia companiilor AI de date pentru antrenarea modelelor a dus la apariția numeroșilor boți care indexează site-uri fără o limitare rațională a intensității trimiterii cererilor și ignorând regulile de indexare robots.txt. Aceste datele boți creează o sarcină enormă și parazitară asupra servere, afectând funcționarea normală a sistemelor și consumând timp prețios administratorilor, recent au început să fie blocați activ (de exemplu, rețeaua de livrare a conținutului Cloudflare a implementat o opțiune pentru a bloca astfel de boți în mod implicit).

Companiile AI sunt dispuse să plătească pentru indexare, iar platforma Mellowtel a oferit o soluție pentru a satisface această nevoie prin implicarea utilizatorilor obișnuiți în procesul de colectare a datelor de pe site-uri. Platforma transmite proprietarilor de extensii 55% din fondurile obținute în urma colaborării cu companiile AI. Proiectul este complet legitim și insistă asupra faptului că participarea la scraping trebuie să fie voluntară și să fie activată doar după consimțământul explicit al utilizatorului. Se presupune că utilizatorul, ca apreciere pentru dezvoltatorii extensiei, poate activa modul de scraping și le poate oferi un sprijin financiar indirect.

Problema este că nu toți dezvoltatorii de extensii sunt dispuși să colaboreze onest și transparent. Unele extensii încearcă să activeze în mod ascuns monetizarea Mellowtel fără știrea utilizatorului, ocolind regulile serviciului, ceea ce duce la faptul că utilizatorul devine participant al unei rețele distribuite pentru descărcarea datelor de pe site-uri fără consimțământul său explicit. Dintre cele 45 de extensii Chrome care utilizează Mellowtel, 12 au fost deja blocate de Google pentru activitate dăunătoare. În catalogul Microsoft, din 129 de extensii, 8 au fost blocate, iar în catalogul Mozilla, din 71 de extensii, 2 au fost blocate. Motivele dezactivării nu sunt detaliate, dar nu se exclude faptul că utilizarea necorespunzătoare a Mellowtel ar fi fost un motiv.

Dezvoltatorul Mellowtel a declarat că, pentru a rezolva problema activării ascunse a scraping-ului, serviciul va implementa o verificare obligatorie a tuturor extensiilor care folosesc Mellowtel, pentru a asigura dezactivarea scraping-ului implicit (activarea doar după consimțământul explicit al utilizatorului) și pentru a avea un buton vizibil pentru dezactivare. Cererile de efectuare a sarcinilor de către extensiile care nu au trecut verificaarea vor fi plasate în carantină și ignorate.

În timpul funcționării, extensiile care utilizează biblioteca Mellowtel stabilesc o conexiune websocket cu un server extern, găzduit în cloud-ul AWS, prin care transmit informații despre disponibilitatea utilizatorului, țara, lățimea de bandă a canalului de comunicație și activarea suportului pentru scraping de către utilizator. Periodic, prin conexiune sunt trimise cereri heartbeat, care verifică disponibilitatea clientului. Atunci când apar sarcini de încărcare a conținutului, este inserat un iframe ascuns în paginile vizualizate de utilizator, din care se realizează scraping.

Pentru a încărca pagini externe din iframe-ul inserat în timpul vizualizării altor site-uri, biblioteca ocolește temporar protecția oferită de browser împotriva încărcării conținutului terț, eliminând header-ele HTTP Content-Security-Policy și X-Frame-Options și restituindu-le după ce pagina dorită este încărcată. Eliminarea se realizează prin modificarea cererilor de rețea cu ajutorul API-ului declarativeNetRequest (pentru a accesa acest API, extensiile solicită o permisiune separată). Dezactivarea temporară a header-elor Content-Security-Policy și X-Frame-Options afectează negativ securitatea, deoarece elimină apărarea standard împotriva atacurilor de tip cross-site scripting (XSS).

Platforma Mellowtel este afiliată companiei Olostep, care oferă un API pentru scraping capabil să ocolească protecția împotriva boturilor și să efectueze simultan până la 100.000 de cereri pe minut. O astfel de activitate a serviciului, aplicată în contextul unui singur site, poate fi comparată cu realizarea unui atac DDoS distribuit. Serviciul poate, de asemenea, să utilizeze utilizatorii ca proxy pentru extragerea de conținut din site-uri private, accesibile doar în subrețelele din care utilizatorul obține acces prin VPN.

Sursa: opennet.ro

Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS 🔥 Cumpără un hosting fiabil pentru site-uri cu protecție DDoS, servere VPS VDS | ProHoster