Le estensioni del browser coinvolgono nella costruzione di una rete distribuita di scraping per bot AI

I ricercatori di sicurezza della società Secure Annex hanno notato un aumento della popolarità di un nuovo metodo di monetizzazione delle estensioni del browser, secondo il quale gli utenti delle estensioni formano una rete distribuita utilizzata per il web scraping (indicizzazione del contenuto dei siti). I sistemi degli utenti vengono utilizzati come bot web e proxy per scaricare contenuti dai siti: l'estensione del browser installata riceve istruzioni sull'indicizzazione dei siti da un server esterno e successivamente avvia il caricamento del contenuto richiesto in un iframe nascosto, trasmettendo i dati acquisiti a un servizio esterno. Negli archivi di Chrome, Firefox ed Edge, l'applicazione di questo schema di monetizzazione è stata identificata in 245 estensioni, con un totale di 909 mila installazioni.

Il funzionamento è organizzato tramite l'inclusione nel codice delle estensioni del browser di una libreria JavaScript aperta, mellowtel.js, fornita sotto licenza LGPLv3. La libreria è sviluppata dal progetto Mellowtel, che promuove una nuova piattaforma di monetizzazione, la quale può essere utilizzata non solo nelle estensioni del browser, ma anche in programmi basati sui framework Flutter ed Electron. L'idea principale della piattaforma è che gli sviluppatori di estensioni del browser e applicazioni possano guadagnare denaro non tramite la pubblicità o metodi discutibili, come la vendita di dati che compromettono la privacy degli utenti, ma attraverso l'esecuzione di compiti di indicizzazione dei contenuti web per l'addestramento dei sistemi di intelligenza artificiale.

La necessità delle aziende di intelligenza artificiale di dati per l'addestramento dei modelli ha portato alla comparsa di numerosi bot che indicizzano i siti senza ragionevole limitazione dell'intensità delle richieste e ignorando le regole di indicizzazione di robots.txt. Poiché questi bot creano un'enorme carico parassitario su servers, compromettono il normale funzionamento dei sistemi e sottraggono tempo agli amministratori, negli ultimi tempi sono soggetti a bloccaggio attivo (ad esempio, la rete di distribuzione dei contenuti Cloudflare ha implementato un'opzione per bloccare tali bot di default).

Le aziende AI sono pronte a pagare per l'indicizzazione e la piattaforma Mellowtel ha fornito la possibilità di soddisfare tale esigenza coinvolgendo utenti comuni nel processo di raccolta dati dai siti web. La piattaforma trasferisce ai proprietari delle estensioni il 55% dei fondi ricavati dalla collaborazione con le aziende AI. Il progetto è completamente legittimo e insiste sul fatto che la partecipazione al web scraping debba essere volontaria e attivata solo dopo un consenso esplicito dell'utente. Si presume che l'utente, come segno di gratitudine verso gli sviluppatori dell'estensione, possa attivare la modalità di scraping e offrire loro un sostegno finanziario indiretto.

Il problema è che non tutti gli sviluppatori di estensioni sono disposti a lavorare in modo onesto e trasparente. Alcune estensioni cercano di attivare la monetizzazione di Mellowtel in modo occulto per l'utente, aggirando le regole del servizio, il che porta a situazioni in cui l'utente diventa, senza un consenso esplicito, parte di una rete distribuita per il download di dati dai siti. Tra 45 estensioni per Chrome che utilizzano Mellowtel, 12 sono già state bloccate da Google per attività dannose. Nel catalogo Microsoft, 8 su 129 estensioni sono state bloccate, mentre nel catalogo Mozilla 2 su 71 estensioni sono state disattivate. Le motivazioni per la rimozione non vengono dettagliate, ma non si esclude che il motivo sia un uso improprio di Mellowtel.

Lo sviluppatore di Mellowtel ha dichiarato che, per risolvere il problema di una possibile attivazione occulta dello scraping, il servizio passerà a un controllo obbligatorio di tutte le estensioni che utilizzano Mellowtel per assicurarsi che lo scraping sia disattivato di default (attivato solo dopo il consenso esplicito dell'utente) e che ci sia un pulsante visibile per disattivarlo. Le richieste di ricezione di incarichi da parte delle estensioni non sottoposte a verifica saranno messe in quarantena e ignorate.

Nel corso del funzionamento delle estensioni che utilizzano la libreria Mellowtel, viene stabilita una connessione websocket con un server esterno situato nel cloud AWS, attraverso la quale vengono trasmesse informazioni sulla disponibilità dell'utente, il paese, la larghezza di banda della connessione e l'attivazione del supporto per il web scraping da parte dell'utente. Periodicamente, vengono inviati tramite la connessione richieste di heartbeat che verificano la disponibilità del client. Quando compaiono incarichi per il caricamento di contenuti, viene inserito un iframe nascosto nelle pagine visualizzate dall'utente, da cui avviene il web scraping.

Per caricare pagine esterne dall'iframe inserito durante la visualizzazione di altri siti, la libreria aggira temporaneamente la protezione contro il caricamento di contenuti di terze parti fornita dal browser, rimuovendo gli header HTTP Content-Security-Policy e X-Frame-Options e ripristinandoli dopo che la pagina richiesta è stata caricata. La rimozione avviene tramite la modifica delle richieste di rete utilizzando l'API declarativeNetRequest (le estensioni richiedono un permesso separato per accedere a questa API). La disattivazione temporanea degli header Content-Security-Policy e X-Frame-Options influisce negativamente sulla sicurezza, poiché rimuove per un certo periodo la protezione da attacchi di cross-site scripting (XSS).

La piattaforma Mellowtel è affiliata con l'azienda Olostep, che offre un'API per il web scraping in grado di aggirare le protezioni anti-bot e di effettuare fino a 100.000 richieste al minuto. Attività simili dell servizio, applicate in un singolo sito, possono essere paragonate alla conduzione di un attacco DoS distribuito. Il servizio può anche potenzialmente utilizzare gli utenti come proxy per estrarre contenuti da siti privati, accessibili solo all'interno delle subnet a cui l'utente ha accesso tramite VPN.

Fonte: opennet.ru

Acquista hosting affidabile per siti web con protezione DDoS, VPS VDS server 🔥 Acquista hosting affidabile per siti web con protezione DDoS, VPS VDS server | ProHoster