Rozszerzenia przeglądarki angażują w budowanie rozproszonej sieci skrobania dla botów AI

Badacze bezpieczeństwa z firmy Secure Annex zwrócili uwagę na rosnącą popularność nowej metody monetyzacji rozszerzeń przeglądarkowych, w ramach której użytkownicy rozszerzeń tworzą rozproszoną sieć stosowaną do skanowania (indeksowania treści stron). Systemy użytkowników są wykorzystywane jako web-boty i proxy do pobierania zawartości stron — zainstalowane rozszerzenie przeglądarki otrzymuje z zewnętrznego serwera instrukcje dotyczące indeksowania stron, po czym w osobnym, ukrytym iframe uruchamia pobieranie żądanej treści i przesyła uzyskane dane do zewnętrznej usługi. W katalogach Chrome, Firefox i Edge zastosowanie tego modelu monetyzacji odkryto w 245 rozszerzeniach, które łącznie miały 909 tysięcy instalacji.

Działanie organizowane jest poprzez wdrożenie w kodzie rozszerzeń przeglądarkowych otwartej biblioteki JavaScript mellowtel.js, dostarczanej na licencji LGPLv3. Biblioteka jest rozwijana przez projekt Mellowtel, który promuje nową platformę monetyzacji, mogącą być stosowaną nie tylko w rozszerzeniach przeglądarkowych, ale również w aplikacjach opartych na frameworkach Flutter i Electron. Główna idea platformy polega na tym, że deweloperzy rozszerzeń przeglądarkowych i aplikacji mogą zarabiać pieniądze nie poprzez wyświetlanie reklam lub wątpliwe metody, takie jak sprzedaż danych naruszających prywatność użytkowników, ale poprzez realizację zadań związanych z indeksowaniem treści internetowych do nauki systemów AI.

Potrzeba firm AI w pozyskiwaniu danych do szkolenia modeli doprowadziła do powstania licznych botów, indeksujących strony bez rozsądnego ograniczenia intensywności wysyłania zapytań i ignorujących zasady indeksowania robots.txt. Ponieważ dane boty generują ogromne, pasożytnicze obciążenie na serwery, zakłócają normalne działanie systemów i zabierają czas administratorom, ostatnio zaczęto je intensywnie blokować (na przykład sieć dostarczania treści Cloudflare wprowadziła opcję domyślnego blokowania takich botów).

Firmy AI są gotowe płacić za indeksację, a platforma Mellowtel umożliwiła zaspokojenie tej potrzeby poprzez zaangażowanie zwykłych użytkowników w proces zbierania danych z witryn. Platforma przekazuje właścicielom dodatków 55% dochodów uzyskanych ze współpracy z firmami AI. Projekt jest całkowicie legalny i podkreśla, że udział w skrawaniu danych powinien być dobrowolny i aktywowany tylko po wyraźnej zgodzie użytkownika. Zakłada się, że użytkownik, jako podziękowanie dla twórców dodatków, może włączyć tryb skrawania i w ten sposób udzielić im pośredniego wsparcia finansowego.

Problem polega na tym, że nie wszyscy twórcy dodatków są gotowi działać uczciwie i otwarcie. W niektórych dodatkach próbuje się ukrycie przed użytkownikiem aktywować monetyzację Mellowtel, obchodząc zasady serwisu, co prowadzi do tego, że użytkownik bez wyraźnej zgody staje się uczestnikiem rozproszonej sieci do pobierania danych z witryn. Z 45 dodatków do Chrome wykorzystujących Mellowtel, 12 zostało już zablokowanych przez Google z powodu szkodliwej aktywności. W katalogu Microsoft spośród 129 dodatków zablokowano 8, a w katalogu Mozilla 2 z 71 dodatków. Powody usunięcia nie są szczegółowo określone, ale nie można wykluczyć, że powodem było nieprawidłowe użycie Mellowtel.

Twórca Mellowtel ogłosił, że w celu rozwiązania problemu z możliwym ukrytym włączeniem skrawania, serwis przechodzi na obowiązkową weryfikację wszystkich dodatków wykorzystujących Mellowtel pod kątem obligatoryjnego wyłączenia skrawania domyślnie (aktywacja tylko po wyraźnej zgodzie użytkownika) oraz posiadania widocznego przycisku do wyłączenia. Żądania o zadania od dodatków, które nie przeszły weryfikacji, będą umieszczane w kwarantannie i ignorowane.

W trakcie pracy rozszerzenia, które korzysta z biblioteki Mellowtel, nawiązywane jest połączenie websocket z zewnętrznym serwerem umieszczonym w chmurze AWS, przez które przesyłane są informacje o dostępności użytkownika, kraju, przepustowości łącza oraz aktywacji wsparcia dla skrapowania przez użytkownika. Regularnie przez to połączenie wysyłane są zapytania heartbeat, które sprawdzają dostępność klienta. W przypadku pojawienia się zadań związanych z wczytywaniem treści, na odwiedzane przez użytkownika strony wstawiany jest ukryty iframe, z którego odbywa się skrapowanie.

Aby wczytać zewnętrzne strony z iframe, wstawianego podczas przeglądania innych witryn, biblioteka tymczasowo omija zabezpieczenia wbudowane w przeglądarkę, które chronią przed wczytywaniem treści zewnętrznych, usuwając nagłówki HTTP Content-Security-Policy i X-Frame-Options oraz przywracając je po załadowaniu odpowiedniej strony. Usuwanie to odbywa się poprzez modyfikację zapytań sieciowych za pomocą API declarativeNetRequest (w celu uzyskania dostępu do tego API rozszerzenia wymagają osobnego uprawnienia). Tymczasowe wyłączenie nagłówków Content-Security-Policy i X-Frame-Options negatywnie wpływa na bezpieczeństwo, ponieważ na jakiś czas usuwa standardowe zabezpieczenia przed atakami wykorzystującymi skrypty między witrynami (XSS).

Platforma Mellowtel jest powiązana z firmą Olostep, która oferuje API do skrapowania, zdolne do omijania ochrony przed botami i jednoczesnego wykonywania do 100 tysięcy zapytań na minutę. Taką aktywność serwisu, zastosowaną w kontekście jednej witryny, można porównać do przeprowadzania rozproszonego ataku DoS. Serwis może potencjalnie wykorzystywać użytkowników jako proxy do pozyskiwania treści z prywatnych stron, dostępnych tylko w podsieciach, do których użytkownik ma dostęp przez. VPN.

Źródło: opennet.ru

Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS 🔥 Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS | ProHoster