Разширения за браузъри ангажират в изграждането на разпределена мрежа за скрапинг за AI-ботове

Изследователи по сигурността от компанията Secure Annex отбелязаха увеличаването на популярността на нов метод за монетизация на браузърни добавки, при който потребителите на добавките образуват разпределена мрежа, използвана за скрейпинг (индексиране на съдържанието на сайтове). Системите на потребителите се използват като уеб-ботове и проксита за сваляне на съдържание от сайтове — инсталираната браузърна добавка получава от външен сървър инструкции за индексиране на сайтове, след което в отделен скрит iframe стартира зареждането на поисканото съдържание и предава получените данни на външен сервис. В каталогите на Chrome, Firefox и Edge употребата на тази схема за монетизация е установена в 245 добавки, с общ брой инсталации от 909 хиляди.

Работата се организира чрез включване в кода на браузърните разширения на отворената JavaScript-библиотека mellowtel.js, предоставена под лиценз LGPLv3. Библиотеката се развива от проекта Mellowtel, който популяризира нова платформа за монетизация, която освен за браузърни разширения може да се използва в приложения, базирани на фреймворците Flutter и Electron. Основната идея на платформата е, че разработчиците на браузърни разширения и приложения могат да печелят пари, не чрез показване на реклама или съмнителни методи, като продажба на данни, нарушаващи личната неприкосновеност на потребителите, а чрез изпълнение на задачи за индексиране на уеб съдържание за обучение на AI системи.

Нуждата на AI компаниите от данни за обучение на модели доведе до появата на многобройни ботове, които индексират сайтове без разумно ограничение на интензивността на изпращаните заявки и игнорират правилата за индексиране robots.txt. Тъй като тези ботове създават огромна паразитна натовареност на сървъри, нарушават нормалната работа на системите и отнемат време на администраторите, в последно време те започват да бъдат активно блокирани (например, мрежата за доставки на съдържание Cloudflare реализира опция за блокиране на подобни ботове по подразбиране).

AI компаниите са готови да плащат за индексация, а платформата Mellowtel предоставя възможност да се задоволи такава нужда чрез ангажиране на обикновени потребители в процеса на събиране на данни от сайтове. Платформата изплаща на разработчиците на разширения 55% от средствата, спечелени от сътрудничеството с AI компании. Проектът е напълно легитимен и настоява, че участието в скрепинга трябва да бъде доброволно и да се активира само след явно съгласие на потребителя. Имплицира се, че потребителят, в знак на благодарност към разработчиците на разширението, може да включи режима на скрепинг и да им окаже косвена финансова подкрепа.

Проблемът е, че не всички разработчици на разширения са готови да работят честно и открито. В някои разширения се опитват скрито от потребителя да активират монетизацията на Mellowtel, заобикаляйки правилата на услугата, което води до това, че потребителят без явно съгласие става участник в разпределена мрежа за извличане на данни от сайтове. От 45 разширения за Chrome, използващи Mellowtel, 12 вече са блокирани от Google за злонамерена активност. В каталога на Microsoft от 129 разширения 8 са блокирани, а в каталога на Mozilla от 71 разширение 2 са блокирани. Причините за премахването не са уточнени, но не се изключва, че поводът е некоректното използване на Mellowtel.

Разработчикът на Mellowtel заяви, че за решаване на проблема с възможното скрито включване на скрепинга, услугата преминава на задължителна проверка на всички разширения, използващи Mellowtel, за наличие на задължително изключване на скрепинга по подразбиране (активация само след явно съгласие на потребителя) и наличие на видим бутон за изключване. Заявките за получаване на задания от разширения, които не са преминали проверка, ще бъдат поставяни под карантина и игнорирани.

В процеса на работа на добавките, използващи библиотеката Mellowtel, се установява websocket-свързване с външен сървър, разположен в облака AWS, през което се предават данни за наличността на потребителя, страната, пропускателната способност на комуникационния канал и активирането на поддръжка на скрапинг от потребителя. Периодично през връзката се изпращат heartbeat-заявки, проверяващи наличността на клиента. При появата на задачи за зареждане на съдържание в страниците, разглеждани от потребителя, се вмъква скрит iframe, от който се извършва скрапинг.

За зареждане на външни страници от iframe, внедрен при разглеждане на други сайтове, библиотеката временно заобикаля предоставената в браузъра защита срещу зареждане на външно съдържание, отстранявайки HTTP-заглавията Content-Security-Policy и X-Frame-Options и ги възстановява след напълно заредена необходима страница. Отстраняването се осъществява чрез модификация на мрежовите заявки с помощта на API declarativeNetRequest (за достъп до това API добавките искат отделно разрешение). Временното изключване на заглавията Content-Security-Policy и X-Frame-Options оказва негативно влияние върху сигурността, тъй като за кратък период премахва стандартната защита срещу атаки с междусайтово скриптиране (XSS).

Платформата Mellowtel е аффилирана с компанията Olostep, предлагаща API за скрапинг, способен да заобикаля защитата срещу ботове и паралелно да изпълнява до 100 хиляди заявки в минута. Подобна активност на услугата, прилагана в контекста на един сайт, може да се сравни с провеждането на разпределена DoS-атака. Услугата също така потенциално може да използва потребителите като прокси за извличане на съдържание от частни сайтове, достъпни само в подмрежи, до които потребителят има достъп през VPN.

Източник: opennet.ru

Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри 🔥 Купете надежден хостинг за сайтове с защита от DDoS, VPS VDS сървъри | ProHoster