Експеримент с CacheBrowser: заобикаляне на китайската защитна стена без прокси чрез използване на кеширане на съдържание

Снимка: Unsplash

Днес значителна част от цялото съдържание в Интернет се разпространява чрез CDN мрежи. В същото време проучете как различни цензори разширяват влиянието си върху такива мрежи. Учени от Масачузетския университет анализирани възможни методи за блокиране на CDN съдържание, използвайки примера на практиките на китайските власти, а също така разработи инструмент за заобикаляне на такова блокиране.

Подготвихме прегледен материал с основните изводи и резултати от този експеримент.

въведение

Цензурата е глобална заплаха за свободата на словото в интернет и свободния достъп до информация. Това до голяма степен е възможно поради факта, че Интернет е заимствал модела „комуникация от край до край“ от телефонните мрежи от 70-те години на миналия век. Това ви позволява да блокирате достъпа до съдържание или потребителски комуникации без значителни усилия или разходи, просто въз основа на IP адреса. Тук има няколко метода, от блокиране на самия адрес със забранено съдържание до блокиране на способността на потребителите дори да го разпознаят чрез DNS манипулиране.

Развитието на интернет обаче доведе и до появата на нови начини за разпространение на информация. Един от тях е използването на кеширано съдържание за подобряване на производителността и ускоряване на комуникациите. Днес доставчиците на CDN обработват значително количество от целия трафик в света - Akamai, лидерът в този сегмент, сам осигурява до 30% от глобалния статичен уеб трафик.

CDN мрежата е разпределена система за доставяне на интернет съдържание с максимална скорост. Типичната CDN мрежа се състои от сървъри в различни географски местоположения, които кешират съдържание, за да го обслужват на потребители, които са най-близо до този сървър. Това ви позволява значително да увеличите скоростта на онлайн комуникацията.

В допълнение към подобряването на изживяването за крайните потребители, CDN хостингът помага на създателите на съдържание да мащабират своите проекти, като намаляват натоварването на тяхната инфраструктура.

Цензуриране на CDN съдържание

Въпреки факта, че CDN трафикът вече съставлява значителна част от цялата информация, предавана по интернет, все още почти няма изследвания за това как цензорите в реалния свят подхождат към контрола му.

Авторите на изследването започнаха с изследване на техники за цензуриране, които могат да бъдат приложени към CDN. След това те проучиха действителните механизми, използвани от китайските власти.

Първо, нека поговорим за възможните методи за цензуриране и възможността да ги използваме за контрол на CDN.

IP филтриране

Това е най-простата и евтина техника за цензуриране на Интернет. Използвайки този подход, цензорът идентифицира и поставя в черен списък IP адресите на ресурсите, хостващи забранено съдържание. След това контролираните интернет доставчици спират да доставят пакети, изпратени до такива адреси.

Базираното на IP блокиране е един от най-разпространените методи за цензуриране на Интернет. Повечето търговски мрежови устройства са оборудвани с функции за прилагане на такова блокиране без значителни изчислителни усилия.

Този метод обаче не е много подходящ за блокиране на CDN трафик поради някои свойства на самата технология:

• Разпределено кеширане – за да осигурят най-добрата наличност на съдържание и да оптимизират производителността, CDN мрежите кешират потребителско съдържание на голям брой крайни сървъри, разположени в географски разпределени местоположения. За да филтрира такова съдържание въз основа на IP, цензорът ще трябва да открие адресите на всички крайни сървъри и да ги постави в черен списък. Това ще подкопае основните свойства на метода, тъй като основното му предимство е, че в обичайната схема блокирането на един сървър ви позволява да „прекъснете“ достъпа до забранено съдържание за голям брой хора наведнъж.
• Споделени IP адреси – търговските CDN доставчици споделят своята инфраструктура (т.е. крайни сървъри, система за картографиране и т.н.) между много клиенти. В резултат на това забраненото CDN съдържание се зарежда от същите IP адреси като незабраненото съдържание. В резултат на това всеки опит за IP филтриране ще доведе до блокиране на огромен брой сайтове и съдържание, които не представляват интерес за цензорите.
• Силно динамично присвояване на IP – за оптимизиране на балансирането на натоварването и подобряване на качеството на услугата, картографирането на периферни сървъри и крайни потребители се извършва много бързо и динамично. Например, актуализациите на Akamai върнаха IP адреси всяка минута. Това ще направи почти невъзможно адресите да бъдат свързани със забранено съдържание.

DNS намеса

Освен IP филтрирането, друг популярен метод за цензуриране е DNS намесата. Този подход включва действия на цензори, насочени към предотвратяване на разпознаването на IP адресите на ресурсите със забранено съдържание от потребителите. Тоест намесата се извършва на ниво разрешаване на име на домейн. Има няколко начина да направите това, включително отвличане на DNS връзки, използване на техники за отравяне на DNS и блокиране на DNS заявки към забранени сайтове.

Това е много ефективен метод за блокиране, но може да бъде заобиколен, ако използвате нестандартни методи за разрешаване на DNS, например канали извън лентата. Следователно цензорите обикновено комбинират DNS блокиране с IP филтриране. Но, както беше посочено по-горе, IP филтрирането не е ефективно при цензуриране на CDN съдържание.

Филтриране по URL/ключови думи с помощта на DPI

Модерното оборудване за наблюдение на мрежовата активност може да се използва за анализиране на конкретни URL адреси и ключови думи в предаваните пакети данни. Тази технология се нарича DPI (дълбока проверка на пакети). Такива системи намират споменавания на забранени думи и ресурси, след което се намесват в онлайн комуникацията. В резултат на това пакетите просто се изпускат.

Този метод е ефективен, но по-сложен и изисква много ресурси, защото изисква дефрагментиране на всички пакети данни, изпратени в рамките на определени потоци.

CDN съдържанието може да бъде защитено от подобно филтриране по същия начин като „обикновеното“ съдържание – и в двата случая използването на криптиране (т.е. HTTPS) помага.

В допълнение към използването на DPI за намиране на ключови думи или URL адреси на забранени ресурси, тези инструменти могат да се използват за по-напреднал анализ. Тези методи включват статистически анализ на онлайн/офлайн трафик и анализ на протоколи за идентификация. Тези методи са изключително ресурсоемки и към момента просто няма доказателства за използването им от цензорите в достатъчно сериозна степен.

Самоцензура на доставчиците на CDN

Ако цензорът е държавата, тогава тя има всички възможности да забрани на онези CDN доставчици да работят в страната, които не спазват местните закони, регулиращи достъпа до съдържание. На автоцензурата не може да се противостои по никакъв начин - следователно, ако компания доставчик на CDN се интересува от работа в определена страна, тя ще бъде принудена да спазва местните закони, дори ако те ограничават свободата на словото.

Как Китай цензурира CDN съдържание

Великата китайска защитна стена с право се счита за най-ефективната и модерна система за осигуряване на интернет цензура.

Методология на изследването

Учените проведоха експерименти, използвайки Linux възел, разположен в Китай. Имали са достъп и до няколко компютъра извън страната. Първо, изследователите провериха дали възелът е подложен на цензура, подобна на тази, прилагана към други китайски потребители - за да направят това, те се опитаха да отворят различни забранени сайтове от тази машина. Така че наличието на същото ниво на цензура беше потвърдено.

Списъкът с уебсайтове, блокирани в Китай, които използват CDN, е взет от GreatFire.org. След това беше анализиран методът на блокиране във всеки случай.

Според публични данни, единственият голям играч на CDN пазара със собствена инфраструктура в Китай е Akamai. Други доставчици, участващи в проучването: CloudFlare, Amazon CloudFront, EdgeCast, Fastly и SoftLayer.

По време на експериментите изследователите откриха адресите на крайните сървъри на Akamai в страната и след това се опитаха да получат разрешено кеширано съдържание чрез тях. Не беше възможен достъп до забранено съдържание (върна се грешка HTTP 403 Forbidden) - очевидно компанията се самоцензурира, за да запази способността си да работи в страната. В същото време достъпът до тези ресурси остава отворен извън страната.

Интернет доставчиците без инфраструктура в Китай не самоцензурират местните потребители.

В случая с други доставчици най-често използваният метод за блокиране е DNS филтрирането - заявките към блокираните сайтове се преобразуват в неправилни IP адреси. В същото време защитната стена не блокира самите крайни сървъри на CDN, тъй като те съхраняват както забранена, така и разрешена информация.

И ако в случай на некриптиран трафик властите имат възможността да блокират отделни страници на сайтове, използващи DPI, тогава при използване на HTTPS те могат да отказват достъп само до целия домейн като цяло. Това също води до блокиране на разрешено съдържание.

Освен това Китай има свои собствени CDN доставчици, включително мрежи като ChinaCache, ChinaNetCenter и CDNetworks. Всички тези компании спазват изцяло законите на страната и блокират забраненото съдържание.

CacheBrowser: инструмент за заобикаляне на CDN

Както показа анализът, за цензорите е доста трудно да блокират съдържанието на CDN. Ето защо изследователите решиха да отидат по-далеч и да разработят онлайн инструмент за заобикаляне на блокове, който не използва прокси технология.

Основната идея на инструмента е, че цензорите трябва да се намесват в DNS, за да блокират CDN, но всъщност не е нужно да използвате резолюция на име на домейн, за да заредите CDN съдържание. По този начин потребителят може да получи съдържанието, от което се нуждае, като се свърже директно с крайния сървър, където то вече е кеширано.

Диаграмата по-долу показва дизайна на системата.

Клиентският софтуер се инсталира на компютъра на потребителя и се използва обикновен браузър за достъп до съдържанието.

Когато URL или част от съдържанието вече е поискано, браузърът прави заявка към локалната DNS система (LocalDNS), за да получи IP адреса на хостинга. Редовният DNS се запитва само за домейни, които все още не са в базата данни на LocalDNS. Модулът Scraper непрекъснато преминава през заявените URL адреси и търси в списъка за потенциално блокирани имена на домейни. След това Scraper извиква модула Resolver, за да разреши новооткритите блокирани домейни, този модул изпълнява задачата и добавя запис към LocalDNS. След това DNS кешът на браузъра се изчиства, за да се премахнат съществуващите DNS записи за блокирания домейн.

Ако модулът Resolver не може да разбере към кой CDN доставчик принадлежи домейнът, той ще поиска помощ от модула Bootstrapper.

Как работи на практика

Клиентският софтуер на продукта е внедрен за Linux, но може лесно да бъде пренесен и за Windows. Като браузър се използва обикновен Mozilla
Firefox. Модулите Scraper и Resolver са написани на Python, а базите данни Customer-to-CDN и CDN-toIP се съхраняват в .txt файлове. Базата данни LocalDNS е обикновен файл /etc/hosts в Linux.

В резултат на това за блокиран URL като blocked.com Скриптът ще получи IP адреса на крайния сървър от файла /etc/hosts и ще изпрати HTTP GET заявка за достъп до BlockedURL.html с полетата на Host HTTP заглавката:

blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1

Модулът Bootstrapper е реализиран с помощта на безплатния инструмент digwebinterface.com. Този DNS резолвер не може да бъде блокиран и отговаря на DNS заявки от името на множество географски разпределени DNS сървъри в различни мрежови региони.

Използвайки този инструмент, изследователите успяха да получат достъп до Facebook от своя китайски възел, въпреки че социалната мрежа отдавна беше блокирана в Китай.

Заключение

Експериментът показа, че възползвайки се от проблемите, които изпитват цензорите, когато се опитват да блокират CDN съдържание, може да се използва за създаване на система за заобикаляне на блоковете. Този инструмент ви позволява да заобикаляте блокировки дори в Китай, който има една от най-мощните системи за онлайн цензура.

Други статии по темата за употреба резидентни пълномощници за бизнес:

• Как домашните проксита помагат в бизнеса: реален случай на използване на Infatica в областта на извличането на данни
• Разбор. Как работи прокси SOCKS: плюсове, минуси, разлики от други технологии
• Как да изберем прокси мрежа за бизнес: 3 практически съвета

Източник: www.habr.com