🥇CacheBrowser 실험: 콘텐츠 캐싱을 사용하여 프록시 없이 중국 방화벽 우회

그림: Unsplash

오늘날 인터넷상의 모든 콘텐츠의 상당 부분은 CDN 네트워크를 통해 배포됩니다. 동시에 다양한 검열 기관이 그러한 네트워크에 대한 영향력을 어떻게 확장하는지에 대한 연구도 진행됩니다. 매사추세츠 대학의 과학자들 분석 중국 당국의 관행을 예로 들어 CDN 콘텐츠를 차단할 수 있는 방법을 알아보고 이러한 차단을 우회하는 도구도 개발했습니다.

우리는 이 실험의 주요 결론과 결과를 담은 리뷰 자료를 준비했습니다.

소개

검열은 인터넷에서의 표현의 자유와 정보에 대한 자유로운 접근에 대한 세계적인 위협입니다. 이는 인터넷이 지난 세기 70년대 전화 네트워크에서 "엔드 투 엔드 통신" 모델을 차용했기 때문에 가능합니다. 이를 통해 단순히 IP 주소를 기반으로 많은 노력이나 비용을 들이지 않고도 콘텐츠 또는 사용자 통신에 대한 액세스를 차단할 수 있습니다. 여기에는 금지된 콘텐츠로 주소 자체를 차단하는 것부터 DNS 조작을 사용하여 사용자가 이를 인식하는 기능을 차단하는 것까지 여러 가지 방법이 있습니다.

그러나 인터넷의 발달로 인해 정보를 전달하는 새로운 방법이 등장하게 되었습니다. 그 중 하나는 캐시된 콘텐츠를 사용하여 성능을 향상하고 통신 속도를 높이는 것입니다. 오늘날 CDN 제공업체는 전 세계에서 상당한 양의 모든 트래픽을 처리하고 있습니다. 이 부문의 선두주자인 Akamai는 단독으로 전 세계 정적 웹 트래픽의 최대 30%를 차지합니다.

CDN 네트워크는 인터넷 콘텐츠를 최대 속도로 전달하기 위한 분산 시스템입니다. 일반적인 CDN 네트워크는 콘텐츠를 캐시하여 해당 서버에 가장 가까운 사용자에게 제공하는 다양한 지리적 위치에 있는 서버로 구성됩니다. 이를 통해 온라인 커뮤니케이션 속도를 크게 높일 수 있습니다.

최종 사용자의 경험을 향상시키는 것 외에도 CDN 호스팅은 콘텐츠 제작자가 인프라의 로드를 줄여 프로젝트를 확장하는 데 도움이 됩니다.

CDN 콘텐츠 검열

CDN 트래픽이 이미 인터넷을 통해 전송되는 모든 정보의 상당 부분을 차지하고 있음에도 불구하고 실제 세계의 검열관이 CDN 트래픽을 제어하는 방법에 대한 연구는 아직 거의 없습니다.

연구의 저자들은 CDN에 적용할 수 있는 검열 기술을 탐색하는 것부터 시작했습니다. 그런 다음 그들은 중국 당국이 사용하는 실제 메커니즘을 연구했습니다.

먼저 가능한 검열 방법과 이를 사용하여 CDN을 제어할 수 있는 가능성에 대해 이야기해 보겠습니다.

IP 필터링

이는 인터넷 검열을 위한 가장 간단하고 저렴한 기술입니다. 검열관은 이 접근 방식을 사용하여 금지된 콘텐츠를 호스팅하는 리소스의 IP 주소를 식별하고 블랙리스트에 추가합니다. 그러면 통제된 인터넷 제공업체는 해당 주소로 전송된 패킷 전달을 중단합니다.

IP 기반 차단은 인터넷을 검열하는 가장 일반적인 방법 중 하나입니다. 대부분의 상용 네트워크 장치에는 상당한 계산 노력 없이도 이러한 차단을 구현할 수 있는 기능이 탑재되어 있습니다.

그러나 이 방법은 기술 자체의 일부 속성으로 인해 CDN 트래픽을 차단하는 데 그다지 적합하지 않습니다.

분산 캐싱 – 최고의 콘텐츠 가용성을 보장하고 성능을 최적화하기 위해 CDN 네트워크는 지리적으로 분산된 위치에 위치한 수많은 에지 서버에 사용자 콘텐츠를 캐시합니다. IP를 기반으로 이러한 콘텐츠를 필터링하려면 검열관이 모든 에지 서버의 주소를 찾아 블랙리스트에 추가해야 합니다. 이는 일반적인 방식에서 하나의 서버를 차단하면 한 번에 많은 사람들이 금지된 콘텐츠에 대한 액세스를 "차단"할 수 있다는 주요 이점이 있기 때문에 방법의 주요 속성을 훼손합니다.
공유 IP – 상용 CDN 제공업체는 여러 클라이언트 간에 인프라(예: 에지 서버, 매핑 시스템 등)를 공유합니다. 결과적으로 금지된 CDN 콘텐츠는 금지되지 않은 콘텐츠와 동일한 IP 주소에서 로드됩니다. 결과적으로, IP 필터링을 시도하면 검열관이 관심을 두지 않는 수많은 사이트와 콘텐츠가 차단됩니다.
매우 동적인 IP 할당 – 로드 밸런싱을 최적화하고 서비스 품질을 향상시키기 위해 에지 서버와 최종 사용자의 매핑이 매우 빠르고 동적으로 수행됩니다. 예를 들어 Akamai는 반환된 IP 주소를 XNUMX분마다 업데이트합니다. 이렇게 하면 주소가 금지된 콘텐츠와 연결되는 것이 거의 불가능해집니다.

DNS 간섭

IP 필터링 외에도 널리 사용되는 또 다른 검열 방법은 DNS 간섭입니다. 이 접근 방식에는 사용자가 금지된 콘텐츠가 포함된 리소스의 IP 주소를 인식하지 못하도록 방지하기 위한 검열 기관의 조치가 포함됩니다. 즉, 개입은 도메인 이름 확인 수준에서 발생합니다. 이를 수행하는 방법에는 DNS 연결 하이재킹, DNS 중독 기술 사용, 금지된 사이트에 대한 DNS 요청 차단 등 여러 가지가 있습니다.

이는 매우 효과적인 차단 방법이지만 대역 외 채널과 같은 비표준 DNS 확인 방법을 사용하는 경우 우회할 수 있습니다. 따라서 검열관은 일반적으로 DNS 차단과 IP 필터링을 결합합니다. 그러나 위에서 언급한 것처럼 IP 필터링은 CDN 콘텐츠를 검열하는 데 효과적이지 않습니다.

DPI를 사용하여 URL/키워드로 필터링

최신 네트워크 활동 모니터링 장비를 사용하여 전송된 데이터 패킷의 특정 URL과 키워드를 분석할 수 있습니다. 이 기술을 DPI(심층 패킷 검사)라고 합니다. 이러한 시스템은 금지된 단어와 리소스에 대한 언급을 찾아낸 후 온라인 커뮤니케이션을 방해합니다. 결과적으로 패킷은 단순히 삭제됩니다.

이 방법은 효과적이지만 특정 스트림 내에서 전송된 모든 데이터 패킷의 조각 모음이 필요하므로 더 복잡하고 리소스 집약적입니다.

CDN 콘텐츠는 "일반" 콘텐츠와 동일한 방식으로 이러한 필터링으로부터 보호할 수 있습니다. 두 경우 모두 암호화(예: HTTPS)를 사용하면 도움이 됩니다.

DPI를 사용하여 금지된 리소스의 키워드나 URL을 찾는 것 외에도 이러한 도구를 사용하여 보다 고급 분석을 수행할 수 있습니다. 이러한 방법에는 온라인/오프라인 트래픽에 대한 통계 분석, 식별 프로토콜 분석이 포함됩니다. 이러한 방법은 극도로 자원 집약적이며 현재 검열관이 이를 충분히 심각하게 사용한다는 증거는 없습니다.

CDN 제공업체의 자체 검열

검열관이 국가인 경우 콘텐츠 액세스를 규제하는 현지 법률을 준수하지 않는 CDN 제공업체가 국가에서 운영되는 것을 금지할 수 있는 모든 기회가 있습니다. 자체 검열은 어떤 식으로든 거부할 수 없습니다. 따라서 CDN 제공업체가 특정 국가에서 운영하는 데 관심이 있는 경우 언론의 자유를 제한하더라도 현지 법률을 준수해야 합니다.

중국이 CDN 콘텐츠를 검열하는 방법

중국의 만리 방화벽은 인터넷 검열을 보장하는 가장 효과적이고 진보된 시스템으로 당연히 간주됩니다.

연구 방법론

과학자들은 중국 내에 위치한 Linux 노드를 사용하여 실험을 수행했습니다. 그들은 또한 국가 외부에 있는 여러 대의 컴퓨터에 접속할 수 있었습니다. 먼저 연구원들은 노드가 다른 중국 사용자에게 적용되는 것과 유사한 검열을 받고 있는지 확인했습니다. 이를 위해 그들은 이 컴퓨터에서 다양한 금지 사이트를 열려고 시도했습니다. 그래서 동일한 수준의 검열이 존재한다는 것이 확인되었습니다.

CDN을 사용하는 중국에서 차단된 웹사이트 목록은 GreatFire.org에서 가져왔습니다. 그런 다음 각 경우의 차단 방법을 분석했습니다.

공개 데이터에 따르면 중국에서 자체 인프라를 갖춘 CDN 시장의 유일한 주요 업체는 Akamai입니다. 연구에 참여하는 다른 제공업체: CloudFlare, Amazon CloudFront, EdgeCast, Fastly 및 SoftLayer.

실험 과정에서 연구원들은 국내 Akamai 엣지 서버의 주소를 알아낸 후, 이를 통해 캐시된 허용 콘텐츠를 가져오려고 했습니다. 금지된 콘텐츠에 접근할 수 없었습니다(HTTP 403 Forbidden 오류가 반환됨). 해당 회사는 해당 국가에서 운영할 수 있는 능력을 유지하기 위해 자체 검열을 하고 있는 것으로 보입니다. 동시에, 이러한 자원에 대한 접근은 국가 외부에서 계속 열려 있었습니다.

중국에 인프라가 없는 ISP는 현지 사용자를 자체 검열하지 않습니다.

다른 공급자의 경우 가장 일반적으로 사용되는 차단 방법은 DNS 필터링이었습니다. 차단된 사이트에 대한 요청은 잘못된 IP 주소로 확인됩니다. 동시에 방화벽은 금지된 정보와 허용된 정보를 모두 저장하므로 CDN 에지 서버 자체를 차단하지 않습니다.

암호화되지 않은 트래픽의 경우 당국이 DPI를 사용하여 사이트의 개별 페이지를 차단할 수 있는 경우 HTTPS를 사용하면 전체 도메인에 대한 액세스만 거부할 수 있습니다. 이로 인해 허용된 콘텐츠도 차단됩니다.

또한 중국에는 ChinaCache, ChinaNetCenter 및 CDNetworks와 같은 네트워크를 포함하여 자체 CDN 제공업체가 있습니다. 이들 회사는 모두 해당 국가의 법률을 철저히 준수하고 금지된 콘텐츠를 차단합니다.

CacheBrowser: CDN 우회 도구

분석에서 알 수 있듯이 검열관이 CDN 콘텐츠를 차단하는 것은 매우 어렵습니다. 따라서 연구진은 더 나아가 프록시 기술을 사용하지 않는 온라인 차단 우회 도구를 개발하기로 결정했습니다.

이 도구의 기본 아이디어는 검열관이 CDN을 차단하기 위해 DNS를 방해해야 하지만 실제로 CDN 콘텐츠를 다운로드하기 위해 도메인 이름 확인을 사용할 필요는 없다는 것입니다. 따라서 사용자는 이미 캐시되어 있는 엣지 서버에 직접 접속하여 필요한 콘텐츠를 얻을 수 있습니다.

아래 다이어그램은 시스템 설계를 보여줍니다.

클라이언트 소프트웨어는 사용자의 컴퓨터에 설치되며 일반 브라우저를 사용하여 콘텐츠에 액세스합니다.

URL이나 콘텐츠가 이미 요청된 경우 브라우저는 호스팅 IP 주소를 얻기 위해 로컬 DNS 시스템(LocalDNS)에 요청합니다. 일반 DNS는 아직 LocalDNS 데이터베이스에 없는 도메인에 대해서만 쿼리됩니다. Scraper 모듈은 요청된 URL을 지속적으로 살펴보고 잠재적으로 차단된 도메인 이름 목록을 검색합니다. 그런 다음 Scraper는 Resolver 모듈을 호출하여 새로 발견된 차단된 도메인을 확인합니다. 이 모듈은 작업을 수행하고 LocalDNS에 항목을 추가합니다. 그런 다음 차단된 도메인에 대한 기존 DNS 레코드를 제거하기 위해 브라우저의 DNS 캐시가 지워집니다.

Resolver 모듈이 도메인이 속한 CDN 공급자를 파악할 수 없는 경우 Bootstrapper 모듈에 도움을 요청합니다.

실제 작동 방식

제품의 클라이언트 소프트웨어는 Linux용으로 구현되었지만 Windows용으로도 쉽게 이식할 수 있습니다. 일반 Mozilla를 브라우저로 사용합니다.
파이어폭스. 스크레이퍼 및 확인자 모듈은 Python으로 작성되었으며 고객-CDN 및 CDN-toIP 데이터베이스는 .txt 파일에 저장됩니다. LocalDNS 데이터베이스는 Linux의 일반 /etc/hosts 파일입니다.

결과적으로 다음과 같은 차단된 URL의 경우 차단됨.com 스크립트는 /etc/hosts 파일에서 에지 서버 IP 주소를 가져오고 호스트 HTTP 헤더 필드를 사용하여 BlockedURL.html에 액세스하기 위해 HTTP GET 요청을 보냅니다.

blocked.com/ and User-Agent: Mozilla/5.0 (Windows
NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1

Bootstrapper 모듈은 무료 도구인 digwebinterface.com을 사용하여 구현됩니다. 이 DNS 확인자는 차단할 수 없으며 서로 다른 네트워크 지역에 지리적으로 분산된 여러 DNS 서버를 대신하여 DNS 쿼리에 응답합니다.

이 도구를 사용하여 연구원들은 중국 노드에서 Facebook에 액세스할 수 있었습니다. 하지만 중국에서는 소셜 네트워크가 오랫동안 차단되어 있었습니다.

결론

실험을 통해 검열관이 CDN 콘텐츠를 차단하려고 할 때 겪는 문제를 활용하면 차단을 우회하는 시스템을 만들 수 있음이 나타났습니다. 이 도구를 사용하면 가장 강력한 온라인 검열 시스템 중 하나를 보유한 중국에서도 블록을 우회할 수 있습니다.

사용 주제에 관한 기타 기사 상주 프록시 비즈니스를위한:

출처 : habr.com

CacheBrowser 실험: 콘텐츠 캐싱을 사용하여 프록시 없이 중국 방화벽 우회

소개