우리가 중국의 만리방화벽을 돌파한 방법(3부)

Привет!
모든 좋은 이야기에는 끝이 있습니다. 그리고 중국 방화벽을 빠르게 통과할 수 있는 솔루션을 어떻게 생각해 냈는지에 대한 우리의 이야기도 예외는 아닙니다. 그러므로 나는 마지막 것을 서둘러 여러분과 공유하고 싶습니다. 마지막 부분 이 주제에.

이전 부분에서 우리는 우리가 생각해낸 많은 테스트 벤치와 그것이 제공한 결과에 대해 이야기했습니다. 그리고 우리는 무엇을 추가하면 좋을지 결정했습니다. CDN! 우리 계획에 대한 점도를 위해.

Alibaba Cloud CDN, Tencent Cloud CDN 및 Akamai를 어떻게 테스트했는지, 그리고 그 결과는 무엇인지 말씀드리겠습니다. 물론 요약해 보겠습니다.

알리바바 클라우드 CDN

우리는 Alibaba Cloud에서 호스팅되며 IPSEC 및 CEN을 사용합니다. 그들의 솔루션을 먼저 시도해 보는 것이 논리적일 것입니다.

Alibaba Cloud에는 우리에게 적합한 두 가지 종류의 제품이 있습니다. CDN и DCDN. 첫 번째 옵션은 특정 도메인(하위 도메인)에 대한 클래식 CDN입니다. 두 번째 옵션은 다음을 의미합니다. CDN용 동적 경로 (저는 이것을 동적 CDN이라고 부릅니다) 전체 사이트 모드(와일드카드 도메인의 경우)에서 활성화할 수 있으며 정적 콘텐츠를 캐시하고 자체적으로 동적 콘텐츠를 가속화합니다. 즉, 페이지의 동적 내용도 공급자의 빠른 네트워크. 기본적으로 우리 사이트는 동적이고 많은 하위 도메인을 사용하며 "별표"(*.semrushchina.cn)에 대해 CDN을 한 번 설정하는 것이 더 편리하기 때문에 이는 우리에게 중요합니다.

우리는 중국 프로젝트의 초기 단계에서 이 제품을 이미 보았지만 아직 작동하지 않았으며 개발자는 이 제품이 곧 모든 고객에게 제공될 것이라고 약속했습니다. 그리고 그는 그렇게 했습니다.

DCDN에서는 다음을 수행할 수 있습니다.

• 인증서로 SSL 종료를 구성하고,
• 동적 콘텐츠의 가속화를 활성화하고,
• 정적 파일의 캐싱을 유연하게 구성하고,
• 캐시를 제거하고,
• 앞으로 웹 소켓,
• 압축과 심지어 HTML Beautifier도 활성화합니다.

일반적으로 모든 것은 성인 및 대규모 CDN 제공업체와 동일합니다.

Origin(CDN 에지 서버가 이동할 위치)을 지정한 후 남은 것은 별표에 대한 CNAME을 생성하는 것뿐입니다. all.semrushchina.cn.w.kunluncan.com (이 CNAME은 Alibaba Cloud 콘솔에서 수신되었습니다.) CDN이 작동합니다.

테스트 결과에 따르면 이 CDN은 우리에게 많은 도움이 되었습니다. 통계는 아래와 같습니다.

결정
가동 시간
중앙값
75 백분위수
95 백분위수

Cloudflare
86.6
18s
30s
60s

IPsec
99.79
18s
21s
30s

CEN
99.75
16s
21s
27s

CEN/IPsec + GLB
99.79
13s
16s
25s

알리 CDN + CEN/IPsec + GLB
99.75
10s
12.8s
17.3s

이는 매우 좋은 결과입니다. 특히 처음에 나온 숫자와 비교해 보면 더욱 그렇습니다. 그러나 우리는 우리 웹사이트 www.semrush.com의 미국 버전에 대한 브라우저 테스트가 미국에서 평균 8.3초(매우 대략적인 값)로 실행된다는 것을 알고 있었습니다. 개선의 여지가 있습니다. 게다가 테스트하기에 흥미로운 CDN 제공업체도 있었습니다.

그래서 우리는 중국 시장에서 또 다른 거대 기업으로 순조롭게 나아가고 있습니다. 텐센트.

텐센트 클라우드

Tencent는 클라우드를 개발 중입니다. 이는 소수의 제품에서 볼 수 있습니다. 이를 사용하는 동안 우리는 CDN뿐만 아니라 네트워크 인프라 전체를 테스트하고 싶었습니다.

• CEN과 비슷한 것이 있나요?
• IPSEC는 어떻게 작동합니까? 속도가 빠른가요? 가동 시간은 얼마나 됩니까?
• Anycast가 있나요?

이 질문들을 별도로 살펴 보겠습니다.

아날로그 CEN

텐센트에는 제품이 있습니다 클라우드 커넥트 네트워크 (CCN)를 사용하면 중국 내부 및 외부 지역을 포함하여 다양한 지역의 VPC를 연결할 수 있습니다. 해당 제품은 현재 내부 베타 버전이므로 연결을 요청하는 티켓을 생성해야 합니다. 우리는 지원을 통해 글로벌 계정(중국 시민이나 법인에 대해 이야기하지 않음)이 베타 테스트 프로그램에 참여할 수 없으며 일반적으로 중국 내부 지역과 외부 지역을 연결할 수 없다는 사실을 알게 되었습니다. 알리 클라우드에 1-0 찬성

IPSEC

텐센트의 최남단 지역은 광저우. 우리는 터널을 조립하여 GCP의 홍콩 지역에 연결했습니다(이미 이 지역을 사용할 수 있게 되었습니다). 선전에서 홍콩까지 알리 클라우드의 두 번째 터널도 동시에 건설되었습니다. Tencent 네트워크를 통해 홍콩으로의 지연 시간은 선전에서 홍콩, 알리(10ms - 뭐?)보다 일반적으로 더 나은 것으로 나타났습니다(120ms). 그러나 이것은 Tencent와 이 터널을 통한 작업을 목표로 하는 사이트의 작업 속도를 어떤 식으로든 가속화하지 못했습니다. 이는 그 자체로 놀라운 사실이었고 다음을 다시 한 번 입증했습니다. 대기 시간 - 중국의 경우 이는 실제로 가치가 있는 지표가 아닙니다. 중국 방화벽을 통과하기 위한 솔루션을 개발할 때 주의를 기울여야 합니다.

애니캐스트 인터넷 가속

애니캐스트 IP를 통해 작업할 수 있는 또 다른 제품은 AIA. 하지만 글로벌 계정에서도 사용할 수 없기 때문에 말씀드리지는 않겠지만, 그런 제품이 있다는 것을 알아두면 도움이 될 것 같습니다.

하지만 CDN 테스트에서는 꽤 흥미로운 결과가 나왔습니다. Tencent의 CDN은 전체 사이트에서 활성화할 수 없으며 특정 도메인에서만 활성화할 수 있습니다. 우리는 도메인을 생성하고 해당 도메인으로 트래픽을 보냈습니다.

이 CDN에는 다음과 같은 기능이 있는 것으로 나타났습니다. 국경 간 트래픽 최적화. 이 기능을 사용하면 트래픽이 중국 방화벽을 통과할 때 비용이 절감됩니다. 처럼 유래 Google GLB(GLB 애니캐스트)의 IP 주소가 지정되었습니다. 따라서 우리는 프로젝트 아키텍처를 단순화하고 싶었습니다.

결과는 Ali Cloud CDN 수준에서 매우 좋았으며 어떤 곳에서는 훨씬 더 좋았습니다. 테스트가 성공하면 인프라, 터널, CEN, 가상 머신 등의 상당 부분을 버릴 수 있기 때문에 이는 놀라운 일입니다.

문제가 밝혀졌을 때 우리는 오랫동안 기뻐하지 않았습니다. 인터넷 제공업체인 China Mobile의 Catchpoint 테스트가 실패했습니다. 어떤 위치에서든 Tencent의 CDN을 통해 시간 초과가 발생했습니다. 기술 지원과의 통신은 아무 것도 이어지지 않았습니다. 우리는 이 문제를 하루 정도 해결하려고 노력했지만 아무 소용이 없었습니다.

저는 당시 중국에 있었지만 이 공급자의 네트워크에서 공용 Wi-Fi를 찾을 수 없어 개인적으로 문제를 확인할 수 없었습니다. 그렇지 않으면 모든 것이 빠르고 좋아 보였습니다.
그러나 China Mobile이 XNUMX대 통신사 중 하나라는 사실로 인해 트래픽을 Ali CDN으로 반환해야 했습니다.
그러나 전반적으로 이것은 이 문제에 대한 더 긴 테스트와 문제 해결이 필요한 다소 흥미로운 솔루션이었습니다.

아카 마이

우리가 테스트한 마지막 CDN 제공업체는 아카 마이. 중국에 네트워크를 갖고 있는 거대 서비스 제공업체입니다. 물론 우리는 그것을 지나칠 수 없었다.

처음부터 우리는 도메인을 전환하고 해당 도메인이 네트워크에서 어떻게 작동하는지 확인할 수 있도록 시험 기간 동안 Akamai와 합의했습니다. 모든 테스트 결과를 '좋았던 점', '안 좋았던 점' 형식으로 기술하고, 테스트 결과도 함께 전해드리겠습니다.

무엇을 좋아하셨습니까 :

• Akamai 직원들은 모든 질문에 큰 도움을 주었고 모든 테스트 단계에서 우리와 함께했습니다. 우리는 끊임없이 우리 쪽의 무언가를 개선하려고 노력했습니다. 그들은 좋은 기술적인 조언을 해주었습니다.
• Akamai는 Ali Cloud CDN을 통한 당사 솔루션보다 약 10-15% 느립니다. 인상적인 점은 Origin for Akamai에서 GLB의 IP 주소를 지정했다는 점입니다. 즉, 트래픽이 우리 솔루션을 통과하지 못했습니다(잠재적으로 인프라의 일부를 포기할 수 있음). 그러나 여전히 테스트 결과에 따르면 이 솔루션은 현재 버전보다 더 나빴습니다(아래 비교 결과).
• Origin GLB와 Origin in China를 모두 테스트했습니다. 두 옵션 모두 거의 동일합니다.
• 이 확실한 경로 (자동 라우팅 최적화). Origin에서 테스트 개체를 호스팅할 수 있으며 Akamai의 Edge 서버는 이를 선택하려고 시도합니다(일반 GET). 이러한 요청에 대해 속도 및 기타 지표가 측정되며, 이를 기반으로 Akamai 네트워크는 경로를 최적화하여 사이트의 트래픽이 더 빠르게 진행되도록 하며 이 기능을 활성화하면 사이트 속도에 실제로 큰 영향을 미친다는 것이 분명해졌습니다.
• 웹 인터페이스에서 구성 버전을 관리하는 것이 좋습니다. 버전 비교를 수행하고 diff를 살펴보세요. 이전 버전을 확인하세요.
• 프로덕션과 동일한 네트워크인 Akamai Staging 네트워크에서만 새 버전을 먼저 출시할 수 있습니다. 이 방법으로만 실제 사용자에게 영향을 미치지 않습니다. 이 테스트를 위해서는 로컬 컴퓨터에서 DNS 레코드를 스푸핑해야 합니다.
• 대용량 정적 파일 및 기타 파일의 경우 네트워크를 통한 다운로드 속도가 매우 빠릅니다. "콜드" 캐시의 파일은 Ali CDN의 "콜드" 캐시에서 동일한 파일보다 몇 배 더 빠르게 검색됩니다. "핫" 캐시에서 속도는 이미 동일하거나 플러스 또는 마이너스입니다.

알리 CDN 테스트:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Akamai 테스트:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

위 예의 상황은 다양한 요인에 따라 달라집니다. 이 글을 쓰는 시점에서 다시 테스트를 진행했습니다. 두 플랫폼의 결과는 거의 동일했습니다. 이는 대규모 운영업체와 클라우드 제공업체의 경우에도 중국의 인터넷이 때때로 다르게 작동한다는 것을 말해줍니다.

이전 요점에 Akamai에 큰 이점을 추가하겠습니다. Ali가 비슷한 높은 성능과 매우 낮은 성능을 보인다면(Ali CDN, Ali CEN, Ali IPSEC에 적용됨) Akamai는 항상 어떤 상황에서도 작동합니다. 네트워크를 테스트하면 모든 것이 안정적으로 작동합니다.
Akamai는 중국에서 많은 서비스를 제공하고 있으며 많은 공급업체를 통해 협력하고 있습니다.

싫어하는 것 :

• 저는 웹 인터페이스와 작동 방식이 마음에 들지 않습니다. 너무 형편없어요. 그러나 기본적으로는 (아마도) 익숙해집니다.
• 테스트 결과는 저희 사이트보다 나쁩니다.
• 우리 사이트보다 테스트 중에 오류가 더 많습니다(가동 시간은 아래 참조).
• 중국에는 자체 DNS 서버가 없습니다. 따라서 DNS 확인 시간 초과로 인해 테스트에 오류가 많이 발생합니다.
• IP 범위를 제공하지 않습니다. -> 올바른 IP 범위를 등록할 방법이 없습니다. set_real_ip_from 우리 서버에서.

측정항목(~3626개 실행, 가동 시간을 제외한 모든 측정항목(ms), 한 기간에 대한 통계):

CDN 제공자
중앙값
75%
95%
응답
웹페이지 응답
가동 시간
DNS
연결하기
기다림
하중
SSL

알리 CDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

아카 마이
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

백분위수별 분포(ms):

백분위 수
아카 마이
알리 CDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

결론은 다음과 같습니다. Akamai 옵션은 실행 가능하지만 Ali CDN과 결합된 자체 솔루션과 동일한 안정성과 속도를 제공하지 않습니다.

작은 메모

일부 순간은 이야기에 포함되지 않았지만 그에 대해서도 쓰고 싶습니다.

베이징 + 도쿄 및 홍콩

위에서 말했듯이 우리는 홍콩(HK)으로 가는 IPSEC 터널을 테스트했습니다. 그러나 우리는 CEN부터 HK까지 테스트했습니다. 비용도 조금 더 저렴하고, 100km 정도의 거리에 있는 도시 간에는 어떻게 작동할지 궁금합니다. 흥미로운 점은 이들 도시 간의 지연 시간이 원래 버전(대만)보다 100ms 더 높다는 사실이 밝혀졌습니다. 속도, 안정성도 대만이 더 좋았습니다. 결과적으로 우리는 홍콩을 백업 IPSEC 지역으로 남겨 두었습니다.

또한 다음 설치를 시도했습니다.

• 베이징 고객 종료,
• IPSEC 및 CEN에서 도쿄로,
• Ali CDN에서는 베이징에 있는 서버를 원본으로 표시했습니다.

이 계획은 속도 측면에서 일반적으로 우리 솔루션보다 열등하지는 않았지만 그렇게 안정적이지는 않았습니다. 터널의 경우 안정적이어야 하는 CEN의 경우에도 간헐적인 하락을 보았습니다. 따라서 우리는 이전 계획으로 돌아가서 이 단계를 해체했습니다.

다음은 다양한 채널에 대한 다양한 지역 간 지연 시간에 대한 통계입니다. 어쩌면 누군가가 그것에 관심을 가질 것입니다.

IPsec
알리 cn-베이징 <—> GCP asia-northeast1 — 193ms
알리 cn-심천 <—> GCP asia-east2 — 91ms
알리 cn-심천 <—> GCP us-east4 — 200ms

CEN
Ali cn-beijing <—> Ali ap-northeast-1 — 54ms(!)
Ali cn-shenzhen <—> Ali cn-hongkong — 6ms(!)
알리 cn-심천 <—> 알리 us-east1 — 216ms

중국 인터넷에 관한 일반 정보

기사의 첫 번째 부분에서 처음에 설명한 인터넷 문제에 추가로.

• 중국의 인터넷은 내부적으로 상당히 빠릅니다.
  • 이러한 결론은 많은 사람들이 네트워크를 사용하는 다양한 위치에서 공용 Wi-Fi 네트워크를 테스트한 결과를 바탕으로 이루어졌습니다.
  • 중국 내부 서버에 대한 다운로드 및 업로드 속도는 각각 약 20Mbit/s 및 5-10Mbit/s였습니다.
  • 중국 외부 서버의 속도는 1Mbit/s 미만으로 매우 미미합니다.
• 중국의 인터넷은 그다지 안정적이지 않습니다.
  • 구성이 변경되지 않는다면 사이트가 빠르게 열릴 수도 있고, 느리게 열릴 수도 있습니다(다른 요일의 같은 시간에). 우리는 semrushchina.cn의 예를 통해 이를 관찰했습니다. 이는 시간, 별의 위치 등에 따라 이런 방식으로 작동하는 Ali CDN 때문일 수 있습니다.
• 모바일 인터넷은 4G 또는 4G+ 등 거의 모든 곳에서 사용됩니다. 지하철, 엘리베이터 등 어디에서나 쉽게 찾아보세요.
• 중국 사용자가 .cn 영역의 도메인만 신뢰한다는 것은 잘못된 믿음입니다. 우리는 이것을 사용자로부터 직접 배웠습니다.
  • 당신은 방법을 볼 수 있습니다 http://baidu.cn www.baidu.com(중국 본토에서도 마찬가지)으로 리디렉션됩니다.
• 실제로 많은 리소스가 차단되었습니다. 기본: google.com, Facebook, Twitter. 그러나 많은 Google 리소스가 작동합니다(물론 모든 Wi-Fi에서 작동하는 것은 아니며 VPN은 사용되지 않습니다(라우터 측에서도 마찬가지입니다).
• 차단된 기업의 많은 "기술적" 영역도 작동하고 있습니다. 이는 항상 모든 Google 및 기타 차단된 리소스를 무모하게 차단해서는 안 된다는 것을 의미합니다. 금지된 도메인 목록을 찾아야 합니다.
• 주요 인터넷 사업자는 차이나 유니콤(China Unicom), 차이나 텔레콤(China Telecom), 차이나 모바일(China Mobile) XNUMX개뿐입니다. 더 작은 것도 있지만 시장 점유율은 미미합니다.

보너스: 최종 솔루션 다이어그램

합계

프로젝트를 시작한 지 5.5년이 지났습니다. 우리 사이트는 일반적으로 중국에서 정상적으로 작동하는 것을 거부하고 단순히 GET 컬이 XNUMX 초가 걸렸다는 사실부터 시작했습니다.

그런 다음 첫 번째 솔루션(Cloudflare)에서 다음 지표를 사용합니다.

결정
가동 시간
중앙값
75 백분위수
95 백분위수

Cloudflare
86.6
18s
30s
60s

우리는 결국 다음과 같은 결과에 도달했습니다(지난달 통계).

결정
가동 시간
중앙값
75 백분위수
95 백분위수

알리 CDN + CEN/IPsec + GLB
99.86
8.8s
9.5s
13.7s

보시다시피 아직 100% 가동 시간을 달성할 수는 없지만 뭔가를 생각해 낸 다음 새 기사에서 그 결과에 대해 알려 드리겠습니다. :)

세 부분을 끝까지 읽어주신 분들을 존경합니다. 제가 이 일을 했을 때처럼 여러분도 이 모든 것이 흥미로웠기를 바랍니다.

PS 이전 부분

Часть 1
Часть 2

출처 : habr.com