우리가 중국의 만리방화벽을 돌파한 방법(1부)

안녕하십니까!

회사의 시스템 엔지니어인 Nikita가 연락하고 있습니다. SEMrush. 오늘 저는 중국에서 semrush.com 서비스의 안정성을 보장하는 작업에 어떻게 직면했는지, 그리고 서비스 구현 중에 직면한 문제(미국 동부 해안에 있는 데이터 센터의 위치를 ​​고려할 때)에 대해 말씀드리겠습니다.

이것은 여러 기사로 나누어진 큰 이야기가 될 것입니다. 중국의 완전히 작동하지 않는 서비스부터 미국인을 위한 미국 버전 수준의 서비스 성능 지표에 이르기까지 모든 일이 우리에게 어떻게 일어 났는지 알려 드리겠습니다. 흥미롭고 유용할 것이라고 약속합니다. 자, 가자.

중국 인터넷의 문제점

네트워크 관리에 대해 가장 잘 모르는 사람이라도 들어본 적이 있을 것입니다. 중국의 만리방화벽. 와, 멋지네요, 그렇죠? 그러나 그것이 무엇이며 실제로 어떻게 작동하는지는 다소 복잡한 질문입니다. 인터넷에서 이에 대한 많은 기사를 찾을 수 있지만 기술적인 관점에서 볼 때 이 방화벽의 구조는 어디에도 설명되어 있지 않습니다. 그러나 이는 놀라운 일이 아닙니다. 1년간의 작업 결과를 토대로 정확히 어떻게 작동하는지 말씀드릴 수는 없지만 제 의견과 실질적인 결론에 대해서는 말씀드릴 수 있다는 점을 바로 인정하겠습니다. 그리고 이 방화벽에 관한 소문부터 시작하겠습니다.

이 방화벽에 관해 많은 소문이 있습니다. 그 중 주요 내용과 가장 흥미로운 내용을 하나의 목록으로 모아 보겠습니다.

• Google, Facebook, Twitter 및 기타 유사한 서비스는 중국에서 차단되어 작동하지 않습니다.
• 중국 외부에서 중국으로 들어가는 모든 트래픽은 기계 학습을 사용하여 분석 및 제한되며(의심스러운 트래픽의 경우) 국경을 통과하는 트래픽(트래픽)이 크게 느려집니다.
• 중국 정보 기관은 방화벽을 통과하는 모든 암호화된 트래픽을 해킹할 것입니다.
• VPN 터널, IPSEC 터널은 불안정하고 충돌하며 지속적으로 차단됩니다.
• 암호화가 단순할수록 트래픽을 인증/암호화하는 데 사용되는 암호 문구가 단순할수록 중국 방화벽을 더 빨리 통과하게 됩니다.

이러한 소문에 대해 우리가 알아낸 내용은 다음과 같습니다.

• Google, Facebook, Twitter 및 기타 유사한 서비스는 실제로 차단되어 있지만(귀하의 KO), 예를 들어 많은 기술 Google 도메인은 금지되지 않고 작동합니다(동일한 gstatic.com). 결론은 다음과 같습니다. 차단된 것으로 보이는 모든 Google 및 기타 리소스를 함부로 잘라서는 안됩니다.
• 국경을 통과하는 모든 교통량은 실제로 시간에 심각한 지연을 추가합니다. 두 결과를 보세요. 하나의 사이트, 하나의 페이지, 간단한 GET 컬옴. 첫 번째 측정은 중국(아름다운 도시 선전)에서 이루어졌습니다. 두 번째는 홍콩 외부에서 측정한 것입니다(주권이 있고 홍콩과 세계 사이에 방화벽이 없습니다). 직선으로 도시 사이의 거리는 약 30-40km입니다.

nikita@china-shenzhen:~# curl -o /dev/null -w@curl_time "https://www.semrush.com/info/ebay.com"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  381k    0  381k    0     0  71824      0 --:--:--  0:00:05 --:--:-- 82832
time_namelookup:  0.004500
time_connect:  0.169342
time_appconnect:  0.723189
time_pretransfer:  0.723499
time_redirect:  0.000000
time_starttransfer:  1.532912
----------
time_total:  5.443407
----------
size_download:  390968 Bytes
speed_download:  71824.000B/s

nikita@china-hongkong:~# curl -o /dev/null -w@curl_time "https://www.semrush.com/info/ebay.com"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  319k    0  319k    0     0  2555k      0 --:--:-- --:--:-- --:--:-- 2573k
time_namelookup:  0.029366
time_connect:  0.030742
time_appconnect:  0.047310
time_pretransfer:  0.047388
time_redirect:  0.000000
time_starttransfer:  0.120793
----------
time_total:  0.124871
----------
size_download:  326755 Bytes
speed_download:  2616740.000B/s

주의를 기울이십시오. 시간_연결. 그리고 일반적으로 결과를 볼 수 있습니다. 방화벽은 4초를 더 추가하는데, 이는 엄청나게 긴 시간입니다.

• VPN 및 IPSEC 터널은 자주 실패합니다. 이에 대해서는 조금 나중에 더 자세히 이야기하겠습니다. 사용자가 사용하는 VPN 서버는 시간이 지나면(보통 사용 시작 후 1일 이내) 차단됩니다.
• 교통 암호화가 간단할수록 국경을 통과하는 속도가 빨라진다는 의견이 중국에 거주하는 사람들에게 있습니다. 교통에 불법적인 것이 없다는 것을 이해하기 쉽기 때문입니다. 마찬가지로 "Clean" 트래픽은 더 많은 대역폭과 통과 속도를 받는 반면, 아무것도 이해할 수 없는 "Dirty" 트래픽은 반대로 더 느린 통과 속도를 받습니다. 예를 들어 컬을 사용하여 ifconfig.co HTTPS 및 HTTP 프로토콜을 통해.

curl -o /dev/null -w@curl_time "https://ifconfig.co/"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    13  100    13    0     0      2      0  0:00:06  0:00:05  0:00:01     3
time_namelookup:  0.004305
time_connect:  0.397465
time_appconnect:  5.149305
time_pretransfer:  5.149393
time_redirect:  0.000000
time_starttransfer:  5.568847
----------
time_total:  5.568893
----------
size_download:  13 Bytes
speed_download:  2.000B/s

curl -o /dev/null -w@curl_time "http://ifconfig.co/"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    13  100    13    0     0     28      0 --:--:-- --:--:-- --:--:--    28
time_namelookup:  0.004282
time_connect:  0.212457
time_appconnect:  0.000000
time_pretransfer:  0.212484
time_redirect:  0.000000
time_starttransfer:  0.450565
----------
time_total:  0.450620
----------
size_download:  13 Bytes
speed_download:  28.000B/s

총 다운로드 시간 5바이트에 대해 13초의 차이가 있습니다. 또한 이러한 테스트를 여러 번 수행하면 HTTP에서 GET이 일반적으로 매번 동일한 시간에 완료되는 반면 HTTPS에서는 사이트가 때때로 3, 5, 10, 심지어 17초 내에 응답한다는 것을 알 수 있습니다. 때때로 SSL 오류가 발생합니다.

Unknown SSL protocol error in connection to ifconfig.co:443.

그래서 우리가 가진 것은:

• 중국 방화벽으로 인해 발생하는 문제는 위에 설명되어 있습니다.
• 외부 리소스 및 내부 터널에 대한 핑이 주기적으로 사라집니다.
• 두 지점 사이의 지연 시간은 지속적으로 변화하며 예측할 수 없는 경우가 많습니다. 여러 도시/지역을 연결할 때 해당 지역의 지리적 위치에 따라 지연 시간이 줄어들 것이라고 예상하지만 정반대의 상황이 발생합니다.
• 인터넷과 통신 채널은 빠르거나 느립니다. 시간과 요일에 따라 약간의 의존성이 있지만 항상 그런 것은 아닙니다.
• 중국에서 외부 세계로 보내는 DNS 요청이 허용된 시간 초과를 초과하는 경우가 있습니다.

나타나는 그림은 단순히 "훌륭하다"입니다.

제가 이미 말했듯이 데이터 센터는 미국 동부에 있으며 전체 SEMrush는 수십 개의 상호 연결된 제품, 백엔드, 프런트엔드, 데이터베이스 등 DC와 클라우드에 있는 모든 것으로 구성됩니다. 시스템 관리자 팀으로서 우리는 적은 노력으로 중국에서 신속하게 작업을 시작하는 임무를 받았습니다.

우리는 중요한 질문에 대답해야 했습니다. 적은 비용으로 중국 인터넷 및 방화벽과 관련된 모든 문제를 네트워크/클라우드/서버 수준에서 해결할 수 있습니까?

우리는 받는 것부터 시작했습니다. ICP-라이센스.

ICP 라이센스

중국(중국 본토) 내에서 서비스를 호스팅하고 테스트를 수행하려면 먼저 해당 도메인에 대한 ICP 라이선스를 얻어야 합니다.

사이트의 사용자 트래픽이 중국 본토 내에서 종료되고 도메인에 ICP 라이선스가 없는 경우 ISP/호스팅 측에서 트래픽이 차단됩니다. 흥미롭게도 ICP 라이선스에는 Cloudflare 또는 Alibaba Cloud와 같은 특정 공급자가 포함되어 있습니다. 따라서 Cloudflare용 ICP 라이선스를 받고 이를 통해 웹 사이트를 호스팅한 경우 Alibaba Cloud로 "원활하게" 이동할 수 없습니다. 이 라이센스에 다른 호스팅을 추가해야 합니다.

도메인에 대한 ICP 라이선스를 받은 후 우리는 구체적인 기술 아이디어와 솔루션을 생각해 내고 구현할 수 있었습니다.

테스트 솔루션

그러나 스테이징 옵션을 직접 생성하고, 손잡이를 돌리고, 사이트 성능과 속도를 최적화하기 전에 어떤 작업이 사이트 성능을 향상시키거나 반대로 악화시키는지 확인하기 위해 테스트용 도구를 선택해야 합니다.

우리의 테스트 도구는 두 가지 주요 요구 사항을 충족해야 했습니다.

• 중국에서 테스트를 할 수 있어야 하고,
• 브라우저 테스트가 있어야 합니다.

그래서 우리는 찾았습니다 캐치 포인트! 그들은 전 세계의 테스트 위치에 대한 탁월한 적용 범위를 가지고 있습니다. 중국에서는 이 도구를 통해 100500개 성에서 테스트를 실행할 수도 있습니다. 각각에는 여러 다른 제공자가 있으며 + 수행할 수 있는 기능이 있습니다. 등뼈-테스트(데이터 센터의 가상 머신과 같은 것) 및 마지막 마일-테스트(워크스테이션이라고도 불리는 사용자 조건에 최대한 가깝게). 후자 유형의 테스트는 더 비쌉니다.

연간 계약(그 이하 불가)을 체결하고 악기 연구를 시작했습니다. 솔직히 우리는 그 기능에 놀랐습니다. 다음을 실행할 수 있습니다.

• DNS 테스트,
• 웹 테스트(브라우저 테스트, 간단한 GET/POST, 모바일 클라이언트 에뮬레이션 등),
• 거래 확인(예: 로그인),
• API 테스트,
• 핑, 경로 추적, NTP 등

모든 것을 나열할 수는 없습니다. 그리고 가장 중요한 것은 여러 헤더와 기타 매개변수를 추가하여 각 테스트를 아주 잘 사용자 정의할 수 있다는 것입니다. 출력은 테스트를 완벽하게 설명하는 엄청난 양의 정보입니다. 우리에게 가장 흥미로운 것(브라우저 테스트)에 대해 이야기하면 결과는 다음과 같습니다.

• 연결, 대기, 로드, SSL, DNS 시간,
• TTFB, TTLB, 문서 완료, 렌더링 시간, DOM 로드,
• 응답(Time To First Byte에 가까운 것), 웹페이지 응답(Time To Last Byte에 가까운 것),
• 모든 백분위수, 평균, 중앙값 시간
• 기타

따라서 이러한 모든 지표는 변화를 확인하고 상황이 좋아졌는지 이해하는 데 유용합니다. 우리가 주로 살펴본 것은 반응, 웹페이지 반응, 중앙값, 75 및 95 백분위수.

처음부터 방송되었던 중요한 질문은 다음과 같습니다. 캐치포인트를 믿을 수 있나요?? 이 도구는 중국의 여러 도시에서 실제 사이트 로딩 속도를 반영합니까, 아니면 실제 사용자 경험과 아무 관련이 없는 진공 상태에서의 일종의 테스트입니까?
러시아에 있으면 중국 사이트가 어떻게 작동하는지 확실하게 알아내는 것이 거의 불가능하기 때문에 이것은 큰 문제입니다. 가상 머신을 통해 양말 프록시를 수행하면 최종 결과는 사이트가 몇 분 내에 로드되며 이는 테스트에 허용되지 않으므로 수동 테스트를 위한 유일한 옵션은 타이머가 있는 콘솔에서 컬 및 간단한 GET입니다. . 이 테스트는 네트워크 솔루션의 속도를 잘 반영하기 때문에 도움이 되며, 브라우저 테스트도 있다면 매우 좋습니다.

나중에 우리는 중국에 가서 다음과 같이 확신했습니다. Catchpoint는 실제 성과 지표를 매우 정확하게 반영하므로 신뢰할 수 있습니다.

Cloudflare 중국 네트워크

우리는 기본 도메인 semrush.com에 Cloudflare를 성공적으로 사용했기 때문에 즉시 해당 기능을 사용해 보기로 결정했습니다. 중국 네트워크. 이 옵션은 별도 요청 시 추가 비용을 지불하고 기업 사이트에만 활성화됩니다. 또한 Cloudflare를 공급자로 나열하는 적절한 ICP 라이선스가 있는 사이트에서만 사용할 수 있습니다. 활성화한 후 Cloudflare의 "중국 CDN"을 사이트에서 사용할 수 있게 됩니다. 중국 지역의 트래픽은 가장 가까운 PoP(Points of Presence) CF에 도달한 다음 해당 네트워크 또는 공급자/파트너 네트워크를 통해 원본으로 전달됩니다. .

이 테스트 벤치의 다이어그램은 아래에 나와 있습니다.

이것은 우리에게 훌륭한 선택입니다. 두 번째 도메인은 회사에서 사용되는 솔루션 수를 늘리지 않고 실제로 인프라를 복잡하게 하지 않는 CF용인 것으로 밝혀졌습니다.

브라우저 테스트를 실행했는데 다음과 같은 일이 일어났습니다.

빨간색 다이아몬드는 테스트 실패입니다. 아래 파일은 DNS 오류(시간 초과 해결)입니다. 상단의 실패는 시간 초과입니다.

가동 시간: 86.6
중앙값: 18초
75 백분위수: 29.3초
95 백분위수: 60초

중앙값, 하중이 제거된 후 reCAPTCHA를 (중국에서 차단된 Google 서비스) 시간이 28초에서 18초로 단축되었습니다. 그러나 semrush.com(미국)에 대한 동일한 테스트가 동일한 페이지(정적 + 동적)에서 10%의 사용자(미국)에게 95초 미만의 시간을 주었다는 점을 고려하면 이는 여전히 끔찍한 결과입니다.

각 테스트에 들어가서 볼 수 있습니다. 폭포 그리고 기타 더 자세한 매개변수. 우리는 오류의 원인을 조사하기 시작했으며 시간 초과로 인해 모든 것이 어느 정도 명확해졌습니다. 중국의 인터넷이 "안팎으로 이동"하기 때문에 연결 속도와 해외 리소스 로드가 불안정하고 고르지 않습니다. 그런데 DNS 오류가 우리를 크게 놀라게 했습니다. 우리는 그것을 발견했습니다 팝 Cloudflare는 실제로 중국에 위치하고 있으며 사이트 주소는 하나의 애니캐스트 IP로 확인되지만 DNS 서버는 미국이므로 DNS 요청이 강제로 국경을 넘어야 하므로 실패하는 경우가 있습니다.

CF를 통해 이 문제를 명확히 한 결과, 중국에는 자체 DNS 서버가 없습니다., 언제가 될지는 아직 알 수 없습니다.

따라서 우리는 Cloudflare DNS만 테스트하기로 결정하고 우리 사이트의 Cloudflare 운영 메커니즘을 "DNS만" 이는 Cloudflare가 자체적으로 트래픽을 프록시하지 않는 모드입니다. 즉, DDoS 보호, CDN 및 기타 기능을 제공하지 않고 일반 DNS 서버 모드로 작동합니다.

이 스탠드는 다음 그림에 개략적으로 표시되어 있습니다. 이 그림은 Cloudflare의 DNS 서버가 방화벽 뒤에 있다는 새로운 지식을 고려한 것입니다.

Catchpoint에서 우리는 간단한 GET 테스트(브라우저 테스트 아님)를 실행했는데 많은 실패가 나타났습니다. 동일한 DNS 오류로 인해 발생했습니다.

우리는 다음을 사용하여 이러한 오류 디버깅을 시작했습니다. 파다 첫 번째 요청 시 주소가 올바르게 결정되었으며 반복 요청 시 매번 수신된다는 사실을 발견했습니다. 서비스 실패 и 찾을 수 없음. 갑자기 왜 이런 일이 일어나는 걸까요?

root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)

Cloudflare NS 서버를 직접 쿼리할 때는 다음과 같은 오류가 발생하지 않습니다.

root@iZwz97n2wgbp61qucbfrjsZ:~# for i in `seq 1 2`; do host semrushchina.cn ray.ns.cloudflare.com.; done
Using domain server:
Name: ray.ns.cloudflare.com.
Address: 173.245.59.138#53
Aliases: 

semrushchina.cn has address 220.170.186.192
semrushchina.cn has address 220.170.186.192
Using domain server:
Name: ray.ns.cloudflare.com.
Address: 173.245.59.138#53
Aliases: 

semrushchina.cn has address 220.170.186.192
semrushchina.cn has address 220.170.186.192

이는 문제가 "로컬" DNS 서버 또는 공급자 서버 측에 있음을 의미합니다.
추가 조사 결과 서비스 실패 우리는 결심한다 AAAA-기록.

Cloudflare에 요청할 때 AAAA-도메인에 존재하지 않는 기록이 있어서 Cloudflare가 응답했습니다. А- 오류가 있고 RFC를 준수하지 않는 항목입니다. 로컬 리졸버(xxxx) 나는 그것을 좋아하지 않았고 그는 대답했다 서비스 실패. 이 동작은 아래 로그에서 명확하게 볼 수 있습니다.

root@iZwz97n2wgbp61qucbfrjsZ:~# dig -t AAAA semrushchina.cn @x.x.x.x

; <<>> DiG 9.10.3-P4-Ubuntu <<>> -t AAAA semrushchina.cn @x.x.x.x
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 55467
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;semrushchina.cn.               IN      AAAA

;; Query time: 334 msec
;; SERVER: x.x.x.x#53(x.x.x.x)
;; WHEN: Tue Aug 14 23:38:50 CST 2018
;; MSG SIZE  rcvd: 44

root@iZwz97n2wgbp61qucbfrjsZ:~# dig -t AAAA semrushchina.cn @dana.ns.cloudflare.com.

; <<>> DiG 9.10.3-P4-Ubuntu <<>> -t AAAA semrushchina.cn @dana.ns.cloudflare.com.
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 63944
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;semrushchina.cn.               IN      AAAA

;; ANSWER SECTION:
semrushchina.cn.        300     IN      A       220.170.186.192

;; Query time: 185 msec
;; SERVER: 173.245.58.105#53(173.245.58.105)
;; WHEN: Tue Aug 14 23:43:03 CST 2018
;; MSG SIZE  rcvd: 60

Cloudflare에 버그 보고서를 제출했고 얼마 후 수정되었습니다. 흥미로운 점은 현재 중국에는 IPv6 지원이 없기 때문에 Cloudflare는 요청에 대한 응답으로 IPv6 주소를 발급할 수 없다는 것입니다. AAAA-기록. 결국 Cloudflare가 중국에 대한 답변을 시작하는 방식으로 모든 것이 해결되었습니다. 노다타 그러한 요청에.

따라서 Catchpoint 테스트의 DNS 오류가 급격히 감소했지만 완전히 감소하지는 않았습니다. 시간 초과가 여전히 발생합니다.

그리고 우리는 또 다른 해결책을 찾기 시작했습니다.

다음 부분에서는 중국 클라우드를 어떻게 테스트했는지 알려 드리겠습니다. 알리바바 클라우드, Nginx의 작은 "마법"의 도움으로 어떻게 PoC(개념 증명) 솔루션을 빠르게 만들 수 있었는지, 어떻게 멀티 클라우드 솔루션을 만들었는지, 그 중 하나가 궁극적으로 서비스 작업 속도를 크게 높이는 데 도움이 되었는지 중국에서.

계속 지켜봐!

다음 부분

Часть 2

출처 : habr.com