🥇Wéi mir duerch d'Grouss Firewall vu China gebrach hunn (Deel 1)

Hallo jiddereen!

Nikita ass a Kontakt - e Systemingenieur vun der Firma SEMrush. Haut wäert ech Iech soen wéi mir d'Aufgab konfrontéiert hunn fir d'Stabilitéit vun eisem Semrush.com Service a China ze garantéieren, a wéi eng Problemer mir während hirer Ëmsetzung begéint hunn (vu de Standuert vun eisem Rechenzentrum op der Ostküst vun den USA).

Dëst wäert eng grouss Geschicht sinn, an e puer Artikelen opgedeelt. Ech soen Iech wéi et alles fir eis geschitt ass: vun engem komplett net funktionnelle Service aus China, bis op d'Leeschtungsindikatoren vum Service um Niveau vun senger amerikanescher Versioun fir Amerikaner. Ech verspriechen et wäert interessant an nëtzlech sinn. Also, loosst eis goen.

Problemer vun der Chinese Internet

Och déi wäitste Persoun aus de Spezifizitéite vun der Netzwierkverwaltung huet iwwer héieren Grouss Firewall vu China. Wow, kléngt cool, richteg? Awer wat et ass a wéi et tatsächlech funktionnéiert ass eng zimlech komplizéiert Fro. Dir kënnt vill Artikelen um Internet fannen, déi fir dëst gewidmet sinn, awer aus enger technescher Siicht ass den Design vun dëser Firewall néierens beschriwwen. Wat awer net iwwerrascht. Ech wäert direkt zouginn, datt op Basis vun de Resultater vun engem Joer Aarbecht, Ech wäert net fäheg sinn genee ze soen, wéi et funktionnéiert, awer ech kann Iech iwwer meng Kommentaren a praktesch Conclusiounen soen. A mir fänken un mat Rumeuren iwwer dës Firewall.

Et gi vill Rumeuren iwwer dës ganz Firewall. Loosst eis déi wichtegst an interessantst vun hinnen an eng Lëscht sammelen:

Google, Facebook, Twitter an aner ähnlech Servicer si blockéiert a funktionnéieren net a China.
All Traffic, deen äussert vu China an AN China geet, gëtt parséiert a limitéiert mat Hëllef vu Maschinnléieren (am Fall vu verdächtege Verkéier), wat et staark verlangsamt (Traffic) duerch d'Grenz passéiert.
Chinesesch Intelligenz Agenturen hacken all verschlësselte Verkéier, deen duerch hir Firewall passéiert.
VPN Tunnel, IPSEC Tunnel sinn onbestänneg, Crash a si stänneg blockéiert.
Wat méi einfach d'Verschlësselung, wat méi einfach de Passphrase benotzt gëtt fir de Traffic ze authentifizéieren/verschlësselen, dest méi séier geet et duerch d'chinesesch Firewall.

Hei ass wat mir iwwer dës Rumeuren erausfonnt hunn:

Google, Facebook, Twitter an aner ähnlech Servicer sinn zwar blockéiert (Är KO), awer vill technesch Google Domainen, zum Beispill, sinn net verbannt a funktionnéieren (déi selwecht gstatic.com). D'Konklusioun folgt dovun: Dir sollt all Google an aner Ressourcen, déi blockéiert schéngen, net onbedéngt ausschneiden.
All Verkéier, deen d'Grenz passéiert, füügt wierklech e seriöse Verspéidung un seng Zäit. Kuckt déi zwee Resultater. Ee Site, eng Säit, einfach GET esouvill'om. Déi éischt Miessung war aus China selwer (déi schéin Stad Shenzhen). Déi zweet gouf vu baussen aus Hong Kong gemooss (et huet Souveränitéit, an et gëtt keng Firewall tëscht him an der Welt). D'Distanz tëscht de Stied an enger riichter Linn ass ongeféier 30-40 km.

nikita@china-shenzhen:~# curl -o /dev/null -w@curl_time "https://www.semrush.com/info/ebay.com"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  381k    0  381k    0     0  71824      0 --:--:--  0:00:05 --:--:-- 82832
time_namelookup:  0.004500
time_connect:  0.169342
time_appconnect:  0.723189
time_pretransfer:  0.723499
time_redirect:  0.000000
time_starttransfer:  1.532912
----------
time_total:  5.443407
----------
size_download:  390968 Bytes
speed_download:  71824.000B/s

nikita@china-hongkong:~# curl -o /dev/null -w@curl_time "https://www.semrush.com/info/ebay.com"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  319k    0  319k    0     0  2555k      0 --:--:-- --:--:-- --:--:-- 2573k
time_namelookup:  0.029366
time_connect:  0.030742
time_appconnect:  0.047310
time_pretransfer:  0.047388
time_redirect:  0.000000
time_starttransfer:  0.120793
----------
time_total:  0.124871
----------
size_download:  326755 Bytes
speed_download:  2616740.000B/s

Opgepasst Zäit_connect. An allgemeng gesitt Dir d'Resultat: d'Firewall füügt 4 extra Sekonnen un, wat monstréis laang ass.

VPN an IPSEC Tunnel versoen dacks. Ech wäert iwwer dëst e bësse méi spéit a méi detailléiert schwätzen. VPN-Server, déi vun de Benotzer benotzt ginn, gi mat der Zäit blockéiert (normalerweis bannent engem Dag nom Start vum Gebrauch).
Et gëtt eng Meenung vun de Leit, déi a China wunnen, datt wat méi einfach d'Verschlësselung vum Verkéier ass, dest méi séier duerch d'Grenz passéiert, well et einfach ze verstoen ass datt et näischt illegal ass. An déi selwecht Art a Weis kritt de "propperen" Verkéier méi Bandbreedung a Passagegeschwindegkeet, während de "dreckeg" Verkéier, an deem näischt verständlech ass, am Géigendeel e méi luesen Passage kritt. Zum Beispill wäert ech Curl benotzen fir ifconfig.co iwwer HTTPS an HTTP Protokoll.

curl -o /dev/null -w@curl_time "https://ifconfig.co/"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    13  100    13    0     0      2      0  0:00:06  0:00:05  0:00:01     3
time_namelookup:  0.004305
time_connect:  0.397465
time_appconnect:  5.149305
time_pretransfer:  5.149393
time_redirect:  0.000000
time_starttransfer:  5.568847
----------
time_total:  5.568893
----------
size_download:  13 Bytes
speed_download:  2.000B/s

curl -o /dev/null -w@curl_time "http://ifconfig.co/"
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    13  100    13    0     0     28      0 --:--:-- --:--:-- --:--:--    28
time_namelookup:  0.004282
time_connect:  0.212457
time_appconnect:  0.000000
time_pretransfer:  0.212484
time_redirect:  0.000000
time_starttransfer:  0.450565
----------
time_total:  0.450620
----------
size_download:  13 Bytes
speed_download:  28.000B/s

En Ënnerscheed vu 5 Sekonnen fir eng total Downloadzäit vun 13 Bytes. Ausserdeem, wann Dir esou en Test e puer Mol maacht, kënnt Dir feststellen datt GET op HTTP all Kéier an der selwechter Zäit ofgeschloss ass, wärend op HTTPS de Site heiansdo an 3, 5, 10 a souguer 17 Sekonnen reagéiert. Heiansdo geschéien SSL Feeler:

Unknown SSL protocol error in connection to ifconfig.co:443.

Also wat mir hunn:

D'Problemer erstallt vun der chinesescher Firewall ginn hei uewen beschriwwen.
Pings op extern Ressourcen a bannent Tunnel verschwannen periodesch.
Latency tëscht zwee Punkte ännert sech dauernd, an dacks ass et einfach onberechenbar. Wann Dir verschidde Stied/Regiounen verbënnt, erwaart Dir datt, baséiert op der geographescher Lag vun de Regiounen, d'Verspéidung manner wäert sinn, awer Dir kritt genee de Géigendeel Situatioun.
Den Internet a Kommunikatiounskanäl sinn entweder séier oder lues. Et gëtt eng liicht Ofhängegkeet vun der Zäit vum Dag an Dag vun der Woch, awer net ëmmer.
DNS Ufroen un d'Äussewelt aus China iwwerschreiden heiansdo den erlaabten Timeout.

D'Bild dat entsteet ass einfach "excellent".

Den Datenzenter, wéi ech scho gesot hunn, ass an den ëstlechen USA, an de ganze SEMrush besteet aus Dosende vu verbonne Produkter, Backends, Frontends, Datenbanken, an all dat an der DC a Wolleken. Mir, als Team vu Systemadministrateuren, kruten d'Aufgab fir séier a China mat wéineg Ustrengung ze schaffen.

Mir hu missen eng wichteg Fro beäntweren: Ass et méiglech mat wéineg Käschte laanscht ze kommen an all d'Problemer ze léisen, déi mam chinesesche Internet a Firewall um Netzwierk / Cloud / Serverniveau verbonne sinn?

Mir hunn ugefaang mam Empfang ICP- Lizenzen.

ICP Lizenz

Fir Äre Service a China (Festland China) ze hosten an Tester ze maachen, musst Dir als éischt eng ICP Lizenz fir d'Domain kréien.

Wann de Benotzerverkéier vun Ärem Site am Festland China ofgeschloss ass, a wann Är Domain keng ICP Lizenz huet, gëtt Äre Traffic op der ISP / Hosting Säit blockéiert. Interessanterweis enthält d'ICP Lizenz e spezifesche Provider, sief et Cloudflare oder Alibaba Cloud. Dofir, wann Dir eng ICP Lizenz fir Cloudflare kritt hutt an Är Websäit mat hinnen gehost hutt, kënnt Dir net "nahtlos" op Alibaba Cloud plënneren. Dir musst en anere Hosting zu dëser Lizenz addéieren.

Nodeems mir eng ICP Lizenz fir d'Domain kritt hunn, konnte mir spezifesch technesch Iddien a Léisungen opstellen an ëmsetzen.

Test Léisungen

Awer ier Dir direkt Inszenéierungsoptiounen erstellt, d'Knäpper dréit, d'Performance vum Site a seng Geschwindegkeet optiméiert, musst Dir e Tool fir et ze testen fir ze kucken, wéi eng vun eisen Aktiounen d'Performance vum Site verbesseren oder am Géigendeel verschlechtert.

Eist Testinstrument huet zwee Haaptfuerderunge missen erfëllen:

et sollt fäeg sinn Tester aus China auszeféieren,
et muss Browser Tester hunn.

Also hu mir fonnt Fangpunkt! Si hunn exzellent Ofdeckung vun Testplazen ronderëm d'Welt. A China kënnen Tester och aus 100500 Provënzen duerch dëst Tool lafen. Jiddereen huet e puer verschidde Fournisseuren + d'Fäegkeet ze maachen Réckrad-Tester (eppes wéi eng virtuell Maschinn an engem Rechenzentrum) an Lastmile-Tester (sou no wéi méiglech un de Benotzerbedéngungen, aka Workstation). Déi lescht Zort vun Tester ass méi deier.

Nodeems mir en Joreskontrakt ofgeschloss hunn (manner wéi dat ass net méiglech), hu mir ugefaang d'Instrument ze studéieren. Éierlech gesot, mir ware agreabel iwwerrascht vu senger Funktionalitéit. Dir kënnt lafen:

DNS Tester,
Web Tester (Browser Tester, einfach GET / POST, mobil Client Emulatioun, etc.),
Transaktiounskontrollen (zum Beispill Login),
API Tester,
Ping, traceroute, NTP, etc.

Dir kënnt net alles opzielen. A wat wichteg ass, kann all Test ganz gutt personaliséiert ginn andeems Dir eng Rëtsch Header an aner Parameteren bäidréit. D'Ausgab ass eng enorm Quantitéit un Informatioun déi Ären Test komplett beschreift. Wa mir iwwer déi interessantst Saache fir eis schwätzen (Browser Tester), enthält d'Resultat:

Connect, Waart, Luet, SSL, DNS Zäit,
TTFB, TTLB, Dokument komplett, Renderzäit, DOM Lueden,
Äntwert (eppes no bei Time To First Byte), Websäit Response (eppes no bei Time To Last Byte),
All Prozentsaz, Duerchschnëtt, Medianzäit
etc.

Deementspriechend sinn all dës Metriken super fir Ännerungen ze gesinn an ze verstoen ob d'Saachen besser ginn. Mir hunn haaptsächlech gekuckt Äntwert, Websäit Äntwert, Median, 75 an 95 Prozent.

Eng wichteg Fro, déi vun Ufank un an der Loft war: Kënnt Dir Catchpoint vertrauen?? Spigelt dëst Tool d'real Site Luede Geschwindegkeet a China aus verschiddene Stied, oder ass et just eng Zort Test an engem Vakuum deen näischt mat echte Benotzererfarung ze dinn huet?
Dëst ass e grousse Problem, well a Russland ass et bal onméiglech fir zouverlässeg erauszefannen wéi e Site aus China funktionnéiert. Andeems Dir e Socks-Proxy duerch eng virtuell Maschinn mécht, ass d'Ennresultat datt de Site bannent e puer Minutten lued, wat einfach inakzeptabel ass fir Tester, sou datt déi eenzeg Optioun fir manuell Tester Curl an einfach GET vun der Konsole mat engem Timer ass . Dëst hëlleft well dësen Test d'Geschwindegkeet vun der Netzwierkléisung gutt reflektéiert, a wann et och Browser Tester sinn, dann ass et ganz gutt.

Spéider si mir selwer a China gaangen a waren dovun iwwerzeegt Dir kënnt Catchpoint vertrauen; et reflektéiert ganz präzis real Leeschtungsindikatoren.

Cloudflare China Network

Zënter datt mir erfollegräich Cloudflare fir den Haaptdomän semrush.com benotzen, hu mir beschloss direkt hir Feature genannt ze probéieren China Network. Dës Optioun ass nëmme fir Enterprise Siten op separat Ufro a fir eng zousätzlech Tax aktivéiert. Et ass och nëmme verfügbar fir Siten déi eng entspriechend ICP Lizenz hunn, déi Cloudflare als Provider oplëscht. Nodeems et aktivéiert ass, gëtt de "Chinese CDN" vu Cloudflare fir de Site verfügbar - Traffic aus chinesesche Regiounen lant op der nooste PoP (Points of Presence) CF, an dann duerch seng Netzwierker oder d'Netzwierker vun Ubidder/Partner gëtt et un d'Origine geliwwert .

Den Diagramm vun dëser Testbank gëtt hei ënnen presentéiert.

Dëst ass eng super Optioun fir eis. Et stellt sech eraus datt déi zweet Domain och fir CF wäert sinn, wat net un d'Zuel vun de Léisungen, déi an der Firma benotzt ginn, bäidréit, an och d'Infrastruktur praktesch net komplizéiert.

Mir hunn Browser Tester gemaach an dëst ass wat geschitt ass:

Roude Diamanten sinn Testfehler. D'Fichier'en hei drënner sinn DNS-Feeler (Timeout léisen). D'Feeler un der Spëtzt sinn Timeouts.

Uptime: 86.6
Mëttelméisseg: 18 s
75 Prozent: 29.3s
95 Prozent: 60s

Median, nodeems d'Luede geläscht gouf reCaptcha (Google Service blockéiert a China) ass vun 28 op 18 Sekonnen erofgaang. Awer dës sinn nach ëmmer schrecklech Resultater, wann Dir bedenkt datt dee selwechten Test fir semrush.com (aus den USA) manner wéi 10 Sekonnen fir 95% vun de Benotzer (aus den USA) op der selwechter Säit (statesch + dynamesch) ginn huet.

Dir kënnt an all Test goen a kucken Waasserfall an aner méi detailléiert Parameteren. Mir hunn ugefaang d'Grënn fir d'Feeler z'ënnersichen, a wa fir Timeouts alles méi oder manner kloer ass: d'Internet a China "beweegt an an eraus", well dëst ass d'Geschwindegkeet vun der Verbindung an d'Luede vu Ressourcen aus dem Ausland onbestänneg an ongläich, dann hunn d'DNS Feeler eis immens iwwerrascht. Mir hunn dat fonnt PoP Cloudflare sinn tatsächlech a China lokaliséiert, d'Site Adress léist op eng Anycast IP, awer d'DNS Server sinn amerikanesch, dofir sinn DNS Ufroe gezwongen iwwer d'Grenz ze goen, also heiansdo falen se.

Nodeems Dir dës Fro mam CF gekläert huet, huet et sech erausgestallt Si hunn net hir eege DNS Serveren a China, a wéini et wäert sinn ass nach onbekannt.

Dofir hu mir beschloss nëmmen Cloudflare DNS ze testen an de Cloudflare Betribsmechanismus fir eise Site op de "Nëmmen DNS" Dëst ass e Modus wann Cloudflare net Proxy Traffic duerch sech selwer mécht, dat heescht datt et keen DDoS Schutz, CDN an aner Funktiounen ubitt, a funktionnéiert am Modus vun engem normale DNS Server.

Dëse Stand ass schematesch an der folgender Figur gewisen. D'Figur berücksichtegt dat opkomende Wëssen datt d'DNS-Server vun Cloudflare hannert enger Firewall stinn.

Um Catchpoint hu mir einfach GET Tester gemaach (net Browser Tester), déi vill Feeler gewisen hunn. Si goufen duerch déiselwecht DNS Feeler verursaacht.

Mir hunn ugefaang dës Feeler ze Debugging benotzt graff a fonnt datt op der éischter Ufro d'Adress richteg bestëmmt ass, an op widderholl Ufro kréien mir all Kéier SERVFAIL и net fonnt. Firwat geschitt dat op eemol?

root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)
root@iZwz97n2wgbp61qucbfrjsZ:~# host semrushchina.cn
semrushchina.cn has address 220.170.186.192
Host semrushchina.cn not found: 2(SERVFAIL)

Et gi keng sou Feeler beim Ufro vun Cloudflare NS Serveren direkt:

root@iZwz97n2wgbp61qucbfrjsZ:~# for i in `seq 1 2`; do host semrushchina.cn ray.ns.cloudflare.com.; done
Using domain server:
Name: ray.ns.cloudflare.com.
Address: 173.245.59.138#53
Aliases: 

semrushchina.cn has address 220.170.186.192
semrushchina.cn has address 220.170.186.192
Using domain server:
Name: ray.ns.cloudflare.com.
Address: 173.245.59.138#53
Aliases: 

semrushchina.cn has address 220.170.186.192
semrushchina.cn has address 220.170.186.192

Dëst bedeit datt de Problem op der Säit vum "lokalen" DNS-Server oder dem Server vum Provider ass.
Weider Enquête weisen dat SERVFAIL mir kréien op Entschlossenheet AAAA- records.

Et huet sech erausgestallt datt wann Dir vu Cloudflare gefrot huet AAAA-Rekord deen net am Domain existéiert, huet Cloudflare geäntwert А-en Entrée deen e Feeler an Net-Konformitéit mam RFC ass. Firwat mécht de lokale Resolver (xxxx) Ech hunn et net gär, an hien huet geäntwert SERVFAIL. Dëst Verhalen ass kloer am Logbuch hei ënnen ze gesinn:

root@iZwz97n2wgbp61qucbfrjsZ:~# dig -t AAAA semrushchina.cn @x.x.x.x

; <<>> DiG 9.10.3-P4-Ubuntu <<>> -t AAAA semrushchina.cn @x.x.x.x
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 55467
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;semrushchina.cn.               IN      AAAA

;; Query time: 334 msec
;; SERVER: x.x.x.x#53(x.x.x.x)
;; WHEN: Tue Aug 14 23:38:50 CST 2018
;; MSG SIZE  rcvd: 44

root@iZwz97n2wgbp61qucbfrjsZ:~# dig -t AAAA semrushchina.cn @dana.ns.cloudflare.com.

; <<>> DiG 9.10.3-P4-Ubuntu <<>> -t AAAA semrushchina.cn @dana.ns.cloudflare.com.
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 63944
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;semrushchina.cn.               IN      AAAA

;; ANSWER SECTION:
semrushchina.cn.        300     IN      A       220.170.186.192

;; Query time: 185 msec
;; SERVER: 173.245.58.105#53(173.245.58.105)
;; WHEN: Tue Aug 14 23:43:03 CST 2018
;; MSG SIZE  rcvd: 60

Mir hunn e Feelerbericht op Cloudflare ofginn, a si hunn et no enger Zäit fixéiert. Et huet sech interessant erausgestallt: de Moment gëtt et nach ëmmer keng IPv6 Ënnerstëtzung a China, sou datt Cloudflare seng IPv6 Adress do net konnt ausginn als Äntwert op eng Ufro AAAA- records. Um Enn war alles esou geléist datt Cloudflare ugefaang huet fir China ze äntweren NODATA op esou Ufroen.

Also sinn DNS Feeler bei Catchpoint Tester staark erofgaang, awer net komplett. Timeouts sinn nach ëmmer hei:

A mir hunn ugefaang no enger anerer Léisung ze sichen.

Am nächsten Deel wäert ech Iech soen wéi mir déi chinesesch Wollek getest hunn Alibaba Cloud, wéi mir mat der Hëllef vun enger klenger "Magie" vun Nginx séier PoC (Proof of Concept) Léisunge kreéiere konnten, wéi mir Multi-Cloud Léisungen erstallt hunn, vun deenen eng schlussendlech immens gehollef huet d'Aarbecht vum Service ze beschleunegen. aus China.

Bleift drun!

Nächst Deeler

Deel vun 2

Source: will.com