Wéi mir duerch d'Grouss Firewall vu China gebrach hunn (Deel 3)

Hallo!
All gutt Geschichte kommen op en Enn. An eis Geschicht iwwer wéi mir mat enger Léisung komm sinn fir séier d'chinesesch Firewall ze passéieren ass keng Ausnahm. Dofir, séiere mir mat Iech déi lescht ze deelen, de leschten Deel zu dësem Thema.

Am viregten Deel hu mir iwwer vill Testbänke geschwat, déi mir erstallt hunn a wéi eng Resultater se ginn. A mir hunn eis ofgeschloss wat et flott wier ze addéieren CDN! fir Viskositéit an eisem Schema.

Ech soen Iech wéi mir Alibaba Cloud CDN, Tencent Cloud CDN an Akamai getest hunn, a wat mir opgehalen hunn. An natierlech, loosst eis zesummefaassen.

Alibaba Cloud CDN

Mir ginn op Alibaba Cloud gehost a benotzen IPSEC an CEN vun hinnen. Et wier logesch hir Léisungen als éischt ze probéieren.

Alibaba Cloud huet zwou Aarte vu Produkter déi eis passen: CDN и DCDN. Déi éischt Optioun ass e klassesche CDN fir e spezifescht Domain (Subdomain). Déi zweet Optioun steet fir Dynamic Route fir CDN (Ech nennen et dynamesch CDN), et kann am Voll-Site Modus aktivéiert ginn (fir Wildcard Domains), et cache och statesche Inhalt a beschleunegt dynamesch Inhalt op sech selwer, dat heescht, d'Dynamik vun der Säit gëtt och duerch de Provider gelueden séier Netzwierker. Dëst ass wichteg fir eis, well eis Site am Fong dynamesch ass, et benotzt vill Subdomains, an et ass méi bequem fir eng CDN eemol fir den "Asterisk" opzestellen - *.semrushchina.cn.

Mir haten dëst Produkt schonn an de fréiere Stadien vun eisem chinesesche Projet gesinn, awer dunn huet et nach net geschafft, an d'Entwéckler hunn versprach datt d'Produkt geschwënn fir all Clientë verfügbar ass. An hien huet.

An DCDN kënnt Dir:

• SSL Terminatioun mat Ärem Zertifika konfiguréieren,
• aktivéiert Beschleunegung vum dynamesche Inhalt,
• flexibel Caching vu statesche Dateien konfiguréieren,
• läschen de Cache,
• Forward Web Sockets,
• aktivéiert Kompressioun a souguer HTML Beautifier.

Am Allgemengen ass alles d'selwecht wéi mat Erwuessener a grousse CDN Ubidder.

Nodeems d'Origine (d'Plaz wou d'CDN-Rand-Server wäerte goen) spezifizéiert ass, bleift just e CNAME fir d'Asterisk ze kreéieren, referenzéiert all.semrushchina.cn.w.kunluncan.com (dësen CNAME gouf an der Alibaba Cloud Konsole kritt) an den CDN funktionnéiert.

Baséierend op den Testresultater huet dës CDN eis vill gehollef. D'Statistike ginn hei ënnen gewisen.

Decisioun
Uptime
Median
75 Prozent
95 Prozent

Cloudflare
86.6
18
30
60

IPsec
99.79
18
21
30

CEN
99.75
16
21
27

CEN/IPsec + GLB
99.79
13
16
25

Ali CDN + CEN/IPsec + GLB
99.75
10
12.8
17.3

Dëst si ganz gutt Resultater, besonnesch wann Dir se vergläicht mat deem wat d'Zuelen am Ufank waren. Awer mir woussten datt de Browser Test vun der amerikanescher Versioun vun eiser Websäit www.semrush.com aus den USA an enger Moyenne vun 8.3s (e ganz ongeféiere Wäert) leeft. Et gëtt Plaz fir Verbesserung. Ausserdeem goufen et och CDN Ubidder déi interessant waren ze testen.

Also mir plënneren glat op en anere Riese um chinesesche Maart - Tencent.

Tencent Cloud

Tencent entwéckelt just seng Cloud - dëst kann aus enger klenger Zuel vu Produkter gesi ginn. Wärend et benotzt, wollte mir net nëmmen hiren CDN testen, awer och hir Netzwierkinfrastruktur als Ganzt:

• hunn se eppes ähnlech ze CEN?
• Wéi funktionéiert IPSEC fir si? Ass et séier, wat ass den Uptime?
• hunn se Anycast?

Loosst eis dës Froen separat kucken.

Analog CEN

Tencent huet e Produit Cloud Connect Network (CCN), wat Iech erlaabt VPCs aus verschiddene Regiounen ze verbannen, dorënner Regiounen bannent an ausserhalb China. D'Produkt ass elo an der interner Beta, an Dir musst en Ticket erstellen fir domat ze verbannen. Mir hunn aus der Ënnerstëtzung geléiert datt global Konten (mir schwätzen net iwwer chinesesche Bierger oder juristesch Entitéite) net un der Beta-Testprogramm deelhuelen kënnen an allgemeng eng Regioun a China mat enger Regioun dobaussen verbannen. 1-0 zugonschte vum Ali Cloud

IPSEC

Tencents südlechste Regioun ass Guangzhou. Mir hunn en Tunnel versammelt an en mat der Hong Kong Regioun am GCP verbonnen (du war dës Regioun scho verfügbar). Den zweeten Tunnel an der Ali Cloud vu Shenzhen op Hong Kong gouf och zur selwechter Zäit erhéicht. Et huet sech erausgestallt datt duerch den Tencent Netzwierk d'Latenz zu Hong Kong allgemeng besser ass (10ms) wéi vu Shenzhen op Hong Kong op Ali (120ms - wat?). Awer dëst huet op kee Fall d'Aarbecht vum Site beschleunegt fir duerch Tencent an dësen Tunnel ze schaffen, wat u sech eng erstaunlech Tatsaach war an nach eng Kéier déi folgend bewisen huet: latency - fir China ass dëst keen Indikator dee wierklech wäert ass oppassen op wann Dir eng Léisung entwéckelt fir d'chinesesch Firewall ze passéieren.

Anycast Internet Beschleunegung

En anere Produkt deen Iech erlaabt iwwer Anycast IP ze schaffen ass Aia. Awer et ass och net fir global Konten verfügbar, also wäert ech Iech net doriwwer soen, awer ze wëssen datt esou e Produkt existéiert kann nëtzlech sinn.

Awer den CDN Test huet e puer interessant Resultater gewisen. Tencent's CDN kann net op engem komplette Site aktivéiert ginn, nëmmen op spezifesch Domainen. Mir hunn Domainen erstallt an de Traffic un si geschéckt:

Et huet sech erausgestallt datt dësen CDN déi folgend Funktioun huet: Grenzverkéier Optimisatioun. Dës Fonktioun soll d'Käschte reduzéieren wann de Verkéier duerch d'chinesesch Firewall passéiert. Wéi Urspronk D'IP Adress vu Google GLB (GLB anycast) gouf uginn. Dofir wollte mir d'Projetarchitektur vereinfachen.

D'Resultater ware ganz gutt - um Niveau vum Ali Cloud CDN, an op e puer Plazen nach besser. Dëst ass iwwerraschend, well wann d'Tester erfollegräich sinn, kënnt Dir e groussen Deel vun der Infrastruktur, Tunnel, CEN, virtuelle Maschinnen, etc.

Mir hunn eis net laang gefreet, well e Problem opgedeckt gouf: Tester am Catchpoint si fir den Internetprovider China Mobile gescheitert. Vun all Plaz hu mir en Timeout iwwer Tencent's CDN kritt. Korrespondenz mat technescher Ënnerstëtzung huet zu näischt gefouert. Mir hu probéiert dëse Problem fir ongeféier engem Dag ze léisen, awer näischt huet geschafft.

Ech war dee Moment a China, awer konnt net ëffentlech Wi-Fi am Netz vun dësem Provider fannen fir de Problem perséinlech z'iwwerpréiwen. Soss huet alles séier a gutt ausgesinn.
Wéi och ëmmer, wéinst der Tatsaach datt China Mobile ee vun den dräi gréissten Opérateuren ass, ware mir gezwongen de Verkéier op Ali CDN zréckzekommen.
Awer insgesamt war dëst eng zimlech interessant Léisung déi méi laang Tester an Troubleshooting vun dësem Problem verdéngt.

Akamai

Déi lescht CDN Provider mir getest war Akamai. Dëst ass e risege Provider deen säin Netz a China huet. Natierlech konnte mir net laanscht et kommen.

Vun Ufank un hu mir mat Akamai fir eng Testperiod ausgemaach, fir datt mir d'Domain kéinte wiesselen a kucken wéi et op hirem Netz funktionnéiert. Ech wäert d'Resultat vun all Tester a Form vun "Wat ech gär" an "Wat ech net gär" beschreiwen, an ech wäert och d'Testresultater ginn.

Wat mir gefall hunn:

• D'Jongen aus Akamai ware ganz hëllefräich an all Froen an hunn eis op all Etappe vum Test begleet. Mir hu stänneg probéiert eppes op eiser Säit ze verbesseren. Si hunn gutt technesch Rotschléi ginn.
• Akamai ass ongeféier 10-15% méi lues wéi eis Léisung iwwer Ali Cloud CDN. Wat beandrockend ass, datt mir an Origin fir Akamai d'IP Adress vum GLB spezifizéiert hunn, dat heescht datt de Traffic net duerch eis Léisung gaang ass (potenziell kënne mir en Deel vun der Infrastruktur opginn). Awer trotzdem hunn d'Testresultater gewisen datt dës Léisung méi schlecht ass wéi eis aktuell Versioun (vergläichend Resultater hei ënnen).
• Getest souwuel Origin GLB an Origin a China. Béid Optiounen sinn ongeféier d'selwecht.
• et ginn Sécher Route (automatesch Routing Optimisatioun). Dir kënnt en Testobjekt op Origin hosten, an d'Akamai Edge Server probéieren et opzehuelen (regulär GET). Fir dës Ufroe ginn d'Geschwindegkeet an aner Metriken gemooss, baséiert op deem d'Akamai-Netzwierk d'Strecken optiméiert, sou datt de Traffic méi séier fir eise Site geet an et war kloer datt d'Aktivéiere vun dëser Feature wierklech e staarken Impakt op d'Geschwindegkeet vum Site huet.
• D'Versioun vun der Konfiguratioun an der Webinterface ass cool. Dir kënnt Vergläichen fir Versioune maachen, kuckt diff. Kuckt virdrun Versiounen.
• Dir kënnt eng nei Versioun fir d'éischt nëmmen am Akamai Staging Netzwierk ausrollen - datselwecht Netzwierk wéi d'Produktioun, nëmmen dës Manéier beaflosst net richteg Benotzer. Fir dësen Test musst Dir DNS-Records op Ärer lokaler Maschinn spoofen.
• Ganz séier Downloadgeschwindegkeet duerch hiren Netz fir grouss statesch Dateien, an, anscheinend, all aner Dateien. E Fichier aus dem "kale" Cache gëtt vill Mol méi séier zréckgezunn wéi déiselwecht Datei aus dem "kale" Cache vum Ali CDN. Vum "waarme" Cache ass d'Geschwindegkeet schonn d'selwecht, plus oder minus.

Ali CDN Test:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Akamai Test:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

Mir hu gemierkt datt d'Situatioun am Beispill hei uewen vu verschiddene Faktoren hänkt. Zu der Zäit wou ech dëse Punkt schreiwen, hunn ech den Test erëm gemaach. D'Resultater fir béid Plattforme waren ongeféier d'selwecht. Dëst seet eis datt den Internet a China, och fir grouss Betreiber a Cloud-Provider, sech vun Zäit zu Zäit anescht behuelen.

Zum virege Punkt addéieren ech e grousse Plus fir Akamai: wann den Ali ähnlech Blëtzer mat héijer Leeschtung a ganz niddereger Leeschtung weist (dëst gëllt fir Ali CDN, Ali CEN, an Ali IPSEC), dann Akamai, all Kéier, egal wéi ech hiren Netz testen, funktionnéiert alles stabil.
Akamai huet vill Ofdeckung a China a schafft duerch vill Ubidder.

Wat ech net gär hunn:

• Ech hunn d'Webinterface net gär an d'Art a Weis wéi et funktionnéiert - et ass sou aarm. Awer am Fong gewinnt Dir Iech (wahrscheinlech).
• Testresultater si méi schlecht wéi eise Site.
• Et gi méi Feeler während Tester wéi op eisem Site (uptime ënnendrënner).
• Mir hunn net eis eegen DNS Serveren a China. Dofir ginn et vill Feeler an Tester wéinst DNS-Léisungszäit.
• Si bidden hir IP Beräicher net -> et gëtt kee Wee fir déi richteg ze registréieren set_real_ip_from op eise Serveren.

Metriken (~ 3626 Lafen; all Metriken ausser Uptime, a MS; Statistike fir eng Zäitperiod):

CDN Provider
Median
75%
95%
Äntwert
Websäit Äntwert
Uptime
DNS
Connect
waart
Lueden
SSL

AliCDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

Akamai
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

Percentile Verdeelung (an ms):

Prozentsaz
Akamai
AliCDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

D'Conclusioun ass dëst: d'Akamai Optioun ass viabel, awer bitt net déiselwecht Stabilitéit a Geschwindegkeet wéi eis eege Léisung gekoppelt mam Ali CDN.

Kleng Noten

E puer Momenter waren net an d'Geschicht abegraff, mee ech géif gären och doriwwer schreiwen.

Peking + Tokyo an Hong Kong

Wéi ech uewen gesot hunn, hu mir en IPSEC Tunnel op Hong Kong (HK) getest. Mä mir hunn och CEN zu HK getest. Et kascht e bësse manner, an ech hu mech gefrot wéi et tëscht Stied mat enger Distanz vu ~100 km funktionnéiert. Et huet sech interessant erausgestallt datt d'Latenz tëscht dëse Stied 100ms méi héich ass wéi an eiser Originalversioun (zu Taiwan). Geschwindegkeet, Stabilitéit war och besser fir Taiwan. Als Resultat, mir lénks HK als Backupsatellit IPSEC Regioun.

Zousätzlech hu mir probéiert déi folgend Installatioun z'installéieren:

• Kënnegung vu Clienten zu Peking,
• IPSEC an CEN zu Tokyo,
• am Ali CDN war de Server zu Peking als Urspronk uginn.

Dëse Schema war net sou stabil, obwuel et a punkto Geschwindegkeet allgemeng net manner wéi eis Léisung war. Wat den Tunnel ugeet, hunn ech och fir CEN intermitterende Drëpsen gesinn, déi stabil sollte sinn. Dofir si mir zréck op dat ale Schema an hunn dës Inszenéierung ofgebaut.

Drënner sinn Statistiken iwwer Latenz tëscht verschiddene Regioune fir verschidde Kanäl. Vläicht wäert iergendeen drun interesséiert sinn.

IPsec
Ali cn-beijing <—> GCP asia-nordost1 — 193ms
Ali cn-shenzhen <—> GCP asia-east2 — 91ms
Ali cn-shenzhen <—> GCP us-east4 — 200ms

CEN
Ali cn-beijing <—> Ali ap-Northeast-1 — 54ms (!)
Ali cn-shenzhen <—> Ali cn-hongkong — 6ms (!)
Ali cn-shenzhen <—> Ali us-east1 — 216ms

Allgemeng Informatiounen iwwert den Internet an China

Als Ergänzung zu de Problemer mam Internet am Ufank beschriwwen, am éischten Deel vum Artikel.

• Internet a China ass relativ séier dobannen.
  • D'Conclusioun gouf gemaach baséiert op Testen vun ëffentleche Wi-Fi Netzwierker op verschiddene Plazen, wou dës Netzwierker vun enger grousser Zuel vu Leit benotzt ginn.
  • D'Download- an Eropluedsgeschwindegkeet op Server a China waren ongeféier 20 Mbit/s respektiv 5-10 Mbit/s.
  • D'Geschwindegkeet fir Serveren ausserhalb China ass einfach mëll, manner wéi 1 Mbit / s.
• Den Internet a China ass net ganz stabil.
  • Heiansdo kënne Siten séier opmaachen, heiansdo lues (zu der selwechter Zäit vum Dag op verschidden Deeg), virausgesat datt d'Konfiguratioun net ännert. Mir hunn dat mam Beispill vun semrushchina.cn observéiert. Dëst kann dem Ali CDN zougeschriwwe ginn, deen och esou funktionnéiert an dat ofhängeg vun der Zäit vum Dag, der Positioun vun de Stären, etc.
• Mobil Internet ass bal iwwerall 4G oder 4G+. Fang et an der Metro, Liften - kuerz, iwwerall.
• Et ass e Mythos datt Chinesesch Benotzer nëmmen Domainen an der .cn Zone vertrauen. Mir hunn dat direkt vun de Benotzer geléiert.
  • Dir kënnt gesinn wéi http://baidu.cn Viruleedung op www.baidu.com (och op Festland China).
• Vill Ressourcen si wierklech blockéiert. Primitiv: google.com, Facebook, Twitter. Awer vill Google Ressourcen funktionnéieren (natierlech net op all Wi-Fi a VPN gëtt net benotzt (och op der Router Säit, dat ass sécher).
• Vill "technesch" Domaine vu blockéierte Firmen funktionnéieren och. Dëst bedeit datt Dir net ëmmer all Google an aner anscheinend blockéiert Ressourcen onbedéngt sollt ausschneiden. Dir musst no enger Lëscht vun verbuedenen Domainen sichen.
• Si hunn nëmmen dräi Haaptinternetbetreiber: China Unicom, China Telecom, China Mobile. Et ginn nach méi kleng, awer hire Maartundeel ass onwichteg

Bonus: Finale Léisung Diagramm

D 'Resultat

E Joer ass zënter dem Ufank vum Projet vergaang. Mir hunn ugefaang mat der Tatsaach datt eise Site allgemeng refuséiert huet normalerweis aus China ze schaffen, an einfach GET Curl huet 5.5 Sekonnen gedauert.

Dann, mat dësen Indikatoren an der éischter Léisung (Cloudflare):

Decisioun
Uptime
Median
75 Prozent
95 Prozent

Cloudflare
86.6
18
30
60

Mir hunn schliisslech déi folgend Resultater erreecht (Statistike fir de leschte Mount):

Decisioun
Uptime
Median
75 Prozent
95 Prozent

Ali CDN + CEN/IPsec + GLB
99.86
8.8
9.5
13.7

Wéi Dir gesitt, hu mir nach net fäeg 100% Uptime z'erreechen, awer mir komme mat eppes, an dann erziele mir Iech iwwer d'Resultater an engem neien Artikel :)

Respekt un déi, déi all dräi Deeler bis zum Schluss liesen. Ech hoffen Dir hutt dat alles esou interessant fonnt wéi ech et gemaach hunn.

PS Virdrun Deeler

Deel vun 1
Deel vun 2

Source: will.com