Re ile ra phunyeletsa joang ho Great Firewall of China (Karolo ea 3)

Lumela!
Lipale tsohle tse monate lia fela. 'Me pale ea rona ea hore na re fumane tharollo ea ho fetisa ka potlako Firewall ea Chaena joang le eona. Ka hona, ke potlakela ho arolelana le uena ea ho qetela, karolo ea ho qetela ka taba ena.

Karolong e fetileng re buile ka libenche tse ngata tsa liteko tseo re tlileng le tsona le hore na li fane ka liphello life. 'Me re ile ra lula ho seo ho ka bang monate ho se eketsa CDN! bakeng sa viscosity molemong oa rona.

Ke tla u bolella kamoo re ileng ra leka Alibaba Cloud CDN, Tencent Cloud CDN le Akamai, le seo re ileng ra qetella ka sona. Mme ehlile, ha re akaretseng.

Alibaba Cloud CDN

Re amoheloa ho Alibaba Cloud mme re sebelisa IPSEC le CEN ho tsoa ho bona. E ka ba ho utloahalang ho leka litharollo tsa bona pele.

Alibaba Cloud e na le mefuta e 'meli ea lihlahisoa tse ka re loketseng: CDN и DCDN. Khetho ea pele ke CDN ea khale bakeng sa sebaka se itseng (subdomain). Khetho ea bobeli e emetse Dynamic Route bakeng sa CDN (Ke e bitsa dynamic CDN), e ka nolofalloa ka mokhoa o felletseng oa sebaka sa marang-rang (bakeng sa libaka tsa li-wildcard), e boetse e boloka litaba tse tsitsitseng mme e potlakisa litaba tse matla ho eona, ke hore, matla a leqephe le ona a tla laeloa ka mofani oa thepa. marang-rang a potlakileng. Sena ke sa bohlokoa ho rona, hobane ha e le hantle sebaka sa rona se matla, se sebelisa li-subdomain tse ngata, 'me ho bonolo haholoanyane ho theha CDN hang bakeng sa "asterisk" - *.semrushchina.cn.

Re ne re se re bone sehlahisoa sena mekhahlelong ea pele ea morero oa rona oa Sechaena, empa joale e ne e e-s'o sebetse, 'me bahlahisi ba tšepisitse hore sehlahisoa se tla fumaneha haufinyane ho bareki bohle. Mme o ile a etsa jwalo.

Ka DCDN u ka:

• lokisa ho felisoa ha SSL ka setifikeiti sa hau,
• thusa ho potlakisa litaba tse matla,
• Lokisa caching ea lifaele tse tsitsitseng habonolo,
• hloekisa cache,
• li-sockets tsa marang-rang,
• thusa compression esita le HTML Beautifier.

Ka kakaretso, ntho e 'ngoe le e' ngoe e tšoana le ea batho ba baholo le bafani ba bangata ba CDN.

Kamora hore Tšimoloho (sebaka seo li-server tsa CDN li tla ea ho sona) se hlalositsoe, se setseng ke ho theha CNAME bakeng sa naleli, ho supa. all.semrushchina.cn.w.kunluncan.com (CNAME ena e amohetsoe ho Alibaba Cloud console) mme CDN e tla sebetsa.

Ho latela liphetho tsa liteko, CDN ena e re thusitse haholo. Lipalo-palo li bontšitsoe ka tlase.

u etsa qeto ea
Nako ea holimo
E bohareng
75 Percentile
95 Percentile

Cloudflare
86.6
18
30
60

IPsec
99.79
18
21
30

CEN
99.75
16
21
27

CEN/IPsec + GLB
99.79
13
16
25

Ali CDN + CEN/IPsec + GLB
99.75
10
12.8
17.3

Tsena ke liphello tse ntle haholo, haholo-holo haeba u li bapisa le seo lipalo li neng li le sona qalong. Empa re ne re tseba hore tlhahlobo ea sebatli sa mofuta oa Amerika oa sebaka sa rona sa marang-rang www.semrush.com e tsoa USA ka karolelano ea 8.3s (theko e lekantsoeng haholo). Ho na le sebaka sa ho ntlafatsa. Ho feta moo, ho ne ho boetse ho e-na le bafani ba CDN ba neng ba thahasella ho hlahloba.

Kahoo re fetela pele ho senatla se seng 'marakeng oa China - Tencent.

Leru la Tencent

Tencent e ntse e ntšetsa pele leru la eona - sena se ka bonoa ho tsoa palo e nyane ea lihlahisoa. Ha re ntse re e sebelisa, re ne re sa batle ho leka CDN ea bona feela, empa le lisebelisoa tsa bona tsa marang-rang ka kakaretso:

• na ba na le ntho e tšoanang le CEN?
• IPSEC e ba sebeletsa joang? Na e potlakile, nako ea ho qetela ke efe?
• na ba na le Anycast?

A re hlahlobeng lipotso tsena ka thoko.

Analogue CEN

Tencent e na le sehlahisoa Cloud Connect Network (CCN), ho o lumella ho hokahanya li-VPC tse tsoang libakeng tse fapaneng, ho kenyeletsoa libaka tse kahare le kantle ho China. Sehlahisoa hona joale se ho beta ea kahare, 'me u hloka ho etsa tekete e kopa ho hokela ho eona. Re ithutile ho tsoa ho tšehetso hore liakhaonto tsa lefats'e (ha re bue ka baahi ba China kapa mekhatlo ea molao) li ke ke tsa nka karolo lenaneong la tlhahlobo ea beta mme, ka kakaretso, li hokela sebaka se kahare ho China le sebaka se kantle. 1-0 molemong oa Ali Cloud

IPsec

Tencent sebaka se ka borwa se Guangzhou. Re ile ra bokella kotopo mme ra e hokahanya le sebaka sa Hong Kong se GCP (joale sebaka sena se ne se se se fumaneha). Tunnel ea bobeli ho Ali Cloud ho tloha Shenzhen ho ea Hong Kong le eona e ile ea phahamisoa ka nako e le 'ngoe. Ho ile ha fumaneha hore ka marang-rang a Tencent latency ho Hong Kong ka kakaretso e molemo (10ms) ho feta ho tloha Shenzhen ho ea Hong Kong ho ea Ali (120ms - eng?). Empa sena ha sea ka sa potlakisa mosebetsi oa sebaka seo se reretsoeng ho sebetsa ka Tencent le kotopo ena, eo ka boeona e neng e le 'nete e tsotehang' me e boetse e paka tse latelang: latency - bakeng sa Chaena sena ha se pontšo e hlileng e leng ea bohlokoa. ho ela hloko ha ho etsoa tharollo bakeng sa ho fetisa firewall ea Chaena.

Anycast Internet Acceleration

Sehlahisoa se seng se u lumellang ho sebetsa ka anycast IP ke SEO. Empa hape ha e fumanehe ho li-account tsa lefats'e, kahoo nke ke ka u bolella ka eona, empa ho tseba hore sehlahisoa se joalo se teng ho ka ba molemo.

Empa tlhahlobo ea CDN e bontšitse liphetho tse khahlisang haholo. CDN ea Tencent e ke ke ea lumelloa sebakeng se felletseng, feela libakeng tse itseng. Re thehile libaka mme ra romella sephethephethe ho tsona:

Ho ile ha fumaneha hore CDN ena e na le ts'ebetso e latelang: Ntlafatso ea Sephethephethe sa Cross Border. Karolo ena e lokela ho fokotsa litšenyehelo ha sephethephethe se feta har'a firewall ea China. Joalo ka Origin Aterese ea IP ea Google GLB (GLB anycast) e boletsoe. Kahoo, re ne re batla ho nolofatsa moralo oa morero.

Liphetho li ne li le ntle haholo - boemong ba Ali Cloud CDN, 'me libakeng tse ling le ho feta. Sena sea makatsa, hobane haeba liteko li atlehile, o ka lahla karolo ea bohlokoa ea meaho, lithanele, CEN, mechini e sebetsang, jj.

Ha rea ​​ka ra thaba nako e telele, kaha bothata bo ile ba senoloa: liteko tsa Catchpoint li hlōlehile ho mofani oa Inthanete oa China Mobile. Ho tsoa sebakeng leha e le sefe re fumane nako ea nako ka CDN ea Tencent. Ho ngollana le tšehetso ea tekheniki ha hoa ka ha lebisa ho letho. Re lekile ho rarolla bothata bona nako e ka etsang letsatsi, empa ha ho letho le ileng la sebetsa.

Ke ne ke le Chaena ka nako eo, empa ha ke khone ho fumana Wi-Fi ea sechaba marang-rang a mofani enoa ho netefatsa bothata ka bonna. Ho seng joalo ntho e 'ngoe le e' ngoe e ne e shebahala e potlakile ebile e le ntle.
Leha ho le joalo, ka lebaka la hore China Mobile ke e 'ngoe ea basebetsi ba bararo ba kholo ka ho fetisisa, re ile ra qobelloa ho khutlisetsa sephethephethe ho Ali CDN.
Empa ka kakaretso, ena e ne e le tharollo e khahlang e neng e lokeloa ho hlahlojoa nako e telele le ho rarolla bothata bona.

Akamai

Mofani oa ho qetela oa CDN eo re ileng ra mo leka e ne e le Akamai. Ena ke mofani e moholo ea nang le marang-rang a eona Chaena. Ehlile, re ne re ke ke ra e feta.

Ho tloha qalong, re ile ra lumellana le Akamai ka nako ea teko e le hore re ka fetola sebaka sa marang-rang mme re bone hore na se tla sebetsa joang marang-rang a bona. Ke tla hlalosa sephetho sa liteko tsohle ka mokhoa oa "Seo ke se ratileng" le "Seo ke sa kang ka se rata," 'me ke tla boela ke fane ka liphetho tsa tlhahlobo.

Seo ke se ratileng:

• Bashemane ba Akamai ba ne ba thusa haholo lipotsong tsohle mme ba tsamaea le rona maemong ohle a liteko. Re ne re lula re leka ho ntlafatsa ho hong ka lehlakoreng la rona. Ba fane ka likeletso tse ntle tsa tekheniki.
• Akamai e ka ba 10-15% butle ho feta tharollo ea rona ka Ali Cloud CDN. Ho khahlisang ke hore ho Tšimoloho bakeng sa Akamai re hlalositse aterese ea IP ea GLB, ho bolelang hore sephethephethe ha sea ka sa feta tharollong ea rona (mohlomong re ka lahla karolo ea lisebelisoa). Empa leha ho le joalo, liphetho tsa liteko li bontšitse hore tharollo ena e mpe ho feta mofuta oa rona oa hajoale (liphetho tse bapisoang tse ka tlase).
• E lekoa ka bobeli Origin GLB le Origin in China. Likhetho ka bobeli li batla li tšoana.
• Ho na le Sure Route (automatic routing optimization). O ka amohela ntho ea teko ho Origin, 'me li-server tsa Akamai Edge li tla leka ho e khetha (GETL ea kamehla). Bakeng sa likopo tsena, lebelo le litekanyetso tse ling li lekantsoe, ho latela hore na marang-rang a Akamai a ntlafatsa litsela joang e le hore sephethephethe se tsamaee ka potlako bakeng sa sebaka sa rona sa marang-rang 'me ho ne ho hlakile hore ho nolofalletsa tšobotsi ena ho hlile ho na le tšusumetso e matla ho lebelo la sebaka seo.
• Ho fetolela tlhophiso ho sebopeho sa webo ho monate. U ka etsa Bapisa bakeng sa liphetolelo, sheba diff. Sheba liphetolelo tse fetileng.
• U ka hlahisa phetolelo e ncha pele feela ho Akamai Staging network - marang-rang a tšoanang le tlhahiso, feela ka tsela ena e ke ke ea ama basebelisi ba sebele. Bakeng sa tlhahlobo ena, o hloka ho senya lirekoto tsa DNS mochining oa hau oa lehae.
• Lebelo la ho jarolla ka potlako haholo ka marang-rang a bona bakeng sa lifaele tse kholo tse tsitsitseng, 'me, ho hlakile, lifaele tse ling. Faele e tsoang "cache" e batang e khutlisoa ka makhetlo a mangata ka potlako ho feta faele e tšoanang le "cache" e batang ea Ali CDN. Ho tloha ho "chesang" cache, lebelo le se le ntse le tšoana, hammoho kapa ho fokotsa.

Teko ea Ali CDN:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Teko ea Akamai:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

Re hlokometse hore boemo bo hlahang mohlaleng o ka holimo bo itšetlehile ka lintlha tse sa tšoaneng. Nakong ea ho ngola ntlha ena, ke ile ka matha teko hape. Liphetho tsa sethala ka bobeli li ne li batla li tšoana. Sena se re bolella hore Marang-rang a Chaena, esita le bakeng sa basebetsi ba kholo le bafani ba maru, ba itšoara ka tsela e fapaneng nako le nako.

Ho fihla ntlheng e fetileng, ke tla eketsa kakaretso e kholo bakeng sa Akamai: haeba Ali a bonts'a khanya e ts'oanang ea ts'ebetso e phahameng le ts'ebetso e tlase haholo (sena se sebetsa ho Ali CDN, Ali CEN, le Ali IPSEC), ebe Akamai, nako le nako, ho sa tsotelehe. kamoo ke lekang marang-rang a bona, ntho e 'ngoe le e' ngoe e sebetsa ka mokhoa o tsitsitseng.
Akamai o na le litaba tse ngata Chaena mme o sebetsa ka bafani ba bangata.

Seo ke neng ke sa se rate:

• Ha ke rate sebopeho sa webo le tsela eo se sebetsang ka eona - se fokola haholo. Empa ha e le hantle oa e tloaela (mohlomong).
• Liphetho tsa liteko li mpe ho feta sebaka sa rona sa marang-rang.
• Ho na le liphoso tse ngata nakong ea liteko ho feta sebakeng sa rona sa marang-rang (uptime ka tlase).
• Ha re na li-server tsa rona tsa DNS naheng ea China. Kahoo ho na le liphoso tse ngata litekong ka lebaka la nako ea ho rarolla DNS.
• Ha ba fane ka mefuta ea bona ea IP -> ha ho na mokhoa oa ho ngolisa tse nepahetseng set_real_ip_from ho li-server tsa rona.

Melemo (~3626 e sebetsa; lipalo kaofela ntle le Uptime, ka ms; lipalo-palo tsa nako e le 'ngoe):

Mofani oa CDN
E bohareng
75%
95%
karabelo
Karabelo ea Leqephe la Marang-rang
Nako ea holimo
DNS
Connect
lete
mojaro
SSL

AliCDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

Akamai
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

Kabo ea Percentile (ka ms):

Liphesente
Akamai
AliCDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

Qeto ke ena: khetho ea Akamai ea sebetsa, empa ha e fane ka botsitso le lebelo le ts'oanang le tharollo ea rona e kopantsoeng le Ali CDN.

Lintlha tse nyane

Linako tse ling ha lia kenyelletsoa paleng, empa le 'na ke rata ho ngola ka tsona.

Beijing + Tokyo le Hong Kong

Joalokaha ke boletse ka holimo, re ile ra leka kotopo ea IPSEC ho ea Hong Kong (HK). Empa re boetse re lekile CEN ho HK. E bitsa chelete e nyane, 'me ke ne ke ipotsa hore na e tla sebetsa joang pakeng tsa litoropo tse nang le sebaka sa ~ 100 km. Ho bile monate hore latency lipakeng tsa litoropo tsena e phahame ka 100ms ho feta mofuta oa rona oa mantlha (ho ea Taiwan). Lebelo, botsitso le tsona li ne li le betere bakeng sa Taiwan. Ka lebaka leo, re tlohetse HK e le sebaka sa "backup" sa IPSEC.

Ho feta moo, re lekile ho kenya ts'ebetso e latelang:

• ho felisoa ha bareki Beijing,
• IPSEC le CEN ho ea Tokyo,
• ho Ali CDN seva se Beijing se bontšitsoe e le tšimoloho.

Morero ona o ne o sa tsitsa hakaalo, le hoja ho latela lebelo ka kakaretso e ne e se tlaase ho tharollo ea rona. Mabapi le kotopo, ke bone marotholi a nakoana esita le bakeng sa CEN, e neng e lokela hore ebe e tsitsitse. Ka hona, re ile ra khutlela morerong oa khale mme ra qhaqha sethala sena.

Ka tlase ke lipalo-palo tsa latency lipakeng tsa libaka tse fapaneng bakeng sa liteishene tse fapaneng. Mohlomong motho e mong o tla e thahasella.

IPsec
Ali cn-beijing <—> GCP asia-northeast1 — 193ms
Ali cn-shenzhen <—> GCP asia-east2 — 91ms
Ali cn-shenzhen <—> GCP us-east4 — 200ms

CEN
Ali cn-beijing <—> Ali ap-northeast-1 — 54ms (!)
Ali cn-shenzhen <—> Ali cn-hongkong — 6ms (!)
Ali cn-shenzhen <—> Ali us-east1 — 216ms

Lintlha tse akaretsang mabapi le Marang-rang a China

E le tlatsetso ho mathata a Inthaneteng a hlalositsoeng qalong, karolong ea pele ea sehlooho.

• Marang-rang a Chaena a potlakile haholo ka hare.
  • Qeto e entsoe ho latela tlhahlobo ea marang-rang a sechaba a Wi-Fi libakeng tse fapaneng moo marang-rang ana a sebelisoang ke batho ba bangata.
  • Lebelo la ho jarolla le ho kenya li-server ka hare ho China e ne e ka ba 20 Mbit/s le 5-10 Mbit/s, ka ho latellana.
  • Lebelo la ho ea ho li-server ka ntle ho China le fokola haholo, le ka tlase ho 1 Mbit/s.
• Marang-rang a Chaena ha a tsitsa haholo.
  • Ka linako tse ling libaka li ka bula kapele, ka linako tse ling butle-butle (ka nako e le 'ngoe ea letsatsi ka matsatsi a fapaneng), ha feela tlhophiso e sa fetohe. Re hlokometse sena ka mohlala oa semrushchina.cn. Sena se ka amahanngoa le Ali CDN, e sebetsang ka tsela ena le hore ho itšetlehile ka nako ea letsatsi, boemo ba linaleli, joalo-joalo.
• Mobile Internet e batla e le hohle 4G kapa 4G+. E tšoare ka tereneng, li-lifti - ka bokhutšoanyane, hohle.
• Ke tšōmo hore basebelisi ba Machaena ba tšepa feela libaka tse sebakeng sa .cn. Re ithutile sena ka kotloloho ho tsoa ho basebelisi.
  • U ka bona joang http://baidu.cn lebisa ho www.baidu.com (le naheng ea China).
• Mehloli e mengata e hlile e thibiloe. Ea pele: google.com, Facebook, Twitter. Empa lisebelisoa tse ngata tsa Google li sebetsa (ehlile, eseng ho Wi-Fi le VPN kaofela ha e sebelisoe (ka lehlakoreng la router hape, ke 'nete).
• Likarolo tse ngata tsa "tekheniki" tsa likoporasi tse koetsoeng le tsona lia sebetsa. Sena se bolela hore ha oa lokela ho khaola lisebelisoa tsohle tsa Google ka bohlasoa kamehla le tse ling tse bonahalang li koetsoe. U hloka ho sheba lenane la libaka tse thibetsoeng.
• Ba na le basebelisi ba mantlha ba Marang-rang ba bararo feela: China Unicom, China Telecom, China Mobile. Ho na le tse nyane, empa karolo ea bona ea 'maraka ha e na thuso

Bonase: setšoantšo sa tharollo ea ho qetela

Phello

Ho se ho fetile selemo ho tloha ha morero ona o qala. Re qalile ka taba ea hore sebaka sa rona sa marang-rang se hanne ho sebetsa ka tloaelo ho tsoa China, mme feela GET curl e nkile metsotsoana e 5.5.

Ebe, ka matšoao ana tharollong ea pele (Cloudflare):

u etsa qeto ea
Nako ea holimo
E bohareng
75 Percentile
95 Percentile

Cloudflare
86.6
18
30
60

Qetellong re fihletse liphetho tse latelang (lipalo-palo tsa khoeli e fetileng):

u etsa qeto ea
Nako ea holimo
E bohareng
75 Percentile
95 Percentile

Ali CDN + CEN/IPsec + GLB
99.86
8.8
9.5
13.7

Joalokaha u ka bona, ha re e-s'o khone ho finyella 100% uptime, empa re tla tla le ho hong, ebe re tla u bolella ka liphello sehloohong se secha :)

Tlhompho ho ba balang likarolo tsohle tse tharo ho fihlela qetellong. Ke tšepa hore u fumane sena sohle se thahasellisa joalokaha ke entse ha ke se etsa.

PS Likarolo tse fetileng

Karolo ea 1
Karolo ea 2

Source: www.habr.com