Hvernig við brutumst í gegnum eldvegginn mikla í Kína (3. hluti)

РџСЂРІРμы!
Allar góðar sögur taka enda. Og sagan okkar um hvernig við komum með lausn til að fara fljótt framhjá kínverska eldveggnum er engin undantekning. Þess vegna flýti ég mér að deila með þér síðasta, lokahlutinn um þetta efni.

Í fyrri hlutanum ræddum við marga prufubekki sem við komum með og hvaða niðurstöður þeir gáfu. Og við sættum okkur við hvað væri gaman að bæta við CDN! fyrir seigju inn í kerfið okkar.

Ég skal segja þér hvernig við prófuðum Alibaba Cloud CDN, Tencent Cloud CDN og Akamai og hvað við enduðum með. Og auðvitað skulum við draga saman.

Alibaba Cloud CDN

Við erum hýst á Alibaba Cloud og notum IPSEC og CEN frá þeim. Það væri rökrétt að prófa lausnir þeirra fyrst.

Alibaba Cloud hefur tvær tegundir af vörum sem gætu hentað okkur: CDN и DCDN. Fyrsti valkosturinn er klassískt CDN fyrir tiltekið lén (undirlén). Seinni valkosturinn stendur fyrir Kvik leið fyrir CDN (Ég kalla það kraftmikið CDN), það er hægt að virkja það í fullri stillingu (fyrir algildislén), það vistar líka kyrrstætt efni og flýtir fyrir kraftmiklu efni á sjálfu sér, það er að segja að gangverki síðunnar verður einnig hlaðið í gegnum þjónustuveituna hröð netkerfi. Þetta er mikilvægt fyrir okkur, því í grundvallaratriðum er síðan okkar kraftmikil, hún notar mörg undirlén og það er þægilegra að setja upp CDN einu sinni fyrir „stjörnuna“ - *.semrushchina.cn.

Við höfðum þegar séð þessa vöru á fyrri stigum kínverska verkefnisins okkar, en þá var hún ekki enn að virka og hönnuðirnir lofuðu að varan yrði fljótlega aðgengileg öllum viðskiptavinum. Og hann gerði það.

Í DCDN geturðu:

• stilltu SSL uppsögn með vottorðinu þínu,
• virkja hröðun á kraftmiklu efni,
• stilla sveigjanlega skyndiminni á kyrrstæðum skrám,
• hreinsa skyndiminni,
• áfram vefinnstungur,
• virkjaðu þjöppun og jafnvel HTML Beautifier.

Almennt séð er allt eins og hjá fullorðnum og stórum CDN veitendum.

Eftir að uppruni (staðurinn sem CDN brúnþjónarnir fara) er tilgreindur, er allt sem eftir er að búa til CNAME fyrir stjörnuna, með vísan til all.semrushchina.cn.w.kunluncan.com (þetta CNAME var móttekið í Alibaba Cloud stjórnborðinu) og CDN mun virka.

Byggt á niðurstöðum prófanna hjálpaði þetta CDN okkur mikið. Tölfræðin er sýnd hér að neðan.

ákvörðun
Spenntur
Miðgildi
75 prósentustig
95 prósentustig

Cloudflare
86.6
18s
30s
60s

IPSec
99.79
18s
21s
30s

CEN
99.75
16s
21s
27s

CEN/IPsec + GLB
99.79
13s
16s
25s

Ali CDN + CEN/IPsec + GLB
99.75
10s
12.8s
17.3s

Þetta eru mjög góðar niðurstöður, sérstaklega ef þú berð þær saman við þær tölur sem voru í upphafi. En við vissum að vafraprófið á bandarísku útgáfunni af vefsíðunni okkar www.semrush.com keyrir frá Bandaríkjunum á 8.3 sekúndum að meðaltali (mjög áætlað gildi). Það er svigrúm til úrbóta. Þar að auki voru líka CDN veitendur sem áhugavert var að prófa.

Svo við förum vel yfir í annan risa á kínverska markaðnum - Tencent.

Tencent Cloud

Tencent er bara að þróa skýið sitt - þetta má sjá af litlum fjölda vara. Meðan við notuðum það vildum við prófa ekki aðeins CDN þeirra, heldur einnig netinnviði þeirra í heild:

• eru þeir með eitthvað svipað og CEN?
• Hvernig virkar IPSEC fyrir þá? Er það hratt, hvað er spenntur?
• eru þeir með Anycast?

Við skulum skoða þessar spurningar sérstaklega.

Hliðstæð CEN

Tencent er með vöru Cloud Connect Network (CCN), sem gerir þér kleift að tengja VPC frá mismunandi svæðum, þar á meðal svæðum innan og utan Kína. Varan er nú í innri beta og þú þarft að búa til miða til að biðja um að tengjast henni. Við lærðum af stuðningi að alþjóðlegir reikningar (við erum ekki að tala um kínverska ríkisborgara eða lögaðila) geta ekki tekið þátt í beta prófunaráætluninni og almennt tengt svæði innan Kína við svæði utan. 1-0 Ali Cloud í vil

IPSEC

Syðsta svæði Tencent er Guangzhou. Við settum saman göng og tengdum þau við Hong Kong svæðinu í GCP (þá var þetta svæði þegar orðið fáanlegt). Önnur göngin í Ali Cloud frá Shenzhen til Hong Kong voru einnig hækkuð á sama tíma. Það kom í ljós að í gegnum Tencent netið er töfin til Hong Kong almennt betri (10ms) en frá Shenzhen til Hong Kong til Ali (120ms - hvað?). En þetta flýtti ekki á nokkurn hátt fyrir vinnu síðunnar sem miðar að því að vinna í gegnum Tencent og þessi göng, sem í sjálfu sér var ótrúleg staðreynd og enn og aftur sannaði eftirfarandi: leynd - fyrir Kína er þetta ekki vísir sem er virkilega þess virði gaum að þegar þú þróar lausn til að fara framhjá kínverska eldveggnum.

Anycast Internet hröðun

Önnur vara sem gerir þér kleift að vinna í gegnum anycast IP er AIA. En það er heldur ekki í boði fyrir alþjóðlega reikninga, svo ég mun ekki segja þér frá því, en að vita að slík vara er til gæti verið gagnlegt.

En CDN prófið sýndi nokkuð áhugaverðar niðurstöður. Ekki er hægt að virkja CDN Tencent á fullri síðu, aðeins á tilteknum lénum. Við bjuggum til lén og sendum umferð til þeirra:

Það kom í ljós að þetta CDN hefur eftirfarandi virkni: Hagræðing umferðar yfir landamæri. Þessi eiginleiki ætti að draga úr kostnaði þegar umferð fer í gegnum kínverska eldvegginn. Sem Uppruni IP-tala Google GLB (GLB anycast) var tilgreint. Þannig vildum við einfalda arkitektúr verkefnisins.

Árangurinn var mjög góður - á stigi Ali Cloud CDN, og sums staðar jafnvel betri. Þetta kemur á óvart, því ef prófin ganga vel geturðu yfirgefið verulegan hluta af innviðum, göngum, CEN, sýndarvélum o.s.frv.

Við fögnuðum ekki lengi, þar sem vandamál kom í ljós: próf í Catchpoint mistókust fyrir netveituna China Mobile. Frá hvaða stað sem er fengum við tímamörk í gegnum CDN frá Tencent. Samskipti við tæknilega aðstoð leiddu ekki til neins. Við reyndum að leysa þetta vandamál í um það bil einn dag en ekkert gekk.

Ég var í Kína á því augnabliki, en gat ekki fundið almennt Wi-Fi á neti þessarar þjónustuveitu til að sannreyna vandamálið persónulega. Annars leit allt hratt og vel út.
Hins vegar, vegna þess að China Mobile er einn af þremur stærstu rekstraraðilum, neyddumst við til að skila umferð til Ali CDN.
En á heildina litið var þetta frekar áhugaverð lausn sem verðskuldar lengri prófun og bilanaleit á þessu vandamáli.

Akamai

Síðasti CDN veitandinn sem við prófuðum var Akamai. Þetta er risastór veitandi sem er með net sitt í Kína. Við komumst auðvitað ekki framhjá því.

Strax í upphafi sömdum við Akamai um prufutímabil svo við gætum skipt um lén og séð hvernig það myndi virka á netinu þeirra. Ég mun lýsa niðurstöðum allra prófana í formi „Hvað mér líkaði við“ og „Það sem mér líkaði ekki,“ og ég mun einnig gefa prófunarniðurstöðurnar.

Það sem mér líkaði:

• Strákarnir frá Akamai voru mjög hjálpsamir í öllum spurningum og fylgdu okkur á öllum stigum prófanna. Við vorum stöðugt að reyna að bæta eitthvað okkar megin. Þeir gáfu góð tæknileg ráð.
• Akamai er um 10-15% hægari en lausnin okkar í gegnum Ali Cloud CDN. Það sem er áhrifamikið er að í Origin fyrir Akamai tilgreindum við IP tölu GLB, sem þýðir að umferðin fór ekki í gegnum lausnina okkar (hugsanlega gætum við yfirgefið hluta innviðanna). En samt sýndu prófunarniðurstöðurnar að þessi lausn er verri en núverandi útgáfa okkar (samanburðarniðurstöður hér að neðan).
• Prófaði bæði Origin GLB og Origin í Kína. Báðir valkostirnir eru um það bil eins.
• Það er Jú leið (sjálfvirk leiðarhagræðing). Þú getur hýst prófunarhlut á Origin og Akamai Edge netþjónarnir munu reyna að ná honum (venjulegur GET). Fyrir þessar beiðnir er hraði og önnur mælikvarði mældur, byggt á því að Akamai netið fínstillir leiðirnar þannig að umferð fari hraðar fyrir síðuna okkar og það var ljóst að það að virkja þennan eiginleika hafði í raun mikil áhrif á hraða síðunnar.
• Það er flott að útgáfa stillingarnar í vefviðmótinu. Þú getur gert Bera saman fyrir útgáfur, skoðaðu mismun. Skoða fyrri útgáfur.
• Þú getur sett út nýja útgáfu fyrst aðeins á Akamai Staging netinu - sama net og framleiðsla, aðeins þessi leið mun ekki hafa áhrif á raunverulega notendur. Fyrir þetta próf þarftu að spilla DNS-skrám á staðnum þinni.
• Mjög hratt niðurhalshraða í gegnum netið þeirra fyrir stórar kyrrstæðar skrár og, greinilega, allar aðrar skrár. Skrá úr „köldu“ skyndiminni er endurheimt margfalt hraðar en sama skrá úr „köldu“ skyndiminni Ali CDN. Frá „heitu“ skyndiminni er hraðinn þegar sá sami, plús eða mínus.

Ali CDN próf:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Akamai próf:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

Við tókum eftir því að ástandið í dæminu hér að ofan veltur á ýmsum þáttum. Þegar ég skrifaði þennan lið, tók ég prófið aftur. Niðurstöður fyrir báða pallana voru nokkurn veginn þau sömu. Þetta segir okkur að internetið í Kína, jafnvel fyrir stóra rekstraraðila og skýjafyrirtæki, hegðar sér öðruvísi af og til.

Við fyrri liðinn bæti ég stórum plús fyrir Akamai: ef Ali sýnir svipuð leiftur af miklum afköstum og mjög lágum frammistöðu (þetta á við um Ali CDN, Ali CEN og Ali IPSEC), þá er Akamai, í hvert skipti, sama hvernig ég prófa netið þeirra, allt virkar stöðugt.
Akamai er með mikla umfjöllun í Kína og vinnur í gegnum marga þjónustuaðila.

Það sem mér líkaði ekki:

• Mér líkar ekki viðmótið og hvernig það virkar - það er svo lélegt. En í grundvallaratriðum venst maður þessu (líklega).
• Niðurstöður prófa eru verri en vefsíðan okkar.
• Það eru fleiri villur í prófunum en á síðunni okkar (spenntur hér að neðan).
• Við erum ekki með okkar eigin DNS netþjóna í Kína. Þess vegna eru margar villur í prófunum vegna DNS-upplausnartíma.
• Þeir gefa ekki upp IP svið sín -> það er engin leið að skrá réttu setja_raunverulegt_ip_frá á netþjónum okkar.

Mælingar (~3626 keyrslur; allar mælingar nema Spenntur, í ms; tölfræði fyrir eitt tímabil):

CDN veitandi
Miðgildi
75%
95%
svar
Svar vefsíðu
Spenntur
DNS
tengja
Bíddu
hlaða
SSL

AliCDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

Akamai
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

Dreifing eftir hundraðshlutum (í ms):

Hlutfall
Akamai
AliCDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

Niðurstaðan er þessi: Akamai valkosturinn er raunhæfur, en veitir ekki sama stöðugleika og hraða og okkar eigin lausn ásamt Ali CDN.

Litlar athugasemdir

Sum augnablik voru ekki með í sögunni, en mig langar að skrifa um þau líka.

Peking + Tokyo og Hong Kong

Eins og ég sagði hér að ofan prófuðum við IPSEC göng til Hong Kong (HK). En við prófuðum líka CEN til HK. Það kostar aðeins minna og ég var að spá í hvernig það myndi virka á milli borga með ~100 km fjarlægð. Það reyndist athyglisvert að leynd milli þessara borga er 100ms hærri en í upprunalegu útgáfunni okkar (til Taívans). Hraði, stöðugleiki var líka betri fyrir Taívan. Fyrir vikið fórum við frá HK sem varahluta IPSEC svæði.

Að auki reyndum við að setja upp eftirfarandi uppsetningu:

• uppsögn viðskiptavina í Peking,
• IPSEC og CEN til Tókýó,
• í Ali CDN var netþjónninn í Peking tilgreindur sem uppruna.

Þetta kerfi var ekki svo stöðugt, þó hvað varðar hraða væri það almennt ekki síðra en okkar lausn. Varðandi göngin, þá hef ég séð fall með hléum jafnvel fyrir CEN, sem hefði átt að vera stöðugt. Því fórum við aftur í gamla kerfið og tókum þessa sviðsetningu í sundur.

Hér að neðan eru tölfræði um leynd milli mismunandi svæða fyrir mismunandi rásir. Kannski hefur einhver áhuga á því.

IPSec
Ali cn-beijing GCP asía-norðaustur1 — 193ms
Ali cn-shenzhen <—> GCP asia-east2 — 91ms
Ali cn-shenzhen <—> GCP us-east4 — 200ms

CEN
Ali cn-beijing Ali ap-norðaustur-1 — 54 ms (!)
Ali cn-shenzhen Ali cn-hongkong — 6ms (!)
Ali cn-shenzhen Ali us-east1 — 216ms

Almennar upplýsingar um internetið í Kína

Sem viðbót við vandamálin með internetið sem lýst var í upphafi, í fyrri hluta greinarinnar.

• Internetið í Kína er frekar hratt inni.
  • Niðurstaðan var gerð út frá prófunum á almennum Wi-Fi netum á ýmsum stöðum þar sem þessi net eru notuð af miklum fjölda fólks.
  • Niðurhals- og upphleðsluhraði á netþjóna innan Kína var um 20 Mbit/s og 5-10 Mbit/s, í sömu röð.
  • Hraðinn á netþjóna utan Kína er einfaldlega lítill, innan við 1 Mbit/s.
• Netið í Kína er ekki mjög stöðugt.
  • Stundum geta síður opnað hratt, stundum hægt (á sama tíma dags á mismunandi dögum), að því tilskildu að uppsetningin breytist ekki. Við tókum eftir þessu með dæminu semrushchina.cn. Þetta má rekja til Ali CDN sem virkar líka svona og það fer eftir tíma dags, staðsetningu stjarna o.fl.
• Farsímainternet er nánast alls staðar 4G eða 4G+. Grípa það í neðanjarðarlestinni, lyftur - í stuttu máli, alls staðar.
• Það er goðsögn að kínverskir notendur treysti aðeins lénum á .cn svæðinu. Við lærðum þetta beint frá notendum.
  • Þú getur séð hvernig http://baidu.cn beina til www.baidu.com (einnig á meginlandi Kína).
• Mörg úrræði eru sannarlega læst. Frumstæð: google.com, Facebook, Twitter. En mörg Google auðlindir virka (auðvitað, ekki á öllu Wi-Fi og VPN er ekki notað (á leiðinni líka, það er á hreinu).
• Mörg „tæknileg“ lén lokaðra fyrirtækja eru líka að virka. Þetta þýðir að þú ættir ekki alltaf kæruleysislega að skera út öll Google og önnur tilföng sem virðast vera læst. Þú þarft að leita að einhverjum lista yfir bönnuð lén.
• Þeir hafa aðeins þrjá helstu netfyrirtæki: China Unicom, China Telecom, China Mobile. Það eru jafnvel smærri, en markaðshlutdeild þeirra er óveruleg

Bónus: skýringarmynd lokalausnar

Samtals

Ár er liðið frá upphafi verkefnisins. Við byrjuðum á því að síðan okkar neitaði almennt að vinna venjulega frá Kína og einfaldlega GET curl tók 5.5 sekúndur.

Síðan, með þessum vísbendingum í fyrstu lausninni (Cloudflare):

ákvörðun
Spenntur
Miðgildi
75 prósentustig
95 prósentustig

Cloudflare
86.6
18s
30s
60s

Við náðum að lokum eftirfarandi niðurstöðum (tölfræði fyrir síðasta mánuð):

ákvörðun
Spenntur
Miðgildi
75 prósentustig
95 prósentustig

Ali CDN + CEN/IPsec + GLB
99.86
8.8s
9.5s
13.7s

Eins og þú sérð hefur okkur ekki enn tekist að ná 100% spennutíma, en við munum koma með eitthvað og svo munum við segja þér frá árangrinum í nýrri grein :)

Virðing til þeirra sem lesa alla þrjá hlutana til enda. Ég vona að þér hafi fundist þetta allt jafn áhugavert og mér fannst þegar ég gerði það.

P.S. Fyrri hlutar

Часть 1
Часть 2

Heimild: www.habr.com