Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

Hello!
Thig a h-uile deagh sgeul gu crìch. Agus chan eil an sgeulachd againn mu mar a thàinig sinn suas le fuasgladh airson a dhol seachad air Balla-teine ​​​​Shìona gu sgiobalta mar eisgeachd. Uime sin, tha mi deifir a roinn ribh am fear mu dheireadh, a' chuid mu dheireadh air a ’chuspair seo.

Anns a 'phàirt roimhe seo bhruidhinn sinn mu iomadh being deuchainn a thàinig sinn suas agus dè na toraidhean a thug iad seachad. Agus shocraich sinn air dè a bhiodh math a chur ris CDN! airson slaodachd a-steach don sgeama againn.

Innsidh mi dhut mar a rinn sinn deuchainn air Alibaba Cloud CDN, Tencent Cloud CDN agus Akamai, agus na chrìochnaich sinn. Agus gu dearbh, leig dhuinn geàrr-chunntas.

Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

CDN Cloud Alibaba

Tha sinn air aoigheachd air Alibaba Cloud agus bidh sinn a’ cleachdadh IPSEC agus CEN bhuapa. Bhiodh e loidsigeach na fuasglaidhean aca fheuchainn an-toiseach.

Tha dà sheòrsa toraidh aig Alibaba Cloud a dh’ fhaodadh a bhith iomchaidh dhuinn: CDN и DCDN. Is e CDN clasaigeach a’ chiad roghainn airson raon sònraichte (fo-àrainn). Tha an dàrna roghainn a 'seasamh airson Slighe fiùghantach airson CDN (Is e CDN fiùghantach a chanas mi ris), faodar a chomasachadh ann am modh làn-làraich (airson raointean cairt-fiadhaich), bidh e cuideachd a’ tasgadh susbaint statach agus a’ luathachadh susbaint fiùghantach air fhèin, is e sin, bidh daineamaigs na duilleige cuideachd air a luchdachadh tro stiùireadh an t-solaraiche. lìonraidhean luath. Tha seo cudromach dhuinne, oir gu bunaiteach tha an làrach againn fiùghantach, bidh e a’ cleachdadh mòran fo-roinnean, agus tha e nas freagarraiche CDN a stèidheachadh aon uair airson an “rionnag” - *.semrushchina.cn.

Bha sinn mu thràth air an toradh seo fhaicinn anns na tràth ìrean den phròiseact Sìneach againn, ach an uairsin cha robh e ag obair fhathast, agus gheall an luchd-leasachaidh gum biodh an toradh ri fhaighinn a dh’ aithghearr don h-uile neach-ceannach. Agus rinn e.

Ann an DCDN faodaidh tu:

  • rèiteachadh crìochnachadh SSL leis an teisteanas agad,
  • comas a thoirt do luathachadh susbaint fiùghantach,
  • rèiteachadh gu sùbailte tasgadan faidhlichean statach,
  • glanadh an tasgadan,
  • socaidean lìn air adhart,
  • comas a thoirt do dhlùthadh agus eadhon HTML Beautifier.

San fharsaingeachd, tha a h-uile dad an aon rud ri inbhich agus solaraichean CDN mòra.

Às deidh an Origin (an t-àite far an tèid na frithealaichean iomaill CDN) a shònrachadh, chan eil air fhàgail ach CNAME a chruthachadh airson an rionnag, a’ toirt iomradh all.semrushchina.cn.w.kunluncan.com (fhuaireadh an CNAME seo ann an consol Alibaba Cloud) agus obraichidh an CDN.

Stèidhichte air toraidhean an deuchainn, chuidich an CDN seo sinn gu mòr. Tha na staitistig air an sealltainn gu h-ìosal.

co-dhùnadh
Uptime
Meadhanach
75 sa cheud
95 sa cheud

Cloudflare
86.6
18
30
60

IPsec
99.79
18
21
30

na chois
99.75
16
21
27

CEN/IPsec + GLB
99.79
13
16
25

Ali CDN + CEN / IPsec + GLB
99.75
10
12.8
17.3

Tha iad sin nan toraidhean fìor mhath, gu sònraichte ma nì thu coimeas eadar iad agus na bha na h-àireamhan aig an toiseach. Ach bha fios againn gu bheil an deuchainn brabhsair den dreach Ameireaganach den làrach-lìn againn www.semrush.com a’ ruith às na SA gu cuibheasach de 8.3s (luach gu math tuairmseach). Tha àite ann airson leasachadh. A bharrachd air an sin, bha solaraichean CDN ann cuideachd a bha inntinneach a dhearbhadh.

Mar sin gluaisidh sinn air adhart gu rèidh gu fuamhaire eile ann am margaidh Shìona - Tencent.

Cloud Tencent

Tha Tencent dìreach a 'leasachadh a sgòth - chithear seo bho àireamh bheag de thoraidhean. Fhad ‘s a bha sinn ga chleachdadh, bha sinn airson deuchainn chan ann a-mhàin air an CDN aca, ach cuideachd air am bun-structar lìonra gu h-iomlan:

  • a bheil rudeigin coltach ri CEN aca?
  • Ciamar a tha IPSEC ag obair dhaibh? A bheil e luath, dè an ùine ùrachadh?
  • a bheil Anycast aca?

Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

Bheir sinn sùil air na ceistean sin fa leth.

Analog CEN

Tha toradh aig Tencent Lìonra Cloud Connect (CCN), a 'toirt cothrom dhut VPCan a cheangal bho dhiofar roinnean, a' gabhail a-steach roinnean taobh a-staigh agus taobh a-muigh Sìona. Tha an toradh a-nis ann am beta a-staigh, agus feumaidh tu tiogaid a chruthachadh ag iarraidh ceangal ris. Dh’ ionnsaich sinn bho thaic nach urrainn do chunntasan cruinne (chan eil sinn a’ bruidhinn mu dheidhinn saoranaich Shìona no buidhnean laghail) pàirt a ghabhail anns a’ phrògram deuchainn beta agus, san fharsaingeachd, sgìre taobh a-staigh Sìona a cheangal ri sgìre a-muigh. 1-0 airson Ali Cloud

IPSEC

Tha an roinn as fhaide deas aig Tencent Guangzhou. Chruinnich sinn tunail agus cheangail sinn e ri sgìre Hong Kong ann an GCP (an uairsin bha an roinn seo ri fhaighinn mu thràth). Chaidh an dàrna tunail ann an Ali Cloud bho Shenzhen gu Hong Kong a thogail aig an aon àm cuideachd. Thionndaidh e a-mach tro lìonra Tencent gu bheil an latency gu Hong Kong sa chumantas nas fheàrr (10ms) na bho Shenzhen gu Hong Kong gu Ali (120ms - dè?). Ach cha do luathaich seo ann an dòigh sam bith obair na làraich a bha ag amas air a bhith ag obair tro Tencent agus an tunail seo, a bha ann fhèin na fhìrinn iongantach agus a-rithist air na leanas a dhearbhadh: latency - airson Sìona chan e comharra a tha seo as fhiach e. aire a thoirt dha nuair a thathar a’ leasachadh fuasgladh airson a bhith a’ dol seachad air balla-teine ​​Shìona.

Luathachadh eadar-lìn Anycast

Is e toradh eile a leigeas leat obrachadh tro anycast IP AIA. Ach chan eil e cuideachd ri fhaighinn airson cunntasan cruinneil, agus mar sin chan innis mi dhut mu dheidhinn, ach is dòcha gum bi fios agad gu bheil an leithid de thoradh ann.

Ach sheall an deuchainn CDN toraidhean gu math inntinneach. Chan urrainn CDN Tencent a bhith air a chomasachadh air làrach-lìn slàn, dìreach air raointean sònraichte. Chruthaich sinn raointean agus chuir sinn trafaic thuca:

Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

Thionndaidh e a-mach gu bheil an gnìomh a leanas aig an CDN seo: Optimization trafaic thar-chrìochan. Bu chòir don fheart seo cosgaisean a lùghdachadh nuair a bhios trafaig a' dol tro bhalla-teine ​​Shìona. As Origin Chaidh seòladh IP Google GLB (GLB anycast) a shònrachadh. Mar sin, bha sinn airson ailtireachd a’ phròiseict a dhèanamh nas sìmplidhe.

Bha na toraidhean fìor mhath - aig ìre Ali Cloud CDN, agus ann an cuid de dh'àiteachan eadhon nas fheàrr. Tha seo na iongnadh, oir ma tha na deuchainnean soirbheachail, faodaidh tu pàirt chudromach den bhun-structar, tunailean, CEN, innealan brìgheil, msaa a thrèigsinn.

Cha do rinn sinn gàirdeachas fada, oir chaidh duilgheadas fhoillseachadh: dh’ fhàillig deuchainnean ann an Catchpoint airson an t-solaraiche eadar-lìn China Mobile. Bho àite sam bith fhuair sinn ùine-ama tro CDN Tencent. Cha do lean conaltradh le taic theicnigeach gu dad. Dh'fheuch sinn ri fuasgladh fhaighinn air an duilgheadas seo airson timcheall air latha, ach cha do dh'obraich dad.

Bha mi ann an Sìona aig an àm sin, ach cha b’ urrainn dhomh Wi-Fi poblach a lorg air lìonra an t-solaraiche seo gus an duilgheadas a dhearbhadh gu pearsanta. Rud eile, bha a h-uile dad a’ coimhead luath agus math.
Ach, leis gur e China Mobile aon de na trì gnìomhaichean as motha, thàinig oirnn trafaic a thilleadh gu Ali CDN.
Ach san fharsaingeachd, b’ e fuasgladh caran inntinneach a bha seo a tha airidh air deuchainn nas fhaide agus fuasgladh cheistean air an duilgheadas seo.

Akamai

B’ e an solaraiche CDN mu dheireadh a rinn sinn deuchainn Akamai. Is e solaraiche mòr a tha seo aig a bheil an lìonra aige ann an Sìona. Gu dearbh, cha b 'urrainn dhuinn a dhol seachad air.

Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

Bhon fhìor thoiseach, dh’ aontaich sinn le Akamai airson ùine deuchainn gus am b’ urrainn dhuinn an raon atharrachadh agus faicinn mar a dh’ obraicheadh ​​​​e air an lìonra aca. Bheir mi cunntas air toradh gach deuchainn ann an cruth “Na rudan a chòrd rium” agus “Na rudan nach do chòrd rium,” agus bheir mi seachad toraidhean na deuchainn cuideachd.

An rud a chòrd rium:

  • Bha na balaich à Akamai gu math cuideachail anns a h-uile ceist agus chaidh iad còmhla rinn aig a h-uile ìre de dheuchainn. Bha sinn an-còmhnaidh a’ feuchainn ri rudeigin a leasachadh air ar taobh. Thug iad deagh chomhairle theicnigeach seachad.
  • Tha Akamai timcheall air 10-15% nas slaodaiche na am fuasgladh againn tro Ali Cloud CDN. Is e an rud a tha drùidhteach gun do shònraich sinn ann an Origin for Akamai seòladh IP an GLB, a’ ciallachadh nach deach an trafaic tron ​​​​fhuasgladh againn (is dòcha gum b ’urrainn dhuinn pàirt den bhun-structar a thrèigsinn). Ach fhathast, sheall toraidhean an deuchainn gu bheil am fuasgladh seo nas miosa na an dreach làithreach againn (toraidhean coimeasach gu h-ìosal).
  • Dèan deuchainn air an dà chuid Origin GLB agus Origin ann an Sìona. Tha an dà roghainn timcheall air an aon rud.
  • tha Slighe cinnteach (Optimization slighe fèin-ghluasadach). Faodaidh tu aoigheachd a thoirt do nì deuchainn air Origin, agus feuchaidh na frithealaichean Akamai Edge ri a thogail (GET cunbhalach). Airson na h-iarrtasan sin, thathas a ’tomhas astar agus meatrach eile, stèidhichte air a bheil lìonra Akamai a’ dèanamh an fheum as fheàrr de na slighean gus am bi trafaic a ’dol nas luaithe airson ar làrach agus bha e soilleir gun tug comas don fheart seo buaidh làidir air astar na làraich.
  • Tha tionndadh an rèiteachaidh san eadar-aghaidh lìn fionnar. Faodaidh tu Dèan coimeas airson dreachan, thoir sùil air diff. Seall tionndaidhean roimhe seo.
  • Faodaidh tu dreach ùr a chuir a-mach an-toiseach a-mhàin air lìonra Akamai Staging - an aon lìonra ri cinneasachadh, is e dìreach an dòigh seo nach toir buaidh air fìor luchd-cleachdaidh. Airson an deuchainn seo, feumaidh tu clàran DNS a spoof air an inneal ionadail agad.
  • Astar luchdachadh sìos gu math luath tron ​​​​lìonra aca airson faidhlichean mòra statach, agus, a rèir coltais, faidhlichean sam bith eile. Tha faidhle bhon tasgadan “fuar” air fhaighinn air ais iomadh uair nas luaithe na an aon fhaidhle bhon tasgadan “fuar” aig Ali CDN. Bhon tasgadan “teth”, tha an astar mar-thà mar an ceudna, plus no minus.

Deuchainn CDN Ali:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0   513k      0 --:--:--  0:00:11 --:--:--  526k
time_namelookup:  0.004286
time_connect:  0.030107
time_appconnect:  0.117525
time_pretransfer:  0.117606
time_redirect:  0.000000
time_starttransfer:  0.840348
----------
time_total:  11.208119
----------
size_download:  5895467 Bytes
speed_download:  525999.000B/s

Deuchainn Akamai:

root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 5757k    0 5757k    0     0  1824k      0 --:--:--  0:00:03 --:--:-- 1825k
time_namelookup:  0.509005
time_connect:  0.528261
time_appconnect:  0.577235
time_pretransfer:  0.577324
time_redirect:  0.000000
time_starttransfer:  1.327013
----------
time_total:  3.154850
----------
size_download:  5895467 Bytes
speed_download:  1868699.000B/s

Mhothaich sinn gu bheil an suidheachadh san eisimpleir gu h-àrd an urra ri diofar fhactaran. Aig àm sgrìobhaidh a’ phuing seo, ruith mi an deuchainn a-rithist. Bha na toraidhean airson an dà àrd-ùrlar timcheall air an aon rud. Tha seo ag innse dhuinn gu bheil an eadar-lìn ann an Sìona, eadhon airson gnìomhaichean mòra agus solaraichean sgòthan, gad ghiùlan fhèin ann an dòigh eadar-dhealaichte bho àm gu àm.

Chun na h-ìre roimhe, cuiridh mi buannachd mhòr ris airson Akamai: ma tha Ali a’ sealltainn lasachaidhean coltach ri àrd-choileanadh agus coileanadh glè ìosal (tha seo a’ buntainn ri Ali CDN, Ali CEN, agus Ali IPSEC), an uairsin Akamai, a h-uile uair, ge bith. mar a nì mi deuchainn air an lìonra aca, bidh a h-uile dad ag obair gu seasmhach.
Tha tòrr còmhdach aig Akamai ann an Sìona agus bidh e ag obair tro mhòran sholaraichean.

An rud nach do chòrd rium:

  • Cha toil leam an eadar-aghaidh lìn agus an dòigh sa bheil e ag obair - tha e cho truagh. Ach gu bunaiteach bidh thu cleachdte ris (is dòcha).
  • Tha toraidhean deuchainn nas miosa na an làrach-lìn againn.
  • Tha barrachd mhearachdan ann rè dheuchainnean na tha air an làrach againn (uptime gu h-ìosal).
  • Chan eil na frithealaichean DNS againn fhèin ann an Sìona. Mar sin tha mòran mhearachdan ann an deuchainnean mar thoradh air ùine fuasglaidh DNS.
  • Cha bhith iad a’ toirt seachad na raointean IP aca -> chan eil dòigh ann air an fheadhainn cheart a chlàradh set_real_ip_bho air ar seirbhisich.

Metrics (~ ruith 3626; a h-uile meatrach ach a-mhàin Uptime, ann an ms; staitistig airson aon ùine):

Solaraiche CDN
Meadhanach
75%
95%
freagairt
Freagairt Duilleag-lìn
Uptime
DNS
Ceangail
Fuirich
Luchdaich
SSL

AliCDN
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200

Akamai
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50

Sgaoileadh a-rèir Percentile (ann an ms):

Ceudamh sa cheud
Akamai
AliCDN

10
7,092
6,942

20
7,775
7,583

30
8,446
8,092

40
9,146
8,596

50
9,783
9,195

60
10,497
9,770

70
11,371
10,383

80
12,670
11,255

90
15,882
13,165

100
91,592
91,596

Is e an co-dhùnadh seo: tha an roghainn Akamai comasach, ach chan eil e a’ toirt seachad an aon sheasmhachd agus astar ris an fhuasgladh againn fhèin còmhla ri Ali CDN.

Notaichean beaga

Cha robh amannan air an toirt a-steach don sgeulachd, ach bu mhath leam sgrìobhadh mun deidhinn cuideachd.

Beijing + Tokyo agus Hong Kong

Mar a thuirt mi gu h-àrd, rinn sinn deuchainn air tunail IPSEC gu Hong Kong (HK). Ach rinn sinn deuchainn cuideachd air CEN gu HK. Tha e a’ cosg beagan nas lugha, agus bha mi a’ faighneachd ciamar a dh’ obraicheadh ​​​​e eadar bailtean-mòra le astar ~ 100 km. Bha e inntinneach gu bheil an latency eadar na bailtean-mòra sin 100ms nas àirde na anns an dreach tùsail againn (gu Taiwan). Bha astar, seasmhachd cuideachd nas fheàrr airson Taiwan. Mar thoradh air an sin, dh’ fhàg sinn HK mar sgìre cùl-taic IPSEC.

A bharrachd air an sin, dh'fheuch sinn ris an stàladh a leanas a stàladh:

  • crìoch a chur air luchd-dèiligidh ann am Beijing,
  • IPSEC agus CEN gu Tokyo,
  • ann an Ali CDN chaidh am frithealaiche ann am Beijing a chomharrachadh mar an tùs.

Cha robh an sgeama seo cho seasmhach, ged a thaobh luaths cha robh e sa chumantas na b’ ìsle na ar fuasgladh. A thaobh an tunail, tha mi air tuiteaman eadar-amail fhaicinn eadhon airson CEN, a bu chòir a bhith seasmhach. Mar sin, thill sinn chun an t-seann sgeama agus chuir sinn às don àrd-ùrlar seo.

Gu h-ìosal tha staitistig mu latency eadar diofar roinnean airson diofar shianalan. Is dòcha gum bi ùidh aig cuideigin ann.

IPsec
Ali cn-beijing <-> GCP asia-ear-thuath1 - 193ms
Ali cn-Shenzhen <-> GCP asia-ear2 - 91ms
Ali cn-Shenzhen <-> GCP us-ear4 - 200ms

na chois
Ali cn-beijing <-> Ali ap-ear-thuath-1 - 54ms (!)
Ali cn-Shenzhen <-> Ali cn-hongkong - 6ms (!)
Ali cn-shenzhen <-> Ali us-ear1 — 216ms

Fiosrachadh coitcheann mun eadar-lìon ann an Sìona

A bharrachd air na duilgheadasan leis an eadar-lìon a chaidh a mhìneachadh aig an toiseach, anns a 'chiad phàirt den artaigil.

  • Tha an eadar-lìn ann an Sìona gu math luath a-staigh.
    • Chaidh an co-dhùnadh a dhèanamh stèidhichte air deuchainn air lìonraidhean Wi-Fi poblach ann an diofar àiteachan far a bheil na lìonraidhean sin air an cleachdadh le àireamh mhòr de dhaoine.
    • Bha na h-astaran luchdachadh sìos is luchdachadh suas gu frithealaichean taobh a-staigh Sìona timcheall air 20 Mbit/s agus 5-10 Mbit/s, fa leth.
    • Tha an astar gu frithealaichean taobh a-muigh Sìona dìreach gann, nas lugha na 1 Mbit/s.
  • Chan eil an eadar-lìn ann an Sìona gu math seasmhach.
    • Aig amannan faodaidh làraich fosgladh gu sgiobalta, uaireannan gu slaodach (aig an aon àm den latha air diofar làithean), fhad ‘s nach atharraich an rèiteachadh. Chunnaic sinn seo leis an eisimpleir de semrushchina.cn. Faodar seo a thoirt air Ali CDN, a tha cuideachd ag obair san dòigh seo agus a rèir àm an latha, suidheachadh nan rionnagan, msaa.
  • Tha eadar-lìn gluasadach cha mhòr anns a h-uile àite 4G no 4G +. Glac e anns an t-subway, àrdairean - ann an ùine ghoirid, anns a h-uile àite.
  • Is e uirsgeul a th ’ann nach eil earbsa aig luchd-cleachdaidh Sìneach ach ann an raointean anns a’ chrios .cn. Dh'ionnsaich sinn seo gu dìreach bho luchd-cleachdaidh.
    • Chì thu ciamar http://baidu.cn ath-stiùireadh gu www.baidu.com (air tìr-mòr Shìona cuideachd).
  • Tha mòran ghoireasan air am bacadh gu dearbh. Prìomhadail: google.com, Facebook, Twitter. Ach tha mòran ghoireasan Google ag obair (gu dearbh, chan ann air a h-uile Wi-Fi agus chan eil VPN air a chleachdadh (air taobh an router cuideachd, tha sin cinnteach).
  • Tha mòran raointean “teicnigeach” de chorporra dùinte ag obair cuideachd. Tha seo a’ ciallachadh nach bu chòir dhut an-còmhnaidh gearradh a-mach gu neo-chùramach air a h-uile goireas Google agus goireasan eile a tha air am bacadh. Feumaidh tu coimhead airson liosta de raointean toirmisgte.
  • Chan eil aca ach trì prìomh ghnìomhaichean eadar-lìn: China Unicom, China Telecom, China Mobile. Tha eadhon feadhainn nas lugha ann, ach chan eil an roinn margaidh aca beag

Bònas: diagram fuasgladh deireannach

Mar a bhris sinn tro Bhalla-teine ​​​​mòr Shìona (pàirt 3)

An toradh

Tha bliadhna air a dhol seachad bho thòisich am pròiseact. Thòisich sinn leis an fhìrinn gun do dhiùlt an làrach againn a bhith ag obair gu h-àbhaisteach à Sìona, agus gu sìmplidh thug GET curl 5.5 diogan.

An uairsin, leis na comharran sin anns a 'chiad fhuasgladh (Cloudflare):

co-dhùnadh
Uptime
Meadhanach
75 sa cheud
95 sa cheud

Cloudflare
86.6
18
30
60

Mu dheireadh ràinig sinn na toraidhean a leanas (staitistig airson na mìos a chaidh seachad):

co-dhùnadh
Uptime
Meadhanach
75 sa cheud
95 sa cheud

Ali CDN + CEN / IPsec + GLB
99.86
8.8
9.5
13.7

Mar a chì thu, cha deach againn fhathast air 100% uptime a choileanadh, ach thig sinn suas le rudeigin, agus an uairsin innsidh sinn dhut mu na toraidhean ann an artaigil ùr :)

Spèis dhaibhsan a leugh na trì pàirtean gu deireadh. Tha mi an dòchas gun d’ fhuair thu a h-uile càil seo cho inntinneach agus a rinn mi nuair a rinn mi e.

PS Pàirtean roimhe

Pàirt de 1
Pàirt de 2

Source: www.habr.com

Cuir beachd ann