Здраво!
Свим добрим причама дође крај. И наша прича о томе како смо дошли до решења да брзо прођемо кинески заштитни зид није изузетак. Зато журим да поделим са вама последњу, завршни део на ову тему.
У претходном делу смо говорили о многим тестним столовима до којих смо дошли и какве су резултате дали. И решили смо шта би било лепо додати ЦДН! за вискозност у нашу шему.
Рећи ћу вам како смо тестирали Алибаба Цлоуд ЦДН, Тенцент Цлоуд ЦДН и Акамаи, и шта смо на крају завршили. И наравно, да сумирамо.
Алибаба Цлоуд ЦДН
Хостовани смо на Алибаба Цлоуд-у и користимо ИПСЕЦ и ЦЕН од њих. Било би логично да прво испробамо њихова решења.
Алибаба Цлоуд има две врсте производа који нам могу одговарати: ЦДН и ДЦДН. Прва опција је класични ЦДН за одређени домен (поддомен). Друга опција стоји за Dinamička ruta za CDN (ја то зовем динамички ЦДН), може се омогућити у режиму целог сајта (за џокер домене), такође кешира статички садржај и убрзава динамички садржај на себи, односно динамика странице ће се такође учитавати преко провајдера брзе мреже. Ово је важно за нас, јер је у основи наш сајт динамичан, користи много поддомена и згодније је једном подесити ЦДН за „звездицу“ - *.семрусхцхина.цн.
Већ смо видели овај производ у ранијим фазама нашег кинеског пројекта, али тада још није радио, а програмери су обећали да ће производ ускоро постати доступан свим купцима. И јесте.
У ДЦДН-у можете:
- конфигуришите ССЛ терминацију са својим сертификатом,
- омогућавају убрзање динамичког садржаја,
- флексибилно конфигуришите кеширање статичких датотека,
- очисти кеш,
- напред веб утичнице,
- омогући компресију, па чак и ХТМЛ Беаутифиер.
Генерално, све је исто као код одраслих и великих ЦДН провајдера.
Након што се одреди Оригин (место где ће ићи ЦДН ивични сервери), све што остаје је да креирате ЦНАМЕ за звездицу, позивајући се на алл.семрусхцхина.цн.в.кунлунцан.цом (овај ЦНАМЕ је примљен на Алибаба Цлоуд конзоли) и ЦДН ће радити.
На основу резултата тестирања, овај ЦДН нам је много помогао. Статистички подаци су приказани у наставку.
одлука
Уптиме
средњи
75 Перцентил
95 Перцентил
цлоудфларе
86.6
18
30
60
ИПсец
99.79
18
21
30
ЦЕН
99.75
16
21
27
ЦЕН/ИПсец + ГЛБ
99.79
13
16
25
Али ЦДН + ЦЕН/ИПсец + ГЛБ
99.75
10
12.8
17.3
Ово су веома добри резултати, посебно ако их упоредите са бројевима на почетку. Али знали смо да тест претраживача америчке верзије наше веб странице ввв.семрусх.цом траје из САД у просеку од 8.3 с (веома приближна вредност). Има простора за напредак. Штавише, било је и ЦДН провајдера које је било интересантно тестирати.
Тако да глатко прелазимо на другог гиганта на кинеском тржишту - Тенцент.
Тенцент Цлоуд
Тенцент управо развија свој облак – то се може видети из малог броја производа. Док смо га користили, желели смо да тестирамо не само њихов ЦДН, већ и њихову мрежну инфраструктуру у целини:
- имају ли нешто слично ЦЕН-у?
- Како ИПСЕЦ ради за њих? Да ли је брзо, колико је време рада?
- да ли имају Аницаст?
Хајде да погледамо ова питања одвојено.
Аналогни ЦЕН
Тенцент има производ Цлоуд Цоннецт Нетворк (), омогућавајући вам да повежете ВПЦ-ове из различитих региона, укључујући регионе унутар и изван Кине. Производ је сада у интерној бета верзији и потребно је да креирате тикет са захтевом да се повежете са њим. Из подршке смо сазнали да глобални налози (не говоримо о кинеским грађанима или правним лицима) не могу да учествују у програму бета тестирања и, уопште, да повезују регион унутар Кине са регионом ван ње. 1-0 у корист Али Клауда
ИПСЕЦ
Тенцентов најјужнији регион је Гуангзхоу. Саставили смо тунел и повезали га са регионом Хонг Конга у ГЦП-у (тада је овај регион већ постао доступан). У исто време подигнут је и други тунел у Али Цлоуду од Шенжена до Хонг Конга. Испоставило се да је преко Тенцент мреже кашњење до Хонг Конга генерално боље (10мс) него од Шенжена до Хонг Конга до Алија (120мс - шта?). Али то ни на који начин није убрзало рад сајта усмереног на рад кроз Тенцент и овај тунел, што је само по себи била невероватна чињеница и још једном је доказала следеће: кашњење - за Кину ово није показатељ који заиста вреди обраћајући пажњу при развоју решења за пролазак кинеског заштитног зида.
Аницаст Интернет Аццелератион
Још један производ који вам омогућава да радите преко било каквог ИП-а је . Али такође није доступан за глобалне налоге, тако да вам нећу причати о томе, али сазнање да такав производ постоји може бити корисно.
Али ЦДН тест је показао неке прилично занимљиве резултате. Тенцентов ЦДН се не може омогућити на целој локацији, само на одређеним доменима. Направили смо домене и слали саобраћај на њих:
Испоставило се да овај ЦДН има следећу функцију: Оптимизација прекограничног саобраћаја. Ова функција би требало да смањи трошкове када саобраћај пролази кроз кинески заштитни зид. Као порекло Наведена је ИП адреса Гоогле ГЛБ-а (ГЛБ аницаст). Тако смо желели да поједноставимо архитектуру пројекта.
Резултати су били веома добри - на нивоу Али Цлоуд ЦДН, а на неким местима и бољи. Ово је изненађујуће, јер ако су тестови успешни, можете напустити значајан део инфраструктуре, тунеле, ЦЕН, виртуелне машине итд.
Нисмо се дуго радовали, јер се открио проблем: тестови у Цатцхпоинт-у су неуспели за интернет провајдера Цхина Мобиле. Са било које локације смо примили временско ограничење преко Тенцентовог ЦДН-а. Преписка са техничком подршком није довела ни до чега. Покушавали смо да решимо овај проблем око један дан, али ништа није успело.
Био сам у Кини у том тренутку, али нисам могао да пронађем јавни Ви-Фи на мрежи овог провајдера да бих лично проверио проблем. Иначе је све изгледало брзо и добро.
Међутим, због чињенице да је Цхина Мобиле један од три највећа оператера, били смо принуђени да вратимо саобраћај на Али ЦДН.
Али генерално, ово је било прилично интересантно решење које заслужује дуже тестирање и решавање овог проблема.
Акамаи
Последњи ЦДН провајдер који смо тестирали био је Акамаи. Ово је огроман провајдер који има своју мрежу у Кини. Наравно, нисмо могли да пређемо.
Од самог почетка смо се договорили са Акамаијем за пробни период како бисмо могли да променимо домен и видимо како ће функционисати на њиховој мрежи. Резултате свих тестирања ћу описати у облику „Шта ми се допало“ и „Шта ми се није допало“, а такође ћу дати резултате теста.
Оно што нам се допало:
- Момци из Акамаија су били од велике помоћи у свим питањима и пратили су нас у свим фазама тестирања. Стално смо покушавали да побољшамо нешто на нашој страни. Дали су добре техничке савете.
- Акамаи је око 10-15% спорији од нашег решења преко Али Цлоуд ЦДН-а. Оно што је импресивно је да смо у Оригин-у за Акамаи навели ГЛБ-ову ИП адресу, што значи да саобраћај није прошао кроз наше решење (потенцијално бисмо могли да напустимо део инфраструктуре). Али ипак, резултати тестирања су показали да је ово решење лошије од наше тренутне верзије (упоредни резултати испод).
- Тестиран и Оригин ГЛБ и Оригин у Кини. Обе опције су приближно исте.
- Ту је Суре Роуте (аутоматска оптимизација рутирања). Можете да угостите тест објекат на Оригин-у, а Акамаи Едге сервери ће покушати да га покупе (обичан ГЕТ). За ове захтеве се мере брзина и друге метрике на основу којих Акамаи мрежа оптимизује руте тако да саобраћај иде брже за наш сајт и било је јасно да је омогућавање ове функције заиста имало снажан утицај на брзину сајта.
- Верзија конфигурације у веб интерфејсу је супер. Можете да урадите Поређење за верзије, погледајте разл. Погледајте претходне верзије.
- Нову верзију можете прво избацити само на Акамаи Стагинг мрежи – истој мрежи као и продукција, само што на овај начин неће утицати на стварне кориснике. За овај тест, потребно је да лажирате ДНС записе на вашој локалној машини.
- Веома велика брзина преузимања преко њихове мреже за велике статичне датотеке и, очигледно, све друге датотеке. Датотека из „хладне“ кеш меморије се преузима много пута брже од исте датотеке из „хладне“ кеш меморије Али ЦДН-а. Из „вруће“ кеш меморије, брзина је већ иста, плус или минус.
Али ЦДН тест:
root@shenzhen1:~# curl -o /dev/null -w@curl_time https://en.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 5757k 0 5757k 0 0 513k 0 --:--:-- 0:00:11 --:--:-- 526k
time_namelookup: 0.004286
time_connect: 0.030107
time_appconnect: 0.117525
time_pretransfer: 0.117606
time_redirect: 0.000000
time_starttransfer: 0.840348
----------
time_total: 11.208119
----------
size_download: 5895467 Bytes
speed_download: 525999.000B/sАкамаи тест:
root@shenzhen1:~# curl -o /dev/null -w@curl_time https://www.semrushchina.cn/my_reports/build/scripts/simpleInit.js?v=1551879212
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 5757k 0 5757k 0 0 1824k 0 --:--:-- 0:00:03 --:--:-- 1825k
time_namelookup: 0.509005
time_connect: 0.528261
time_appconnect: 0.577235
time_pretransfer: 0.577324
time_redirect: 0.000000
time_starttransfer: 1.327013
----------
time_total: 3.154850
----------
size_download: 5895467 Bytes
speed_download: 1868699.000B/sПриметили смо да ситуација у горњем примеру зависи од различитих фактора. У време писања ове тачке, поново сам извршио тест. Резултати за обе платформе су били приближно исти. Ово нам говори да се интернет у Кини, чак и за велике оператере и клауд провајдере, с времена на време понаша другачије.
На претходну тачку, додаћу велики плус за Акамаи: ако Али покаже сличне блицеве високих перформанси и веома ниских перформанси (ово се односи на Али ЦДН, Али ЦЕН и Али ИПСЕЦ), онда Акамаи, сваки пут, без обзира како тестирам њихову мрежу, све ради стабилно.
Акамаи има доста покривености у Кини и ради преко многих провајдера.
Шта се није допало:
- Не свиђа ми се веб интерфејс и начин на који функционише - тако је лош. Али у основи се навикнеш (вероватно).
- Резултати тестова су лошији од нашег сајта.
- Има више грешака током тестова него на нашем сајту (време рада испод).
- Ми немамо сопствене ДНС сервере у Кини. Отуда има много грешака у тестовима због истека ДНС разрешења.
- Они не дају своје ИП опсеге -> не постоји начин да се региструју исправни сет_реал_ип_фром на нашим серверима.
Показатељи (~3626 покрета; сви показатељи осим времена рада, у мс; статистика за један временски период):
ЦДН провајдер
средњи
100%
100%
одговор
Вебпаге Респонсе
Уптиме
ДНС
повезати
Ваит
Оптерећење
ССЛ
АлиЦДН
9195
10749
17489
1,715
10,745
99.531
57
17
927
479
200
Акамаи
9783
11887
19888
2,352
11,550
98.980
424
91
1408
381
50
Дистрибуција по процентилу (у мс):
Перцентил
Акамаи
АлиЦДН
10
7,092
6,942
20
7,775
7,583
30
8,446
8,092
40
9,146
8,596
50
9,783
9,195
60
10,497
9,770
70
11,371
10,383
80
12,670
11,255
90
15,882
13,165
100
91,592
91,596
Закључак је следећи: Акамаи опција је одржива, али не пружа исту стабилност и брзину као наше сопствено решење у комбинацији са Али ЦДН-ом.
Мале белешке
Неки моменти нису укључени у причу, али бих желео да пишем и о њима.
Пекинг + Токио и Хонг Конг
Као што сам рекао горе, тестирали смо ИПСЕЦ тунел до Хонг Конга (ХК). Али смо такође тестирали ЦЕН у ХК. Кошта мало мање, а ја сам се питао како би то функционисало између градова са раздаљином од ~100 км. Показало се занимљивим да је кашњење између ових градова 100мс веће него у нашој оригиналној верзији (до Тајвана). Брзина, стабилност такође су били бољи за Тајван. Као резултат тога, оставили смо ХК као резервни ИПСЕЦ регион.
Поред тога, покушали смо да инсталирамо следећу инсталацију:
- раскид клијената у Пекингу,
- ИПСЕЦ и ЦЕН у Токио,
- у Али ЦДН серверу у Пекингу је наведен као извор.
Ова шема није била толико стабилна, иако по брзини углавном није била инфериорна у односу на наше решење. Што се тиче тунела, видео сам повремене падове чак и за ЦЕН, који је требао бити стабилан. Стога смо се вратили на стару шему и размонтирали ову инсценацију.
Испод су статистике о кашњењу између различитих региона за различите канале. Можда ће неко бити заинтересован за то.
ИПсец
Али цн-пекинг <—> ГЦП асиа-нортхеаст1 — 193мс
Али цн-схензхен <—> ГЦП асиа-еаст2 — 91мс
Али цн-схензхен <—> ГЦП ус-еаст4 — 200мс
ЦЕН
Али цн-пекинг <—> Али ап-нортхеаст-1 — 54мс (!)
Али цн-схензхен <—> Али цн-хонгконг — 6мс (!)
Али цн-схензхен <—> Али ус-еаст1 — 216мс
Опште информације о Интернету у Кини
Као додатак проблемима са интернетом описаним на самом почетку, у првом делу чланка.
- Интернет у Кини је прилично брз унутра.
- Закључак је донет на основу тестирања јавних Ви-Фи мрежа на различитим локацијама где ове мреже користи велики број људи.
- Брзине преузимања и отпремања на сервере унутар Кине биле су око 20 Мбит/с и 5-10 Мбит/с, респективно.
- Брзина до сервера ван Кине је једноставно мала, мања од 1 Мбит/с.
- Интернет у Кини није баш стабилан.
- Понекад се сајтови могу отварати брзо, понекад споро (у исто доба дана у различитим данима), под условом да се конфигурација не мења. То смо посматрали на примеру семрусхцхина.цн. Ово се може приписати Али ЦДН-у, који такође функционише овако и онако у зависности од доба дана, положаја звезда итд.
- Мобилни интернет је скоро свуда 4Г или 4Г+. Ухватите га у метроу, лифтовима - укратко, свуда.
- Мит је да кинески корисници верују само доменима у .цн зони. Ово смо сазнали директно од корисника.
- Можете видети како преусмерите на ввв.баиду.цом (такође у континенталној Кини).
- Многи ресурси су заиста блокирани. Примитивно: гоогле.цом, Фацебоок, Твиттер. Али многи Гоогле ресурси функционишу (наравно, не на свим Ви-Фи мрежама и ВПН се не користи (и на страни рутера, то је сигурно).
- Многи „технички“ домени блокираних корпорација такође раде. То значи да не треба увек непромишљено да исечете све Гоогле и друге наизглед блокиране ресурсе. Морате потражити неку листу забрањених домена.
- Имају само три главна интернет оператера: Цхина Уницом, Цхина Телецом, Цхина Мобиле. Има их и мањих, али је њихов тржишни удео незнатан
Бонус: дијаграм коначног решења
Укупан
Прошло је годину дана од почетка пројекта. Почели смо са чињеницом да је наш сајт углавном одбијао да ради нормално из Кине, а једноставно ГЕТ цурл је трајао 5.5 секунди.
Затим, са овим индикаторима у првом решењу (Цлоудфларе):
одлука
Уптиме
средњи
75 Перцентил
95 Перцентил
цлоудфларе
86.6
18
30
60
На крају смо дошли до следећих резултата (статистика за прошли месец):
одлука
Уптиме
средњи
75 Перцентил
95 Перцентил
Али ЦДН + ЦЕН/ИПсец + ГЛБ
99.86
8.8
9.5
13.7
Као што видите, још нисмо успели да постигнемо 100% продужење рада, али ћемо смислити нешто, а затим ћемо вам рећи о резултатима у новом чланку :)
Поштовање онима који су прочитали сва три дела до краја. Надам се да вам је све ово било занимљиво као и мени када сам то радио.
ПС Претходни делови
Извор: ввв.хабр.цом