Патеките за содржина се неразбирливи или да кажеме збор за CDN

Одрекување од одговорност:
Оваа статија не содржи информации претходно непознати за читателите запознаени со концептот на CDN, но е во природата на технолошки преглед

Првата веб-страница се појави во 1990 година и беше со големина од само неколку бајти. Оттогаш, содржината се зголеми и квалитативно и квантитативно. Развојот на ИТ екосистемот доведе до фактот дека современите веб-страници се мерат во мегабајти и трендот кон зголемување на пропусниот опсег на мрежата само се засилува секоја година. Како може давателите на содржини да покриваат големи географски размери и да им овозможат на корисниците насекаде брз пристап до информации? Мрежите за испорака и дистрибуција на содржина, исто така познати како Мрежа за испорака на содржина или едноставно CDN, мора да се справат со овие задачи.

На интернет има се повеќе „тешка“ содржина. Во исто време, бројни студии покажуваат дека корисниците не сакаат да се занимаваат со веб сервиси доколку им требаат подолго од 4-5 секунди за да се вчитаат. Премногу мала брзина на вчитување на страницата е полн со губење на публика, што секако ќе доведе до намалување на сообраќајот, конверзија, а со тоа и профит. Мрежите за испорака на содржина (CDN), во теорија, ги елиминираат овие проблеми и нивните последици. Но, во реалноста, како и обично, за сè одлучуваат деталите и нијансите на одреден случај, од кои има многу во оваа област.

Од каде идејата за дистрибуирани мрежи?

Да почнеме со кратка екскурзија во историјата и дефинициите на поимите. CDN е мрежа од група серверски машини лоцирани на различни локации за да се обезбеди пристап до содржината на Интернет што покрива голем број корисници. Идејата за дистрибуирани мрежи е да има неколку точки на присуство (PoP) одеднаш, кои се наоѓаат надвор од изворниот сервер. Таквиот систем побрзо ќе ја обработи низата дојдовни барања, зголемувајќи го одговорот и брзината на пренос на какви било податоци.

Проблемот со доставување содржина до корисниците се појави акутно на врвот на развојот на Интернетот, т.е. во средината на 90-тите. Тогашните сервери, чии перформанси не стигнаа ниту до модерните водечки лаптопи, тешко можеа да го издржат товарот и не можеа да се справат со постојано зголемениот сообраќај. Мајкрософт трошеше стотици милиони долари годишно на истражување поврзано со информацискиот автопат (веднаш на памет ми паѓа познатите 640 KB од Бил Гејтс). За да ги решиме овие проблеми, моравме да користиме хиерархиско кеширање, да се префрлиме од модеми на оптички влакна и детално да ја анализираме мрежната топологија. Ситуацијата потсетуваше на стара локомотива, која ита по шините и по пат се модернизира со сите можни средства за зголемување на брзината.

Веќе во доцните 90-ти, сопствениците на веб порталите сфатија дека за да се намали оптоварувањето и да се обезбедат потребните барања, треба да користат посреднички сервери. Така се појавија првите CDN, дистрибуирајќи статична содржина од различни сервери географски расфрлани низ светот. Приближно во исто време, се појави бизнис со дистрибуирана мрежа. Најголемиот (барем еден од најголемите) CDN провајдер во светот, Akamai, стана пионер во оваа област, започнувајќи го своето патување во 1998 година. Неколку години подоцна, ЦДН стана широко распространета, а приходите од испорака на содржина и придонес изнесуваа десетици милиони долари месечно.

Денес наидуваме на CDN секогаш кога одиме на комерцијална страница со голем сообраќај или комуницираме на социјалните мрежи. Услугата ја обезбедуваат: Amazon, Cloudflare, Akamai, како и многу други транснационални провајдери. Покрај тоа, големите компании имаат тенденција да користат свои CDN, што им носи голем број предности во брзината и квалитетот на испораката на содржината. Доколку Facebook немаше дистрибуирани мрежи, туку се задоволуваше само со сервер за потекло лоциран во Соединетите Држави, може да потрае значително подолго да се вчита профилот за корисниците во Источна Европа.

Неколку зборови за CDN и стриминг

FutureSource Consulting ја анализираше музичката индустрија и заклучи дека во 2023 година бројот на претплати на услугите за стриминг музика ќе достигне речиси половина милијарда луѓе. Покрај тоа, услугите ќе добиваат повеќе од 90% од приходите од стриминг аудио. Ситуацијата со видеото е слична; термините како ајде да играме, онлајн концерт и онлајн кино веќе се вкоренети во популарната лексика. Apple, Google, YouTube и многу други компании имаат свои услуги за стриминг.

Во својот ран вовед, CDN се користеше првенствено за страници со статична содржина. Статиката е информација која не се менува во зависност од активностите на корисникот, времето и другите фактори, т.е. не е персонализиран. Но, порастот на стриминг видео и аудио услуги додаде уште еден случај за вообичаена употреба за дистрибуирани мрежи. Посредничките сервери, лоцирани блиску до целната публика ширум светот, овозможуваат да се обезбеди стабилен пристап до содржината за време на периоди на максимално оптоварување, елиминирајќи го недостатокот на тесни грла на Интернет.

Како го прави ова дело

Суштината на сите ЦДН е приближно иста: користете посредници за да можете побрзо да ја доставувате содржината до крајниот потрошувач. Работи на следниов начин: корисникот испраќа барање за преземање датотека, таа ја прима серверот CDN, кој прави еднократен повик до оригиналниот сервер и ја дава содржината на корисникот. Паралелно со ова, CDN кешира датотеки за даден временски период и ги обработува сите последователни барања од сопствената кеш меморија. Изборно, тие исто така можат однапред да вчитаат датотеки од изворниот сервер, да го приспособат периодот на задржување на кешот, да компресираат тешки датотеки и многу повеќе. Во најидеалната ситуација, домаќинот го пренесува целиот поток на CDN-јазол, кој веќе користи сопствени ресурси за доставување содржина до корисниците. Се подразбира дека ефективно кеширање на информации, како и дистрибуција на барања не до еден сервер, туку до мрежата, ќе доведе до побалансирано оптоварување на сообраќајот.

Втората важна карактеристика на работењето на CDN е намалувањето на доцнењата во преносот на податоци (познато и како RTT - време на кружен пат). Воспоставување TCP конекција, преземање медиумска содржина, JS-датотека, започнување на TLS сесија, сето тоа зависи од пинг. Очигледно, колку сте поблиску до изворот, толку побрзо ќе добиете одговор од него. На крајот на краиштата, дури и брзината на светлината има своја граница: околу 200 илјади km/s преку оптичко влакно. Тоа значи дека од Москва до Вашингтон доцнењето ќе биде околу 75 ms во RTT, и тоа без влијание на средната опрема.

За подобро да разберете какви проблеми решаваат мрежите за дистрибуција на содржина, еве листа на тековни решенија:

• Google, Yandex, MaxCDN (користете бесплатни CDN за дистрибуција на JS библиотеки, имаат повеќе од 90 точки на присуство во повеќето земји во светот);
• Cloudinary, Cloudimage, Google (услуги за оптимизација на клиенти и библиотеки: слики, видеа, фонтови, итн.);
• Jetpack, Incapsula, Swarmify итн. (оптимизација на ресурсите во системите за управување со содржина: битрикс, вордпрес и сл.);
• CDNVideo, StackPath, NGENIX, Megafon (CDN за дистрибуција на статична содржина, што се користи како мрежи за општа намена);
• Imperva, Cloudflare (решенија за забрзување на вчитувањето на веб-страниците).

Првите 3 типа на CDN од списокот се дизајнирани да пренесуваат само дел од сообраќајот од главниот сервер. Останатите 2 се користат како полноправни прокси-сервери со целосен пренос на канали од изворниот домаќин.

Кому и какви придобивки дава технологијата?

Теоретски, секоја веб-локација што ги продава своите производи/услуги на корпоративни клиенти или поединци (B2B или B2C) може да профитира од спроведувањето на CDN. Важно е нејзината целна публика, т.е. базата на корисници беше надвор од нивната географска локација. Но, дури и ако тоа не е случај, дистрибутивните мрежи ќе помогнат во балансирањето на оптоварувањето за големи количини на содржина.

Не е тајна дека неколку илјади нишки се доволни за да се заглави каналот на серверот. Затоа, дистрибуцијата на видео преноси до пошироката јавност неизбежно ќе доведе до формирање на тесно грло - пропусниот опсег на интернет каналот. Го гледаме истото кога има многу мали, незашиени слики на веб-локација (на пример, прегледи на производи). Почетниот сервер користи една TCP конекција при обработка на кој било број на барања, што ќе го стави во ред за преземање. Додавањето CDN го прави неопходно да се дистрибуираат барања низ повеќе домени и да се користат повеќе TCP конекции, со што се олеснува оптоварувањето на каналот. А формулата за одложување повратен пат, дури и во најтажните сценарија, дава вредност од 6-7 RRT и има форма: TCP+TLS+DNS. Ова исто така вклучува и одложувања поврзани со активирање на радио каналот на уредот и пренесување на сигналот до мобилните кули.

Откако ги сумираа силните страни на технологијата за онлајн бизнис, експертите ги истакнуваат следниве точки:

1. Брзо скалирање на инфраструктурата + намален пропусен опсег. Повеќе сервери = повеќе точки каде се чуваат информациите. Како резултат на тоа, една точка обработува помалку сообраќај по единица време, што значи дека може да има помала пропусност. Дополнително, алатките за оптимизација стапуваат во игра, кои ви овозможуваат да се справите со најголемите оптоварувања без да губите време.
2. Пониски пинг. Веќе споменавме дека луѓето не сакаат долго да чекаат на Интернет. Затоа, високиот пинг придонесува за високи стапки на отскокнување. Доцнењето може да биде предизвикано од проблеми со обработката на податоците на серверот, употребата на стара опрема или едноставно слабо осмислена мрежна топологија. Повеќето од овие проблеми се делумно решени од мрежите за дистрибуција на содржина. Иако е важно да се забележи дека вистинската корист од имплементацијата на технологијата ќе биде видлива само кога „потрошувачкиот пинг“ ќе надмине 80-90 ms, а тоа е растојанието од Москва до Њујорк.

   

3. Безбедност на податоците. DDos (Напади од вирусот на Denial of Service) се насочени кон паѓање на серверот со цел да се добие одредена корист. Еден сервер е многу поподложен на пропусти во безбедноста на информациите отколку дистрибуирана мрежа (инсталирањето на инфраструктурата на таков гигант како CloudFlare не е лесна задача). Благодарение на употребата на филтри и правилната дистрибуција на барањата преку мрежата, можете лесно да спречите вештачки создадени тешкотии со пристапот до легитимен сообраќај.
4. Брза дистрибуција на содржина и функции за дополнителни услуги. Дистрибуирањето на големи количини на информации на серверска мрежа ќе овозможи брзо да се пренесе понудата до крајниот потрошувач. Повторно, не треба да барате далеку за примери - само запомнете ги Amazon и AliExpress.
5. Способност да се „маскираат“ проблеми со главната страница. Нема потреба да чекате додека не се ажурира DNS; можете да го префрлите на нова локација и да дистрибуирате претходно кеширана содржина. Ова за возврат може да ја подобри толеранцијата на грешки.

Ги средивме предностите. Сега да погледнеме кои ниши имаат корист од ова.

Рекламен бизнис

Рекламирањето е моторот на напредокот. За да се спречи изгорување на моторот, мора да се наполни умерено. Така, рекламниот бизнис, обидувајќи се да се справи со современиот дигитален свет, се соочува со проблемите на „тешка содржина“. Тешките медиуми се однесуваат на мултимедијално рекламирање (главно анимирани банери и видеа) за кои е потребен висок мрежен пропусен опсег. На веб-локацијата со мултимедија треба долго време да се вчита и може да замрзне, тестирајќи ја силата на нервите на корисниците. Повеќето луѓе ги напуштаат таквите ресурси дури и пред да ги преземат сите достапни информации. Рекламните компании можат да ги искористат предностите на CDN за да ги решат овие проблеми.

Продажба

Електронската трговија треба постојано да ја шири својата географска покриеност. Друга важна точка е борбата против конкурентите, од кои има многу во секој сегмент на пазарот. Ако веб-локацијата не ги исполнува барањата на корисниците (вклучувајќи долго време за вчитување), таа нема да биде популарна и нема да може да донесе постојано високи конверзии. Спроведувањето на CDN треба да ја докаже својата предност во справувањето со барањата за податоци од различни локации. Исто така, дистрибуцијата на сообраќајот ќе помогне да се спречат скокови во сообраќајот и последователни неуспеси на серверот.

Платформи со забавна содржина

Сите видови на платформи за забава се погодни овде, од преземање филмови и игри до стриминг видеа. И покрај фактот дека технологијата работи со статични податоци, стриминг податоците може побрзо да стигнат до корисникот преку репетитори. Повторно, кеширањето на информации за CDN е спас за сопствениците на големи портали - мултимедијално складирање.

Онлајн игри

Интернет игрите мора да бидат ставени во посебен дел. Ако рекламирањето бара голем пропусен опсег, тогаш онлајн проектите бараат уште повеќе ресурси. Провајдерите се соочуваат со проблем кој има две страни: брзина на пристап до серверите + обезбедување високи перформанси на игри со убава графика. ЦДН за онлајн игри е можност да се имаат т.н. „push зони“ каде што програмерите можат да складираат игри на сервери лоцирани блиску до корисниците. Ова ви овозможува да го намалите влијанието на брзината на пристап до оригиналниот сервер и затоа да обезбедите удобна игра насекаде.

Зошто ЦДН не е лек

И покрај очигледните предности, не сите и не секогаш се стремат да воведат технологија во својот бизнис. Зошто е тоа? Парадоксално, некои недостатоци следат од предностите, плус се додаваат уште неколку точки поврзани со распоредувањето на мрежата. Маркетарите убаво ќе зборуваат за сите предности на технологијата, заборавајќи да споменат дека сите тие стануваат бесмислени во широк опсег на услови. Ако подетално ги погледнеме недостатоците на CDN, вреди да се истакне:

• Работете само со статика. Да, повеќето модерни веб-локации имаат низок процент на динамична содржина. Но, онаму каде што страниците се персонализирани, ЦДН нема да може да помогне (освен можеби да растовари голема количина сообраќај);
• Одложување на кеширање. Самата оптимизација е една од главните предности на дистрибутивните мрежи. Но, кога ќе направите промена на изворниот сервер, потребно е време пред CDN да го врати на сите негови сервери;
• Масовни блокирања. Ако поради некоја причина IP адресата на CDN е забранета, тогаш сите страници што се хостирани на него се затворени;
• Во повеќето случаи, прелистувачот ќе направи две врски (со серверот за потекло и CDN). И ова се дополнителни милисекунди на чекање;
• Поврзување со IP адресата на проектите (вклучувајќи ги и непостоечките) кои претходно му биле доделени. Како резултат на тоа, добиваме комплицирани рангирања од ботови за пребарување на Google и тешкотии во доведувањето на страницата на врвот за време на промоцијата на SEO;
• CDN-јазолот е потенцијална точка на неуспех. Ако ги користите, важно е однапред да разберете како функционира системското рутирање и какви грешки може да се појават додека работите со страницата;
• Тоа е банално, но мора да платите за услуги за испорака на содржина. Општо земено, трошоците се пропорционални на обемот на сообраќај, што значи дека може да бидат потребни контроли за планирање на буџетот.

Важен факт: дури и близината на CDN до корисникот не гарантира низок пинг. Рутата може да се изгради од клиент до домаќин кој се наоѓа во друга земја или дури и на друг континент. Ова зависи од политиката за рутирање на одредена мрежа и нејзиниот однос со телекомуникациските оператори (перинг). Многу големи ЦДН провајдери имаат повеќе планови, каде што цената директно влијае на близината на точката на присуство при доставување содржина до целните корисници.

Има можности - лансирајте сопствен CDN

Дали сте незадоволни од политиките на компаниите кои обезбедуваат услуги на мрежата за дистрибуција на содржина, но вашиот бизнис треба да се прошири? Ако е можно, зошто да не се обидете да лансирате сопствен CDN. Ова има смисла во следниве случаи:

• Тековните трошоци за дистрибуција на содржини не ги исполнуваат очекувањата и не се економски оправдани;
• Потребен ни е постојан кеш, без близина на други локации на серверот и каналот;
• Целната публика е во регион каде што нема достапни ЦДН точки на присуство;
• Потребата да се персонализираат поставките при доставување содржина;
• Постои потреба да се забрза испораката на динамична содржина;
• Сомнежи за повреда на приватноста на корисниците и други незаконски дејствија од страна на услуги од трети лица.

За да започнете CDN ќе треба да имате име на домен, неколку сервери во различни региони (виртуелни или посветени) и алатка за обработка на барања. Не заборавајте за инсталирање SLL сертификати, поставување и уредување програми за опслужување статична содржина (Nginx или Apache) и ефикасно следење на целиот систем.

Правилната конфигурација на посредниците за кеширање е тема на посебна статија, така што нема да опишеме детално овде: каде и кој параметар да се постави правилно. Имајќи ги предвид трошоците за стартување и времето за распоредување на мрежата, користењето на готови решенија може да биде повеќе ветувачко. Но, потребно е да се водиме од моменталната ситуација и да планираме неколку чекори напред.

Со тоа што

CDN е збир на дополнителни капацитети за пренесување на вашиот сообраќај до масите. Дали се потребни за онлајн бизнис? Да и не, се зависи од тоа за која публика е наменета содржината и кои цели ги следи сопственикот на бизнисот.

Регионалните и високо специјализираните проекти ќе добијат повеќе недостатоци отколку предности од имплементацијата на CDN. Барањата сепак ќе доаѓаат прво до изворниот сервер, но преку посредник. Оттука и сомнителното намалување на пинг, но сосема дефинитивни месечни трошоци за користење на услугата. Ако имате добра мрежна опрема, можете лесно да ги подобрите постоечките алгоритми за безбедност на информации, да ги поставите вашите сервери поблиску до корисниците и да добивате оптимизации и профит бесплатно на постојана основа.

Но, кој навистина треба да размислува за посреднички сервери се големите компании чија инфраструктура не може да се справи со постојано растечкиот проток на сообраќај. CDN совршено се покажува како технологија која ви овозможува брзо распоредување на мрежата на широка географија на корисници, да обезбедите удобно играње облак или да продавате стоки на голема комерцијална платформа.

Но, дури и со широка географска публика, важно е однапред да се разбере зошто се потребни мрежи за дистрибуција на содржина. Забрзувањето на веб-страницата сè уште останува сложена задача, која не може магично да се реши со имплементирање на CDN. Не заборавајте за важни карактеристики како што се: крос-платформа, приспособливост, оптимизација на дел од серверот, код, рендерирање итн. Прелиминарната техничка ревизија и соодветните мерки за отстранување на проблемите сè уште се оптимално решение за секој онлајн проект, без оглед на неговиот фокус и обем.

За правата на рекламирање

Можете да нарачате веднаш моќни серверикои користат најнови процесори amd epyc. Флексибилни планови - од 1 јадро на процесорот до луди 128 јадра на процесорот, 512 GB RAM, 4000 GB NVMe.

Извор: www.habr.com