Пътищата на съдържанието са неразгадаеми или нека кажем няколко думи за CDN

Опровержение:
Тази статия не съдържа информация, неизвестна досега на читателите, запознати с концепцията за CDN, но е от естеството на преглед на технологиите

Първата уеб страница се появява през 1990 г. и е с размер само няколко байта. Оттогава съдържанието се мащабира както качествено, така и количествено. Развитието на ИТ екосистемата доведе до факта, че съвременните уеб страници се измерват в мегабайти и тенденцията към увеличаване на честотната лента на мрежата се засилва всяка година. Как могат доставчиците на съдържание да покриват големи географски мащаби и да предоставят на потребителите навсякъде високоскоростен достъп до информация? Мрежите за доставка и разпространение на съдържание, известни още като мрежа за доставка на съдържание или просто CDN, трябва да се справят с тези задачи.

В интернет има все повече „тежко“ съдържание. В същото време множество проучвания показват, че потребителите не искат да се занимават с уеб услуги, ако зареждането им отнема повече от 4-5 секунди. Твърде ниската скорост на зареждане на сайта е изпълнена със загуба на аудитория, което със сигурност ще доведе до намаляване на трафика, конверсията и следователно печалбата. Мрежите за доставка на съдържание (CDN) на теория елиминират тези проблеми и последствията от тях. Но в действителност, както обикновено, всичко се решава от детайлите и нюансите на конкретен случай, от които има много в тази област.

Откъде идва идеята за разпределени мрежи?

Нека започнем с кратка екскурзия в историята и определенията на термините. CDN е мрежа от група сървърни машини, разположени на различни места, за да осигурят достъп до интернет съдържание, обхващащо голям брой потребители. Идеята на разпределените мрежи е да има няколко точки на присъствие (PoP) наведнъж, които се намират извън сървъра източник. Такава система ще обработва по-бързо масива от входящи заявки, увеличавайки реакцията и скоростта на прехвърляне на всякакви данни.

Проблемът с доставянето на съдържание до потребителите възникна остро в пика на развитието на интернет, т.е. в средата на 90-те години. Сървърите от онова време, чиято производителност не достигаше дори съвременните водещи лаптопи, трудно издържаха на натоварването и не можеха да се справят с непрекъснато нарастващия трафик. Microsoft харчи стотици милиони долари годишно за изследвания, свързани с информационната магистрала (известните 640 KB от Бил Гейтс веднага идват на ум). За да разрешим тези проблеми, трябваше да използваме йерархично кеширане, да преминем от модеми към оптични влакна и да анализираме в детайли мрежовата топология. Ситуацията напомняше стар локомотив, който се втурва по релсите и по пътя се модернизира с всички възможни средства, за да увеличи скоростта.

Още в края на 90-те години собствениците на уеб портали осъзнаха, че за да намалят натоварването и да осигурят необходимите заявки, трябва да използват междинни сървъри. Така се появяват първите CDN, разпространяващи статично съдържание от различни сървъри, географски разпръснати по света. Приблизително по същото време се появи бизнес, базиран на разпределени мрежи. Най-големият (поне един от най-големите) CDN доставчик в света, Akamai, стана пионер в тази област, започвайки своето пътуване през 1998 г. Няколко години по-късно CDN стана широко разпространена и приходите от доставка на съдържание и принос възлизаха на десетки милиони долари месечно.

Днес се натъкваме на CDN всеки път, когато отидем на рекламна страница с голям трафик или комуникираме в социалните мрежи. Услугата се предоставя от: Amazon, Cloudflare, Akamai, както и много други транснационални доставчици. Освен това големите компании са склонни да използват собствени CDN, което им носи редица предимства в скоростта и качеството на доставка на съдържание. Ако Facebook нямаше разпределени мрежи, а се задоволяваше само с първоначален сървър, разположен в Съединените щати, можеше да отнеме значително повече време, за да зареди профил за потребители в Източна Европа.

Няколко думи за CDN и стрийминг

FutureSource Consulting анализира музикалната индустрия и заключи, че през 2023 г. броят на абонаментите за услуги за стрийминг на музика ще достигне почти половин милиард души. Освен това услугите ще получават повече от 90% от приходите си от поточно аудио. Подобна е ситуацията и с видеото, термини като let’s play, онлайн концерт и онлайн кино вече са се наложили в популярния лексикон. Apple, Google, YouTube и много други компании имат свои собствени стрийминг услуги.

В ранното си въвеждане CDN се използва предимно за сайтове със статично съдържание. Статична е информация, която не се променя в зависимост от действията на потребителя, времето и други фактори, т.е. не е персонализиран. Но възходът на стрийминг видео и аудио услуги добави още един често срещан случай на употреба за разпределени мрежи. Междинните сървъри, разположени близо до целевата аудитория по целия свят, позволяват да се осигури стабилен достъп до съдържание по време на периоди на пиково натоварване, елиминирайки липсата на тесни места в Интернет.

Как работи

Същността на всички CDN е приблизително една и съща: използвайте посредници, за да можете да доставяте съдържание на крайния потребител по-бързо. Работи по следния начин: потребителят изпраща заявка за изтегляне на файл, той се получава от CDN сървъра, който прави еднократно повикване до оригиналния сървър и предава съдържанието на потребителя. Успоредно с това CDN кешира файлове за даден период от време и обработва всички последващи заявки от собствения си кеш. По избор те могат също да зареждат предварително файлове от изходния сървър, да коригират периода на задържане на кеша, да компресират тежки файлове и много повече. В най-идеалната ситуация хостът предава целия поток към CDN възел, който вече използва собствените си ресурси, за да доставя съдържание на потребителите. От само себе си се разбира, че ефективното кеширане на информация, както и разпределението на заявките не към един сървър, а към мрежата, ще доведат до по-балансирано натоварване на трафика.

Втората важна характеристика на работата на CDN е намаляването на закъсненията при предаване на данни (известни също като RTT - време за двупосочно пътуване). Установяване на TCP връзка, изтегляне на медийно съдържание, JS файл, стартиране на TLS сесия, всичко това зависи от ping. Очевидно е, че колкото по-близо сте до източника, толкова по-бързо можете да получите отговор от него. В края на краищата дори скоростта на светлината има своя лимит: около 200 хиляди км/сек по оптично влакно. Това означава, че от Москва до Вашингтон забавянето ще бъде около 75 ms в RTT и това е без влиянието на междинното оборудване.

За да разберете по-добре какви проблеми решават мрежите за разпространение на съдържание, ето списък с текущи решения:

• Google, Yandex, MaxCDN (използвайте безплатни CDN за разпространение на JS библиотеки, имате повече от 90 точки на присъствие в повечето страни по света);
• Cloudinary, Cloudimage, Google (клиентски услуги и библиотеки за оптимизация: изображения, видеоклипове, шрифтове и др.);
• Jetpack, Incapsula, Swarmify и др. (оптимизиране на ресурси в системи за управление на съдържание: bitrix, wordpress и др.);
• CDNVideo, StackPath, NGENIX, Megafon (CDN за разпространение на статично съдържание, използвано като мрежи с общо предназначение);
• Imperva, Cloudflare (решения за ускоряване на зареждането на уебсайтове).

Първите 3 вида CDN от списъка са предназначени да прехвърлят само част от трафика от главния сървър. Останалите 2 се използват като пълноценни прокси сървъри с пълно предаване на канали от изходния хост.

На кого и какви ползи носи технологията?

На теория всеки уебсайт, който продава своите продукти/услуги на корпоративни клиенти или физически лица (B2B или B2C), може да се възползва от внедряването на CDN. Важно е неговата целева аудитория, т.е. потребителската база е била извън тяхното географско местоположение. Но дори и това да не е така, мрежите за разпространение ще помогнат с балансирането на натоварването за големи обеми съдържание.

Не е тайна, че няколко хиляди нишки са достатъчни, за да запушат сървърния канал. Следователно разпространението на видео излъчвания до широката публика неизбежно ще доведе до образуването на тясно място - честотната лента на интернет канала. Виждаме същото, когато има много малки, несвързани изображения на уебсайт (предварителни прегледи на продукти, например). Първоначалният сървър използва една TCP връзка, когато обработва произволен брой заявки, което ще постави изтеглянето на опашка. Добавянето на CDN налага разпределянето на заявки в множество домейни и използването на множество TCP връзки, облекчавайки натоварването на канала. А формулата за двупосочно забавяне, дори и в най-тъжните сценарии, дава стойност от 6-7 RRT и приема формата: TCP+TLS+DNS. Това включва също забавяния, свързани с активирането на радиоканала на устройството и предаването на сигнала към клетъчните кули.

След като обобщиха силните страни на технологията за онлайн бизнес, експертите подчертават следните точки:

1. Бързо мащабиране на инфраструктурата + намалена честотна лента. Повече сървъри = повече точки, където се съхранява информация. В резултат на това една точка обработва по-малко трафик за единица време, което означава, че може да има по-малка пропускателна способност. Освен това в действие влизат инструменти за оптимизация, които ви позволяват да се справяте с пиковите натоварвания, без да губите време.
2. По-малко пинг. Вече споменахме, че хората не обичат да чакат дълго в интернет. Следователно високият ping допринася за високи нива на отпадане. Забавянето може да бъде причинено от проблеми с обработката на данни на сървъра, използването на старо оборудване или просто лошо обмислена мрежова топология. Повечето от тези проблеми се решават частично от мрежите за разпространение на съдържание. Въпреки че тук е важно да се отбележи, че реалната полза от внедряването на технологията ще бъде видима само когато „потребителският пинг“ надвиши 80-90 ms, а това е разстоянието от Москва до Ню Йорк.

   

3. Сигурност на данните. DDos (вирусни атаки с отказ на услуга) са насочени към срив на сървъра, за да се получи някаква полза. Един сървър е много по-податлив на уязвимости в информационната сигурност, отколкото разпределена мрежа (инсталирането на инфраструктурата на такъв гигант като CloudFlare не е лесна задача). Благодарение на използването на филтри и правилното разпределение на заявките в мрежата можете лесно да предотвратите изкуствено създадени затруднения с достъпа до легитимен трафик.
4. Бързо разпространение на съдържание и допълнителни сервизни функции. Разпространението на големи количества информация в сървърна мрежа ще направи възможно бързото предаване на офертата до крайния потребител. Отново, не е нужно да търсите далеч за примери - просто помнете Amazon и AliExpress.
5. Възможност за „маскиране“ на проблеми с основния сайт. Няма нужда да чакате, докато DNS се актуализира; можете да го прехвърлите на ново място и да разпространявате предварително кеширано съдържание. Това от своя страна може да подобри толерантността към грешки.

Подредихме предимствата. Сега нека да разгледаме кои ниши се възползват от това.

Рекламен бизнес

Рекламата е двигателят на прогреса. За да предотвратите изгарянето на двигателя, той трябва да бъде умерено натоварен. Така че рекламният бизнес, опитвайки се да се справи с модерния дигитален свят, е изправен пред проблемите на „тежкото съдържание“. Тежките медии се отнасят до мултимедийна реклама (основно анимирани банери и видеоклипове), която изисква висока честотна лента на мрежата. Уебсайт с мултимедия отнема много време за зареждане и може да замръзне, изпробвайки силата на нервите на потребителите. Повечето хора изоставят такива ресурси дори преди да са изтеглили цялата налична информация. Рекламните компании могат да се възползват от CDN, за да решат тези проблеми.

Продажи

Електронната търговия трябва постоянно да разширява географското си покритие. Друг важен момент е борбата с конкурентите, които има много във всеки пазарен сегмент. Ако даден уебсайт не отговаря на изискванията на потребителите (включително отнема много време за зареждане), той няма да бъде популярен и няма да може да носи постоянно високи реализации. Внедряването на CDN трябва да докаже своето предимство при обработката на заявки за данни от различни местоположения. Освен това разпределението на трафика ще помогне за предотвратяване на пикове на трафика и последващи откази на сървъра.

Платформи с развлекателно съдържание

Всички видове платформи за забавление са подходящи тук, от изтегляне на филми и игри до поточно видео. Въпреки факта, че технологията работи със статични данни, поточните данни могат да достигнат до потребителя по-бързо чрез повторители. Отново кеширането на CDN информация е спасение за собствениците на големи портали - мултимедийно хранилище.

Онлайн игри

Интернет игрите трябва да бъдат поставени в отделен раздел. Ако рекламата изисква голяма честотна лента, тогава онлайн проектите са още по-изискващи ресурси. Доставчиците са изправени пред проблем, който има две страни: скорост на достъп до сървъри + осигуряване на висока производителност при игри с красива графика. CDN за онлайн игри е възможност за така наречените „push зони“, където разработчиците могат да съхраняват игри на сървъри, разположени близо до потребителите. Това ви позволява да намалите влиянието на скоростта на достъп до оригиналния сървър и следователно да осигурите удобен геймплей навсякъде.

Защо CDN не е панацея

Въпреки очевидните предимства, не всеки и не винаги се стреми да въведе технологии в своя бизнес. Защо така? Парадоксално, някои недостатъци следват от предимствата, плюс още няколко точки, свързани с разгръщането на мрежата, се добавят. Маркетолозите ще говорят красиво за всички предимства на технологията, като забравят да споменат, че всички те стават безсмислени в широк диапазон от условия. Ако разгледаме по-подробно недостатъците на CDN, си струва да подчертаем:

• Работете само със статика. Да, повечето съвременни уебсайтове имат нисък процент динамично съдържание. Но когато страниците са персонализирани, CDN няма да може да помогне (освен може би да разтовари голямо количество трафик);
• Забавяне на кеширането. Самата оптимизация е едно от основните предимства на дистрибуторските мрежи. Но когато направите промяна на първоначалния сървър, отнема време, преди CDN да я кешира отново във всички свои сървъри;
• Масови блокирания. Ако по някаква причина IP адресът на CDN е забранен, тогава всички сайтове, които се хостват на него, се затварят;
• В повечето случаи браузърът ще направи две връзки (към първоначалния сървър и CDN). И това са допълнителни милисекунди чакане;
• Свързване с IP адреса на проекти (включително несъществуващи), които са му били присвоени преди това. В резултат на това получаваме сложни класации от ботове за търсене на Google и трудности при извеждането на сайта на върха по време на SEO промоция;
• CDN възелът е потенциална точка на повреда. Ако ги използвате, важно е предварително да разберете как работи системното маршрутизиране и какви грешки могат да възникнат при работа със сайта;
• Банално е, но трябва да платите за услуги за доставка на съдържание. Като цяло разходите са пропорционални на обема на трафика, което означава, че може да се наложи контрол за планиране на бюджета.

Важен факт: дори близостта на CDN до потребителя не гарантира нисък пинг. Маршрутът може да бъде изграден от клиент до хост, разположен в друга държава или дори на друг континент. Това зависи от политиката за маршрутизиране на конкретна мрежа и нейната връзка с телекомуникационните оператори (peering). Много големи доставчици на CDN имат множество планове, където цената пряко влияе на близостта на точката на присъствие при доставяне на съдържание до целеви потребители.

Има възможности - стартирайте свой собствен CDN

Не сте доволни от политиките на компаниите, предоставящи мрежови услуги за разпространение на съдържание, но вашият бизнес трябва да се разшири? Ако е възможно, защо не опитате да стартирате свой собствен CDN. Това има смисъл в следните случаи:

• Текущите разходи за разпространение на съдържание не отговарят на очакванията и не са икономически обосновани;
• Имаме нужда от постоянен кеш, без близост до други сайтове на сървъра и канала;
• Целевата аудитория е в регион, където няма CDN точки на присъствие, достъпни за вас;
• Необходимостта от персонализиране на настройките при доставяне на съдържание;
• Има нужда от ускоряване на доставката на динамично съдържание;
• Подозрения за нарушаване на поверителността на потребителите и други незаконни действия от страна на услуги на трети страни.

Стартирането на CDN ще изисква да имате име на домейн, няколко сървъра в различни региони (виртуални или специализирани) и инструмент за обработка на заявки. Не забравяйте да инсталирате SLL сертификати, да настройвате и редактирате програми за обслужване на статично съдържание (Nginx или Apache) и да наблюдавате ефективно цялата система.

Правилната конфигурация на кеширащи проксита е предмет на отделна статия, така че няма да описваме подробно тук: къде и какъв параметър да зададете правилно. Като се имат предвид първоначалните разходи и времето за разгръщане на мрежа, използването на готови решения може да е по-обещаващо. Но е необходимо да се ръководите от текущата ситуация и да планирате няколко стъпки напред.

В резултат на което

CDN е набор от допълнителни възможности за препредаване на вашия трафик към масите. Необходими ли са за онлайн бизнес? Да и не, всичко зависи от това за каква аудитория е предназначено съдържанието и какви цели преследва собственикът на бизнеса.

Регионалните и високоспециализирани проекти ще получат повече недостатъци, отколкото предимства от внедряването на CDN. Заявките пак ще идват първо към изходния сървър, но чрез посредник. Оттук и съмнителното намаление на пинга, но съвсем категоричните месечни разходи за ползване на услугата. Ако имате добро мрежово оборудване, можете лесно да подобрите съществуващите алгоритми за информационна сигурност, да поставите вашите сървъри по-близо до потребителите и да получавате оптимизации и печалби безплатно на постоянна основа.

Но кой наистина трябва да мисли за междинни сървъри са големите компании, чиято инфраструктура не може да се справи с непрекъснато нарастващия поток от трафик. CDN се показва перфектно като технология, която ви позволява бързо да разгърнете мрежа до широка география от потребители, да осигурите удобни облачни игри или да продавате стоки на голяма търговска платформа.

Но дори и при широка географска аудитория е важно да се разбере предварително защо са необходими мрежи за разпространение на съдържание. Ускоряването на уебсайтове все още остава сложна задача, която не може да бъде магически решена чрез внедряване на CDN. Не забравяйте за такива важни характеристики като: крос-платформа, адаптивност, оптимизация на сървърната част, код, изобразяване и др. Предварителният технически одит и адекватните мерки за отстраняване на проблемите все още са оптималното решение за всеки онлайн проект, независимо от неговия фокус и мащаб.

Относно правата на рекламата

Можете да поръчате още сега мощни сървърикоито използват най-новите процесори amd epic. Гъвкави планове - от 1 CPU ядро ​​до безумните 128 CPU ядра, 512 GB RAM, 4000 GB NVMe.

Източник: www.habr.com