Сигурно много хора са чували за Anycast. При този метод на мрежово адресиране и маршрутизиране, един IP адрес се присвоява на няколко сървъра в мрежата. Тези сървъри могат да бъдат дори на голямо разстояние един от друг. Идеята на Anycast е, че в зависимост от местоположението на източника на запитвания, данните се изпращат на най-близкия (в съответствие с топологията на мрежата, по-точно - протокола за маршрутизиране BGP) сървър. Така може да се намали броят на мрежовите преходи (hop) и закъснението (latency).
В същността си, един и същ маршрут се обявява от няколко центрове за данни по целия свят. Така клиентите се изпращат до "най-добрия" и "най-близкия" център въз основа на маршрутите BGP. Защо обаче точно Anycast? Каква е ползата от използването на Anycast вместо Unicast?
Unicast наистина би бил подходящ за сайт с един уеб сървър и умерен трафик. Въпреки това, ако услугата има милиони абонати, обикновено се използват множество уеб сървъри, всеки от които има същия IP адрес. Тези сървъри са географски разпределени за оптимално обслужване на запитванията.
При такъв сценарий Anycast ще донесе подобрение на производителността (трафикът се насочва към потребителя с минимално закъснение), ще осигури надеждност на услугата (поради резервните сървъри) и натоварването ще бъде балансирано - маршрутизацията към няколко сървъра ефективно разпределя натоварването между тях, подобрявайки работата на сайта.
Операторите предлагат на клиентите различни видове балансиране на натоварването на основата на Anycast и DNS. Клиентите могат да посочват IP адресите, на които ще се изпращат запитванията в зависимост от географското местоположение на сайта. Това дава възможност за по-гъвкаво разпределение на запитванията от потребителите.
Да предположим, че има няколко сайта, между които трябва да се разпредели натоварването (потребителите), например интернет магазин с 100 000 запитвания на ден или популярен блог. За да се ограничи региона, от който потребителите влизат в конкретния сайт, може да се използва опцията Geo Community. Тя позволява да се ограничи регионът, в рамките на който операторът ще обяви маршрута.
Anycast и Unicast: разлики
Anycast се използва често в приложения като DNS (система за домейн имена) и CDN (мрежи за доставка на съдържание), позволявайки вземане на решения за маршрутизация, които увеличават производителността на мрежата. Мрежите за доставка на съдържание използват Anycast, тъй като обработват големи обеми трафик, а Anycast предлага редица предимства в този контекст (за тях – по-долу). В DNS Anycast значително повишава нивото на надеждност и устойчивост на услугата.
При Anycast IP с използване на BGP съществуват няколко маршрута към конкретен хост. Всъщност това са копия на хостовете в различни центрове за данни, които се използват за установяване на връзки с по-ниска латентност.
Така в мрежата Anycast един и същ IP адрес се обявява от различни места, а мрежата решава накъде да насочи потребителската заявка, основавайки се на „цената“ на маршрута. Например, често за определяне на най-краткия маршрут за предаване на данни се използва протоколът BGP. Когато потребителят изпраща заявка Anycast, BGP определя най-добрия маршрут за наличните в мрежата Anycast сървъри.
Предимства на Anycast
Намаляване на латентността
Системите с Anycast могат да намалят латентността при обработка на потребителските заявки, тъй като позволяват получаване на данни от най-близкия сървър. Тоест, потребителите винаги ще се свързват с „най-близкия“ (от гледна точка на маршрутизирането) DNS сървър. В резултат на това Anycast намалява времето за взаимодействие чрез намаляване на мрежовото разстояние между клиента и сървъра. Това не само че намалява латентността, но също така предлага баланс на натоварването.
Скорост
Тъй като трафикът се насочва към най-близкия възел и латентността при предаване на данни между клиента и възела намалява, резултатът е оптимизация на скоростта на доставка, независимо откъде клиентът запитва информация.
Повишена стабилност и устойчивост
Ако няколко сървъра по целия свят използват един и същ IP адрес, в случай на повреда на един от сървърите или неговото изключване, трафикът ще бъде пренасочен към най-близкия сървър. В резултат на това Anycast прави услугата по-устойчива и осигурява по-добър достъп до мрежата/латентност/скорост.
Така, благодарение на наличието на множество сървъри, които са постоянно на разположение за потребителите, Anycast, например, увеличава стабилността на работата на DNS. При отказ на възел, потребителските запитвания ще бъдат пренасочени към друг DNS сървър без никакво ръчно вмешателство или пренастройка. Anycast осигурява практически прозрачно прехвърляне на други сайтове, просто премахвайки маршрутите на проблемния сайт.
Натоварване на баланс
В системата Anycast мрежовият трафик се разпределя между различни сървъри. Тоест, тя работи като балансировчик на натоварването, предотвратявайки това, че всеки отделен сървър получава основната част от трафика. Балансировката на натоварването може да се използва, например, когато на едно и също географско разстояние от източника на запитвания се намират няколко мрежови възела. В този случай натоварването се разпределя между възлите.
Намаляване на въздействието на DoS атаки
Друга характеристика на Anycast – устойчивост на DDoS. DDoS атаките едва ли ще успеят да изведат системата Anycast от строя, тъй като би трябвало да потопят с лавина запитвания всички сървъри в такава мрежа.
В DDoS атаките често се използват ботнети, които могат да генерират такъв обем трафик, че да пренатоварят атакувания сървър. Предимството на използването на Anycast в тази ситуация е, че всеки сървър е способен да "погълне" част от атаката, което намалява натоварването на конкретния сървър. Атаката тип "отказ в обслужването" вероятно ще бъде локализирана на сървъра и няма да повлияе на цялата услуга.
Висока хоризонтална скалируемост
Системите Anycast са подходящи за услуги с големи обеми трафик. Ако услуга, използваща Anycast, изисква нови сървъри за обработка на нарастващия трафик, нови сървъри могат да бъдат добавени в мрежата за обработка на трафика. Те могат да бъдат разположени на нови или вече съществуващи площадки.
Ако на конкретно място се наблюдава голямо увеличение на трафика, добавянето на сървър ще помогне за балансиране на натоварването за тази площадка. Добавянето на сървър на нова площадка ще намали времето за изчакване, създавайки за някои потребители най-краткия маршрут. И двата метода също така помагат за увеличаване на стабилността на услугата, тъй като в мрежата стават достъпни нови сървъри. Така, ако сървърът е претоварен, може просто да бъде разположен друг в местоположение, което ще му позволи да приеме част от заявките от претоварения сървър. В същото време не се изисква настройка от страна на клиентите.
Само по този начин може да се обслужват терабайти трафик и много голям брой потребители, когато на сървъра има едва няколко порта от 10 или 25 Гбит/с. 100 хостове с един IP адрес ще дадат възможност за обработка на терабайтни обеми трафик.
Лесно управление на конфигурацията
Както вече беше отбелязано, интересно приложение на Anycast е DNS. Могат да бъдат разположени различни DNS сървъри в възлите на мрежата, но да се използва един DNS адрес. В зависимост от местоположението на източника, заявките се насочват към най-близкия възел. Това осигурява известна балансировка на трафика и излишност в случай на отказ на DNS сървъра. Така вместо да се настройват различни DNS сървъри в зависимост от тяхното местоположение, конфигурацията на един DNS сървър може да бъде разпространена на всички възли.
Anycast мрежите могат да бъдат настроени за маршрутизиране на заявки не само въз основа на разстоянието, но и по параметри като наличността на сървъра, броя на установените връзки, или времето за отговор.
За използването на Anycast технологията от страна на клиента не са необходими специални сървъри, мрежи или специализирани компоненти. Но Anycast има и недостатъци. Смята се, че неговото внедряване е сложна задача, която изисква допълнително оборудване, надеждни доставчици и правилно маршрутизиране на трафика.
От чистия източник в прекрасното далечие
Въпреки че Anycast насочва потребителите на база на минималния брой преминавания, това не означава непременно минимално забавяне. Забавянето е по-комплексна метрика, тъй като при едно преминаване то може да бъде по-високо, отколкото при десет.
Пример: межконтиненталните комуникации могат да включват един преход с много висока латентност.
Anycast се използва основно за услуги на базата на UDP, като DNS. Запросите от потребителите се насочват към „най-добрия“ и „най-близкия“ ЦОД въз основа на BGP маршрути.
Пример: работна станция на DNS-клиента с IP адрес Anycast DNS 123.10.10.10, извършва резолвиране на DNS за най-близкия от трите DNS сървъра, внедрени с помощта на същия IP адрес Anycast. В случай на неизправност на маршрутизатора R1 или сървъра A, пакетите на DNS-клиента автоматично ще бъдат пренасочени към следващия най-близък DNS-сървър чрез маршрутизаторите R2 и R3. Освен това, маршрутът към нашия сървър A ще бъде премахнат от таблиците за маршрутизиране, което ще предотврати по-нататъшното използване на този DNS сървър.
Сценарии на внедряване
Съществуват две общи схеми, които се използват за определяне на кой сървър се свързва потребителят:
- Anycast на мрежово ниво. Свързва потребителя с най-близкия сървър. Тук важен е мрежовият маршрут от потребителя до сървъра.
- Anycast на приложение ниво. В тази схема има повече изчисляеми метрики, включително наличност на сървъра, време за отговор, брой на връзките и т.н. Това зависи от външен монитор, който предоставя статистика за мрежата.
CDN на базата на Anycast
Нека сега се върнем към използването на Anycast в мрежи за доставка на съдържание. Anycast определено представлява интересна мрежова концепция и получава все по-голямо признание от новото поколение CDN доставчици.
CDN е разпределена мрежа от сървъри, които доставят съдържание на крайни потребители с висока наличност и ниска латентност. Мрежите за доставка на съдържание играят важна роля днес, като основа на многобройни онлайн мултимедийни услуги, а потребителите стават все по-малко търпеливи към бавните скорости на зареждане. Видеото и гласовите приложения са особено чувствителни към джитър и латентност в мрежата.
CDN обединява всички сървъри в една мрежа и осигурява по-бързо зареждане на съдържание. Понякога успява да намали времето на изчакване на потребителя с 5-6 секунди. Целта на CDN е оптимизация на доставката чрез предоставяне на съдържание от сървър, който е най-близо до крайния потребител. Това е много подобно на Anycast, където се избира най-близкият сървър в зависимост от местоположението на крайния потребител. Изглежда, че всеки доставчик на услуги CDN по подразбиране ще използва Anycast, но всъщност не е така.
Приложенията, които използват протоколи като HTTP/TCP, разчитат на установяването на връзка. Ако бъде избран нов възел Anycast (например, при отказ на сървър), обслужването може да бъде прекъснато. Поради това Anycast по-рано се препоръчваше за услуги без установяване на връзка като UDP и DNS. Въпреки това, Anycast работи добре и за протоколи, ориентирани към връзка, например TCP функционира отлично в режим Anycast.
Някои доставчици на CDN използват маршрутиране на базата на Anycast, други предпочитат маршрутиране на базата на DNS: най-близкият сървър се избира в зависимост от местоположението на DNS-сървъра на потребителя.
Хибридните инфраструктури и инфраструктурите с множество центрове за данни са още един пример за приложение на Anycast. Полученият от доставчика адрес Load Balancing IP позволява разпределяне на натоварването между IP-адресите на различни услуги на клиентите в ЦОД на доставчика. Благодарение на технологията на адресация, всяко устройство получава по-добра производителност при значителен трафик, отказоустойчивост и помага за оптимизиране на времето за реакция при голям брой потребители.
В хибридни инфраструктури с множество центрове за данни може да се разпредели трафикът между сървъри или дори виртуални машини на отделени сървъри.
Така че има огромен избор от технически решения за изграждане на инфраструктура. Може също така да се настрои балансиране на натоварването по IP-адреси в няколко центрове за данни, използвайки адресация към всяко устройство в група за оптимизиране на работата на сайта.
Можете да разпределяте трафика според собственните правила, определявайки "теглото" на всеки от разпределените сървъри в всеки ЦОД. Тази конфигурация е особено полезна, когато имате разпределен сървърен парк и производителността на услугите не е равномерна. Това ще позволи по-често разпределение на трафика за повишаване на производителността на сървърите.
За създаване на система за контрол чрез командата ping има възможност за конфигуриране на сензори. Това позволява на администратора да определи собствени процедури за контрол и да получи по-ясно представяне на състоянието на всеки компонент в инфраструктурата. По този начин могат да се определят критерии за достъпност.
Съществува възможност за изграждане на хибридна инфраструктура: понякога е удобно да оставите бекофиса в корпоративната мрежа, а интерфейсната част да се предаде на аутсорсинг на доставчика.
Има възможност да добавите SSL сертификати за баланс на натоварването, шифроване на предаваните данни и сигурност на връзката между посетителите на сайта и корпоративната инфраструктура. При балансирането на натоварването между ЦОД може също да се прилага SSL.
Услугата Anycast с баланс на натоварването на адреси може да бъде предоставена от доставчика. Тази функция ще помогне за подобряване на алгоритъма за взаимодействие на потребителите с приложенията в зависимост от местоположението. Достатъчно е да обявите какви услуги има в ЦОД и трафикът ще бъде пренасочен към най-близката инфраструктура. Ако има выделени сървъри, например, във Франция или Северна Америка, то клиентите ще бъдат насочени към най-близкия сървър в мрежата.
Един от вариантите за използване на Anycast е оптимален избор на точка на присъствие на оператора (PoP). Даваме пример. . LinkedIn (блокиран в Русия) се стреми не само да подобри производителността и скоростта на своите продукти — мобилни и уеб приложения, но и да усъвършенства мрежовата инфраструктура за бърза доставка на съдържание. За това динамичната доставка на съдържание LinkedIn активно използва PoP – точки на присъствие. За да насочи потребителите към най-близкия PoP, се прилага Anycast.
Причината е, че при Unycast всяка PoP на LinkedIn има уникален IP адрес. След това потребителите се назначават на PoP в зависимост от географското им местоположение с помощта на DNS. Проблемът е, че при използване на DNS около 30% от потребителите в Съединените щати биват пренасочвани към неоптимален PoP. Благодарение на поетапното внедряване на Anycast неоптималното назначаване на PoP намаля от 31% на 10%.
Резултатите от пилотния тест са показани на графиката, където оста Y е процентът на оптималното назначаване на PoP. С увеличаването на Anycast в различни щати на САЩ се наблюдава подобрение в процента на трафика към оптималния PoP.
Мониторинг на мрежата Anycast
Теоретично мрежите Anycast са прости: на няколко физически сървъра се назначава един и същ IP адрес, който BGP използва за определяне на маршрута. Но реализацията и дизайна на Anycast платформите са сложни, особено известни със своите отказоустойчиви мрежи Anycast. Още по-сложно е ефективното мониторинг на мрежата Anycast за бързо откриване и локализиране на проблеми.
Ако услугите използват трети доставчик на CDN за поддържане на съдържанието си, е много важно да следят и проверяват производителността на мрежата. При мониторинг на CDN, базиран на Anycast, основните акценти са измерването на закъсненията и характеристиките на предпоследния преминаващ елемент, за да се разбере кой дата център обслужва съдържанието. Анализът на заглавията на HTTP сървъра е още един начин да се определи откъде идват данните.
Пример: заглавия на отговори HTTP, указващи местоположението на CDN сървъра.
Например, CloudFlare използва собствен заглавен CF-Ray в HTTP отговорите, който включва указание за дата центъра, към който е направено запитването. В случая на Zendesk, заглавието CF-Ray за региона Сиатъл е CF-RAY: 2a21675e65fd2a3d-SEA, а за Амстердам — CF-RAY: 2a216896b93a0c71-AMS. За да се определи къде се намира съдържанието, също могат да се използват HTTP-X-заглавия от HTTP отговорите.
Други методи за адресация
Съществуват и други методи за адресация за маршрутизиране на потребителските запитвания към конкретна крайна точка в мрежата:
Unicast
Повечето от интернет днес използва именно този метод. Unicast е едноадресна предаване, IP адресът е свързан само с един конкретен възел в мрежата. Това се нарича взаимно-однозначно съответствие.
Multicast
Мултикаст използва връзката "един към много от много" или "много към много". Мултикастът позволява да изпращате заявки от подател до различни избрани крайни точки едновременно. Това дава на клиента възможност да изтегля файлове на парчета от няколко хоста едновременно (което е полезно за стрийминг на аудио или видео). Мултикаст често се бърка с анкаст, но основната разлика е, че анкаст насочва подателя към един конкретен възел, дори когато имат достъп до няколко възела.
Broadcast
Датаграмата от единствен подател се изпраща до всички крайни точки, свързани с широковещателния адрес. Мрежата автоматично репликира датаграмите, за да може да се свърже с всички получатели в широковещателната разпространение (обикновено в една подмрежа).
Геокаст
Геокаст до известна степен прилича на мултикаст: заявки от подателя се изпращат едновременно до няколко крайни точки. Въпреки това, различието е, че адресатът се определя от географското му местоположение. Това е специализирана форма на групова адресация, използвана от някои маршрутизиращи протоколи за мобилни пирингови мрежи.
Гео маршрутизатор (Geo Router) изчислява своя район на обслужване и го апроксимира. Геомаршрутизаторите, обменяйки области на обслужване, изграждат таблици за маршрутизиране. Системата на геомаршрутизаторите има йерархична структура.
Уникаст, мултикаст и широковещателно разпространение.
Използването на технологията анкаст повишава нивото на надеждност, устойчивост на откази и сигурност на DNS. Чрез тази технология операторите предлагат на своите клиенти услуги за различни видове натоварване на базата на DNS. В контролния панел можете да зададете IP адреси, на които ще се изпращат запитвания в зависимост от географската локализация. Това ще даде на клиентите възможност по-гъвкаво да разпределят потребителските заявки.
Някои оператори прилагат средства за мониторинг на маршрута на всяка точка на присъствие (POP): системата автоматично анализира най-кратките местни и глобални маршрути за точките на присъствие и ги пренасочва през географски местоположения с най-ниска латентност и нулево време на престой.
В момента Anycast е най-стабилното и надеждно решение за изграждане на високонагружени DNS услуги, които имат високи изисквания за устойчивост и надеждност.
.ru домейнът поддържа 35 Anycast DNS сървъра, групирани в 20 точки, разпределени в пет Anycast облака. При това се използва принципът на изграждане по географски признак, т.е. Geocast. При разполагането на DNS възлите се предвижда да се изнесат в географски разпръснати локации, близки до най-активните потребители, максимална концентрация на руски доставчици в точките на разполагане на възлите, както и наличието на свободни капацитети и удобство за взаимодействие с площадката.
Как да изградим CDN?
CDN — мрежа от сървъри, която ускорява доставката на съдържание на потребителите. обединява всички сървъри в една мрежа и осигурява по-бързо зареждане на съдържанието. Времето за зареждане се влияе значително от разстоянието между сървера и потребителя.
CDN позволява използването на сървъри, които са най-близо до целевата аудитория. Това съкращава времето за изчакване, помага да се ускори зареждането на съдържанието на сайтовете за всички посетители, което е особено критично за сайтове с големи файлове или мултимедийни услуги. Типични области на приложение на CDN са електронната търговия и сферата на развлеченията.
Създадената в инфраструктурата на CDN мрежа от допълнителни сървъри, разположени максимално близо до потребителите, допринася за по-стабилна и бърза доставка на данни. Според статистиката, използването на CDN намалява забавянето при достъпа до сайта с повече от 70% в сравнение със сайтове без CDN.
Как? Настройка CDN с использованием собственного решения Anycast может быть достаточно дорогим проектом, но есть более дешевые варианты. Например, можно использовать GeoDNS и обычные серверы с уникальными IP-адресами. С помощью сервисов GeoDNS можно создать CDN с функциями геолокации, в которой решения принимаются на основе реального местоположения посетителя, а не местоположения ресолвера DNS. Можно настроить свою DNS-зону так, чтобы показывать IP-адреса американских серверов посетителям из США, а европейские посетители будут видеть IP-адрес из Европы.
С помощта на GeoDNS може да се връщат различни отговори на DNS в зависимост от IP адреса на потребителя. За това DNS сървърът се настройва да връща различни IP адреси в зависимост от изходящия IP адрес на заявката. Обикновено за определяне на региона, откъдето е направена заявката, се използва база данни GeoIP. Геолокацията с помощта на DNS позволява изпращането на съдържание на потребителите от най-близкия сайт.
GeoDNS определява IP адреса на клиента, който е изпратил DNS запитване, или IP адреса на рекурсивния DNS сървър на доставчика, който се използва при обработката на клиентското запитване. На базата на IP адреса на клиента и базата GeoIP се определя страната/регионът. След това клиентът получава IP адреса на най-близкия CDN сървър. За настройките на GeoDNS можете да прочетете повече..
Anycast или GeoDNS?
Въпреки че Anycast е отличен начин за доставка на съдържание в глобален мащаб, му липсва специфичност. Тук на помощ идва GeoDNS. Тази услуга позволява създаването на правила, които насочват потребителите към уникални крайни точки в зависимост от местоположението им.
Пример: Потребителите от Европа са насочени към друга крайна точка.
Също така можете да забраните достъпа до домейни, отхвърляйки всички запитвания. Това е бърз начин да се отсеят злонамерени лица.
GeoDNS дава по-точни отговори от Anycast. Докато при Anycast най-краткият маршрут се определя по брой на хоповете, в GeoDNS маршрутизацията за крайните потребители става в зависимост от тяхното физическо местоположение. Това намалява забавянето и повишава точността при създаването на грануларни правила за маршрутизация.
При преминаване към домейн, браузърът се свързва с най-близкия DNS сървър, който, в зависимост от домейна, предоставя IP адрес за зареждане на сайта. Да предположим, че интернет магазинът е популярен в САЩ и Европа, а DNS сървърите за него са само в Европа. Тогава потребителите от САЩ, които искат да се възползват от услугите на магазина, ще трябва да изпратят запитване към най-близкия сървър, а тъй като той се намира много далеч, отговорът ще отнеме време - зареждането на сайта няма да бъде бързо.
При разполагане на GeoDNS сървър в САЩ, потребителите ще се свържат директно с него. Отговорът ще бъде бърз, което ще повлияе на скоростта на зареждане на сайта.
В ситуация с вече съществуващ DNS сървър в САЩ, при преминаване към този домейн, потребител от САЩ ще се свърже с най-близкия сървър, който ще предостави нужния IP адрес. Потребителят ще бъде насочен към сървър, който съдържа съдържанието на сайта, но тъй като сървърите с него са далеч, той бързо няма да го получи.
Ако разположите сървъри в САЩ и CDN сървъри с кеширани данни, то при зареждане браузърът на клиента ще изпрати запитване към най-близкия DNS сървър, който ще върне необходимия IP адрес. Браузърът с полученото IP ще се свърже с най-близкия CDN сървър и основния сървър, и CDN сървърът ще предаде кешираното съдържание на браузъра. Докато се зарежда кешираното съдържание, от основния сървър се получават липсващите файлове за пълно зареждане на сайта. В резултат на това времето за зареждане на сайта намаляват, тъй като файловете, изпратени от основния сървър, са значително по-малко.
Определянето на точното местоположение на определен IP адрес не винаги е лесна задача: действат много фактори, а притежателите на IP диапазони може да решат да обявят адреса на другия край на света (тогава ще трябва да изчакате базата данни да се обнови, за да получите точното местоположение). Понякога доставчиците на VPS назначават адреси, които предполагат, че се намират в САЩ, за VPS в Сингапур.
В отличие от използването на адреси Anycast, разпределението се извършва по време на разрешаването на имена, а не по време на свързването със сървъра за кеширане. Ако рекурсивният сървър не поддържа клиентски подмрежи EDNS, тогава се използва местоположението на този рекурсивен сървър, а не на потребителя, който ще се свързва със сървъра за кеширане.
Клиентските подмрежи в DNS са разширение на DNS (RFC7871), което определя как рекурсивните DNS сървъри могат да изпращат информация за клиента на DNS сървъра, по-специално информация за мрежата, която GeoDNS сървърът може да използва за по-точно определяне на местоположението на клиента.
Повечето използват DNS сървърите на своя интернет доставчик или DNS сървъри, които географски са близо до тях, но ако някой в САЩ по някаква причина реши да използва DNS резолвер, разположен в Австралия, най-вероятно ще получи IP адреса на сървъра, най-близък до Австралия.
Ако искате да използвате GeoDNS, е важно да знаете за такива особености, тъй като в някои случаи това може да увеличи разстоянието между сървърите за кеширане и клиента.
Резюме: ако искате да обедините няколко VPS в CDN, най-добрият вариант за разгръщане е използването на комбинация от DNS сървър с функция GeoDNS + Anycast "от кутията".
Източник: habr.com
