Про Anycast напевно багато хто чув. При цьому методі мережної адресації та маршрутизації одна IP-адреса присвоюється кільком серверам в мережі. Ці сервери можуть бути навіть у віддалених один від одного ЦОД. Ідея Anycast у тому, що, залежно від розташування джерела запитів, дані відправляються на найближчий (відповідно до топології мережі, точніше — протоколу маршрутизації BGP) сервер. Таким чином, можна зменшити кількість мережевих переходів (hop) та затримку (latency).
По суті, оголошується один і той же маршрут із кількох центрів обробки даних по всьому світу. Таким чином, клієнти будуть відправлені до «кращого» та «найближчого» виходячи з маршрутів BGP, центр обробки даних. Чому все ж таки саме Anycast? Навіщо використовувати Anycast замість Unicast?
Unicast дійсно підійде для сайту з одним веб-сервером та помірним обсягом трафіку. Однак якщо у сервісу мільйони передплатників, то він зазвичай використовує безліч веб-серверів, кожен з яких має ту саму IP-адресу. Ці сервери розподілені географічно оптимального обслуговування запитів.
За такого сценарію Anycast дасть поліпшення продуктивності (трафік спрямовується користувачеві з мінімальною затримкою), забезпечить надійність сервісу (завдяки резервним серверам) та балансування навантаження — маршрутизація на кілька серверів ефективно розподілить навантаження між ними, покращуючи швидкість роботи сайту.
Оператори пропонують клієнтам різного виду балансування навантаження на основі Anycast та DNS. Клієнти можуть вказувати IP-адреси, на які надсилатимуться запити в залежності від географічного розташування сайту. Це дає можливість гнучкіше розподіляти запити користувачів.
Припустимо, є кілька майданчиків, між якими потрібно розподілити навантаження (користувачів), наприклад інтернет-магазин зі 100 000 запитами на день або популярний блог. Для обмеження регіону, звідки користувачі заходять на конкретний майданчик, можна скористатися функцією Geo Community. Вона дозволяє обмежити регіон, у межах якого оператор анонсуватиме маршрут.
Anycast та Unicast: відмінності
Anycast часто використовується в таких додатках, як DNS (система доменних імен) та CDN (мережі доставки контенту), дозволяючи приймати рішення про маршрутизацію, що підвищує продуктивність мережі. Мережі доставки контенту використовують Anycast, оскільки мають справу з великими обсягами трафіку, а Anycast дає в цьому випадку ряд переваг (про них нижче). У DNS Аnycast дозволяє суттєво підвищити рівень надійності та відмовостійкості сервісу.
У Anycast IP під час використання BGP існує кілька маршрутів до конкретного хосту. Насправді це копії хостів у кількох центрах обробки даних, які використовуються для встановлення з'єднань з нижчою затримкою.
Отже, в мережі Anycast одна і та ж IP-адреса оголошується з різних місць, і мережа вирішує, куди направити запит користувача виходячи із «вартості» маршруту. Наприклад, часто для визначення найкоротшого маршруту передачі даних застосовується протокол BGP. Коли користувач надсилає запит Anycast, BGP визначає найкращий маршрут для доступних у мережі Anycast серверів.
Переваги Anycast
Зменшення затримки
Системи з Anycast здатні знизити затримку при обробці запитів користувача, оскільки дозволяють отримувати дані з найближчого сервера. Тобто користувачі завжди підключатимуться до «найближчого» (з погляду протоколу маршрутизації) DNS-сервера. В результаті Anycast знижує час взаємодії за рахунок зменшення відстані між клієнтом і сервером. Це не тільки зменшує затримку, але й забезпечує балансування навантаження.
Швидкість
Оскільки трафік спрямовується на найближчий вузол і зменшується затримка при передачі даних між клієнтом та вузлом, результатом буде оптимізація швидкості доставки, незалежно від того, звідки клієнт запитує інформацію.
Підвищена стабільність та відмовостійкість
Якщо кілька серверів по всьому світу використовують один і той же IP, то у разі збою одного із серверів або його відключення трафік буде перенаправлено на найближчий сервер. В результаті Anycast робить сервіс більш стійким та забезпечує кращий доступ до мережі/затримку/швидкість.
Таким чином, завдяки наявності декількох серверів, що постійно доступні для користувачів, Anycast, наприклад, підвищує стабільність роботи DNS. У разі відмови вузла запити користувача будуть перенаправлені на інший сервер DNS без будь-якого ручного втручання або переналаштування. Anycast забезпечує практично прозоре перемикання на інші сайти, просто забираючи маршрути проблемного сайту.
Балансування навантаження
У системі Anycast мережний трафік розподіляється на різних серверах. Тобто вона працює як балансувальник навантаження, запобігаючи тому, щоб будь-який окремий сервер отримував основний обсяг трафіку. Балансування навантаження може використовуватися, наприклад, коли на тій самій географічній відстані від джерела запитів знаходиться кілька мережних вузлів. І тут навантаження розподіляється по вузлам.
Зниження впливу DoS-атак
Інша особливість Anycast – стійкість до DDoS. DDoS-атакам навряд чи вдасться вивести з ладу систему Anycast, оскільки довелося б придушити лавиною запитів усі сервери в такій мережі.
У DDoS-атаках часто застосовуються ботнети, які можуть генерувати такий обсяг трафіку, що він перевантажує сервер, що атакується. Перевага використання Anycast у цій ситуації полягає в тому, що кожен сервер здатний "поглинати" частину атаки, що знижує навантаження на конкретний сервер. Атака типу "відмова в обслуговуванні", швидше за все, буде локалізована на сервері і не вплине на весь сервіс.
Висока горизонтальна масштабованість
Системи Anycast добре підходять для сервісів із великими обсягами трафіку. Якщо сервіс, що використовує Anycast, вимагає нових серверів для обробки трафіку, що зростає, в мережу для його обробки можна додати нові сервери. Їх можна розміщувати на нових чи вже існуючих майданчиках.
Якщо в конкретному місці спостерігається велике зростання трафіку, додавання сервера допоможе збалансувати навантаження для даного майданчика. Додавання сервера на новий майданчик допоможе скоротити час очікування, створивши для деяких користувачів новий найкоротший маршрут. Обидва способи допомагають підвищити стабільність сервісу, оскільки в мережі стають доступними нові сервери. Таким чином, якщо сервер перевантажений, можна просто розгорнути інший у тому місці, яке дозволить йому приймати певну частку запитів сервера, що перевантажується. При цьому не потрібне налаштування з боку клієнтів.
Тільки в такий спосіб можна обслужити терабіти трафіку і дуже велику кількість користувачів, коли на сервері лише кілька портів 10 або 25 Гбіт/с. 100 хостів з однією IP-адресою дадуть можливість обробити терабітні обсяги трафіку.
Простота керування конфігурацією
Як зазначалося вище, цікаве використання Anycast — DNS. Можна розмістити у вузлах мережі кілька різних DNS-серверів, але використовувати одну DNS-адресу. Залежно від того, де знаходиться джерело, запити надсилаються до найближчого вузла. Це забезпечує деяке балансування трафіку та надмірність у разі відмови DNS-сервера. Таким чином, замість того, щоб налаштовувати різні DNS-сервери залежно від того, де вони знаходяться, можна поширити конфігурацію одного DNS-сервера на всі вузли.
Мережі Anycast можна налаштувати для маршрутизації запитів не лише на основі відстані, але й за такими параметрами, як наявність сервера, кількість встановлених з'єднань. або час відповіді.
Для використання технології Anycast з боку клієнта не потрібно жодних спеціальних серверів, мереж чи спеціальних компонентів. Але є у Anycast і мінуси. Вважається, що його впровадження — складне завдання, яке потребує додаткового обладнання, надійних провайдерів та правильної маршрутизації трафіку.
Від чистого витоку до прекрасного далеко
Хоча Anycast надсилає користувачів на основі найменшої кількості переходів, це не обов'язково означає мінімальну затримку. Затримка — складніша метрика, оскільки в одного переходу вона може бути вищою, ніж десять.
Приклад: міжконтинентальні комунікації можуть включати один перехід із дуже високою затримкою.
Anycast в основному використовується для служб на основі UDP, таких як DNS. Запити користувачів направляються до «кращого» та «найближчого» ЦОД на основі маршрутів BGP.
Приклад: робоча станція DNS-клієнта з IP-адресою Anycast DNS 123.10.10.10 виконує дозвіл DNS для найближчого з трьох серверів імен DNS, розгорнутих з використанням тієї ж IP-адреси Anycast. У разі збою маршрутизатора R1 або сервера A пакети DNS-клієнта будуть автоматично перенаправлені на наступний DNS-сервер через маршрутизатори R2 і R3. Крім того, маршрут до нашого сервера A буде видалено з таблиць маршрутизації, що запобігатиме подальшому використанню цього сервера імен.
Сценарії розгортання
Існують дві загальні схеми, які використовуються для визначення того, до якого сервера підключається користувач:
- Anycast мережного рівня. Поєднує користувача з найближчим сервером. Тут важливий шлях мережі від користувача до сервера.
- Anycast рівня програми. У цій схемі більше обчислюваних метрик, включаючи доступність сервера, час відповіді, кількість підключень тощо. Це залежить від зовнішнього монітора, який надає статистику мережі.
CDN на основі Anycast
Повернімося до використання Anycast в мережах доставки контенту. Anycast, безумовно, є цікавою мережевою концепцією і отримує все більше визнання у провайдерів CDN нового покоління.
CDN - розподілена мережа серверів, які доставляють контент кінцевим користувачам з високою доступністю та низькою затримкою. Мережі доставки контенту відіграють сьогодні важливу роль, будучи основою численних мультимедійних онлайн-сервісів, а споживачі менш терпимі до повільних швидкостей завантаження. Відео та голосові програми особливо чутливі до джиттера та затримки в мережі.
CDN об'єднує всі сервери в одну мережу та забезпечує більш швидке завантаження контенту. Іноді вдається скоротити час очікування на 5-6 секунд. Метою CDN є оптимізація доставки шляхом надання контенту із сервера, який знаходиться найближче до кінцевого користувача. Це дуже схоже на Anycast, де вибирається найближчий сервер залежно від розташування кінцевого користувача. Здавалося б, кожен постачальник послуг CDN за промовчанням використовуватиме Anycast, але насправді це не так.
Програми, що використовують протоколи, такі як HTTP/TCP, покладаються на з'єднання, що встановлюється. Якщо вибрати новий вузол Anycast (наприклад, при відмові сервера), обслуговування може бути перервано. Саме тому раніше Anycast рекомендувався для таких служб без встановлення з'єднання як UDP і DNS. Тим не менш, Anycast добре працює і для протоколів, орієнтованих на з'єднання, наприклад, TCP відмінно функціонує в режимі Anycast.
Деякі провайдери CDN використовують маршрутизацію на основі Anycast, інші віддають перевагу маршрутизації на основі DNS: найближчий сервер вибирається залежно від того, де розташований DNS-сервер користувача.
Гібридні інфраструктури з кількома центрами обробки даних – ще один приклад застосування Anycast. Одержувана від провайдера адреса Load Balancing IP дозволяє розподіляти навантаження між IP-адресами різних сервісів клієнтів у ЦОД провайдера. Завдяки технології адресації будь-якого пристрою, це забезпечує кращу продуктивність при значному трафіку, стійкість до відмов і допомагає оптимізувати час відгуку при великій кількості користувачів.
У гібридних інфраструктурах з кількома центрами обробки даних можна розподілити трафік між серверами чи навіть віртуальними машинами на виділених серверах.
Таким чином, є великий вибір технічних рішень для побудови інфраструктури. Також можна настроїти балансування навантаження за IP-адресами в декількох центрах обробки даних, використовуючи адресацію будь-якого пристрою групи для оптимізації роботи сайту.
Можна розповсюджувати трафік відповідно до власних правил, визначаючи «вагу» кожного з розподілених серверів у кожному ЦОД. Така конфігурація особливо корисна, коли є розподілений серверний парк, а продуктивність сервісів неоднакова. Це дозволить частіше розподіляти трафік підвищення продуктивності серверів.
Для створення системи контролю за допомогою команди ping можна конфігурувати зонди. Це дозволяє адміністратору визначити власні процедури контролю та отримувати чіткіше уявлення про стан кожного компонента в інфраструктурі. У такий спосіб можна визначати критерії доступності.
Існує можливість побудови гібридної інфраструктури: іноді зручно бекофіс залишити у корпоративній мережі, а інтерфейсну частину передати на аутсорсинг провайдеру.
Є можливість додати сертифікати SSL для балансування навантаження, шифрування переданих даних та безпеки зв'язку між відвідувачами сайту та корпоративною інфраструктурою. У разі балансування навантаження між ЦОД також можна використовувати SSL.
Послугу Anycast з балансуванням навантаження адрес можна отримати у провайдера. Ця функція допоможе покращити алгоритм взаємодії користувачів із додатками залежно від розташування. Достатньо оголосити, які послуги є в ЦОД, і трафік буде перенаправлений на найближчу інфраструктуру. Якщо є виділені сервери, наприклад, у Франції чи Північній Америці, клієнти будуть направлені на найближчий сервер у мережі.
Один із варіантів використання Anycast – оптимальний вибір точки присутності оператора (PoP). Наведемо . LinkedIn (заблокований у Росії) прагне не лише покращувати продуктивність та швидкість своїх продуктів – мобільних та веб-додатків, а й удосконалювати мережеву інфраструктуру для прискореної доставки контенту. Для цього динамічної доставки контенту LinkedIn активно використовує PoP – точки присутності. Щоб направити користувачів до найближчого PoP, застосовується Anycast.
Причина в тому, що у випадку Unycast кожна PoP LinkedIn має унікальну IP-адресу. Потім користувачі призначаються PoP залежно від їхнього географічного розташування за допомогою DNS. Проблема в тому, що під час використання DNS близько 30% користувачів у Сполучених Штатах перенаправлялися до неоптимального PoP. Завдяки поетапному впровадженню Anycast, неоптимальне призначення PoP впало з 31% до 10%.
Результати пілотного тесту показані на графіку, де вісь Y — відсоток оптимального призначення PoP. У міру "нарощування" Anycast у багатьох штатах США спостерігалося поліпшення у відсотках трафіку до оптимальної PoP.
Моніторинг мережі Anycast
Теоретично мережі Anycast прості: кільком фізичним серверам призначається та сама IP-адреса, який BGP використовує визначення маршрута. Але реалізація та проектування платформ Anycast складні, особливо цим «славляться» стійкі до відмови мережі Anycast. Ще більш складним є ефективний моніторинг мережі Anycast для швидкого виявлення та локалізації несправностей.
Якщо послуги використовують для обслуговування свого контенту стороннього провайдера CDN, їм дуже важливо відстежувати та перевіряти продуктивність мережі. При моніторингу CDN на основі Anycast основна увага приділяється виміру наскрізних затримок та характеристик передостаннього переходу, щоб зрозуміти, який центр обробки даних обслуговує контент. Аналіз заголовків HTTP-сервера - це ще один спосіб визначити, звідки надходять дані.
Приклад: заголовки відповіді HTTP, що вказують на розташування сервера CDN.
Наприклад, CloudFlare використовує власний заголовок CF-Ray у повідомленнях HTTP Response, який включає вказівку центру обробки даних, до якого надійшов запит. У випадку Zendesk заголовок CF-Ray для регіону Сіетла є CF-RAY: 2a21675e65fd2a3d-SEA, а для Амстердама - CF-RAY: 2a216896b93a0c71-AMS. Для визначення вмісту вмісту також можна використовувати HTTP-X-заголовки з HTTP-відповіді.
Інші методи адресації
Існують і інші методи адресації для маршрутизації запитів користувача до конкретної кінцевої точки мережі:
Одноадресний
Більшість інтернету сьогодні використовує саме цей метод. Unicast – одноадресна передача, IP-адреса пов'язана лише з одним конкретним вузлом у мережі. Це називають взаємно-однозначною відповідністю.
Multicast
Multicast використовує зв'язок "один до багатьох з багатьох" або "багато до багатьох". Багатоадресне розсилання дозволяє відправляти запит від відправника одночасно на різні вибрані кінцеві точки. Це дає клієнту можливість завантажувати файл порціями з кількох хостів одночасно (що корисно для потокової передачі аудіо або відео). Multicast часто плутають з Anycast, Однак основна відмінність полягає в тому, що Anycast направляє відправника до одного конкретного вузла, навіть якщо є кілька вузлів.
Віщати
Датаграма від єдиного відправника прямує на всі кінцеві точки, пов'язані з широкомовною адресою. Мережа автоматично реплікує дейтаграми, щоб мати можливість зв'язатися з усіма одержувачами в широкомовному розсиланні (зазвичай в одній підмережі).
Geocast
Geocast певною мірою схожий на Multicast: запити від відправника надсилаються одночасно кільком кінцевим точкам. Проте відмінність у тому, що адресат визначається його географічним розташуванням. Ця спеціалізована форма групової адресації використовується деякими протоколами маршрутизації мобільних однорангових мереж.
Географічний маршрутизатор (Geo Router) обчислює свою зону обслуговування та апроксимує її. Геомаршрутизатори, обмінюючись зонами обслуговування, будують таблиці маршрутизації. Система геомаршрутизаторів має ієрархічну структуру.
Unicast, Multicast та Broadcast.
Використання технології Anycast підвищує рівень надійності, відмовостійкості та безпеки DNS. Використовуючи цю технологію, оператори пропонують своїм клієнтам послуги з різних видів балансування навантаження на основі DNS. В панелі керування можна вказувати IP-адреси, на які надсилатимуться запити залежно від географічної локалізації. Це дозволить клієнтам більш гнучко розподіляти запити користувачів.
Деякі оператори застосовують засоби моніторингу маршруту на кожній точці присутності (POP): система автоматично аналізує найбільш короткі місцеві та глобальні маршрути для точок присутності та перенаправляє їх через географічні місцезнаходження з найнижчою затримкою з нульовим часом простою.
На даний момент Anycast – найбільш стабільне та надійне рішення для побудови високонавантажених DNS-сервісів, до яких висуваються високі вимоги щодо стійкості та надійності.
Домен .ru підтримує 35 серверів Anycast DNS, згрупованих у 20 вузлів, розподілених по п'яти Anycast-хмарах. У цьому використовується принцип побудови за географічним ознакою, тобто. Geocast. При розміщенні вузлів DNS передбачається їхнє винесення в географічно рознесені локації, наближені до найбільш активних користувачів, максимальна концентрація російських провайдерів у точці розміщення вузла, а також наявність вільних ємностей та зручність взаємодії з майданчиком.
Як побудувати CDN?
CDN – мережа серверів, що прискорює доставку користувачам контенту. об'єднує всі сервери в одну мережу та забезпечує більш швидке завантаження контенту. У швидкості завантаження важливе значення має відстань від сервера до користувача.
CDN дозволяє використовувати сервери, які знаходяться до цільової аудиторії найближче. Це скорочує час очікування, допомагає прискорити завантаження контенту сайтів для всіх відвідувачів, що є особливо критичним для сайтів з файлами великого обсягу або мультимедіа-сервісів. Типові області застосування CDN - електронна комерція та сфера розваг.
Мережа додаткових серверів, що створюється в інфраструктурі CDN, які розташовані максимально близько до користувачів, сприяє більш стабільній і швидкій доставці даних. Згідно зі статистикою використання CDN зменшує затримку при доступі до сайту більш ніж на 70% в порівнянні з сайтами без CDN.
Як? Налаштування CDN з використанням власного рішення Anycast може бути досить дорогим проектом, але дешевші варіанти. Наприклад, можна використовувати GeoDNS та звичайні сервери з унікальними IP-адресами. За допомогою сервісів GeoDNS можна створити CDN з функціями геолокації, в якій рішення приймаються на основі реального розташування відвідувача, а не розташування ресолвера DNS. Можна налаштувати свою DNS-зону так, щоб показувати IP-адреси американських серверів відвідувачам із США, а європейські відвідувачі бачитимуть IP-адресу з Європи.
За допомогою GeoDNS можна повертати різні відповіді DNS залежно від IP-адреси користувача. Для цього DNS-сервер налаштовують так, щоб він повертав різні IP-адреси залежно від вихідної IP-адреси у запиті. Зазвичай визначення регіону, з якого робиться запит, використовується база даних GeoIР. Геолокація із застосуванням DNS дозволяє надсилати користувачам контент із найближчого сайту.
GeoDNS визначає IP-адресу клієнта, що надіслав запит DNS, або IP рекурсивного DNS-сервера провайдера, який використовується при обробці запиту клієнта. По IP клієнта та базі GeoIP визначається країна/регіон. Потім клієнт отримує IP-адресу найближчого CDN-сервера. Про налаштування GeoDNS можна детальніше прочитати.
Anycast чи GeoDNS?
Хоча Anycast – відмінний спосіб доставки контенту у глобальному масштабі, йому не вистачає специфічності. Ось тут на допомогу і приходить GeoDNS. Цей сервіс дозволяє створювати правила, які надсилають користувачів на унікальні кінцеві точки в залежності від їхнього розташування.
Приклад: користувачі з Європи прямують до іншої кінцевої точки.
Можна також заборонити доступ до доменів, відкинувши всі запити. Це, зокрема, швидкий спосіб відсікти зловмисників.
GeoDNS дає більш точні відповіді, ніж Anycast. Якщо у разі Anycast найкоротший маршрут визначається за кількістю хопів, то GeoDNS маршрутизація для кінцевих користувачів відбувається в залежності від їх фізичного розташування. Це зменшує затримку та підвищує точність при створенні гранулярних правил маршрутизації.
При переході на домен браузер звертається до найближчого DNS-сервера, який, залежно від домену, видає IP-адресу для завантаження сайту. Припустимо, інтернет-магазин користується популярністю в США та Європі, а DNS-сервери для нього є тільки в Європі. Тоді користувачі зі США, які хочуть скористатися послугами магазину, будуть змушені надсилати запит до найближчого сервера, а оскільки він знаходиться дуже далеко, чекати на відповідь доведеться довго — завантаження сайту буде не швидким.
При розміщенні GeoDNS-сервера в США користувачі звертатимуться вже до нього. Відповідь буде швидкою, що вплине на швидкість завантаження сайту.
У ситуації з існуючим DNS-сервером у США під час переходу до цього домену користувача зі США він звернеться до найближчого сервера, який видасть потрібний IP. Користувач попрямує на сервер, який містить контент сайту, але оскільки сервери з контентом знаходяться далеко, він його швидко не отримає.
Якщо розмістити в США та сервери CDN з кешованими даними, то при завантаженні браузер клієнта відправить запит до найближчого DNS-сервера, який надішле потрібну IP-адресу. Браузер з отриманим IP звертається до найближчого сервера CDN та до основного сервера, і сервер CDN передає браузеру кешований контент. Поки підвантажується кешований контент, з основного сервера надходять файли, що бракують для завантаження повного сайту. В результаті зменшується час завантаження сайту, оскільки файлів з основного сервера надсилається набагато менше.
Визначення точного розташування, певної IP-адреси - не завжди легке завдання: тут діють багато факторів, і власники діапазону IP-адрес можуть прийняти рішення оголосити його на іншому кінці світу (тоді доведеться почекати, поки база даних оновиться, щоб отримати правильне місце розташування). Іноді провайдери VPS призначають адреси, які, ймовірно, знаходяться в США, для VPS в Сінгапурі.
На відміну від використання адрес Anycast, розподіл виконується під час дозволу імен, а не під час підключення до сервера кешування. Якщо рекурсивний сервер не підтримує клієнтські підмережі EDNS, то використовується розташування цього рекурсивного сервера, а не користувача, який підключатиметься до сервера кешування.
Клієнтські підмережі в DNS - це розширення DNS (RFC7871), яке визначає, як рекурсивні DNS-сервери можуть надсилати інформацію про клієнта на DNS-сервер, зокрема інформацію про мережу, яку сервер GeoDNS може використовувати для більш точного визначення розташування клієнта.
Більшість використовують DNS-сервери свого інтернет-провайдера або DNS-сервери, які географічно близькі до них, але якщо хтось у США з якоїсь причини вирішить використовувати DNS-ресолвер, розташований в Австралії, він, швидше за все, отримає IP-сервер. адресу сервера, найближчого до Австралії.
Якщо ви хочете використовувати GeoDNS, важливо знати такі особливості, оскільки в деяких випадках це може збільшити відстань між серверами кешування і клієнтом.
Резюме: якщо ви хочете об'єднати кілька VPS в CDN, то найкращий варіант розгортання - використання зв'язки DNS-сервера з функцією GeoDNS + Anycast "з коробки".
Джерело: habr.com