Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

„Установихме телефонна връзка между нас и момчетата от SRI...“, Клайнрок... каза в интервю:
„Написахме L и попитахме по телефона: „Виждате ли L?“
„Да, виждаме L“, дойде отговорът.
„Написахме O и попитахме: „Виждате ли O.“
„Да, виждаме О.“
„Тогава написахме G и системата се срина“...

И все пак революцията беше започнала...

Началото на интернет.

Здравейте на всички!

Казвам се Александър, мрежов инженер съм в Linxdatacenter. В днешната статия ще говорим за точките за обмен на трафик (Internet Exchange Points, IXP): какво предшества появата им, какви задачи решават и как са изградени. Също така в тази статия ще демонстрирам принципа на работа на IXP с помощта на платформата EVE-NG и софтуерния рутер BIRD, така че да разберете как работи „под капака“.

Малко история

Ако погледнете тук, тогава можете да видите, че бързото нарастване на броя на точките за обмен на трафик започва през 1993 г. Това се дължи на факта, че по-голямата част от трафика на съществуващите по това време телекомуникационни оператори преминава през опорната мрежа на САЩ. Така например, когато трафикът премина от оператор във Франция към оператор в Германия, той първо премина от Франция към САЩ и едва след това от САЩ към Германия. Основната мрежа в този случай действа като транзитна между Франция и Германия. Дори трафикът в рамките на една страна често минаваше не директно, а през опорните мрежи на американските оператори.

Това състояние на нещата се отрази не само на разходите за доставка на транзитен трафик, но и на качеството на каналите и закъсненията. Броят на интернет потребителите се увеличи, появиха се нови оператори, обемът на трафика се увеличи и интернет узря. Операторите по света започнаха да осъзнават, че е необходим по-рационален подход за организиране на взаимодействието между операторите. „Защо аз, оператор А, трябва да плащам за транзит през друга държава, за да доставя трафик на оператор Б, който се намира на съседната улица?“ Това е горе-долу въпросът, който си задаваха телекомуникационните оператори тогава. По този начин точките за обмен на трафик започнаха да се появяват в различни части на света в точки за концентрация на оператори:

• 1994 – LINX в Лондон,
• 1995 – DE-CIX във Франкфурт,
• 1995 – MSK-IX, Москва и др.

Интернет и нашите дни

Концептуално, архитектурата на съвременния Интернет се състои от много автономни системи (AS) и много връзки между тях, физически и логически, които определят пътя на трафика от една AS към друга.

AS обикновено са телеком оператори, интернет доставчици, CDN, центрове за данни и компании от корпоративния сегмент. AS организират логически връзки (peering) помежду си, обикновено използвайки BGP протокола.

Как автономните системи организират тези връзки се определя от редица фактори:

• географски,
• икономически,
• политически,
• споразумения и общи интереси между собствениците на АС,
• и т.н.

Разбира се, тази схема има определена структура и йерархия. По този начин операторите са разделени на ниво 1, ниво 2 и ниво 3 и ако клиентите за местен интернет доставчик (ниво 3) са по правило обикновени потребители, тогава, например, за ниво 1 оператори на ниво клиентите са други оператори. Tier-3 операторите агрегират трафика на своите абонати, tier-2 телекомуникационните оператори от своя страна агрегират трафика на tier-3 операторите, а tier-1 – целия интернет трафик.

Схематично може да се представи така:

Тази снимка показва, че трафикът се обобщава отдолу нагоре, т.е. от крайни потребители до оператори от ниво 1. Съществува и хоризонтален обмен на трафик между AS, които са приблизително еквивалентни един на друг.

Неразделна част и в същото време недостатък на тази схема е известно объркване на връзките между автономни системи, разположени по-близо до крайния потребител, в рамките на географска област. Разгледайте снимката по-долу:

Да приемем, че в голям град има 5 телекомуникационни оператора, пирингът между които по една или друга причина е организиран, както е показано по-горе.

Ако потребителят Petya, свързан към Go ISP, иска да получи достъп до сървър, свързан към ASM доставчика, тогава трафикът между тях ще бъде принуден да преминава през 5 автономни системи. Това увеличава забавянето, защото броят на мрежовите устройства, през които ще преминава трафикът, се увеличава, както и обемът на транзитния трафик на автономни системи между Go и ASM.

Как да намалим броя на транзитните AS, през които трафикът е принуден да премине? Точно така - точка за обмен на трафик.

Днес появата на нови IXP се обуславя от същите нужди като в началото на 90-те и 2000-те години, само че в по-малък мащаб, в отговор на нарастващия брой телеком оператори, потребители и трафик, нарастващото количество съдържание, генерирано от CDN мрежи и центрове за данни.

Какво е обменна точка?

Точка за обмен на трафик е място със специална мрежова инфраструктура, където участниците, заинтересовани от взаимен обмен на трафик, организират взаимен пиъринг. Основните участници в точките за обмен на трафик: телеком оператори, интернет доставчици, доставчици на съдържание и центрове за данни. В точките за обмен на трафик участниците се свързват директно помежду си. Това ви позволява да разрешите следните проблеми:

• намаляване на латентността,
• намаляване на обема на транзитния трафик,
• оптимизирайте маршрутизирането между AS.

Като се има предвид, че IXPs присъстват в много големи градове по света, всичко това има благотворен ефект върху интернет като цяло.

Ако горната ситуация с Петя се реши с помощта на IXP, ще се получи нещо подобно:

Как работи точката за обмен на трафик?

По правило IXP е отделна AS със собствен блок от публични IPv4/IPv6 адреси.

IXP мрежата най-често се състои от непрекъснат L2 домейн. Понякога това е просто VLAN, който хоства всички IXP клиенти. Когато става дума за по-големи, географски разпределени IXP, технологии като MPLS, VXLAN и др. могат да се използват за организиране на L2 домейн.

IXP елементи

• SKS. Тук няма нищо необичайно: стелажи, оптични крос-конекти, пач панели.
• Превключватели – основата на IXP. Портът на комутатора е входната точка в IXP мрежата. Суичовете изпълняват и част от функциите за сигурност - те филтрират нежелания трафик, който не трябва да присъства в IXP мрежата. По правило комутаторите се избират въз основа на функционални изисквания - надеждност, поддържани скорости на портове, функции за сигурност, поддръжка на sFlow и др.
• Сървър за маршрути (RS) – неразделна и необходима част от всяка съвременна точка за обмен на трафик. Принципът на работа е много подобен на рефлектора на маршрута в iBGP или определения рутер в OSPF и решава същите проблеми. С нарастването на броя на участниците в точка за обмен на трафик се увеличава броят на BGP сесиите, които всеки участник трябва да поддържа, т.е. това напомня на класическата топология с пълна мрежа в iBGP. RS решава проблема по следния начин: установява BGP сесия с всеки заинтересован IXP участник и този участник става RS клиент. Получавайки BGP актуализация от един от своите клиенти, RS изпраща тази актуализация на всичките си други клиенти, разбира се, с изключение на този, от който е получена тази актуализация. По този начин RS елиминира необходимостта от установяване на пълна мрежа между всички членове на IXP и елегантно решава проблема с мащабируемостта. Струва си да се отбележи, че маршрутният сървър прозрачно предава маршрути от една AS към друга, без да прави промени в атрибутите, предавани от BGP, например, той не добавя номера в своята AS към AS-пътя. Също така на RS има основно филтриране на маршрути: например RS не приема марсиански мрежи и префиксите на самия IXP.

  Софтуерен рутер с отворен код, BIRD (bird internet routing daemon), често се използва като решение за маршрутизиращ сървър. Хубавото при него е, че е безплатен, внедрява се бързо в повечето Linux дистрибуции, има гъвкав механизъм за настройка на политики за маршрутизиране/филтриране и не е взискателен към изчислителните ресурси. Също така, като RS може да бъде избран хардуерен/виртуален рутер от Cisco, Juniper и др.

• Security. Тъй като IXP мрежата е концентрация на голям брой AS, политиката за сигурност, която всички участници трябва да следват, трябва да бъде добре написана. Като цяло тук се прилагат всички същите механизми, които се прилагат при установяване на BGP съседство между два отделни BGP партньора извън IXP, плюс някои допълнителни функции за сигурност.

  Например, добра практика е да се разреши трафик само от конкретен mac адрес на участника в IXP, който се договаря предварително. Отказване на трафик с полета ethertype, различни от 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); това се прави, за да се филтрира трафик, който не принадлежи към BGP peering. Могат да се използват и механизми като GTSM, RPKI и др.

Може би горните са основните компоненти на всеки IXP, независимо от мащаба. Разбира се, по-големите IXP могат да разполагат с допълнителни технологии и решения.
Случва се IXP да предоставя на своите участници и допълнителни услуги:

• поставен на DNS сървъра на IXP TLD,
• инсталирайте хардуерни NTP сървъри, позволяващи на участниците точно да синхронизират времето,
• осигуряват защита срещу DDoS атаки и др.

Принцип на действие

Нека да разгледаме принципа на работа на точка за обмен на трафик, използвайки примера на прост IXP, моделиран с помощта на EVE-NG, и след това да разгледаме основната настройка на софтуерен рутер BIRD. За да опростим диаграмата, ще пропуснем такива важни неща като излишък и устойчивост на грешки.

Топологията на мрежата е показана на фигурата по-долу.

Да приемем, че администрираме малка точка за обмен и предоставяме следните опции за пиъринг:

• публичен пиъринг,
• частно надникване,
• пиъринг през маршрутен сървър.

Нашият AS номер е 555, притежаваме блок от IPv4 адреси – 50.50.50.0/24, от които издаваме IP адреси за тези, които искат да се свържат с нашата мрежа.

50.50.50.254 – IP адрес, конфигуриран на интерфейса на маршрутния сървър, с този IP клиентите ще установят BGP сесия в случай на пиъринг през RS.

Също така, за пиъринг през RS, ние разработихме проста политика за маршрутизиране, базирана на BGP общността, която позволява на участниците в IXP да регулират към кого и какви маршрути да изпращат:

BGP общност
описание

LOCAL_AS:PEER_AS
Изпращайте префикси само до PEER_AS

LOCAL_AS:IXP_AS
Прехвърлете префикси към всички участници в IXP

3 клиента искат да се свържат с нашия IXP и да обменят трафик; Да кажем, че това са интернет доставчици. Всички те искат да организират пиринг през сървър за маршрути. По-долу е дадена диаграма с параметри на клиентската връзка:

клиент
AS номер на клиента
Клиентски рекламирани префикси
IP адрес, издаден на клиента за свързване към IXP

ISP #1
КАТО 100
1.1.0.0/16
50.50.50.10/24

ISP #2
КАТО 200
2.2.0.0/16
50.50.50.20/24

ISP #3
КАТО 300
3.3.0.0/16
50.50.50.30/24

Основна BGP настройка на клиентския рутер:

router bgp 100
 no bgp enforce-first-as
 bgp log-neighbor-changes
 neighbor 50.50.50.254 remote-as 555
address-family ipv4
  network 1.1.0.0 mask 255.255.0.0
  neighbor 50.50.50.254 activate
  neighbor 50.50.50.254 send-community both
  neighbor 50.50.50.254 soft-reconfiguration inbound
  neighbor 50.50.50.254 route-map ixp-out out
 exit-address-family

ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16
route-map bgp-out permit 10
 match ip address prefix-list as100-prefixes
 set community 555:555

Заслужава да се отбележи настройката без bgp enforce-first-as тук. По подразбиране BGP изисква as-path на получена BGP актуализация да съдържа as bgp номера на партньора, от който е получена актуализацията. Но тъй като маршрутният сървър не прави промени в as-path, неговият номер няма да бъде в as-path и актуализацията ще бъде отхвърлена. Тази настройка се използва, за да накара рутера да игнорира това правило.

Виждаме също, че клиентът е задал bgp community 555:555 на този префикс, което според нашата политика означава, че клиентът иска да рекламира този префикс на всички останали участници.

За рутери на други клиенти настройките ще бъдат подобни, с изключение на техните уникални параметри.

Примерна конфигурация на BIRD:

define ixp_as = 555;
define ixp_prefixes = [ 50.50.50.0/24+ ];

template bgp RS_CLIENT {
  local as ixp_as;
  rs client;
}

Следното описва филтър, който не приема префикси на марсианци, както и префиксите на самия IXP:

function catch_martians_and_ixp()
prefix set martians;
prefix set ixp_prefixes;
{
  martians = [ 
  0.0.0.0/8+,
  10.0.0.0/8+,
  100.64.0.0/10+,
  127.0.0.0/8+,
  169.254.0.0/16+,
  172.16.0.0/12+,
  192.0.0.0/24+,
  192.0.2.0/24+,
  192.168.0.0/16+,
  198.18.0.0/15+,
  198.51.100.0/24+,
  203.0.113.0/24+,
  224.0.0.0/4+,
  240.0.0.0/4+ ];

  if net ~ martians || net ~ ixp_prefixes then return false;

  return true;
}

Тази функция прилага политиката за маршрутизиране, която описахме по-рано.

function bgp_ixp_policy(int peer_as)
{
  if (ixp_as, ixp_as) ~ bgp_community then return true;
  if (ixp_as, peer_as) ~ bgp_community then return true;

  return false;
}

filter reject_martians_and_ixp
{
  if catch_martians_and_ixp() then reject;
  if ( net ~ [0.0.0.0/0{25,32} ] ) then {
    reject;
  }
  accept;


}

Ние конфигурираме peering, прилагаме подходящи филтри и политики.

protocol as_100 from RS_CLIENT {
  neighbor 50.50.50.10 as 100;
  ipv4 {
    export where bgp_ixp_policy(100);
    import filter reject_martians_and_ixp;
  }
}

protocol as_200 from RS_CLIENT {
  neighbor 50.50.50.20 as 200;
  ipv4 {
    export where bgp_ixp_policy(200);
    import filter reject_martians_and_ixp;
  }
}

protocol as_300 from RS_CLIENT {
  neighbor 50.50.50.30 as 300;
  ipv4 {
    export where bgp_ixp_policy(300);
    import filter reject_martians_and_ixp;
  }
}

Струва си да се отбележи, че на сървър за маршрути е добра практика да се поставят маршрути от различни партньори в различни RIB. BIRD ви позволява да направите това. В нашия пример, за простота, всички актуализации, получени от всички клиенти, се добавят в един общ RIB.

И така, нека проверим какво имаме.

На сървъра за маршрут виждаме, че е установена BGP сесия и с трите клиента:

Виждаме, че получаваме префикси от всички клиенти:

На рутера as 100 виждаме, че ако има само една BGP сесия със сървъра за маршрутизиране, получаваме префикси както от as 200, така и от as 300, докато BGP атрибутите не са се променили, сякаш пиърингът между клиентите е извършен директно:

По този начин виждаме, че наличието на маршрутен сървър значително опростява организацията на пиъринг на IXP.

Надявам се, че тази демонстрация ви помогна да разберете по-добре как работят IXP и как работи сървърът за маршрутизиране на IXP.

Linxdatacenter IX

В Linxdatacenter изградихме собствен IXP въз основа на устойчива на грешки инфраструктура от 2 комутатора и 2 сървъра за маршрутизиране. Нашият IXP вече работи в тестов режим и ние каним всички да се свържат с Linxdatacenter IX и да участват в тестването. Когато се свържете, ще ви бъде предоставен порт с честотна лента от 1 Gbit/s, възможност за пиърване през нашите маршрутни сървъри, както и достъп до личния ви акаунт на портала IX, достъпен на ix.linxdatacenter.com.

Пишете в коментари или лични съобщения, за да получите достъп до тестване.

Продукция

Точките за обмен на трафик възникват в зората на Интернет като инструмент за решаване на проблема с неоптималния поток на трафик между телеком операторите. Сега, с появата на нови глобални услуги и увеличаването на количеството CDN трафик, обменните точки продължават да оптимизират работата на глобалната мрежа. Увеличаването на броя на IXP в света е от полза както за крайния потребител на услугата, така и за телеком операторите, операторите на съдържание и т.н. За участниците в IXP ползата се изразява в намаляване на разходите за организиране на външен пиъринг, намаляване на обема на трафика, за който операторите от по-високо ниво трябва да плащат, оптимизиране на маршрутизирането и възможността за директен интерфейс с операторите на съдържание.

Полезни връзки

• Вижте карта на местоположението на точките за обмен на трафик: www.internetexchangemap.com
• Вижте подробна статистика за BGP peering, включително присъствие на IXP: www.peeringdb.com

Източник: www.habr.com