🥇Точка за обмен на трафик: от началото до създаването на собствена IX

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

„Установихме телефонна връзка между нас и момчетата от SRI...“, каза Клайнрок... в интервю:
„Написахме L и попитахме по телефона: „Виждате ли L?“
„Да, виждаме буквата Л“, дойде отговорът.
„Написахме „О“ и попитахме: „Виждате ли „О“?“
„Да, виждаме „О“.“
„След това написахме G и системата се срина“...
И все пак революцията беше започнала…

Началото на интернет.

Здравейте на всички!

Казвам се Александър и съм мрежов инженер в Linxdatacenter. В днешната статия ще говоря за точките за интернет обмен (IXP): техния произход, задачите, които решават, и как са изградени. Ще демонстрирам и как работи IXP, използвайки платформата EVE-NG и софтуерния рутер BIRD, за да можете да разберете как работи „под капака“.

Малко история

Ако погледнете тук, можем да видим, че бързият растеж на броя на точките за обмен на трафик започва през 1993 г. Това се дължи на факта, че по-голямата част от трафика на съществуващите по това време телекомуникационни оператори преминава през опорната мрежа на САЩ. Например, когато трафикът е отивал от оператор във Франция към оператор в Германия, той първо е отивал от Франция към САЩ и едва след това от САЩ към Германия. Опорната мрежа в този случай е действала като транзитна точка между Франция и Германия. Дори трафикът в рамките на една държава често е преминавал индиректно, през опорните мрежи на американските оператори.

Това състояние на нещата се отрази не само на цената на транзитния трафик, но и на качеството на каналите и латентността. Броят на интернет потребителите нарастваше, появяваха се нови оператори, обемът на трафика се увеличаваше и интернет се развиваше. Операторите по целия свят започнаха да осъзнават, че е необходим по-рационален подход към организирането на взаимодействията между операторите. „Защо аз, оператор А, трябва да плащам за транзит през друга държава, за да доставям трафик на оператор Б, разположен точно на улицата?“ Това беше приблизително въпросът, който телекомуникационните оператори си задаваха по това време. Така точки за обмен на трафик започнаха да се появяват в различни части на света, на места, където бяха концентрирани оператори:

1994 – LINX в Лондон,
1995 г. – DE-CIX във Франкфурт,
1995 г. – MSK-IX, в Москва и др.

Интернет и днешният ден

Концептуално, архитектурата на съвременния Интернет е съвкупност от автономни системи (AS) и съвкупност от връзки между тях, както физически, така и логически, които определят пътя на трафика от една AS към друга.

Автономните системи (AS) обикновено включват телекомуникационни оператори, доставчици на интернет услуги, CDN, центрове за данни и корпоративни компании. AS обикновено установяват логически пиъринг взаимоотношения помежду си, използвайки протокола Border Gateway (BGP).

Начинът, по който автономните системи организират тези връзки, се определя от редица фактори:

географски,
икономически,
политически,
споразумения и общи интереси между собствениците на AS,
и т.н.

Разбира се, в тази схема има определена структура и йерархия. Операторите са разделени на Tier-1, Tier-2 и Tier-3. Докато клиентите на местен интернет доставчик (Tier-3) обикновено са обикновени потребители, клиентите на Tier-1 операторите са например други оператори. Tier-3 операторите агрегират трафика на своите абонати, Tier-2 операторите от своя страна агрегират трафика на Tier-3 операторите, а Tier-1 операторите агрегират целия интернет трафик.

Схематично може да се представи така:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX
Това изображение показва, че трафикът се агрегира отдолу нагоре, т.е. от крайните потребители до операторите от ниво 1. Съществува и хоризонтален обмен на трафик между автономни системи с приблизително еднаква важност.

Неразделна част и същевременно недостатък на тази схема е донякъде неорганизираният характер на връзките между автономните системи, разположени по-близо до крайния потребител в рамките на географска област. Разгледайте изображението по-долу:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

Да предположим, че в голям град има 5 телекомуникационни оператора, пиърингът между които, по една или друга причина, е организиран както е показано по-горе.

Ако потребителят Petya, свързан с интернет доставчика Go, иска да осъществи достъп до сървър, свързан с доставчика ASM, трафикът между тях ще бъде принуден да преминава през пет автономни системи. Това увеличава латентността, тъй като броят на мрежовите устройства, през които трафикът трябва да премине, се увеличава, както и обемът на транзитния трафик през автономните системи между Go и ASM.

Как можем да намалим броя на транзитните AS, през които трафикът трябва да премине? Отговорът е точка за обмен на трафик.

Днес появата на нови IXPs се обуславя от същите нужди, както в началото на 90-те и 2000-те години, само че в по-малък мащаб, в отговор на нарастващия брой телекомуникационни оператори, потребители и трафик, както и на нарастващото количество съдържание, генерирано от CDN мрежи и центрове за данни.

Какво е точка за обмен на трафик?

Точка за обмен на трафик (TIP) е място със специална мрежова инфраструктура, където страните, заинтересовани от обмен на трафик, установяват взаимоотношения между потребителите. Основните участници в TIP включват телекомуникационни оператори, доставчици на интернет услуги, доставчици на съдържание и центрове за данни. В TIP страните се свързват директно помежду си. Това позволява изпълнението на следните задачи:

намаляване на латентността,
намаляване на обема на транзитния трафик,
оптимизиране на маршрутизацията между AS.

Като се има предвид, че IXP точките присъстват в много големи градове по света, това има положителен ефект върху интернет като цяло.

Ако решим описаната по-горе ситуация с Петя, използвайки IXP, тя ще изглежда по следния начин:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

Как работи точката за обмен на трафик?

Обикновено IXP е отделна AS със собствен блок от публични IPv4/IPv6 адреси.

IXP мрежата най-често се състои от един домейн от ниво 2. Понякога това е просто VLAN, която съдържа всички IXP клиенти. Въпреки това, за по-големи, географски разпределени IXP точки, технологии като MPLS, VXLAN и други могат да се използват за организиране на домейна от ниво 2.

IXP елементи

СКС. Тук няма нищо необичайно: стелажи, оптични кръстове, пач панели.
Превключватели – основата на IXP. Портът на комутатора е входната точка в IXP мрежата. Комутаторите изпълняват и някои функции за сигурност, филтрирайки нежелан трафик, който не би трябвало да присъства в IXP мрежата. Комутаторите обикновено се избират въз основа на функционални изисквания, като надеждност, поддържани скорости на портовете, функции за сигурност, поддръжка на sFlow и др.
Маршрутен сървър (RS) RS е неразделна и необходима компонента на всяка съвременна точка за обмен на трафик. Принципът му на работа е много подобен на рефлектор на маршрути в iBGP или определен рутер в OSPF и решава същите проблеми. С нарастването на броя на участниците в точката за обмен на трафик, броят на BGP сесиите, които всеки участник трябва да поддържа, се увеличава, наподобявайки класическа топология на пълна мрежа (full-mesh) в iBGP. RS решава този проблем по следния начин: установява BGP сесия с всеки заинтересован IXP участник и този участник става RS клиент. След получаване на BGP актуализация от един от своите клиенти, RS разпространява тази актуализация до всички свои останали клиенти, с изключение, разбира се, на този, от който е получена актуализацията. По този начин RS елиминира необходимостта от установяване на пълна мрежа (full-mesh) между всички IXP участници и елегантно решава проблема с мащабируемостта. Заслужава да се отбележи, че маршрутният сървър прозрачно разпространява маршрути от една AS към друга, без да променя предаваните BGP атрибути; например, той не добавя своя AS номер към AS-пътя. RS извършва и основно филтриране на маршрути: например, RS не приема марсиански мрежи или префикси на самия IXP.
Рутерът с отворен код BIRD (bird internet routing daemon) често се използва като решение за маршрутен сървър. Неговите предимства включват безплатност, бързо внедряване в повечето Linux дистрибуции, гъвкава конфигурация на политики за маршрутизиране/филтриране и ниска консумация на ресурси. Хардуерен или виртуален рутер от Cisco, Juniper или подобни доставчици също може да се използва като маршрутен сървър.
Security. Тъй като една IXP мрежа е концентрация на голям брой автономни системи (AS), политиката за сигурност, която всички участници трябва да спазват, трябва да бъде добре дефинирана. Обикновено тук се прилагат същите механизми, използвани за установяване на BGP съседни връзки между два отделни BGP партньора извън IXP, заедно с някои допълнителни мерки за сигурност.
Например, добра практика е да се разрешава трафик само от конкретен MAC адрес на IXP член, който се договаря предварително. Препоръчва се също да се отхвърля трафик с полета ethertype, различни от 0x0800 (IPv4), 0x08dd (IPv6) или 0x0806 (ARP); това се прави, за да се филтрира трафикът, който не принадлежи към BGP peering. Могат да се използват и механизми като GTSM, RPKI и други.

Горните са може би основните компоненти на всяка IXP, независимо от размера ѝ. Разбира се, по-големите IXP могат да използват допълнителни технологии и решения.
Понякога IXP предоставят на своите членове и допълнителни услуги:

хостват DNS сървъри на IXP TLDs,
инсталиране на хардуерни NTP сървъри, позволяващи на участниците точно да синхронизират времето си,
осигуряват защита срещу DDoS атаки и др.

Принцип на действие

Ще разгледаме принципа на работа на точка за обмен на трафик, използвайки опростена IXP, моделирана с помощта на EVE-NG, и след това ще разгледаме основната конфигурация на софтуерния рутер BIRD. За да опростим диаграмата, ще пропуснем важни аспекти като резервиране и отказоустойчивост.

Топологията на мрежата е показана на фигурата по-долу.

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

Да предположим, че администрираме малка точка за обмен на интернет и предоставяме следните опции за пиъринг:

публичен пиъринг,
частен пиъринг,
пиъринг чрез маршрутен сървър.

Нашият AS номер е 555, притежаваме блок от IPv4 адреси - 50.50.50.0/24, от който издаваме IP адреси на желаещите да се свържат с нашата мрежа.

50.50.50.254 – IP адрес, конфигуриран на интерфейса на маршрутния сървър; клиентите ще установят BGP сесия с този IP адрес в случай на peering чрез RS.

Също така разработихме опростена BGP общностна политика за маршрутизиране за RS peering, която позволява на IXP участниците да контролират кои маршрути се изпращат до кого:

BGP общност
описание

ЛОКАЛЕН_КАТО:ПИЪР_КАТО
Предавайте префикси само на PEER_AS

ЛОКАЛЕН_КАТО:IXP_AS
Прехвърляне на префикси към всички IXP участници

Трима клиенти, да речем доставчици на интернет услуги, искат да се свържат с нашата IXP и да обменят трафик. Всички те искат да установят пиъринг чрез маршрутен сървър. По-долу е показана диаграма, показваща параметрите на връзката на клиента:

клиент
Номер на клиентска AS
Префикси, обявени от клиента
IP адрес, присвоен на клиента за свързване към IXP

Интернет доставчик №1
КАТО 100
1.1.0.0/16
50.50.50.10/24

Интернет доставчик №2
КАТО 200
2.2.0.0/16
50.50.50.20/24

Интернет доставчик №3
КАТО 300
3.3.0.0/16
50.50.50.30/24

Основна BGP настройка на клиентския рутер:

router bgp 100
 no bgp enforce-first-as
 bgp log-neighbor-changes
 neighbor 50.50.50.254 remote-as 555
address-family ipv4
  network 1.1.0.0 mask 255.255.0.0
  neighbor 50.50.50.254 activate
  neighbor 50.50.50.254 send-community both
  neighbor 50.50.50.254 soft-reconfiguration inbound
  neighbor 50.50.50.254 route-map ixp-out out
 exit-address-family

ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16
route-map bgp-out permit 10
 match ip address prefix-list as100-prefixes
 set community 555:555

Тук си струва да се отбележи настройката „no bgp enforce-first-as“. По подразбиране BGP изисква as-path на получена BGP актуализация да включва as-path номера на bgp партньора, от който е получена актуализацията. Тъй като обаче сървърът за маршрутизация не променя as-path, неговият номер ще липсва в as-path и актуализацията ще бъде отхвърлена. Тази настройка се използва, за да принуди рутера да игнорира това правило.

Виждаме също, че клиентът е задал bgp community 555:555 на този префикс, което според нашата политика означава, че клиентът иска да обяви този префикс на всички останали участници.

За рутерите на останалите клиенти конфигурацията ще бъде подобна, с изключение на техните уникални параметри.

Примерна конфигурация на BIRD:

define ixp_as = 555;
define ixp_prefixes = [ 50.50.50.0/24+ ];

template bgp RS_CLIENT {
  local as ixp_as;
  rs client;
}

Следното описва филтър, който не приема префикси martians, както и префикси на самия IXP:

function catch_martians_and_ixp()
prefix set martians;
prefix set ixp_prefixes;
{
  martians = [ 
  0.0.0.0/8+,
  10.0.0.0/8+,
  100.64.0.0/10+,
  127.0.0.0/8+,
  169.254.0.0/16+,
  172.16.0.0/12+,
  192.0.0.0/24+,
  192.0.2.0/24+,
  192.168.0.0/16+,
  198.18.0.0/15+,
  198.51.100.0/24+,
  203.0.113.0/24+,
  224.0.0.0/4+,
  240.0.0.0/4+ ];

  if net ~ martians || net ~ ixp_prefixes then return false;

  return true;
}

Тази функция реализира политиката за маршрутизиране, която описахме по-рано.

function bgp_ixp_policy(int peer_as)
{
  if (ixp_as, ixp_as) ~ bgp_community then return true;
  if (ixp_as, peer_as) ~ bgp_community then return true;

  return false;
}

filter reject_martians_and_ixp
{
  if catch_martians_and_ixp() then reject;
  if ( net ~ [0.0.0.0/0{25,32} ] ) then {
    reject;
  }
  accept;


}

Конфигурираме пиъринга и прилагаме подходящи филтри и политики.

protocol as_100 from RS_CLIENT {
  neighbor 50.50.50.10 as 100;
  ipv4 {
    export where bgp_ixp_policy(100);
    import filter reject_martians_and_ixp;
  }
}

protocol as_200 from RS_CLIENT {
  neighbor 50.50.50.20 as 200;
  ipv4 {
    export where bgp_ixp_policy(200);
    import filter reject_martians_and_ixp;
  }
}

protocol as_300 from RS_CLIENT {
  neighbor 50.50.50.30 as 300;
  ipv4 {
    export where bgp_ixp_policy(300);
    import filter reject_martians_and_ixp;
  }
}

Струва си да се отбележи, че е обичайна практика сървърът за маршрути да комбинира маршрути от различни пиърове в отделни RIB-ове. BIRD позволява това. В нашия пример, за простота, всички актуализации, получени от всички клиенти, се комбинират в един споделен RIB.

И така, нека проверим какво имаме.

На маршрутния сървър виждаме, че е установена BGP сесия с всичките три клиента:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

Виждаме, че получаваме префикси от всички клиенти:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

На рутер с адрес 100 виждаме, че само с една BGP сесия с рут сървъра, получаваме префикси както от 200, така и от 300, като BGP атрибутите не са се променили, сякаш пиърингът между клиентите е извършен директно:

Точка за обмен на трафик: от произхода до създаването на ваш собствен IX

По този начин виждаме, че наличието на маршрутен сървър значително опростява организацията на пиъринга на IXP точки.

Надявам се, че тази демонстрация ви е помогнала да разберете по-добре как работят IXP-тата и как работи маршрутизиращият сървър на IXP.

Linxdatacenter IX

В Linxdatacenter изградихме собствен IXP, базиран на отказоустойчива инфраструктура, състояща се от два комутатора и два маршрутни сървъра. Нашият IXP в момента работи в тестов режим и каним всички да се свържат с Linxdatacenter IX и да участват в тестването. След свързване ще ви бъде предоставен 1 Gbps порт, възможности за пиъринг през нашите маршрутни сървъри и достъп до вашия IX портален акаунт, достъпен на ix.linxdatacenter.com.

Пишете в коментарите или лични съобщения, за да получите достъп до тестването.

Продукция

Точките за обмен на трафик се появиха в зората на интернет като решение на проблема с неоптималния трафик между телекомуникационните оператори. Днес, с появата на нови глобални услуги и нарастващия обем CDN трафик, точките за обмен продължават да оптимизират производителността на глобалната мрежа. Нарастващият брой IXPs по целия свят е от полза както за крайните потребители, така и за телекомуникационните оператори, доставчиците на съдържание и други. За участниците в IXP ползите включват намалени разходи за настройване на външен пиъринг, намалени разходи за трафик, за които операторите нагоре по веригата трябва да плащат, оптимизирано маршрутизиране и възможност за директно свързване с доставчици на съдържание.

Полезни връзки

Вижте картата на точките за обмен на трафик: www.internetexchangemap.com
Вижте подробна статистика за BGP peering, включително наличието на IXP: www.peeringdb.com

Източник: www.habr.com