Punto sa pagbayloay sa trapiko: gikan sa gigikanan hangtod sa paghimo sa imong kaugalingon nga IX

"Nagbutang kami usa ka koneksyon sa telepono tali kanamo ug sa mga lalaki sa SRI ...", Kleinrock ... miingon sa usa ka interbyu:
“Among gi-type ang L ug nangutana mi sa telepono, “Nakita ba nimo ang L?”
“Oo, nakita namo ang L,” maoy tubag.
“Among gi-type ang O, ug kami nangutana, “Nakita ba nimo ang O.”
"Oo, nakita namon ang O."
"Unya among gi-type ang G, ug ang sistema nahagsa"...

Bisan pa usa ka rebolusyon ang nagsugod…

Ang sinugdanan sa internet.

Hello sa tanan!

Ang akong ngalan mao si Alexander, ako usa ka network engineer sa Linxdatacenter. Sa karon nga artikulo maghisgot kita bahin sa mga punto sa pagbinayloay sa trapiko (Internet Exchange Points, IXP): kung unsa ang nag-una sa ilang hitsura, unsa nga mga buluhaton ang ilang gisulbad ug kung giunsa kini gitukod. Usab niini nga artikulo akong ipakita ang prinsipyo sa operasyon sa IXP gamit ang EVE-NG nga plataporma ug ang BIRD software router, aron ikaw adunay pagsabot kung giunsa kini paglihok "sa ilawom sa hood".

Usa ka gamay nga kasaysayan

Kung tan-awon nimo dinhi, unya imong makita nga ang paspas nga pag-uswag sa gidaghanon sa traffic exchange points nagsugod niadtong 1993. Kini tungod sa kamatuoran nga kadaghanan sa trapiko sa mga operator sa telecom nga naglungtad niadtong panahona miagi sa backbone network sa US. Busa, pananglitan, sa dihang ang trapiko gikan sa usa ka operator sa France ngadto sa usa ka operator sa Germany, kini una nga gikan sa France ngadto sa USA, ug unya gikan sa USA ngadto sa Germany. Ang backbone network niini nga kaso naglihok isip transit tali sa France ug Germany. Bisan ang trapiko sa sulod sa usa ka nasud kanunay nga dili direkta nga moagi, apan pinaagi sa backbone network sa mga operator sa Amerika.

Kini nga kahimtang nakaapekto dili lamang sa gasto sa paghatud sa trapiko sa transit, apan usab ang kalidad sa mga agianan ug mga paglangan. Ang gidaghanon sa mga tiggamit sa Internet midaghan, ang bag-ong mga operator mitungha, ang gidaghanon sa trapiko misaka, ug ang Internet mihamtong. Ang mga operator sa tibuok kalibutan nagsugod sa pagkaamgo nga ang usa ka mas makatarunganon nga pamaagi sa pag-organisar sa inter-operator nga interaksyon gikinahanglan. "Ngano nga ako, operator A, magbayad alang sa pagbiyahe sa laing nasud aron makahatud sa trapiko sa operator B, nga nahimutang sa sunod nga dalan?" Kini halos ang pangutana nga gipangutana sa mga operator sa telecom sa ilang kaugalingon niadtong panahona. Sa ingon, ang mga punto sa pagbinayloay sa trapiko nagsugod sa pagpakita sa lainlaing mga bahin sa kalibutan sa mga punto sa konsentrasyon sa operator:

• 1994 – LINX sa London,
• 1995 – DE-CIX sa Frankfurt,
• 1995 – MSK-IX, sa Moscow, ug uban pa.

Internet ug sa atong mga adlaw

Sa konsepto, ang arkitektura sa modernong Internet naglangkob sa daghang mga autonomous system (AS) ug daghang mga koneksyon tali kanila, pisikal ug lohikal, nga nagtino sa agianan sa trapiko gikan sa usa ka AS ngadto sa lain.

Ang mga AS kasagarang mga operator sa telecom, Internet providers, CDN, data center, ug mga kompanya sa bahin sa negosyo. Ang mga AS nag-organisar og mga lohikal nga koneksyon (peering) sa ilang kaugalingon, kasagaran gamit ang BGP protocol.

Giunsa pag-organisar sa mga autonomous nga sistema kini nga mga koneksyon gitino sa daghang mga hinungdan:

• geograpiya,
• ekonomiya,
• politikal,
• mga kasabutan ug komon nga interes tali sa mga tag-iya sa AS,
• ug uban pa.

Siyempre, kini nga laraw adunay usa ka piho nga istruktura ug hierarchy. Sa ingon, ang mga operator gibahin sa tier-1, tier-2 ug tier-3, ug kung ang mga kliyente alang sa usa ka lokal nga provider sa Internet (tier-3), ingon usa ka lagda, ordinaryo nga tiggamit, nan, pananglitan, alang sa tier-1. mga operator sa lebel ang mga kliyente mao ang ubang mga operator. Ang Tier-3 nga mga operator naghiusa sa trapiko sa ilang mga subscriber, ang tier-2 nga mga operator sa telecom, sa baylo, nag-aggregate sa trapiko sa mga tier-3 nga mga operator, ug ang tier-1 - ang tanan nga trapiko sa Internet.

Sa eskematiko kini mahimong irepresentar sama niini:

Kini nga hulagway nagpakita nga ang trapiko giipon gikan sa ubos ngadto sa ibabaw, i.e. gikan sa mga end user hangtod sa tier-1 nga mga operator. Adunay usab usa ka pinahigda nga pagbayloay sa trapiko tali sa mga AS nga gibanabana nga katumbas sa usag usa.

Ang usa ka integral nga bahin ug sa samang higayon usa ka disbentaha niini nga laraw mao ang usa ka piho nga kalibog sa mga koneksyon tali sa mga autonomous nga sistema nga nahimutang duol sa end user, sulod sa usa ka geographic nga lugar. Tagda ang hulagway sa ubos:

Ibutang nato nga sa usa ka dako nga siyudad adunay 5 ka telecom operators, nga nagtan-aw sa taliwala diin, alang sa usa ka rason o sa lain, giorganisar sama sa gipakita sa ibabaw.

Kung ang user nga Petya, konektado sa Go ISP, gusto nga maka-access sa usa ka server nga konektado sa ASM provider, nan ang trapiko tali kanila mapugos sa pag-agi sa 5 nga mga autonomous nga sistema. Kini nagdugang sa pagkalangan tungod kay ang gidaghanon sa mga himan sa network diin ang trapiko mosaka, ingon man ang gidaghanon sa trapiko sa transit sa mga autonomous nga sistema tali sa Go ug ASM.

Giunsa ang pagkunhod sa gidaghanon sa mga transit AS nga napugos sa pag-agi sa trapiko? Husto kana - punto sa pagbayloay sa trapiko.

Karon, ang pagtungha sa mga bag-ong IXPs gimaneho sa parehas nga mga panginahanglan sama sa sayong bahin sa 90s-2000s, sa gamay ra nga sukod, agig tubag sa nagkadaghan nga mga operator sa telecom, tiggamit ug trapiko, ang nagkadako nga kantidad sa sulud nga nahimo sa mga network sa CDN ug mga sentro sa datos.

Unsa ang exchange point?

Ang traffic exchange point kay usa ka lugar nga adunay espesyal nga network infrastructure diin ang mga partisipante nga interesado sa mutual traffic exchange mag-organisa ug mutual peering. Ang mga nag-unang partisipante sa traffic exchange points: telecom operators, Internet providers, content providers ug data centers. Sa traffic exchange point, ang mga partisipante direktang nagkonektar sa usag usa. Kini nagtugot kanimo sa pagsulbad sa mosunod nga mga problema:

• pagpakunhod sa latency,
• pagpakunhod sa gidaghanon sa trapiko sa transit,
• optimize ang routing tali sa AS.

Sa pagkonsiderar nga ang mga IXP anaa sa daghang dagkong mga siyudad sa tibuok kalibutan, kining tanan adunay mapuslanon nga epekto sa Internet sa kinatibuk-an.

Kung ang sitwasyon sa ibabaw sa Petya masulbad gamit ang IXP, kini mahimong sama niini:

Giunsa pagtrabaho ang usa ka traffic exchange point?

Ingon sa usa ka lagda, ang usa ka IXP usa ka bulag nga AS nga adunay kaugalingon nga bloke sa publiko nga mga adres sa IPv4/IPv6.

Ang IXP network kasagaran naglangkob sa usa ka padayon nga L2 domain. Usahay kini usa lamang ka VLAN nga nag-host sa tanan nga mga kliyente sa IXP. Pag-abut sa mas dako, giapod-apod sa heyograpiya nga mga IXP, ang mga teknolohiya sama sa MPLS, VXLAN, ug uban pa mahimong magamit sa pag-organisar sa usa ka domain sa L2.

Mga elemento sa IXP

• SKS. Wala'y talagsaon dinhi: mga rack, optical cross-connects, patch panels.
• Mga switch – ang basehan sa IXP. Ang switch port mao ang entry point sa IXP network. Ang mga switch naghimo usab nga bahin sa mga function sa seguridad - gisala nila ang junk traffic nga dili kinahanglan nga naa sa IXP network. Ingon sa usa ka lagda, ang mga switch gipili base sa mga kinahanglanon sa pag-andar - kasaligan, gisuportahan nga katulin sa pantalan, mga bahin sa seguridad, suporta sa sFlow, ug uban pa.
• Server sa ruta (RS) – usa ka integral ug gikinahanglan nga bahin sa bisan unsang modernong traffic exchange point. Ang prinsipyo sa operasyon susama kaayo sa ruta reflector sa iBGP o sa gitudlo nga router sa OSPF ug pagsulbad sa sama nga mga problema. Samtang nagkadako ang gidaghanon sa mga partisipante sa usa ka traffic exchange point, ang gidaghanon sa mga sesyon sa BGP nga gikinahanglan sa matag partisipante nga suportahan nagdugang, i.e. kini makapahinumdom sa classic full-mesh topology sa iBGP. Gisulbad sa RS ang problema sa mosunod nga paagi: nagtukod kini og sesyon sa BGP sa matag interesadong partisipante sa IXP, ug kana nga partisipante nahimong kliyente sa RS. Nakadawat ug update sa BGP gikan sa usa sa mga kliyente niini, gipadala ni RS kini nga update sa tanan nga ubang mga kliyente niini, siyempre, gawas sa usa nga gikan niini nadawat ang update. Sa ingon, giwagtang sa RS ang panginahanglan sa pag-establisar sa usa ka bug-os nga mata sa taliwala sa tanan nga mga miyembro sa IXP ug elegante nga nagsulbad sa problema sa scalability. Angay nga hinumdoman nga ang ruta nga server transparent nga nagpadala sa mga ruta gikan sa usa ka AS ngadto sa lain nga wala maghimo mga pagbag-o sa mga kinaiya nga gipasa sa BGP, pananglitan, wala kini idugang ang numero sa AS sa AS-path. Usab sa RS adunay sukaranan nga pagsala sa mga ruta: pananglitan, ang RS dili modawat sa mga network sa Martians ug ang mga prefix sa IXP mismo.

  Usa ka open source software router, BIRD (bird internet routing daemon), sagad gigamit isip solusyon sa ruta server. Ang maayo nga butang bahin niini mao nga kini libre, dali nga nag-deploy sa kadaghanan sa mga distribusyon sa Linux, adunay usa ka flexible nga mekanismo alang sa pag-set up sa mga palisiya sa ruta / pagsala, ug dili nangayo sa mga kapanguhaan sa pag-compute. Usab, ang hardware/virtual router gikan sa Cisco, Juniper, ug uban pa mahimong mapili isip RS.

• Kasegurohan. Tungod kay ang usa ka network sa IXP usa ka konsentrasyon sa daghang mga AS, ang palisiya sa seguridad nga kinahanglan sundon sa tanan nga mga partisipante kinahanglan nga maayo nga pagkasulat. Sa kinatibuk-an, ang tanan nga parehas nga mga mekanismo nga gigamit sa pag-establisar sa usa ka BGP adjacency tali sa duha ka separado nga BGP peer sa gawas sa usa ka IXP magamit dinhi, dugang sa pipila ka dugang nga mga lakang sa seguridad.

  Pananglitan, maayo nga praktis ang pagtugot sa trapiko gikan lamang sa usa ka piho nga mac address sa partisipante sa IXP, nga gi-negosasyon nang daan. Pagdumili sa trapiko nga adunay ethertype nga mga natad gawas sa 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); kini gihimo aron sa pagsala sa trapiko nga dili iya sa BGP peering. Mahimo usab nga gamiton ang mga mekanismo sama sa GTSM, RPKI, ug uban pa.

Tingali ang sa ibabaw mao ang mga nag-unang sangkap sa bisan unsang IXP, bisan unsa pa ang sukod. Siyempre, ang dagkong mga IXP mahimong adunay dugang nga mga teknolohiya ug solusyon sa lugar.
Nahitabo nga ang IXP naghatag usab sa mga partisipante niini og dugang nga mga serbisyo:

• gibutang sa IXP TLD DNS server,
• i-install ang mga hardware NTP server, nga gitugotan ang mga partisipante sa tukma nga pag-synchronize sa oras,
• naghatag proteksyon batok sa mga pag-atake sa DDoS, ug uban pa.

Kon sa unsang paagi kini nga mga buhat

Atong tan-awon ang prinsipyo sa operasyon sa usa ka traffic exchange point gamit ang pananglitan sa usa ka simple nga IXP, nga gimodelo gamit ang EVE-NG, ug unya tagda ang batakang setup sa usa ka BIRD software router. Aron mapasayon ​​ang diagram, atong laktawan ang importanteng mga butang sama sa redundancy ug fault tolerance.

Ang network topology gipakita sa hulagway sa ubos.

Ibutang nato nga nagdumala kita og gamay nga exchange point ug naghatag sa mosunod nga mga opsyon sa peering:

• pagtan-aw sa publiko,
• pribado nga pagtan-aw,
• pagtan-aw pinaagi sa ruta server.

Ang among AS nga numero 555, kami adunay usa ka block sa IPv4 nga mga adres - 50.50.50.0/24, diin kami nag-isyu sa mga IP address alang niadtong gusto nga makonektar sa among network.

50.50.50.254 - IP address nga gi-configure sa ruta sa interface sa server, uban niini nga mga kliyente sa IP magtukod og usa ka sesyon sa BGP sa kaso sa peering pinaagi sa RS.

Usab, alang sa pagtan-aw pinaagi sa RS, nakahimo kami og usa ka yano nga polisiya sa pagruta base sa BGP nga komunidad, nga nagtugot sa mga partisipante sa IXP sa pag-regulate kang kinsa ug unsa nga mga ruta ang ipadala:

BGP nga komunidad
paghulagway

LOCAL_AS:PEER_AS
Ipadala ang mga prefix sa PEER_AS lang

LOCAL_AS:IXP_AS
Ibalhin ang mga prefix sa tanang partisipante sa IXP

Gusto sa 3 nga mga kliyente nga makonektar sa among IXP ug magbinayloay sa trapiko; Ingnon ta nga mga Internet providers kini. Silang tanan gusto nga mag-organisar sa pagtan-aw pinaagi sa usa ka server sa ruta. Sa ubos usa ka diagram nga adunay mga parameter sa koneksyon sa kliyente:

Kustomer
Numero sa kustomer AS
Mga prefix nga gi-advertise sa kliyente
Ang IP address nga gihatag sa kliyente aron makonektar sa IXP

ISP #1
AS 100
1.1.0.0/16
50.50.50.10/24

ISP #2
AS 200
2.2.0.0/16
50.50.50.20/24

ISP #3
AS 300
3.3.0.0/16
50.50.50.30/24

Basic BGP setup sa client router:

router bgp 100
 no bgp enforce-first-as
 bgp log-neighbor-changes
 neighbor 50.50.50.254 remote-as 555
address-family ipv4
  network 1.1.0.0 mask 255.255.0.0
  neighbor 50.50.50.254 activate
  neighbor 50.50.50.254 send-community both
  neighbor 50.50.50.254 soft-reconfiguration inbound
  neighbor 50.50.50.254 route-map ixp-out out
 exit-address-family

ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16
route-map bgp-out permit 10
 match ip address prefix-list as100-prefixes
 set community 555:555

Angay nga matikdan ang walay bgp enforce-first-as setting dinhi. Sa kasagaran, gikinahanglan sa BGP nga ang as-path sa nadawat nga update sa BGP naglangkob sa bgp number sa peer diin nadawat ang update. Apan tungod kay ang server sa ruta wala magbag-o sa as-path, ang numero niini dili naa sa as-path ug ang pag-update ilabay. Gigamit kini nga setting aron dili ibalewala sa router kini nga lagda.

Nakita usab namo nga ang kliyente nagbutang sa bgp community 555:555 niini nga prefix, nga sumala sa among polisiya nagpasabot nga gusto sa kliyente nga i-anunsyo kini nga prefix sa tanang ubang partisipante.

Alang sa mga router sa ubang mga kliyente, ang mga setting mahimong parehas, gawas sa ilang talagsaon nga mga parameter.

Pananglitan nga pag-configure sa BIRD:

define ixp_as = 555;
define ixp_prefixes = [ 50.50.50.0/24+ ];

template bgp RS_CLIENT {
  local as ixp_as;
  rs client;
}

Ang mosunod naghulagway sa usa ka filter nga dili modawat sa martians prefix, ingon man sa mga prefix sa IXP mismo:

function catch_martians_and_ixp()
prefix set martians;
prefix set ixp_prefixes;
{
  martians = [ 
  0.0.0.0/8+,
  10.0.0.0/8+,
  100.64.0.0/10+,
  127.0.0.0/8+,
  169.254.0.0/16+,
  172.16.0.0/12+,
  192.0.0.0/24+,
  192.0.2.0/24+,
  192.168.0.0/16+,
  198.18.0.0/15+,
  198.51.100.0/24+,
  203.0.113.0/24+,
  224.0.0.0/4+,
  240.0.0.0/4+ ];

  if net ~ martians || net ~ ixp_prefixes then return false;

  return true;
}

Kini nga function nagpatuman sa routing policy nga among gihulagway sa sayo pa.

function bgp_ixp_policy(int peer_as)
{
  if (ixp_as, ixp_as) ~ bgp_community then return true;
  if (ixp_as, peer_as) ~ bgp_community then return true;

  return false;
}

filter reject_martians_and_ixp
{
  if catch_martians_and_ixp() then reject;
  if ( net ~ [0.0.0.0/0{25,32} ] ) then {
    reject;
  }
  accept;


}

Gi-configure namon ang pag-peering, gipadapat ang angay nga mga pagsala ug mga palisiya.

protocol as_100 from RS_CLIENT {
  neighbor 50.50.50.10 as 100;
  ipv4 {
    export where bgp_ixp_policy(100);
    import filter reject_martians_and_ixp;
  }
}

protocol as_200 from RS_CLIENT {
  neighbor 50.50.50.20 as 200;
  ipv4 {
    export where bgp_ixp_policy(200);
    import filter reject_martians_and_ixp;
  }
}

protocol as_300 from RS_CLIENT {
  neighbor 50.50.50.30 as 300;
  ipv4 {
    export where bgp_ixp_policy(300);
    import filter reject_martians_and_ixp;
  }
}

Angay nga hinumdoman nga sa usa ka server sa ruta maayo nga praktis ang pagbutang mga ruta gikan sa lainlaing mga kaedad ngadto sa lainlaing mga RIB. Ang BIRD nagtugot kanimo sa pagbuhat niini. Sa among pananglitan, alang sa kayano, ang tanan nga mga update nga nadawat gikan sa tanan nga mga kliyente gidugang sa usa ka komon nga RIB.

Busa, atong susihon kon unsay atong nakuha.

Sa server sa ruta among nakita nga usa ka sesyon sa BGP ang natukod sa tanan nga tulo nga mga kliyente:

Nakita namon nga nakadawat kami mga prefix gikan sa tanan nga mga kliyente:

Sa ingon nga 100 nga router, nakita namon nga kung adunay usa ra ka sesyon sa BGP sa server sa ruta, makadawat kami mga prefix gikan sa pareho nga 200 ug ingon 300, samtang ang mga kinaiya sa BGP wala mausab, ingon nga ang pagtan-aw sa taliwala sa mga kliyente direkta nga gihimo:

Sa ingon, nakita namon nga ang presensya sa usa ka server sa ruta labi nga gipasimple ang organisasyon sa pag-peering sa IXP.

Nanghinaut ko nga kini nga demonstrasyon nakatabang kanimo nga mas masabtan kung giunsa ang pagtrabaho sa IXP ug kung giunsa ang paglihok sa server sa ruta sa usa ka IXP.

Linxdatacenter IX

Sa Linxdatacenter, nagtukod kami sa among kaugalingon nga IXP base sa usa ka fault-tolerant nga imprastraktura sa 2 switch ug 2 nga mga server sa ruta. Ang among IXP nagdagan na karon sa mode sa pagsulay, ug gidapit namo ang tanan sa pagkonektar sa Linxdatacenter IX ug pag-apil sa pagsulay. Kung konektado, hatagan ka usa ka pantalan nga adunay bandwidth nga 1 Gbit / s, ang abilidad sa pag-peer pinaagi sa among mga server sa ruta, ingon man ang pag-access sa imong personal nga account sa IX portal, nga magamit sa ix.linxdatacenter.com.

Pagsulat sa mga komento o pribado nga mga mensahe aron makakuha og access sa pagsulay.

konklusyon

Ang mga punto sa pagbinayloay sa trapiko mitumaw sa kaadlawon sa Internet isip usa ka himan alang sa pagsulbad sa isyu sa suboptimal nga dagan sa trapiko tali sa mga operator sa telecom. Karon, sa pag-abut sa mga bag-ong serbisyo sa kalibutan ug pagdugang sa gidaghanon sa trapiko sa CDN, ang mga punto sa pagbinayloay nagpadayon sa pag-optimize sa operasyon sa global nga network. Ang pagtaas sa gidaghanon sa mga IXP sa kalibutan nakabenepisyo sa katapusan nga tiggamit sa serbisyo ug mga operator sa telecom, mga operator sa sulud, ug uban pa. Alang sa mga partisipante sa IXP, ang benepisyo gipahayag sa pagkunhod sa mga gasto sa pag-organisar sa gawas nga pagtan-aw, pagkunhod sa gidaghanon sa trapiko diin ang mas taas nga lebel nga mga operator kinahanglan magbayad, pag-optimize sa ruta, ug ang abilidad nga adunay usa ka direkta nga interface sa mga operator sa sulud.

Mapuslanon nga mga link

• Tan-awa ang mapa sa lokasyon sa mga punto sa pagbayloay sa trapiko: www.internetexchangemap.com
• Tan-awa ang detalyadong estadistika sa BGP peering, lakip ang presensya sa IXP: www.peeringdb.com

Source: www.habr.com