Ahojte, Habr. V súčasnosti som vedúci kurzu "Sieťový inžinier" na OTUS.
Pred spustením nového kurzu , pripravil som cyklus článkov o technológii VxLAN EVPN.
Existuje obrovské množstvo materiálov o práci s VxLAN EVPN, a preto chcem zhromaždiť rôzne úlohy a praktiky riešenia úloh v modernej dátovej centrá.

V prvej časti cyklu o technológii VxLAN EVPN chcem zvážiť spôsob organizácie L2 prepojenia medzi hostiteľmi nad sieťovou továreňou.
Všetky príklady budeme vykonávať na Cisco Nexus 9000v, zostavených do topológie Spine-Leaf. Na nastavení Underlay siete sa v rámci tohto článku nezastavíme.
- Underlay sieť
- BGP peerovanie pre address-family l2vpn evpn
- Nastavenie NVE
- Supress-arp
Underlay sieť
Používaná topológia vyzerá nasledovne:

Zadáme adresáciu na všetkých zariadeniach:
Spine-1 - 10.255.1.101
Spine-2 - 10.255.1.102
Leaf-11 - 10.255.1.11
Leaf-12 - 10.255.1.12
Leaf-21 - 10.255.1.21
Host-1 - 192.168.10.10
Host-2 - 192.168.10.20Skontrolujeme, či je IP prepojenosť medzi všetkými zariadeniami:
Leaf21# sh ip route
10.255.1.11/32, ubest/mbest: 2/0 ! Leaf-11 je dostupný cez dva Spine
*via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
*via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 2/0 ! Leaf-12 je dostupný cez dva Spine
*via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
*via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.21/32, ubest/mbest: 2/0, attached
*via 10.255.1.22, Lo0, [0/0], 00:02:20, local
*via 10.255.1.22, Lo0, [0/0], 00:02:20, direct
10.255.1.101/32, ubest/mbest: 1/0
*via 10.255.1.101, Eth1/4, [110/41], 00:00:06, ospf-UNDERLAY, intra
10.255.1.102/32, ubest/mbest: 1/0
*via 10.255.1.102, Eth1/3, [110/41], 00:00:03, ospf-UNDERLAY, intraSkontrolujeme, či je VPC doména vytvorená a oba prepínače prešli kontrolou konzistencie a nastavenia na oboch uzloch sú identické:
Leaf11# show vpc
vPC doména id : 1
Stav peer : peer adjacency formed ok
Stav vPC keep-alive : peer is alive
Stav konzistencie konfigurácie : úspech
Stav konzistencie per-vlan : úspech
Stav konzistencie Type-2 : úspech
Úloha vPC : primárny
Počet nakonfigurovaných vPCs : 0
Peer Gateway : Zakázané
VLANy vyňaté z dvojaktívneho prevádzkovania : -
Jemná kontrola konzistencie : Povolené
Stav automatického obnovovania : Zakázané
Stav oneskorenia-obnovovania : Časovač je vypnutý.(timeout = 30s)
Stav oneskorenia-obnovovania SVI : Časovač je vypnutý.(timeout = 10s)
Prevádzková vrstvená peer-router : Zakázané
vPC stav
----------------------------------------------------------------------------
Id Port Status Konsistencia Dôvod Aktívne VLANy
-- ------------ ------ ----------- ------ ---------------
5 Po5 hore úspech úspech 1BGP peerovanie
Nakoniec sa môžeme presunúť k nastaveniu Overlay siete.
V rámci článku je potrebné organizovať sieť medzi hostiteľmi, ako je zobrazené na schéme nižšie:

Na nastavenie Overlay siete je potrebné na Spine a Leaf prepínačoch aktivovať BGP s podporou rodiny l2vpn evpn:
feature bgp
nv overlay evpnĎalej je potrebné nastaviť BGP párovanie medzi Leaf a Spine. Pre zjednodušenie nastavenia a optimalizáciu distribúcie informačných trás nastavíme Spine ako Route-Reflector server. Všetky Leaf zahrnieme do konfigurácie prostredníctvom šablón, aby sme optimalizovali nastavenie.
Teda nastavenia na Spine vyzerajú takto:
router bgp 65001
template peer LEAF
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 10.255.1.11
inherit peer LEAF
neighbor 10.255.1.12
inherit peer LEAF
neighbor 10.255.1.21
inherit peer LEAFNastavenie na Leaf prepínači vyzerá podobne:
router bgp 65001
template peer SPINE
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
neighbor 10.255.1.101
inherit peer SPINE
neighbor 10.255.1.102
inherit peer SPINENa Spine overíme párovanie so všetkými Leaf prepínačmi:
Spine1# sh bgp l2vpn evpn summary
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
10.255.1.11 4 65001 7 8 6 0 0 00:01:45 0
10.255.1.12 4 65001 7 7 6 0 0 00:01:16 0
10.255.1.21 4 65001 7 7 6 0 0 00:01:01 0Ako vidíme, s BGP nevznikli žiadne problémy. Prejdime k nastaveniu VxLAN. Ďalšie nastavenia budú realizované iba na strane Leaf prepínačov. Spine slúži len ako jadro siete a zaisťuje iba prenos prevádzky. Celá práca na enkapsulácii a určovaní trasy prebieha výhradne na Leaf prepínačoch.
Nastavenie NVE
NVE — network virtual interface
Pred začiatkom nastavenia si priblížime niektoré terminológie:
VTEP — Vitual Tunnel End Point, zariadenie, na ktorom začína alebo končí VxLAN tunel. VTEP nemusí byť nevyhnutne nejaké sieťové zariadenie. Môže tiež fungovať ako server s podporou technológie VxLAN. V našej topológii sú všetky Leaf prepínače VTEP.
VNI — Virtual Network Index — identifikátor siete v rámci VxLAN. Môžeme porovnať s VLAN. Avšak existujú aj niektoré rozdiely. Pri použití fabriky sú VLAN jedinečné iba v rámci jedného Leaf prepínača a neprenášajú sa po sieti. S každým VLAN však môže byť prepojené číslo VNI, ktoré sa už prenáša po sieti. Ako to vyzerá a ako to možno využiť, bude podrobne opísané ďalej.
Aktivujeme funkciu pre prácu technológie VxLAN a možnosť asociovať čísla VLAN s číslom VNI:
feature nv overlay
feature vn-segment-vlan-basedNastavíme rozhranie NVE, ktoré zodpovedá za prácu s VxLAN. Toto rozhranie presne zodpovedá za enkapsuláciu rámcov do hlavičiek VxLAN. Môžeme to prirovnať k rozhraniu Tunnel pre fungovanie GRE:
interface nve1
no shutdown
host-reachability protocol bgp ! používame BGP na prenos smerovacích informácií
source-interface loopback0 ! rozhranie, z ktorého posielame pakety loopback0Na komutátore Leaf-21 sa všetko vytvára bez problémov. Avšak, ak skontrolujeme výstup príkazu show nve peers, bude prázdny. Tu je potrebné sa vrátiť k nastaveniu VPC. Vidíme, že Leaf-11 a Leaf-12 pracujú v páre a sú spojené VPC doménou. Z toho vyplýva nasledujúca situácia:
Host-2 posiela jeden rámec smerom k Leaf-21, aby ho ten preniesol po sieti smerom k Host-1. Avšak Leaf-21 vidí, že MAC adresa Host-1 je dostupná ihneď cez dva VTEP. Ako sa v tomto prípade zachovať Leaf-21? To predsa znamená, že v sieti mohla vzniknúť slučka.
Na vyriešenie tejto situácie potrebujeme, aby Leaf-11 a Leaf-12 pôsobili v rámci fabriky ako jedno zariadenie. Rieši sa to celkom jednoducho. Na rozhraní Loopback, z ktorého vytvárame tunel, pridáme sekundárnu adresu. Sekundárna adresa by mala byť rovnaká na oboch VTEP.
interface loopback0
ip add 10.255.1.10/32 secondaryTakto z pohľadu ostatných VTEP získavame nasledujúcu topológiu:

To znamená, že teraz sa tunel bude vytvárať medzi IP adresou Leaf-21 a virtuálnou IP medzi dvoma Leaf-11 a Leaf-12. Teraz nebudú problémy so zisťovaním MAC adresy z dvoch zariadení a prevádzka sa môže presúvať z jedného VTEP na druhý. Kto práve z dvoch VTEP spracuje prevádzku, sa rozhoduje pomocou smerovacej tabuľky na Spine:
Spine1# sh ip route
10.255.1.10/32, ubest/mbest: 2/0
*via 10.255.1.11, Eth1/1, [110/41], 1d01h, ospf-UNDERLAY, intra
*via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra
10.255.1.11/32, ubest/mbest: 1/0
*via 10.255.1.11, Eth1/1, [110/41], 1d22h, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 1/0
*via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intraAko je vidieť vyššie, adresa 10.255.1.10 je dostupná okamžite cez dvoch Next-hop.
V tejto fáze sme sa zaoberali základnou previazaním. Prejdime k nastaveniu rozhrania NVE:
Ihneď zapneme VLAN 10 a asociujeme ju s VNI 10000 na každom Leaf pre hosty. Nastavíme L2 tunel medzi hostami.
vlan 10 ! Aktivujeme VLAN na všetkých VTEP pripojených k potrebným hostiteľom
vn-segment 10000 ! Priradzujeme VLAN k číslu VNI
interface nve1
member vni 10000 ! Pridávame VNI 10000 pre prácu cez rozhranie NVE na encapsuláciu v VxLAN
ingress-replication protocol bgp ! uvádzame, že na šírenie informácií o hostiteľa používame BGPTeraz skontrolujeme nve peers a tabuľku pre BGP EVPN:
Leaf21# sh nve peers
Interface Peer-IP State LearnType Uptime Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1 10.255.1.10 Up CP 00:00:41 n/a ! Vidíme, že peer je dostupný z sekundárnej adresy
Leaf11# sh bgp l2vpn evpn
Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 10.255.1.11:32777 (L2VNI 10000) ! Od koho konkrétne prišiel tento l2VNI
*>l[3]:[0]:[32]:[10.255.1.10]\/88 ! EVPN route-type 3 - ukazuje nášho suseda, ktorý taktiež vie o l2VNI10000
10.255.1.10 100 32768 i
*>i[3]:[0]:[32]:[10.255.1.20]\/88
10.255.1.20 100 0 i
* i 10.255.1.20 100 0 i
Route Distinguisher: 10.255.1.21:32777
* i[3]:[0]:[32]:[10.255.1.20]\/88
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 iVyššie vidíme trasy len EVPN route-type 3. Tento typ trás hovorí o peer(Leaf), ale kde sú naše hostiteľské systémy?
A problém je v tom, že informácie o MAC hostiteľoch sa prenášajú cez EVPN route-type 2
Aby sme videli naše hostiteľov, je potrebné nastaviť EVPN route-type 2:
evpn
vni 10000 l2
route-target import auto ! V rámci tohto článku používame automatické číslo pre route-target
route-target export autoUrobíme ping z Host-2 na Host-1:
Firewall2# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1): 56 data bytes
36 bytes from 192.168.10.2: Destination Host Unreachable
Request 0 timed out
64 bytes from 192.168.10.1: icmp_seq=1 ttl=254 time=215.555 ms
64 bytes from 192.168.10.1: icmp_seq=2 ttl=254 time=38.756 ms
64 bytes from 192.168.10.1: icmp_seq=3 ttl=254 time=42.484 ms
64 bytes from 192.168.10.1: icmp_seq=4 ttl=254 time=40.983 msA nižšie môžeme vidieť, že v tabuľke BGP sa objavili route-type 2 s MAC adresami hostiteľov — 5001.0007.0007 a 5001.0008.0007
Leaf11# sh bgp l2vpn evpn
Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 10.255.1.11:32777 (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216 ! evpn route-type 2 a mac adresa hosta 1
10.255.1.10 100 32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216 ! evpn route-type 2 a mac adresa hosta 2
* i 10.255.1.20 100 0 i
*>l[3]:[0]:[32]:[10.255.1.10]/88
10.255.1.10 100 32768 i
Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 iĎalej si môžete pozrieť podrobné informácie o aktualizácii, v ktorej sme získali informácie o MAC hoste. Nižšie je uvedený nie celý výstup príkazu
Leaf21# sh bgp l2vpn evpn 5001.0007.0007
BGP routing table information for VRF default, address family L2VPN EVPN
Route Distinguisher: 10.255.1.11:32777 ! odoslaný aktualizácia s MAC hosta. Nie virtuálna adresa VPC, ale adresa Leaf
BGP routing table entry for [2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216,
verzia 1507
Paths: (2 available, best #2)
Flags: (0x000202) (high32 00000000) on xmit-list, nie je v l2rib/evpn, nie je v HW
Path type: internal, path is valid, not best reason: Neighbor Address, no labeled nexthop
AS-Path: NONE, path sourced internal to AS
10.255.1.10 (metric 81) from 10.255.1.102 (10.255.1.102) ! s kým presne budujeme VxLAN tunel
Origin IGP, MED not set, localpref 100, weight 0
Received label 10000 ! Číslo VNI, ktoré je asociované s VLAN, v ktorej sa nachádza host
Extcommunity: RT:65001:10000 SOO:10.255.1.10:0 ENCAP:8 ! Tu je vidieť, že RT sa vytvoril automaticky na základe čísel AS a VNI
Originator: 10.255.1.11 Cluster list: 10.255.1.102Pozrime sa, ako vyzerajú pakety, keď sa prenášajú cez fabriku:

Suppress-ARP
Skvelé, L2 spojenie medzi hostami máme a na tomto by sme mohli skončiť. Avšak, nie všetko je také jednoduché. Pokým máme málo hostov, problémy nevzniknú. Ale predstavme si situácie, kedy máme stovky a tisíce hostov. S akým problémom sa môžeme stretnúť?
Tento problém je BUM (Broadcast, Unknown Unicast, Multicast) traffic. V rámci tohto článku sa pozrieme na možnosť boja s broadcast traffic.
Hlavným generátorom Broadcast v Ethernet sieťach sú samotní hostia cez protokol ARP.
Na nexus je implementovaný nasledujúci mechanizmus na boj proti ARP otázkam — suppress-arp.
Funkcia tejto funkcie vyzerá nasledovne:
- Host-1 odosiela APR požiadavku na Broadcast adresu svojej siete.
- Požiadavka dosiahne Leaf prepínač a namiesto toho, aby odovzdal túto požiadavku ďalej do fabriky smerom k Host-2 — Leaf odpovedá sám a uvádza potrebný IP a MAC.
Takže Broadcast požiadavka neprešla do fabric. Ale ako to môže fungovať, ak Leaf pozná iba MAC adresu?
Všetko je celkom jednoduché, EVPN route-type 2 okrem MAC adresy môže prenášať aj spojenie MAC/IP. Na to je potrebné nastaviť IP adresu na Leaf v VLAN. Vzniká otázka, akú IP priradiť? Na nesixe je možnosť vytvoriť distribuovanú (rovnakú) adresu na všetkých prepínačoch:
feature interface-vlan
fabric forwarding anycast-gateway-mac 0001.0001.0001 ! nastavujeme virtuálnu MAC pre vytvorenie distribuovanej brány medzi všetkými prepínačmi
interface Vlan10
no shutdown
ip address 192.168.10.254/24 ! na všetkých Leaf nastavujeme rovnakú IP
fabric forwarding mode anycast-gateway ! hovoríme, že máme použiť virtuálnu MACTakže z pohľadu hostiteľov bude sieť vyzerať nasledovne:

Skontrolujme BGP l2route evpn
Leaf11# sh bgp l2vpn evpn
Network Next Hop Metric LocPrf Weight Path
Route Distinguisher: 10.255.1.11:32777 (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216
10.255.1.21 100 32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
10.255.1.10 100 0 i
* i 10.255.1.10 100 0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
10.255.1.10 100 0 i
*>i 10.255.1.10 100 0 i
Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
*>i 10.255.1.20 100 0 iZ výstupu príkazu je vidieť, že v EVPN route-type 2 okrem MAC teraz vidíme aj IP adresu hostiteľa.
Vraciam sa k nastaveniu suppress-arp. Táto nastavenie sa zapína pre každý VNI samostatne:
interface nve1
member vni 10000
suppress-arpĎalej nastáva určitá komplikácia:
- Pre funkčnosť tejto funkcie je potrebné miesto v TCAM pamäti. Uvediem príklad nastavenia pre suppress-arp:
hardware access-list tcam region arp-ether 256Pre toto nastavenie bude potrebné double-wide. Tým pádom, ak nastavíte 256, musíte v TCAM uvoľniť 512. Nastavenie TCAM presahuje rámec tohto článku, pretože nastavenie TCAM závisí iba od úlohy, ktorú pred vás postavíte, a môže sa líšiť od jednej siete k druhej.
- Implementácia suppress-arp je potrebná na všetkých Leaf prepínačoch. Složitosti však môžu vzniknúť pri konfigurácii na pároch Leaf nachádzajúcich sa v doméne VPC. Pri zmene TCAM dôjde k narušeniu konzistencie medzi pármi a jedna nód môže byť vyradená z prevádzky. Navyše na aplikáciu nastavenia zmien TCAM môže byť potrebné reštartovanie zariadenia.
V dôsledku toho je potrebné dobre zvážiť, či vo vašej situácii stojí za to implementovať toto nastavenie v prevádzke.
Týmto uzatvárame prvú časť cyklu. V nasledujúcej časti sa pozrieme na smerovanie cez VxLAN fabriku s rozdelením sietí podľa rôznych VRF.
A teraz pozývam všetkých na , v rámci ktorého podrobne predstavím kurz. Prvých 20 účastníkov, ktorí sa zaregistrujú na tento webinár, dostane certifikát na zľavu na e-mail počas 1-2 dní po vysielaní.
Zdroj: habr.com
