Zdravo, Habr. Trenutno sam vođa kursa "Mrežni inženjer" na OTUS-u.
Uoči početka novog niza na kursu , pripremio sam ciklus članaka o tehnologiji VxLAN EVPN.
Postoji ogroman broj materijala o radu sa VxLAN EVPN, pa želim okupiti različite zadatke i prakse rešenja problema u modernom data centru.

U prvom delu ciklusa o tehnologiji VxLAN EVPN želim razmotriti način organizovanja L2 povezanosti između hostova preko mrežne fabrike.
Sve primere ćemo izvoditi na Cisco Nexus 9000v, sastavljenim u topologiju Spine-Leaf. Nećemo se zadržavati na podešavanju Underlay mreže u okviru ovog članka.
- Underlay mreža
- BGP peering za address-family l2vpn evpn
- Podešavanje NVE
- Supress-arp
Underlay mreža
Koristeća topologija izgleda ovako:

Postavićemo adresaciju na svim uređajima:
Spine-1 - 10.255.1.101
Spine-2 - 10.255.1.102
Leaf-11 - 10.255.1.11
Leaf-12 - 10.255.1.12
Leaf-21 - 10.255.1.21
Host-1 - 192.168.10.10
Host-2 - 192.168.10.20Proverićemo da li postoji IP povezanost između svih uređaja:
Leaf21# sh ip route
10.255.1.11/32, ubest/mbest: 2/0 ! Leaf-11 dostupan preko dva Spine
*via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
*via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 2/0 ! Leaf-12 dostupan preko dva Spine
*via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
*via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.21/32, ubest/mbest: 2/0, attached
*via 10.255.1.22, Lo0, [0/0], 00:02:20, local
*via 10.255.1.22, Lo0, [0/0], 00:02:20, direct
10.255.1.101/32, ubest/mbest: 1/0
*via 10.255.1.101, Eth1/4, [110/41], 00:00:06, ospf-UNDERLAY, intra
10.255.1.102/32, ubest/mbest: 1/0
*via 10.255.1.102, Eth1/3, [110/41], 00:00:03, ospf-UNDERLAY, intraProverićemo da li je VPC domen kreiran i da su oba prekidača prošla proveru doslednosti i konfiguracije na obe nodove identične:
Leaf11# show vpc
vPC domen id : 1
Status partnera : partner adjacency formed ok
vPC keep-alive status : partner is alive
Status doslednosti konfiguracije : success
Status doslednosti po VLAN-u : success
Status doslednosti Tip-2 : success
vPC uloga : primarna
Broj konfigurisanih vPC-ova : 0
Peer Gateway : Disabled
Dual-active excluded VLANs : -
Graceful Consistency Check : Enabled
Auto-recovery status : Disabled
Delay-restore status : Timer is off.(timeout = 30s)
Delay-restore SVI status : Timer is off.(timeout = 10s)
Operativni Layer3 Peer-router : Disabled
vPC status
----------------------------------------------------------------------------
Id Port Status Doslednost Razlog Aktivni vlans
-- ------------ ------ ----------- ------ ---------------
5 Po5 up success success 1BGP peering
Napokon se možemo prebaciti na podešavanje Overlay mreže.
U okviru članka potrebno je organizovati mrežu između hostova, kako je prikazano na dijagramu ispod:

Da bi se postavila Overlay mreža, potrebno je na Spine i Leaf prekidačima aktivirati BGP s podrškom za porodicu l2vpn evpn:
feature bgp
nv overlay evpnNakon toga, potrebno je postaviti BGP peering između Leaf i Spine. Radi pojednostavljenja postavke i optimizacije širenja informacija o rutama, Spine se postavlja kao Route-Reflector server. Sve Leaf prekidače ćemo napisati u konfiguraciju putem šablona kako bismo optimizovali postavljanje.
Tako izgledaju podešavanja na Spine-u:
router bgp 65001
template peer LEAF
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
route-reflector-client
neighbor 10.255.1.11
inherit peer LEAF
neighbor 10.255.1.12
inherit peer LEAF
neighbor 10.255.1.21
inherit peer LEAFPodešavanje na Leaf prekidaču izgleda na sličan način:
router bgp 65001
template peer SPINE
remote-as 65001
update-source loopback0
address-family l2vpn evpn
send-community
send-community extended
neighbor 10.255.1.101
inherit peer SPINE
neighbor 10.255.1.102
inherit peer SPINENa Spine-u ćemo proveriti peering sa svim Leaf prekidačima:
Spine1# sh bgp l2vpn evpn summary
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
10.255.1.11 4 65001 7 8 6 0 0 00:01:45 0
10.255.1.12 4 65001 7 7 6 0 0 00:01:16 0
10.255.1.21 4 65001 7 7 6 0 0 00:01:01 0Kao što vidimo, sa BGP-om nije bilo problema. Pređimo na podešavanje VxLAN-a. Dalje podešavanje će se vršiti samo na strani Leaf prekidača. Spine služi samo kao jezgro mreže i bavi se samo prenosom saobraćaja. Sav rad na enkapsulaciji i određivanju puta vrši se samo na Leaf prekidačima.
Podešavanje NVE
NVE — mrežni virtuelni interfejs
Pre nego što počnemo sa podešavanjem, upoznajmo se malo sa terminologijom:
VTEP — Virtuelna Takozvana Krajna Tačka, uređaj na kojem počinje ili se završava VxLAN tunel. VTEP nije nužno neki mrežni uređaj. Takođe može biti i server koji podržava tehnologiju VxLAN. U našoj topologiji svi Leaf prekidači su VTEP.
VNI — Virtuelni Mrežni Indeks — identifikator mreže unutar VxLAN. Može se napraviti analogija sa VLAN. Međutim, postoje neka odstupanja. Kada se koristi fabrika, VLAN postaju jedinstveni samo unutar jednog Leaf prekidača i ne prenose se mrežom. Ali sa svakim VLAN može biti povezan broj VNI, koji se već prenosi mrežom. Kako to izgleda i kako se može koristiti biće objašnjeno kasnije.
Aktivirajmo feature za rad tehnologije VxLAN i mogućnost povezivanja brojeva VLAN sa brojem VNI:
feature nv overlay
feature vn-segment-vlan-basedPodesićemo NVE interfejs koji je odgovoran za rad VxLAN-a. Ovaj interfejs je zadužen za enkapsulaciju okvira u VxLAN zaglavlja. Možemo napraviti analogiju sa Tunnel interfejsom za rad GRE:
interfejs nve1
no shutdown
protokol dostupnosti hosta bgp ! koristimo BGP za prenos informacija o rutama
izvorni interfejs loopback0 ! interfejs sa kojeg šaljemo pakete loopback0Na Leaf-21 switchu sve se kreira bez problema. Međutim, ako proverimo izlaz komande show nve peers, biće prazan. Ovde se moramo vratiti na podešavanje VPC-a. Vidimo da Leaf-11 i Leaf-12 rade u paru i povezani su VPC domenom. Ovo dovodi do sledeće situacije:
Host-2 šalje jedan okvir ka Leaf-21, kako bi ga on prenio mrežom ka Host-1. Međutim, Leaf-21 vidi da je MAC adresa Host-1 dostupna odmah preko dva VTEP-a. Kako tada postupiti Leaf-21? To znači da je mogla nastati petlja u mreži.
Da bismo rešili ovu situaciju, potrebni su nam Leaf-11 i Leaf-12 da u okviru fabrike deluju kao jedno uređaj. Ovo se rešava prilično jednostavno. Na Loopback interfejsu sa kojeg gradimo tunel, dodajemo sekundarnu adresu. Sekundarna adresa mora biti identična na oba VTEP-a.
interfejs loopback0
ip add 10.255.1.10/32 sekundarnaTako, sa stanovišta drugih VTEP-a, dobijamo sledeću topologiju:

Dakle, sada će tunel biti izgrađen između IP adrese Leaf-21 i virtuelnog IP između dva Leaf-11 i Leaf-12. Sada neće biti problema sa učenjem MAC adrese od dva uređaja, a saobraćaj može prelaziti od jednog VTEP-a na drugi. Ko će od dva VTEP-a obraditi saobraćaj određuje se putem tabele rutiranja na Spine:
Spine1# sh ip route
10.255.1.10/32, ubest/mbest: 2/0
*putem 10.255.1.11, Eth1/1, [110/41], 1d01h, ospf-UNDERLAY, intra
*putem 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra
10.255.1.11/32, ubest/mbest: 1/0
*putem 10.255.1.11, Eth1/1, [110/41], 1d22h, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 1/0
*putem 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intraKao što se vidi iznad, adresa 10.255.1.10 je dostupna odmah preko dva Next-hop-a.
U ovoj fazi smo razjasnili osnovnu povezanost. Pređimo na podešavanje NVE interfejsa:
Odmah ćemo uključiti Vlan 10 i asocirati ga sa VNI 10000 na svakom Leaf-u za hostove. Podesićemo L2 tunel između hostova.
vlan 10 ! Aktiviramo VLAN na svim VTEP-ima priključenim na potrebne hostove
vn-segment 10000 ! Povezujemo VLAN sa brojem VNI
interface nve1
member vni 10000 ! Dodajemo VNI 10000 za rad preko NVE interfejsa za enkapsulaciju u VxLAN
ingress-replication protocol bgp ! Ukazujemo da koristimo BGP za širenje informacija o hostuSada ćemo proveriti nve peers i tabelu za BGP EVPN:
Leaf21# sh nve peers
Interface Peer-IP State LearnType Uptime Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1 10.255.1.10 Up CP 00:00:41 n/a ! Vidimo da je peer dostupan sa sekundarne adrese
Leaf11# sh bgp l2vpn evpn
Mreža Sledeća adresa Metrička vrednost LocPrf Težina Putanja
Route Distinguisher: 10.255.1.11:32777 (L2VNI 10000) ! Od koga je tačno došao ovaj l2VNI
*>l[3]:[0]:[32]:[10.255.1.10]\/88 ! EVPN route-tip 3 - prikazuje našeg suseda koji takođe zna za l2VNI 10000
10.255.1.10 100 32768 i
*>i[3]:[0]:[32]:[10.255.1.20]\/88
10.255.1.20 100 0 i
* i 10.255.1.20 100 0 i
Route Distinguisher: 10.255.1.21:32777
* i[3]:[0]:[32]:[10.255.1.20]\/88
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 iIz prethodnog možemo videti rute samo EVPN route-tip 3. Ovaj tip ruta govori o peeru (Leaf), ali gde su naši hostovi?
Problem je u tome što se informacije o MAC adresama hostova prenose kroz EVPN route-tip 2
Da bismo videli naše hostove, potrebno je konfigurirati EVPN route-tip 2:
evpn
vni 10000 l2
route-target import auto ! U okviru ovog članka koristimo automatski broj za route-target
route-target export autoIzvršimo ping sa Host-2 na Host-1:
Firewall2# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1): 56 bajtova podataka
36 bajtova sa 192.168.10.2: Odredišni host nedostupan
Zahtev 0 isteka
64 bajta sa 192.168.10.1: icmp_seq=1 ttl=254 vreme=215.555 ms
64 bajta sa 192.168.10.1: icmp_seq=2 ttl=254 vreme=38.756 ms
64 bajta sa 192.168.10.1: icmp_seq=3 ttl=254 vreme=42.484 ms
64 bajta sa 192.168.10.1: icmp_seq=4 ttl=254 vreme=40.983 msI ispod možemo videti da su se u BGP tabeli pojavili route-tip 2 sa MAC adresima hostova — 5001.0007.0007 i 5001.0008.0007
Leaf11# sh bgp l2vpn evpn
Mreža Sljedeći Skok Metrička LocPrf Težina Putanja
Razdvojnik ruta: 10.255.1.11:32777 (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]\/216 ! evpn tip rute 2 i mac adresa hosta 1
10.255.1.10 100 32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]\/216 ! evpn tip rute 2 i mac adresa hosta 2
* i 10.255.1.20 100 0 i
*>l[3]:[0]:[32]:[10.255.1.10]\/88
10.255.1.10 100 32768 i
Razdvojnik ruta: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]\/216
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 iZatim možemo pogledati detaljne informacije o Update-u, u kojem smo dobili informacije o MAC hostu. Ispod je prikazan ne sav izlaz komande
Leaf21# sh bgp l2vpn evpn 5001.0007.0007
Informacije o BGP rutiranju za VRF default, adresna porodica L2VPN EVPN
Razdvojnik ruta: 10.255.1.11:32777 ! poslao Update s MAC Host. Ne virtuelna adresa VPC, već adresa Leaf
BGP ulaz rute za [2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]\/216,
verzija 1507
Putanje: (2 dostupne, najbolja #2)
Oznake: (0x000202) (high32 00000000) na xmit-listi, nije u l2rib\/evpn, nije u HW
Tip putanje: interno, putanja je validna, nije najbolji razlog: Adresa suseda, nema označenog sledećeg skoka
AS-putanja: NEMA, putanja je izvorno internal to AS
10.255.1.10 (metrika 81) od 10.255.1.102 (10.255.1.102) ! s kim tačno gradimo VxLAN tunel
Poreklom IGP, MED nije postavljen, lokalpref 100, težina 0
Primljeni oznaka 10000 ! Broj VNI koji je povezan sa VLAN-om u kojem se nalazi Host
Extcommunity: RT:65001:10000 SOO:10.255.1.10:0 ENCAP:8 ! Ovdje se vidi da je RT automatski formiran na osnovu brojeva AS i VNI
Originator: 10.255.1.11 Lista klastera: 10.255.1.102Pogledajmo kako izgledaju okviri kada se prenose kroz fabric:

Suppress-ARP
Odlično, L2 veza između hostova je uspostavljena i ovdje bismo mogli završiti. Međutim, nije sve tako jednostavno. Dok imamo mali broj hostova, problemi se neće pojaviti. Ali zamislimo situaciju u kojoj imamo stotine i hiljade hostova. S kojim problemom se možemo susresti?
Ovaj problem su BUM (Broadcast, Unknown Unicast, Multicast) saobraćaji. U ovom članku razmotrićemo način borbe protiv broadcast saobraćaja.
Glavni generator Broadcast u Ethernet mrežama su sami hostovi putem ARP protokola.
Na Nexus-u je implementiran sledeći mehanizam za borbu protiv ARP zahteva — suppress-arp.
Funkcionalnost ove opcije izgleda ovako:
- Host-1 šalje APR zahtev na Broadcast adresu svoje mreže.
- Zahtev dolazi do Leaf preklopnika i umesto da prosledi taj zahtev dalje u fabricu prema Host-2 — Leaf odgovara sam i navodi potreban IP i MAC.
S obzirom na to, Broadcast zahtev nije otišao u fabriku. Kako to može raditi kada Leaf zna samo MAC adresu?
Sve je prilično jednostavno, EVPN route-type 2 pored MAC adrese može prenositi i MAC/IP vezu. Za to je potrebno na Leaf-u podesiti IP adresu u VLAN-u. Postavlja se pitanje, koju IP adresu postaviti? Na Nexus-u postoji mogućnost kreiranja distribuirane (iste) adrese na svim prekidačima:
feature interface-vlan
fabric forwarding anycast-gateway-mac 0001.0001.0001 ! postavljamo virtual mac za kreiranje distribuiranog gateway-a među svim prekidačima
interface Vlan10
no shutdown
ip address 192.168.10.254/24 ! na svim Leaf-ima postavljamo istu IP adresu
fabric forwarding mode anycast-gateway ! postavljamo da koristi Virtual macDakle, sa stanovišta hostova, mreža će izgledati ovako:

Proverimo BGP l2route evpn
Leaf11# sh bgp l2vpn evpn
Mreža Sledeća adresa Metrit LocPrf Težina Put
Ruta Distinguishera: 10.255.1.11:32777 (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216
10.255.1.21 100 32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
10.255.1.10 100 0 i
* i 10.255.1.10 100 0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
10.255.1.10 100 0 i
*>i 10.255.1.10 100 0 i
Ruta Distinguishera: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
10.255.1.20 100 0 i
*>i 10.255.1.20 100 0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
*>i 10.255.1.20 100 0 iIz izlaza komande vidi se da pored MAC-a sada vidimo i IP adresu hosta u EVPN route-type 2.
Vraćamo se na podešavanje suppress-arp. Ova opcija se uključuje za svaki VNI posebno:
interface nve1
member vni 10000
suppress-arpDalje, javlja se određena komplikacija:
- Za funkcionisanje ove opcije potrebno je mesto u TCAM memoriji. Dati ću primer podešavanja za suppress-arp:
hardware access-list tcam region arp-ether 256Za ovo podešavanje biće potreban double-wide. Dakle, ako postavljate 256, onda je potrebno osloboditi 512 u TCAM-u. Podešavanje TCAM-a izlazi iz okvira ovog članka, jer podešavanje TCAM-a zavisi samo od zadatka koji ste postavili i može se razlikovati od jedne mreže do druge.
- Implementacija suppress-arp mora biti izvršena na svim Leaf prekidačima. Međutim, komplikacije se mogu javiti prilikom postavljanja na parovima Leaf unutar VPC domene. Kada se TCAM menja, konzistentnost između parova može biti narušena i jedan čvor može biti isključen. Dodatno, može biti potrebno da se uređaj ponovno pokrene za primenu promene TCAM konfiguracije.
Kao rezultat, potrebno je dobro razmisliti da li u vašoj situaciji treba implementirati ovu postavku na aktivnu fabriku.
Time završavamo prvi deo ciklusa. U sledećem delu razmotrićemo rutiranje kroz VxLAN fabriku sa segmentacijom mreža po različitim VRF.
A sada pozivam sve na , tokom kojeg ću detaljno govoriti o kursu. Prvih 20 učesnika koji se registruju za ovaj vebinar, dobiće Sertifikat za popust na elektronsku poštu u roku od 1-2 dana nakon prenosa.
Izvor: habr.com
