VxLAN fabrika. Deo 1

Zdravo, Habr. Trenutno sam vođa kursa "Mrežni inženjer" na OTUS-u.
Uoči početka novog niza na kursu "Mrežni inženjer", pripremio sam ciklus članaka o tehnologiji VxLAN EVPN.

Postoji ogroman broj materijala o radu sa VxLAN EVPN, pa želim okupiti različite zadatke i prakse rešenja problema u modernom data centru.

VxLAN fabrika. Deo 1

U prvom delu ciklusa o tehnologiji VxLAN EVPN želim razmotriti način organizovanja L2 povezanosti između hostova preko mrežne fabrike.

Sve primere ćemo izvoditi na Cisco Nexus 9000v, sastavljenim u topologiju Spine-Leaf. Nećemo se zadržavati na podešavanju Underlay mreže u okviru ovog članka.

  1. Underlay mreža
  2. BGP peering za address-family l2vpn evpn
  3. Podešavanje NVE
  4. Supress-arp

Underlay mreža

Koristeća topologija izgleda ovako:

VxLAN fabrika. Deo 1

Postavićemo adresaciju na svim uređajima:

Spine-1 - 10.255.1.101
Spine-2 - 10.255.1.102

Leaf-11 - 10.255.1.11
Leaf-12 - 10.255.1.12
Leaf-21 - 10.255.1.21

Host-1 - 192.168.10.10
Host-2 - 192.168.10.20

Proverićemo da li postoji IP povezanost između svih uređaja:

Leaf21# sh ip route

10.255.1.11/32, ubest/mbest: 2/0                      ! Leaf-11 dostupan preko dva Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 2/0                      ! Leaf-12 dostupan preko dva Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.21/32, ubest/mbest: 2/0, attached
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, local
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, direct
10.255.1.101/32, ubest/mbest: 1/0
    *via 10.255.1.101, Eth1/4, [110/41], 00:00:06, ospf-UNDERLAY, intra
10.255.1.102/32, ubest/mbest: 1/0
    *via 10.255.1.102, Eth1/3, [110/41], 00:00:03, ospf-UNDERLAY, intra

Proverićemo da li je VPC domen kreiran i da su oba prekidača prošla proveru doslednosti i konfiguracije na obe nodove identične:

Leaf11# show vpc 

vPC domen id                     : 1
Status partnera                  : partner adjacency formed ok
vPC keep-alive status             : partner is alive
Status doslednosti konfiguracije  : success
Status doslednosti po VLAN-u      : success
Status doslednosti Tip-2         : success
vPC uloga                         : primarna
Broj konfigurisanih vPC-ova       : 0
Peer Gateway                      : Disabled
Dual-active excluded VLANs        : -
Graceful Consistency Check        : Enabled
Auto-recovery status              : Disabled
Delay-restore status              : Timer is off.(timeout = 30s)
Delay-restore SVI status          : Timer is off.(timeout = 10s)
Operativni Layer3 Peer-router    : Disabled

vPC status
----------------------------------------------------------------------------
Id    Port          Status Doslednost Razlog                     Aktivni vlans
--    ------------  ------ ----------- ------                     ---------------
5     Po5           up     success     success                    1

BGP peering

Napokon se možemo prebaciti na podešavanje Overlay mreže.

U okviru članka potrebno je organizovati mrežu između hostova, kako je prikazano na dijagramu ispod:

VxLAN fabrika. Deo 1

Da bi se postavila Overlay mreža, potrebno je na Spine i Leaf prekidačima aktivirati BGP s podrškom za porodicu l2vpn evpn:

feature bgp
nv overlay evpn

Nakon toga, potrebno je postaviti BGP peering između Leaf i Spine. Radi pojednostavljenja postavke i optimizacije širenja informacija o rutama, Spine se postavlja kao Route-Reflector server. Sve Leaf prekidače ćemo napisati u konfiguraciju putem šablona kako bismo optimizovali postavljanje.

Tako izgledaju podešavanja na Spine-u:

router bgp 65001
  template peer LEAF 
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
  neighbor 10.255.1.11
    inherit peer LEAF
  neighbor 10.255.1.12
    inherit peer LEAF
  neighbor 10.255.1.21
    inherit peer LEAF

Podešavanje na Leaf prekidaču izgleda na sličan način:

router bgp 65001
  template peer SPINE
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.255.1.101
    inherit peer SPINE
  neighbor 10.255.1.102
    inherit peer SPINE

Na Spine-u ćemo proveriti peering sa svim Leaf prekidačima:

Spine1# sh bgp l2vpn evpn summary

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.255.1.11     4 65001       7       8        6    0    0 00:01:45 0
10.255.1.12     4 65001       7       7        6    0    0 00:01:16 0
10.255.1.21     4 65001       7       7        6    0    0 00:01:01 0

Kao što vidimo, sa BGP-om nije bilo problema. Pređimo na podešavanje VxLAN-a. Dalje podešavanje će se vršiti samo na strani Leaf prekidača. Spine služi samo kao jezgro mreže i bavi se samo prenosom saobraćaja. Sav rad na enkapsulaciji i određivanju puta vrši se samo na Leaf prekidačima.

Podešavanje NVE

NVE — mrežni virtuelni interfejs

Pre nego što počnemo sa podešavanjem, upoznajmo se malo sa terminologijom:

VTEP — Virtuelna Takozvana Krajna Tačka, uređaj na kojem počinje ili se završava VxLAN tunel. VTEP nije nužno neki mrežni uređaj. Takođe može biti i server koji podržava tehnologiju VxLAN. U našoj topologiji svi Leaf prekidači su VTEP.

VNI — Virtuelni Mrežni Indeks — identifikator mreže unutar VxLAN. Može se napraviti analogija sa VLAN. Međutim, postoje neka odstupanja. Kada se koristi fabrika, VLAN postaju jedinstveni samo unutar jednog Leaf prekidača i ne prenose se mrežom. Ali sa svakim VLAN može biti povezan broj VNI, koji se već prenosi mrežom. Kako to izgleda i kako se može koristiti biće objašnjeno kasnije.

Aktivirajmo feature za rad tehnologije VxLAN i mogućnost povezivanja brojeva VLAN sa brojem VNI:

feature nv overlay
feature vn-segment-vlan-based

Podesićemo NVE interfejs koji je odgovoran za rad VxLAN-a. Ovaj interfejs je zadužen za enkapsulaciju okvira u VxLAN zaglavlja. Možemo napraviti analogiju sa Tunnel interfejsom za rad GRE:

interfejs nve1
  no shutdown
  protokol dostupnosti hosta bgp ! koristimo BGP za prenos informacija o rutama
  izvorni interfejs loopback0    ! interfejs sa kojeg šaljemo pakete loopback0

Na Leaf-21 switchu sve se kreira bez problema. Međutim, ako proverimo izlaz komande show nve peers, biće prazan. Ovde se moramo vratiti na podešavanje VPC-a. Vidimo da Leaf-11 i Leaf-12 rade u paru i povezani su VPC domenom. Ovo dovodi do sledeće situacije:

Host-2 šalje jedan okvir ka Leaf-21, kako bi ga on prenio mrežom ka Host-1. Međutim, Leaf-21 vidi da je MAC adresa Host-1 dostupna odmah preko dva VTEP-a. Kako tada postupiti Leaf-21? To znači da je mogla nastati petlja u mreži.

Da bismo rešili ovu situaciju, potrebni su nam Leaf-11 i Leaf-12 da u okviru fabrike deluju kao jedno uređaj. Ovo se rešava prilično jednostavno. Na Loopback interfejsu sa kojeg gradimo tunel, dodajemo sekundarnu adresu. Sekundarna adresa mora biti identična na oba VTEP-a.

interfejs loopback0
 ip add 10.255.1.10/32 sekundarna

Tako, sa stanovišta drugih VTEP-a, dobijamo sledeću topologiju:

VxLAN fabrika. Deo 1

Dakle, sada će tunel biti izgrađen između IP adrese Leaf-21 i virtuelnog IP između dva Leaf-11 i Leaf-12. Sada neće biti problema sa učenjem MAC adrese od dva uređaja, a saobraćaj može prelaziti od jednog VTEP-a na drugi. Ko će od dva VTEP-a obraditi saobraćaj određuje se putem tabele rutiranja na Spine:

Spine1# sh ip route

10.255.1.10/32, ubest/mbest: 2/0
    *putem 10.255.1.11, Eth1/1, [110/41], 1d01h, ospf-UNDERLAY, intra
    *putem 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra
10.255.1.11/32, ubest/mbest: 1/0
    *putem 10.255.1.11, Eth1/1, [110/41], 1d22h, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 1/0
    *putem 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra

Kao što se vidi iznad, adresa 10.255.1.10 je dostupna odmah preko dva Next-hop-a.

U ovoj fazi smo razjasnili osnovnu povezanost. Pređimo na podešavanje NVE interfejsa:
Odmah ćemo uključiti Vlan 10 i asocirati ga sa VNI 10000 na svakom Leaf-u za hostove. Podesićemo L2 tunel između hostova.

vlan 10                 ! Aktiviramo VLAN na svim VTEP-ima priključenim na potrebne hostove
  vn-segment 10000      ! Povezujemo VLAN sa brojem VNI 

interface nve1
  member vni 10000      ! Dodajemo VNI 10000 za rad preko NVE interfejsa za enkapsulaciju u VxLAN
    ingress-replication protocol bgp    ! Ukazujemo da koristimo BGP za širenje informacija o hostu

Sada ćemo proveriti nve peers i tabelu za BGP EVPN:

Leaf21# sh nve peers
Interface Peer-IP          State LearnType Uptime   Router-Mac
--------- ---------------  ----- --------- -------- -----------------
nve1      10.255.1.10      Up    CP        00:00:41 n/a                 ! Vidimo da je peer dostupan sa sekundarne adrese

Leaf11# sh bgp l2vpn evpn

   Mreža                Sledeća adresa        Metrička vrednost  LocPrf     Težina Putanja
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)        ! Od koga je tačno došao ovaj l2VNI
*>l[3]:[0]:[32]:[10.255.1.10]\/88                                   ! EVPN route-tip 3 - prikazuje našeg suseda koji takođe zna za l2VNI 10000
                      10.255.1.10                       100      32768 i
*>i[3]:[0]:[32]:[10.255.1.20]\/88
                      10.255.1.20                       100          0 i
* i                   10.255.1.20                       100          0 i

Route Distinguisher: 10.255.1.21:32777
* i[3]:[0]:[32]:[10.255.1.20]\/88
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

Iz prethodnog možemo videti rute samo EVPN route-tip 3. Ovaj tip ruta govori o peeru (Leaf), ali gde su naši hostovi?
Problem je u tome što se informacije o MAC adresama hostova prenose kroz EVPN route-tip 2

Da bismo videli naše hostove, potrebno je konfigurirati EVPN route-tip 2:

evpn
  vni 10000 l2
    route-target import auto   ! U okviru ovog članka koristimo automatski broj za route-target
    route-target export auto

Izvršimo ping sa Host-2 na Host-1:

Firewall2# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1): 56 bajtova podataka
36 bajtova sa 192.168.10.2: Odredišni host nedostupan
Zahtev 0 isteka
64 bajta sa 192.168.10.1: icmp_seq=1 ttl=254 vreme=215.555 ms
64 bajta sa 192.168.10.1: icmp_seq=2 ttl=254 vreme=38.756 ms
64 bajta sa 192.168.10.1: icmp_seq=3 ttl=254 vreme=42.484 ms
64 bajta sa 192.168.10.1: icmp_seq=4 ttl=254 vreme=40.983 ms

I ispod možemo videti da su se u BGP tabeli pojavili route-tip 2 sa MAC adresima hostova — 5001.0007.0007 i 5001.0008.0007

Leaf11# sh bgp l2vpn evpn


   Mreža            Sljedeći Skok            Metrička     LocPrf     Težina Putanja
Razdvojnik ruta: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]\/216                      !  evpn tip rute 2 i mac adresa hosta 1
                      10.255.1.10                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]\/216                      ! evpn tip rute 2 i mac adresa hosta 2
* i                   10.255.1.20                       100          0 i
*>l[3]:[0]:[32]:[10.255.1.10]\/88
                      10.255.1.10                       100      32768 i
Razdvojnik ruta: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]\/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

Zatim možemo pogledati detaljne informacije o Update-u, u kojem smo dobili informacije o MAC hostu. Ispod je prikazan ne sav izlaz komande

Leaf21# sh bgp l2vpn evpn 5001.0007.0007

Informacije o BGP rutiranju za VRF default, adresna porodica L2VPN EVPN
Razdvojnik ruta: 10.255.1.11:32777        !  poslao Update s MAC Host. Ne virtuelna adresa VPC, već adresa Leaf
BGP ulaz rute za [2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]\/216,
 verzija 1507
Putanje: (2 dostupne, najbolja #2)
Oznake: (0x000202) (high32 00000000) na xmit-listi, nije u l2rib\/evpn, nije u HW

  Tip putanje: interno, putanja je validna, nije najbolji razlog: Adresa suseda, nema označenog sledećeg skoka
  AS-putanja: NEMA, putanja je izvorno internal to AS
    10.255.1.10 (metrika 81) od 10.255.1.102 (10.255.1.102)    ! s kim tačno gradimo VxLAN tunel
      Poreklom IGP, MED nije postavljen, lokalpref 100, težina 0
      Primljeni oznaka 10000         ! Broj VNI koji je povezan sa VLAN-om u kojem se nalazi Host
      Extcommunity: RT:65001:10000 SOO:10.255.1.10:0 ENCAP:8        ! Ovdje se vidi da je RT automatski formiran na osnovu brojeva AS i VNI
      Originator: 10.255.1.11 Lista klastera: 10.255.1.102

Pogledajmo kako izgledaju okviri kada se prenose kroz fabric:

VxLAN fabrika. Deo 1

Suppress-ARP

Odlično, L2 veza između hostova je uspostavljena i ovdje bismo mogli završiti. Međutim, nije sve tako jednostavno. Dok imamo mali broj hostova, problemi se neće pojaviti. Ali zamislimo situaciju u kojoj imamo stotine i hiljade hostova. S kojim problemom se možemo susresti?

Ovaj problem su BUM (Broadcast, Unknown Unicast, Multicast) saobraćaji. U ovom članku razmotrićemo način borbe protiv broadcast saobraćaja.
Glavni generator Broadcast u Ethernet mrežama su sami hostovi putem ARP protokola.

Na Nexus-u je implementiran sledeći mehanizam za borbu protiv ARP zahteva — suppress-arp.
Funkcionalnost ove opcije izgleda ovako:

  1. Host-1 šalje APR zahtev na Broadcast adresu svoje mreže.
  2. Zahtev dolazi do Leaf preklopnika i umesto da prosledi taj zahtev dalje u fabricu prema Host-2 — Leaf odgovara sam i navodi potreban IP i MAC.

S obzirom na to, Broadcast zahtev nije otišao u fabriku. Kako to može raditi kada Leaf zna samo MAC adresu?

Sve je prilično jednostavno, EVPN route-type 2 pored MAC adrese može prenositi i MAC/IP vezu. Za to je potrebno na Leaf-u podesiti IP adresu u VLAN-u. Postavlja se pitanje, koju IP adresu postaviti? Na Nexus-u postoji mogućnost kreiranja distribuirane (iste) adrese na svim prekidačima:

feature interface-vlan

fabric forwarding anycast-gateway-mac 0001.0001.0001    ! postavljamo virtual mac za kreiranje distribuiranog gateway-a među svim prekidačima

interface Vlan10
  no shutdown
  ip address 192.168.10.254/24          ! na svim Leaf-ima postavljamo istu IP adresu
  fabric forwarding mode anycast-gateway    ! postavljamo da koristi Virtual mac

Dakle, sa stanovišta hostova, mreža će izgledati ovako:

VxLAN fabrika. Deo 1

Proverimo BGP l2route evpn

Leaf11# sh bgp l2vpn evpn


   Mreža            Sledeća adresa            Metrit     LocPrf     Težina Put
Ruta Distinguishera: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216
                      10.255.1.21                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.10                       100          0 i
* i                   10.255.1.10                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
                      10.255.1.10                       100          0 i
*>i                   10.255.1.10                       100          0 i



Ruta Distinguishera: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
*>i                   10.255.1.20                       100          0 i

Iz izlaza komande vidi se da pored MAC-a sada vidimo i IP adresu hosta u EVPN route-type 2.

Vraćamo se na podešavanje suppress-arp. Ova opcija se uključuje za svaki VNI posebno:

interface nve1
  member vni 10000   
    suppress-arp

Dalje, javlja se određena komplikacija:

  • Za funkcionisanje ove opcije potrebno je mesto u TCAM memoriji. Dati ću primer podešavanja za suppress-arp:

hardware access-list tcam region arp-ether 256

Za ovo podešavanje biće potreban double-wide. Dakle, ako postavljate 256, onda je potrebno osloboditi 512 u TCAM-u. Podešavanje TCAM-a izlazi iz okvira ovog članka, jer podešavanje TCAM-a zavisi samo od zadatka koji ste postavili i može se razlikovati od jedne mreže do druge.

  • Implementacija suppress-arp mora biti izvršena na svim Leaf prekidačima. Međutim, komplikacije se mogu javiti prilikom postavljanja na parovima Leaf unutar VPC domene. Kada se TCAM menja, konzistentnost između parova može biti narušena i jedan čvor može biti isključen. Dodatno, može biti potrebno da se uređaj ponovno pokrene za primenu promene TCAM konfiguracije.

Kao rezultat, potrebno je dobro razmisliti da li u vašoj situaciji treba implementirati ovu postavku na aktivnu fabriku.

Time završavamo prvi deo ciklusa. U sledećem delu razmotrićemo rutiranje kroz VxLAN fabriku sa segmentacijom mreža po različitim VRF.

A sada pozivam sve na besplatan vebinar, tokom kojeg ću detaljno govoriti o kursu. Prvih 20 učesnika koji se registruju za ovaj vebinar, dobiće Sertifikat za popust na elektronsku poštu u roku od 1-2 dana nakon prenosa.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster