VxLAN továreň. Časť 1

Ahojte, Habr. V súčasnosti som vedúci kurzu "Sieťový inžinier" na OTUS.
Pred spustením nového kurzu "Síťový inženýr", pripravil som cyklus článkov o technológii VxLAN EVPN.

Existuje obrovské množstvo materiálov o práci s VxLAN EVPN, a preto chcem zhromaždiť rôzne úlohy a praktiky riešenia úloh v modernej dátovej centrá.

VxLAN továreň. Časť 1

V prvej časti cyklu o technológii VxLAN EVPN chcem zvážiť spôsob organizácie L2 prepojenia medzi hostiteľmi nad sieťovou továreňou.

Všetky príklady budeme vykonávať na Cisco Nexus 9000v, zostavených do topológie Spine-Leaf. Na nastavení Underlay siete sa v rámci tohto článku nezastavíme.

  1. Underlay sieť
  2. BGP peerovanie pre address-family l2vpn evpn
  3. Nastavenie NVE
  4. Supress-arp

Underlay sieť

Používaná topológia vyzerá nasledovne:

VxLAN továreň. Časť 1

Zadáme adresáciu na všetkých zariadeniach:

Spine-1 - 10.255.1.101
Spine-2 - 10.255.1.102

Leaf-11 - 10.255.1.11
Leaf-12 - 10.255.1.12
Leaf-21 - 10.255.1.21

Host-1 - 192.168.10.10
Host-2 - 192.168.10.20

Skontrolujeme, či je IP prepojenosť medzi všetkými zariadeniami:

Leaf21# sh ip route

10.255.1.11/32, ubest/mbest: 2/0                      ! Leaf-11 je dostupný cez dva Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 2/0                      ! Leaf-12 je dostupný cez dva Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.21/32, ubest/mbest: 2/0, attached
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, local
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, direct
10.255.1.101/32, ubest/mbest: 1/0
    *via 10.255.1.101, Eth1/4, [110/41], 00:00:06, ospf-UNDERLAY, intra
10.255.1.102/32, ubest/mbest: 1/0
    *via 10.255.1.102, Eth1/3, [110/41], 00:00:03, ospf-UNDERLAY, intra

Skontrolujeme, či je VPC doména vytvorená a oba prepínače prešli kontrolou konzistencie a nastavenia na oboch uzloch sú identické:

Leaf11# show vpc 

vPC doména id                     : 1
Stav peer                       : peer adjacency formed ok
Stav vPC keep-alive             : peer is alive
Stav konzistencie konfigurácie  : úspech
Stav konzistencie per-vlan       : úspech
Stav konzistencie Type-2         : úspech
Úloha vPC                          : primárny
Počet nakonfigurovaných vPCs         : 0
Peer Gateway                      : Zakázané
VLANy vyňaté z dvojaktívneho prevádzkovania        : -
Jemná kontrola konzistencie        : Povolené
Stav automatického obnovovania              : Zakázané
Stav oneskorenia-obnovovania              : Časovač je vypnutý.(timeout = 30s)
Stav oneskorenia-obnovovania SVI          : Časovač je vypnutý.(timeout = 10s)
Prevádzková vrstvená peer-router    : Zakázané

vPC stav
----------------------------------------------------------------------------
Id    Port          Status Konsistencia Dôvod                Aktívne VLANy
--    ------------  ------ ----------- ------                ---------------
5     Po5           hore     úspech     úspech               1

BGP peerovanie

Nakoniec sa môžeme presunúť k nastaveniu Overlay siete.

V rámci článku je potrebné organizovať sieť medzi hostiteľmi, ako je zobrazené na schéme nižšie:

VxLAN továreň. Časť 1

Na nastavenie Overlay siete je potrebné na Spine a Leaf prepínačoch aktivovať BGP s podporou rodiny l2vpn evpn:

feature bgp
nv overlay evpn

Ďalej je potrebné nastaviť BGP párovanie medzi Leaf a Spine. Pre zjednodušenie nastavenia a optimalizáciu distribúcie informačných trás nastavíme Spine ako Route-Reflector server. Všetky Leaf zahrnieme do konfigurácie prostredníctvom šablón, aby sme optimalizovali nastavenie.

Teda nastavenia na Spine vyzerajú takto:

router bgp 65001
  template peer LEAF 
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
  neighbor 10.255.1.11
    inherit peer LEAF
  neighbor 10.255.1.12
    inherit peer LEAF
  neighbor 10.255.1.21
    inherit peer LEAF

Nastavenie na Leaf prepínači vyzerá podobne:

router bgp 65001
  template peer SPINE
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.255.1.101
    inherit peer SPINE
  neighbor 10.255.1.102
    inherit peer SPINE

Na Spine overíme párovanie so všetkými Leaf prepínačmi:

Spine1# sh bgp l2vpn evpn summary

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.255.1.11     4 65001       7       8        6    0    0 00:01:45 0
10.255.1.12     4 65001       7       7        6    0    0 00:01:16 0
10.255.1.21     4 65001       7       7        6    0    0 00:01:01 0

Ako vidíme, s BGP nevznikli žiadne problémy. Prejdime k nastaveniu VxLAN. Ďalšie nastavenia budú realizované iba na strane Leaf prepínačov. Spine slúži len ako jadro siete a zaisťuje iba prenos prevádzky. Celá práca na enkapsulácii a určovaní trasy prebieha výhradne na Leaf prepínačoch.

Nastavenie NVE

NVE — network virtual interface

Pred začiatkom nastavenia si priblížime niektoré terminológie:

VTEP — Vitual Tunnel End Point, zariadenie, na ktorom začína alebo končí VxLAN tunel. VTEP nemusí byť nevyhnutne nejaké sieťové zariadenie. Môže tiež fungovať ako server s podporou technológie VxLAN. V našej topológii sú všetky Leaf prepínače VTEP.

VNI — Virtual Network Index — identifikátor siete v rámci VxLAN. Môžeme porovnať s VLAN. Avšak existujú aj niektoré rozdiely. Pri použití fabriky sú VLAN jedinečné iba v rámci jedného Leaf prepínača a neprenášajú sa po sieti. S každým VLAN však môže byť prepojené číslo VNI, ktoré sa už prenáša po sieti. Ako to vyzerá a ako to možno využiť, bude podrobne opísané ďalej.

Aktivujeme funkciu pre prácu technológie VxLAN a možnosť asociovať čísla VLAN s číslom VNI:

feature nv overlay
feature vn-segment-vlan-based

Nastavíme rozhranie NVE, ktoré zodpovedá za prácu s VxLAN. Toto rozhranie presne zodpovedá za enkapsuláciu rámcov do hlavičiek VxLAN. Môžeme to prirovnať k rozhraniu Tunnel pre fungovanie GRE:

interface nve1
  no shutdown
  host-reachability protocol bgp ! používame BGP na prenos smerovacích informácií
  source-interface loopback0    ! rozhranie, z ktorého posielame pakety loopback0

Na komutátore Leaf-21 sa všetko vytvára bez problémov. Avšak, ak skontrolujeme výstup príkazu show nve peers, bude prázdny. Tu je potrebné sa vrátiť k nastaveniu VPC. Vidíme, že Leaf-11 a Leaf-12 pracujú v páre a sú spojené VPC doménou. Z toho vyplýva nasledujúca situácia:

Host-2 posiela jeden rámec smerom k Leaf-21, aby ho ten preniesol po sieti smerom k Host-1. Avšak Leaf-21 vidí, že MAC adresa Host-1 je dostupná ihneď cez dva VTEP. Ako sa v tomto prípade zachovať Leaf-21? To predsa znamená, že v sieti mohla vzniknúť slučka.

Na vyriešenie tejto situácie potrebujeme, aby Leaf-11 a Leaf-12 pôsobili v rámci fabriky ako jedno zariadenie. Rieši sa to celkom jednoducho. Na rozhraní Loopback, z ktorého vytvárame tunel, pridáme sekundárnu adresu. Sekundárna adresa by mala byť rovnaká na oboch VTEP.

interface loopback0
 ip add 10.255.1.10/32 secondary

Takto z pohľadu ostatných VTEP získavame nasledujúcu topológiu:

VxLAN továreň. Časť 1

To znamená, že teraz sa tunel bude vytvárať medzi IP adresou Leaf-21 a virtuálnou IP medzi dvoma Leaf-11 a Leaf-12. Teraz nebudú problémy so zisťovaním MAC adresy z dvoch zariadení a prevádzka sa môže presúvať z jedného VTEP na druhý. Kto práve z dvoch VTEP spracuje prevádzku, sa rozhoduje pomocou smerovacej tabuľky na Spine:

Spine1# sh ip route

10.255.1.10/32, ubest/mbest: 2/0
    *via 10.255.1.11, Eth1/1, [110/41], 1d01h, ospf-UNDERLAY, intra
    *via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra
10.255.1.11/32, ubest/mbest: 1/0
    *via 10.255.1.11, Eth1/1, [110/41], 1d22h, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 1/0
    *via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra

Ako je vidieť vyššie, adresa 10.255.1.10 je dostupná okamžite cez dvoch Next-hop.

V tejto fáze sme sa zaoberali základnou previazaním. Prejdime k nastaveniu rozhrania NVE:
Ihneď zapneme VLAN 10 a asociujeme ju s VNI 10000 na každom Leaf pre hosty. Nastavíme L2 tunel medzi hostami.

vlan 10                 ! Aktivujeme VLAN na všetkých VTEP pripojených k potrebným hostiteľom
  vn-segment 10000      ! Priradzujeme VLAN k číslu VNI 

interface nve1
  member vni 10000      ! Pridávame VNI 10000 pre prácu cez rozhranie NVE na encapsuláciu v VxLAN
    ingress-replication protocol bgp    ! uvádzame, že na šírenie informácií o hostiteľa používame BGP

Teraz skontrolujeme nve peers a tabuľku pre BGP EVPN:

Leaf21# sh nve peers
Interface Peer-IP          State LearnType Uptime   Router-Mac
--------- ---------------  ----- --------- -------- -----------------
nve1      10.255.1.10      Up    CP        00:00:41 n/a                 ! Vidíme, že peer je dostupný z sekundárnej adresy

Leaf11# sh bgp l2vpn evpn

   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)        ! Od koho konkrétne prišiel tento l2VNI
*>l[3]:[0]:[32]:[10.255.1.10]\/88                                   ! EVPN route-type 3 - ukazuje nášho suseda, ktorý taktiež vie o l2VNI10000
                      10.255.1.10                       100      32768 i
*>i[3]:[0]:[32]:[10.255.1.20]\/88
                      10.255.1.20                       100          0 i
* i                   10.255.1.20                       100          0 i

Route Distinguisher: 10.255.1.21:32777
* i[3]:[0]:[32]:[10.255.1.20]\/88
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

Vyššie vidíme trasy len EVPN route-type 3. Tento typ trás hovorí o peer(Leaf), ale kde sú naše hostiteľské systémy?
A problém je v tom, že informácie o MAC hostiteľoch sa prenášajú cez EVPN route-type 2

Aby sme videli naše hostiteľov, je potrebné nastaviť EVPN route-type 2:

evpn
  vni 10000 l2
    route-target import auto   ! V rámci tohto článku používame automatické číslo pre route-target
    route-target export auto

Urobíme ping z Host-2 na Host-1:

Firewall2# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1): 56 data bytes
36 bytes from 192.168.10.2: Destination Host Unreachable
Request 0 timed out
64 bytes from 192.168.10.1: icmp_seq=1 ttl=254 time=215.555 ms
64 bytes from 192.168.10.1: icmp_seq=2 ttl=254 time=38.756 ms
64 bytes from 192.168.10.1: icmp_seq=3 ttl=254 time=42.484 ms
64 bytes from 192.168.10.1: icmp_seq=4 ttl=254 time=40.983 ms

A nižšie môžeme vidieť, že v tabuľke BGP sa objavili route-type 2 s MAC adresami hostiteľov — 5001.0007.0007 a 5001.0008.0007

Leaf11# sh bgp l2vpn evpn


   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216                      !  evpn route-type 2 a mac adresa hosta 1
                      10.255.1.10                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216                      ! evpn route-type 2 a mac adresa hosta 2
* i                   10.255.1.20                       100          0 i
*>l[3]:[0]:[32]:[10.255.1.10]/88
                      10.255.1.10                       100      32768 i
Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

Ďalej si môžete pozrieť podrobné informácie o aktualizácii, v ktorej sme získali informácie o MAC hoste. Nižšie je uvedený nie celý výstup príkazu

Leaf21# sh bgp l2vpn evpn 5001.0007.0007

BGP routing table information for VRF default, address family L2VPN EVPN
Route Distinguisher: 10.255.1.11:32777        !  odoslaný aktualizácia s MAC hosta. Nie virtuálna adresa VPC, ale adresa Leaf
BGP routing table entry for [2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216,
 verzia 1507
Paths: (2 available, best #2)
Flags: (0x000202) (high32 00000000) on xmit-list, nie je v l2rib/evpn, nie je v HW

  Path type: internal, path is valid, not best reason: Neighbor Address, no labeled nexthop
  AS-Path: NONE, path sourced internal to AS
    10.255.1.10 (metric 81) from 10.255.1.102 (10.255.1.102)    ! s kým presne budujeme VxLAN tunel
      Origin IGP, MED not set, localpref 100, weight 0
      Received label 10000         ! Číslo VNI, ktoré je asociované s VLAN, v ktorej sa nachádza host
      Extcommunity: RT:65001:10000 SOO:10.255.1.10:0 ENCAP:8        ! Tu je vidieť, že RT sa vytvoril automaticky na základe čísel AS a VNI
      Originator: 10.255.1.11 Cluster list: 10.255.1.102

Pozrime sa, ako vyzerajú pakety, keď sa prenášajú cez fabriku:

VxLAN továreň. Časť 1

Suppress-ARP

Skvelé, L2 spojenie medzi hostami máme a na tomto by sme mohli skončiť. Avšak, nie všetko je také jednoduché. Pokým máme málo hostov, problémy nevzniknú. Ale predstavme si situácie, kedy máme stovky a tisíce hostov. S akým problémom sa môžeme stretnúť?

Tento problém je BUM (Broadcast, Unknown Unicast, Multicast) traffic. V rámci tohto článku sa pozrieme na možnosť boja s broadcast traffic.
Hlavným generátorom Broadcast v Ethernet sieťach sú samotní hostia cez protokol ARP.

Na nexus je implementovaný nasledujúci mechanizmus na boj proti ARP otázkam — suppress-arp.
Funkcia tejto funkcie vyzerá nasledovne:

  1. Host-1 odosiela APR požiadavku na Broadcast adresu svojej siete.
  2. Požiadavka dosiahne Leaf prepínač a namiesto toho, aby odovzdal túto požiadavku ďalej do fabriky smerom k Host-2 — Leaf odpovedá sám a uvádza potrebný IP a MAC.

Takže Broadcast požiadavka neprešla do fabric. Ale ako to môže fungovať, ak Leaf pozná iba MAC adresu?

Všetko je celkom jednoduché, EVPN route-type 2 okrem MAC adresy môže prenášať aj spojenie MAC/IP. Na to je potrebné nastaviť IP adresu na Leaf v VLAN. Vzniká otázka, akú IP priradiť? Na nesixe je možnosť vytvoriť distribuovanú (rovnakú) adresu na všetkých prepínačoch:

feature interface-vlan

fabric forwarding anycast-gateway-mac 0001.0001.0001    ! nastavujeme virtuálnu MAC pre vytvorenie distribuovanej brány medzi všetkými prepínačmi

interface Vlan10
  no shutdown
  ip address 192.168.10.254/24          ! na všetkých Leaf nastavujeme rovnakú IP
  fabric forwarding mode anycast-gateway    ! hovoríme, že máme použiť virtuálnu MAC

Takže z pohľadu hostiteľov bude sieť vyzerať nasledovne:

VxLAN továreň. Časť 1

Skontrolujme BGP l2route evpn

Leaf11# sh bgp l2vpn evpn


   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216
                      10.255.1.21                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.10                       100          0 i
* i                   10.255.1.10                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
                      10.255.1.10                       100          0 i
*>i                   10.255.1.10                       100          0 i



Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
*>i                   10.255.1.20                       100          0 i

Z výstupu príkazu je vidieť, že v EVPN route-type 2 okrem MAC teraz vidíme aj IP adresu hostiteľa.

Vraciam sa k nastaveniu suppress-arp. Táto nastavenie sa zapína pre každý VNI samostatne:

interface nve1
  member vni 10000   
    suppress-arp

Ďalej nastáva určitá komplikácia:

  • Pre funkčnosť tejto funkcie je potrebné miesto v TCAM pamäti. Uvediem príklad nastavenia pre suppress-arp:

hardware access-list tcam region arp-ether 256

Pre toto nastavenie bude potrebné double-wide. Tým pádom, ak nastavíte 256, musíte v TCAM uvoľniť 512. Nastavenie TCAM presahuje rámec tohto článku, pretože nastavenie TCAM závisí iba od úlohy, ktorú pred vás postavíte, a môže sa líšiť od jednej siete k druhej.

  • Implementácia suppress-arp je potrebná na všetkých Leaf prepínačoch. Složitosti však môžu vzniknúť pri konfigurácii na pároch Leaf nachádzajúcich sa v doméne VPC. Pri zmene TCAM dôjde k narušeniu konzistencie medzi pármi a jedna nód môže byť vyradená z prevádzky. Navyše na aplikáciu nastavenia zmien TCAM môže byť potrebné reštartovanie zariadenia.

V dôsledku toho je potrebné dobre zvážiť, či vo vašej situácii stojí za to implementovať toto nastavenie v prevádzke.

Týmto uzatvárame prvú časť cyklu. V nasledujúcej časti sa pozrieme na smerovanie cez VxLAN fabriku s rozdelením sietí podľa rôznych VRF.

A teraz pozývam všetkých na bezplatný webinár, v rámci ktorého podrobne predstavím kurz. Prvých 20 účastníkov, ktorí sa zaregistrujú na tento webinár, dostane certifikát na zľavu na e-mail počas 1-2 dní po vysielaní.

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster