VxLAN ਫੈਕਟਰੀ. ਭਾਗ 1

ਹੈਲੋ, ਹੈਬਰ. ਮੈਂ ਵਰਤਮਾਨ ਵਿੱਚ OTUS ਵਿਖੇ ਨੈੱਟਵਰਕ ਇੰਜੀਨੀਅਰ ਕੋਰਸ ਲਈ ਕੋਰਸ ਲੀਡਰ ਹਾਂ।
ਕੋਰਸ ਲਈ ਨਵੇਂ ਦਾਖਲੇ ਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਉਮੀਦ ਵਿੱਚ "ਨੈੱਟਵਰਕ ਇੰਜੀਨੀਅਰ", ਮੈਂ VxLAN EVPN ਤਕਨਾਲੋਜੀ 'ਤੇ ਲੇਖਾਂ ਦੀ ਇੱਕ ਲੜੀ ਤਿਆਰ ਕੀਤੀ ਹੈ।

VxLAN EVPN ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਇਸ ਬਾਰੇ ਬਹੁਤ ਸਾਰੀ ਸਮੱਗਰੀ ਹੈ, ਇਸਲਈ ਮੈਂ ਇੱਕ ਆਧੁਨਿਕ ਡੇਟਾ ਸੈਂਟਰ ਵਿੱਚ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਕਾਰਜਾਂ ਅਤੇ ਅਭਿਆਸਾਂ ਨੂੰ ਇਕੱਠਾ ਕਰਨਾ ਚਾਹੁੰਦਾ ਹਾਂ।

VxLAN EVPN ਤਕਨਾਲੋਜੀ 'ਤੇ ਲੜੀ ਦੇ ਪਹਿਲੇ ਹਿੱਸੇ ਵਿੱਚ, ਮੈਂ ਇੱਕ ਨੈਟਵਰਕ ਫੈਬਰਿਕ ਦੇ ਸਿਖਰ 'ਤੇ ਮੇਜ਼ਬਾਨਾਂ ਵਿਚਕਾਰ L2 ਕਨੈਕਟੀਵਿਟੀ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਦੇਖਣਾ ਚਾਹੁੰਦਾ ਹਾਂ।

ਸਾਰੀਆਂ ਉਦਾਹਰਣਾਂ ਇੱਕ Cisco Nexus 9000v 'ਤੇ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ, ਸਪਾਈਨ-ਲੀਫ ਟੋਪੋਲੋਜੀ ਵਿੱਚ ਇਕੱਠੀਆਂ ਕੀਤੀਆਂ ਜਾਣਗੀਆਂ। ਅਸੀਂ ਇਸ ਲੇਖ ਵਿੱਚ ਇੱਕ ਅੰਡਰਲੇ ਨੈੱਟਵਰਕ ਸਥਾਪਤ ਕਰਨ 'ਤੇ ਧਿਆਨ ਨਹੀਂ ਦੇਵਾਂਗੇ।

1. ਅੰਡਰਲੇ ਨੈੱਟਵਰਕ
2. ਪਤਾ-ਪਰਿਵਾਰ l2vpn evpn ਲਈ BGP ਪੀਅਰਿੰਗ
3. NVE ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ
4. ਦਬਾਉ—ਅਰਪ

ਅੰਡਰਲੇ ਨੈੱਟਵਰਕ

ਵਰਤੀ ਗਈ ਟੋਪੋਲੋਜੀ ਇਸ ਪ੍ਰਕਾਰ ਹੈ:

ਆਉ ਸਾਰੀਆਂ ਡਿਵਾਈਸਾਂ 'ਤੇ ਐਡਰੈਸਿੰਗ ਸੈਟ ਕਰੀਏ:

Spine-1 - 10.255.1.101
Spine-2 - 10.255.1.102

Leaf-11 - 10.255.1.11
Leaf-12 - 10.255.1.12
Leaf-21 - 10.255.1.21

Host-1 - 192.168.10.10
Host-2 - 192.168.10.20

ਚਲੋ ਜਾਂਚ ਕਰੀਏ ਕਿ ਸਾਰੀਆਂ ਡਿਵਾਈਸਾਂ ਵਿਚਕਾਰ IP ਕਨੈਕਟੀਵਿਟੀ ਹੈ:

Leaf21# sh ip route
<........>
10.255.1.11/32, ubest/mbest: 2/0                      ! Leaf-11 доступен чеерз два Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 2/0                      ! Leaf-12 доступен чеерз два Spine
    *via 10.255.1.101, Eth1/4, [110/81], 00:00:03, ospf-UNDERLAY, intra
    *via 10.255.1.102, Eth1/3, [110/81], 00:00:03, ospf-UNDERLAY, intra
10.255.1.21/32, ubest/mbest: 2/0, attached
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, local
    *via 10.255.1.22, Lo0, [0/0], 00:02:20, direct
10.255.1.101/32, ubest/mbest: 1/0
    *via 10.255.1.101, Eth1/4, [110/41], 00:00:06, ospf-UNDERLAY, intra
10.255.1.102/32, ubest/mbest: 1/0
    *via 10.255.1.102, Eth1/3, [110/41], 00:00:03, ospf-UNDERLAY, intra

ਚਲੋ ਜਾਂਚ ਕਰੀਏ ਕਿ VPC ਡੋਮੇਨ ਬਣਾਇਆ ਗਿਆ ਹੈ ਅਤੇ ਦੋਵੇਂ ਸਵਿੱਚਾਂ ਨੇ ਇਕਸਾਰਤਾ ਜਾਂਚ ਨੂੰ ਪਾਸ ਕਰ ਲਿਆ ਹੈ ਅਤੇ ਦੋਵੇਂ ਨੋਡਾਂ 'ਤੇ ਸੈਟਿੰਗਾਂ ਇੱਕੋ ਜਿਹੀਆਂ ਹਨ:

Leaf11# show vpc 

vPC domain id                     : 1
Peer status                       : peer adjacency formed ok
vPC keep-alive status             : peer is alive
Configuration consistency status  : success
Per-vlan consistency status       : success
Type-2 consistency status         : success
vPC role                          : primary
Number of vPCs configured         : 0
Peer Gateway                      : Disabled
Dual-active excluded VLANs        : -
Graceful Consistency Check        : Enabled
Auto-recovery status              : Disabled
Delay-restore status              : Timer is off.(timeout = 30s)
Delay-restore SVI status          : Timer is off.(timeout = 10s)
Operational Layer3 Peer-router    : Disabled

vPC status
----------------------------------------------------------------------------
Id    Port          Status Consistency Reason                Active vlans
--    ------------  ------ ----------- ------                ---------------
5     Po5           up     success     success               1

ਬੀਜੀਪੀ ਪੀਅਰਿੰਗ

ਅੰਤ ਵਿੱਚ, ਤੁਸੀਂ ਓਵਰਲੇ ਨੈੱਟਵਰਕ ਸਥਾਪਤ ਕਰਨ ਲਈ ਅੱਗੇ ਵਧ ਸਕਦੇ ਹੋ।

ਲੇਖ ਦੇ ਹਿੱਸੇ ਵਜੋਂ, ਮੇਜ਼ਬਾਨਾਂ ਵਿਚਕਾਰ ਇੱਕ ਨੈੱਟਵਰਕ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਹੇਠਾਂ ਦਿੱਤੇ ਚਿੱਤਰ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ:

ਇੱਕ ਓਵਰਲੇ ਨੈੱਟਵਰਕ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ l2vpn evpn ਪਰਿਵਾਰ ਲਈ ਸਮਰਥਨ ਨਾਲ ਸਪਾਈਨ ਅਤੇ ਲੀਫ ਸਵਿੱਚਾਂ 'ਤੇ BGP ਨੂੰ ਸਮਰੱਥ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

feature bgp
nv overlay evpn

ਅੱਗੇ, ਤੁਹਾਨੂੰ ਪੱਤਾ ਅਤੇ ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ ਦੇ ਵਿਚਕਾਰ BGP ਪੀਅਰਿੰਗ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਸੈਟਅਪ ਨੂੰ ਸਰਲ ਬਣਾਉਣ ਅਤੇ ਰੂਟਿੰਗ ਜਾਣਕਾਰੀ ਦੀ ਵੰਡ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ, ਅਸੀਂ ਸਪਾਈਨ ਨੂੰ ਰੂਟ-ਰਿਫਲੈਕਟਰ ਸਰਵਰ ਵਜੋਂ ਕੌਂਫਿਗਰ ਕਰਦੇ ਹਾਂ। ਅਸੀਂ ਸੈੱਟਅੱਪ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਟੈਂਪਲੇਟਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸੰਰਚਨਾ ਵਿੱਚ ਸਾਰੇ ਲੀਫ ਲਿਖਾਂਗੇ।

ਇਸ ਲਈ ਸਪਾਈਨ 'ਤੇ ਸੈਟਿੰਗਾਂ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ:

router bgp 65001
  template peer LEAF 
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
  neighbor 10.255.1.11
    inherit peer LEAF
  neighbor 10.255.1.12
    inherit peer LEAF
  neighbor 10.255.1.21
    inherit peer LEAF

ਲੀਫ ਸਵਿੱਚ 'ਤੇ ਸੈੱਟਅੱਪ ਸਮਾਨ ਦਿਸਦਾ ਹੈ:

router bgp 65001
  template peer SPINE
    remote-as 65001
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.255.1.101
    inherit peer SPINE
  neighbor 10.255.1.102
    inherit peer SPINE

ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ 'ਤੇ, ਆਓ ਸਾਰੇ ਲੀਫ ਸਵਿੱਚਾਂ ਨਾਲ ਪੀਅਰਿੰਗ ਦੀ ਜਾਂਚ ਕਰੀਏ:

Spine1# sh bgp l2vpn evpn summary
<.....>
Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
10.255.1.11     4 65001       7       8        6    0    0 00:01:45 0
10.255.1.12     4 65001       7       7        6    0    0 00:01:16 0
10.255.1.21     4 65001       7       7        6    0    0 00:01:01 0

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਵੇਖ ਸਕਦੇ ਹੋ, ਬੀਜੀਪੀ ਨਾਲ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਸੀ। ਚਲੋ VxLAN ਸੈਟ ਅਪ ਕਰਨ ਲਈ ਅੱਗੇ ਵਧੀਏ। ਹੋਰ ਸੰਰਚਨਾ ਸਿਰਫ ਸਵਿੱਚਾਂ ਦੇ ਲੀਫ ਸਾਈਡ 'ਤੇ ਕੀਤੀ ਜਾਵੇਗੀ। ਰੀੜ੍ਹ ਦੀ ਹੱਡੀ ਸਿਰਫ ਨੈਟਵਰਕ ਦੇ ਕੋਰ ਵਜੋਂ ਕੰਮ ਕਰਦੀ ਹੈ ਅਤੇ ਸਿਰਫ ਆਵਾਜਾਈ ਨੂੰ ਸੰਚਾਰਿਤ ਕਰਨ ਵਿੱਚ ਸ਼ਾਮਲ ਹੁੰਦੀ ਹੈ. ਸਾਰੇ ਇਨਕੈਪਸੂਲੇਸ਼ਨ ਅਤੇ ਮਾਰਗ ਨਿਰਧਾਰਨ ਦਾ ਕੰਮ ਸਿਰਫ ਲੀਫ ਸਵਿੱਚਾਂ 'ਤੇ ਹੁੰਦਾ ਹੈ।

NVE ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

NVE - ਨੈੱਟਵਰਕ ਵਰਚੁਅਲ ਇੰਟਰਫੇਸ

ਸੈੱਟਅੱਪ ਸ਼ੁਰੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਆਓ ਕੁਝ ਸ਼ਬਦਾਵਲੀ ਪੇਸ਼ ਕਰੀਏ:

VTEP - ਵਿਚੁਅਲ ਟਨਲ ਐਂਡ ਪੁਆਇੰਟ, ਉਹ ਡਿਵਾਈਸ ਜਿਸ 'ਤੇ VxLAN ਸੁਰੰਗ ਸ਼ੁਰੂ ਜਾਂ ਖਤਮ ਹੁੰਦੀ ਹੈ। VTEP ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਕੋਈ ਨੈੱਟਵਰਕ ਡਿਵਾਈਸ ਨਹੀਂ ਹੈ। VxLAN ਤਕਨਾਲੋਜੀ ਦਾ ਸਮਰਥਨ ਕਰਨ ਵਾਲਾ ਸਰਵਰ ਇੱਕ ਸਰਵਰ ਵਜੋਂ ਵੀ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ। ਸਾਡੀ ਟੌਪੋਲੋਜੀ ਵਿੱਚ, ਸਾਰੇ ਲੀਫ ਸਵਿੱਚ VTEP ਹਨ।

VNI - ਵਰਚੁਅਲ ਨੈੱਟਵਰਕ ਇੰਡੈਕਸ - VxLAN ਦੇ ਅੰਦਰ ਨੈੱਟਵਰਕ ਪਛਾਣਕਰਤਾ। VLAN ਨਾਲ ਇੱਕ ਸਮਾਨਤਾ ਬਣਾਈ ਜਾ ਸਕਦੀ ਹੈ। ਹਾਲਾਂਕਿ, ਕੁਝ ਅੰਤਰ ਹਨ. ਇੱਕ ਫੈਬਰਿਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਸਮੇਂ, VLAN ਸਿਰਫ਼ ਇੱਕ ਲੀਫ਼ ਸਵਿੱਚ ਵਿੱਚ ਵਿਲੱਖਣ ਬਣ ਜਾਂਦੇ ਹਨ ਅਤੇ ਪੂਰੇ ਨੈੱਟਵਰਕ ਵਿੱਚ ਪ੍ਰਸਾਰਿਤ ਨਹੀਂ ਹੁੰਦੇ ਹਨ। ਪਰ ਹਰੇਕ VLAN ਵਿੱਚ ਇਸਦੇ ਨਾਲ ਜੁੜਿਆ ਇੱਕ VNI ਨੰਬਰ ਹੋ ਸਕਦਾ ਹੈ, ਜੋ ਪਹਿਲਾਂ ਹੀ ਨੈੱਟਵਰਕ ਉੱਤੇ ਪ੍ਰਸਾਰਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ ਇਸਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਇਸ ਬਾਰੇ ਅੱਗੇ ਚਰਚਾ ਕੀਤੀ ਜਾਵੇਗੀ।

ਚਲੋ VxLAN ਤਕਨਾਲੋਜੀ ਦੇ ਕੰਮ ਕਰਨ ਲਈ ਵਿਸ਼ੇਸ਼ਤਾ ਅਤੇ VLAN ਨੰਬਰਾਂ ਨੂੰ VNI ਨੰਬਰ ਨਾਲ ਜੋੜਨ ਦੀ ਯੋਗਤਾ ਨੂੰ ਸਮਰੱਥ ਕਰੀਏ:

feature nv overlay
feature vn-segment-vlan-based

ਆਓ NVE ਇੰਟਰਫੇਸ ਨੂੰ ਸੰਰਚਿਤ ਕਰੀਏ, ਜੋ VxLAN ਦੇ ਸੰਚਾਲਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ। ਇਹ ਇੰਟਰਫੇਸ VxLAN ਸਿਰਲੇਖਾਂ ਵਿੱਚ ਫਰੇਮਾਂ ਨੂੰ ਐਨਕੈਪਸੂਲ ਕਰਨ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਹੈ। ਤੁਸੀਂ GRE ਲਈ ਟਨਲ ਇੰਟਰਫੇਸ ਨਾਲ ਸਮਾਨਤਾ ਬਣਾ ਸਕਦੇ ਹੋ:

interface nve1
  no shutdown
  host-reachability protocol bgp ! используем BGP для передачи маршрутной информации
  source-interface loopback0    ! интерфейс  с которого отправляем пакеты loopback0

ਲੀਫ-21 ਸਵਿੱਚ 'ਤੇ ਹਰ ਚੀਜ਼ ਬਿਨਾਂ ਕਿਸੇ ਸਮੱਸਿਆ ਦੇ ਬਣਾਈ ਜਾਂਦੀ ਹੈ। ਹਾਲਾਂਕਿ, ਜੇਕਰ ਅਸੀਂ ਕਮਾਂਡ ਦੇ ਆਉਟਪੁੱਟ ਦੀ ਜਾਂਚ ਕਰਦੇ ਹਾਂ show nve peers, ਫਿਰ ਇਹ ਖਾਲੀ ਹੋ ਜਾਵੇਗਾ। ਇੱਥੇ ਤੁਹਾਨੂੰ VPC ਸੰਰਚਨਾ 'ਤੇ ਵਾਪਸ ਜਾਣ ਦੀ ਲੋੜ ਹੈ। ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਲੀਫ-11 ਅਤੇ ਲੀਫ-12 ਜੋੜਿਆਂ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ ਅਤੇ ਇੱਕ VPC ਡੋਮੇਨ ਦੁਆਰਾ ਇੱਕਠੇ ਹੁੰਦੇ ਹਨ। ਇਹ ਸਾਨੂੰ ਹੇਠ ਲਿਖੀ ਸਥਿਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:

ਹੋਸਟ-2 ਇੱਕ ਫਰੇਮ ਨੂੰ ਲੀਫ-21 ਵੱਲ ਭੇਜਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਇਸਨੂੰ ਨੈੱਟਵਰਕ ਉੱਤੇ ਹੋਸਟ-1 ਵੱਲ ਭੇਜੇ। ਹਾਲਾਂਕਿ, ਲੀਫ-21 ਦੇਖਦਾ ਹੈ ਕਿ ਹੋਸਟ-1 ਦਾ MAC ਐਡਰੈੱਸ ਇੱਕੋ ਸਮੇਂ ਦੋ VTEPs ਰਾਹੀਂ ਪਹੁੰਚਯੋਗ ਹੈ। ਇਸ ਮਾਮਲੇ ਵਿੱਚ ਲੀਫ-21 ਨੂੰ ਕੀ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ? ਆਖ਼ਰਕਾਰ, ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਨੈਟਵਰਕ ਵਿੱਚ ਇੱਕ ਲੂਪ ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ.

ਇਸ ਸਥਿਤੀ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਫੈਕਟਰੀ ਦੇ ਅੰਦਰ ਇੱਕ ਉਪਕਰਣ ਵਜੋਂ ਕੰਮ ਕਰਨ ਲਈ ਲੀਫ-11 ਅਤੇ ਲੀਫ-12 ਦੀ ਲੋੜ ਹੈ। ਹੱਲ ਕਾਫ਼ੀ ਸਧਾਰਨ ਹੈ. ਲੂਪਬੈਕ ਇੰਟਰਫੇਸ ਉੱਤੇ ਜਿਸ ਤੋਂ ਅਸੀਂ ਸੁਰੰਗ ਬਣਾਉਂਦੇ ਹਾਂ, ਇੱਕ ਸੈਕੰਡਰੀ ਪਤਾ ਜੋੜੋ। ਦੋਵਾਂ VTEPs 'ਤੇ ਸੈਕੰਡਰੀ ਪਤਾ ਇੱਕੋ ਜਿਹਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

interface loopback0
 ip add 10.255.1.10/32 secondary

ਇਸ ਤਰ੍ਹਾਂ, ਹੋਰ VTEPs ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਸਾਨੂੰ ਹੇਠਾਂ ਦਿੱਤੀ ਟੌਪੋਲੋਜੀ ਮਿਲਦੀ ਹੈ:

ਯਾਨੀ ਕਿ ਹੁਣ ਲੀਫ-21 ਦੇ IP ਐਡਰੈੱਸ ਅਤੇ ਦੋ ਲੀਫ-11 ਅਤੇ ਲੀਫ-12 ਦੇ ਵਿਚਕਾਰ ਵਰਚੁਅਲ IP ਵਿਚਕਾਰ ਸੁਰੰਗ ਬਣਾਈ ਜਾਵੇਗੀ। ਹੁਣ ਦੋ ਡਿਵਾਈਸਾਂ ਤੋਂ MAC ਐਡਰੈੱਸ ਸਿੱਖਣ ਵਿੱਚ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੋਵੇਗੀ ਅਤੇ ਟ੍ਰੈਫਿਕ ਇੱਕ VTEP ਤੋਂ ਦੂਜੇ ਵਿੱਚ ਜਾ ਸਕਦਾ ਹੈ। ਦੋ VTEPs ਵਿੱਚੋਂ ਕਿਹੜਾ ਟਰੈਫਿਕ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰੇਗਾ ਸਪਾਈਨ 'ਤੇ ਰੂਟਿੰਗ ਟੇਬਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਫੈਸਲਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ:

Spine1# sh ip route
<.....>
10.255.1.10/32, ubest/mbest: 2/0
    *via 10.255.1.11, Eth1/1, [110/41], 1d01h, ospf-UNDERLAY, intra
    *via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra
10.255.1.11/32, ubest/mbest: 1/0
    *via 10.255.1.11, Eth1/1, [110/41], 1d22h, ospf-UNDERLAY, intra
10.255.1.12/32, ubest/mbest: 1/0
    *via 10.255.1.12, Eth1/2, [110/41], 1d01h, ospf-UNDERLAY, intra

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਉੱਪਰ ਦੇਖ ਸਕਦੇ ਹੋ, ਪਤਾ 10.255.1.10 ਦੋ ਨੈਕਸਟ-ਹੋਪਸ ਦੁਆਰਾ ਤੁਰੰਤ ਉਪਲਬਧ ਹੈ।

ਇਸ ਪੜਾਅ 'ਤੇ, ਅਸੀਂ ਬੁਨਿਆਦੀ ਕਨੈਕਟੀਵਿਟੀ ਨਾਲ ਨਜਿੱਠਿਆ ਹੈ. ਆਓ NVE ਇੰਟਰਫੇਸ ਸਥਾਪਤ ਕਰਨ ਲਈ ਅੱਗੇ ਵਧੀਏ:
ਚਲੋ ਤੁਰੰਤ Vlan 10 ਨੂੰ ਸਮਰੱਥ ਕਰੀਏ ਅਤੇ ਇਸਨੂੰ ਮੇਜ਼ਬਾਨਾਂ ਲਈ ਹਰੇਕ ਲੀਫ 'ਤੇ VNI 10000 ਨਾਲ ਜੋੜੀਏ। ਆਉ ਮੇਜ਼ਬਾਨਾਂ ਵਿਚਕਾਰ ਇੱਕ L2 ਸੁਰੰਗ ਸਥਾਪਤ ਕਰੀਏ

vlan 10                 ! Включаем VLAN на всех VTEP подключенных к необходимым хостам
  vn-segment 10000      ! Ассоциируем VLAN с номер VNI 

interface nve1
  member vni 10000      ! Добавляем VNI 10000 для работы через интерфейс NVE. для инкапсуляции в VxLAN
    ingress-replication protocol bgp    ! указываем, что для распространения информации о хосте используем BGP

ਆਉ ਹੁਣ BGP EVPN ਲਈ nve ਪੀਅਰ ਅਤੇ ਟੇਬਲ ਦੀ ਜਾਂਚ ਕਰੀਏ:

Leaf21# sh nve peers
Interface Peer-IP          State LearnType Uptime   Router-Mac
--------- ---------------  ----- --------- -------- -----------------
nve1      10.255.1.10      Up    CP        00:00:41 n/a                 ! Видим что peer доступен с secondary адреса

Leaf11# sh bgp l2vpn evpn

   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)        ! От кого именно пришел этот l2VNI
*>l[3]:[0]:[32]:[10.255.1.10]/88                                   ! EVPN route-type 3 - показывает нашего соседа, который так же знает об l2VNI10000
                      10.255.1.10                       100      32768 i
*>i[3]:[0]:[32]:[10.255.1.20]/88
                      10.255.1.20                       100          0 i
* i                   10.255.1.20                       100          0 i

Route Distinguisher: 10.255.1.21:32777
* i[3]:[0]:[32]:[10.255.1.20]/88
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

ਉੱਪਰ ਅਸੀਂ ਸਿਰਫ EVPN ਰੂਟ-ਟਾਈਪ 3 ਰੂਟ ਦੇਖਦੇ ਹਾਂ। ਇਸ ਕਿਸਮ ਦਾ ਰੂਟ ਪੀਅਰ(ਲੀਫ) ਬਾਰੇ ਗੱਲ ਕਰਦਾ ਹੈ, ਪਰ ਸਾਡੇ ਮੇਜ਼ਬਾਨ ਕਿੱਥੇ ਹਨ?
ਗੱਲ ਇਹ ਹੈ ਕਿ MAC ਮੇਜ਼ਬਾਨਾਂ ਬਾਰੇ ਜਾਣਕਾਰੀ EVPN ਰੂਟ-ਟਾਈਪ 2 ਦੁਆਰਾ ਪ੍ਰਸਾਰਿਤ ਕੀਤੀ ਜਾਂਦੀ ਹੈ

ਸਾਡੇ ਮੇਜ਼ਬਾਨਾਂ ਨੂੰ ਦੇਖਣ ਲਈ, ਤੁਹਾਨੂੰ EVPN ਰੂਟ-ਟਾਈਪ 2 ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

evpn
  vni 10000 l2
    route-target import auto   ! в рамках данной статьи используем автоматический номер для route-target
    route-target export auto

ਆਉ ਹੋਸਟ-2 ਤੋਂ ਹੋਸਟ-1 ਤੱਕ ਪਿੰਗ ਕਰੀਏ:

Firewall2# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1): 56 data bytes
36 bytes from 192.168.10.2: Destination Host Unreachable
Request 0 timed out
64 bytes from 192.168.10.1: icmp_seq=1 ttl=254 time=215.555 ms
64 bytes from 192.168.10.1: icmp_seq=2 ttl=254 time=38.756 ms
64 bytes from 192.168.10.1: icmp_seq=3 ttl=254 time=42.484 ms
64 bytes from 192.168.10.1: icmp_seq=4 ttl=254 time=40.983 ms

ਅਤੇ ਹੇਠਾਂ ਅਸੀਂ ਦੇਖ ਸਕਦੇ ਹਾਂ ਕਿ BGP ਟੇਬਲ - 2 ਅਤੇ 5001.0007.0007 ਵਿੱਚ ਹੋਸਟ MAC ਐਡਰੈੱਸ ਦੇ ਨਾਲ ਰੂਟ-ਟਾਈਪ 5001.0008.0007 ਪ੍ਰਗਟ ਹੋਇਆ ਹੈ।

Leaf11# sh bgp l2vpn evpn
<......>

   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216                      !  evpn route-type 2 и mac адрес хоста 1
                      10.255.1.10                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216                      ! evpn route-type 2 и mac адрес хоста 2
* i                   10.255.1.20                       100          0 i
*>l[3]:[0]:[32]:[10.255.1.10]/88
                      10.255.1.10                       100      32768 i
Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i

ਅੱਗੇ, ਤੁਸੀਂ ਅੱਪਡੇਟ 'ਤੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਦੇਖ ਸਕਦੇ ਹੋ, ਜਿਸ ਵਿੱਚ ਤੁਹਾਨੂੰ MAC ਹੋਸਟ ਬਾਰੇ ਜਾਣਕਾਰੀ ਮਿਲੀ ਹੈ। ਹੇਠਾਂ ਸਾਰੀ ਕਮਾਂਡ ਆਉਟਪੁੱਟ ਨਹੀਂ ਹੈ।

Leaf21# sh bgp l2vpn evpn 5001.0007.0007

BGP routing table information for VRF default, address family L2VPN EVPN
Route Distinguisher: 10.255.1.11:32777        !  отправил Update с MAC Host. Не виртуальный адрес VPC, а адрес Leaf
BGP routing table entry for [2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216,
 version 1507
Paths: (2 available, best #2)
Flags: (0x000202) (high32 00000000) on xmit-list, is not in l2rib/evpn, is not i
n HW

  Path type: internal, path is valid, not best reason: Neighbor Address, no labe
led nexthop
  AS-Path: NONE, path sourced internal to AS
    10.255.1.10 (metric 81) from 10.255.1.102 (10.255.1.102)    ! с кем именно строим VxLAN тоннель
      Origin IGP, MED not set, localpref 100, weight 0
      Received label 10000         ! Номер VNI, который ассоциирован с VLAN, в котором находится Host
      Extcommunity: RT:65001:10000 SOO:10.255.1.10:0 ENCAP:8        ! Тут видно, что RT сформировался автоматически на основе номеров AS и VNI
      Originator: 10.255.1.11 Cluster list: 10.255.1.102
<........>

ਆਓ ਦੇਖੀਏ ਕਿ ਜਦੋਂ ਉਹ ਫੈਕਟਰੀ ਵਿੱਚੋਂ ਲੰਘਦੇ ਹਨ ਤਾਂ ਫਰੇਮ ਕਿਸ ਤਰ੍ਹਾਂ ਦੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ:

ਦਬਾਓ-ARP

ਬਹੁਤ ਵਧੀਆ, ਸਾਡੇ ਕੋਲ ਹੁਣ ਮੇਜ਼ਬਾਨਾਂ ਵਿਚਕਾਰ L2 ਸੰਚਾਰ ਹੈ ਅਤੇ ਅਸੀਂ ਉੱਥੇ ਪੂਰਾ ਕਰ ਸਕਦੇ ਹਾਂ। ਹਾਲਾਂਕਿ, ਸਾਰੇ ਇੰਨੇ ਸਧਾਰਨ ਨਹੀਂ ਹਨ. ਜਿੰਨਾ ਚਿਰ ਸਾਡੇ ਕੋਲ ਕੁਝ ਮੇਜ਼ਬਾਨ ਹਨ, ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੋਵੇਗੀ। ਪਰ ਆਓ ਅਜਿਹੀ ਸਥਿਤੀ ਦੀ ਕਲਪਨਾ ਕਰੀਏ ਜਿੱਥੇ ਸਾਡੇ ਕੋਲ ਸੈਂਕੜੇ ਅਤੇ ਹਜ਼ਾਰਾਂ ਮੇਜ਼ਬਾਨ ਹਨ। ਸਾਨੂੰ ਕਿਹੜੀ ਸਮੱਸਿਆ ਦਾ ਸਾਮ੍ਹਣਾ ਕਰਨਾ ਪੈ ਸਕਦਾ ਹੈ?

ਇਹ ਸਮੱਸਿਆ BUM (ਬਰਾਡਕਾਸਟ, ਅਣਜਾਣ ਯੂਨੀਕਾਸਟ, ਮਲਟੀਕਾਸਟ) ਟ੍ਰੈਫਿਕ ਹੈ। ਇਸ ਲੇਖ ਵਿਚ, ਅਸੀਂ ਪ੍ਰਸਾਰਣ ਟ੍ਰੈਫਿਕ ਨਾਲ ਨਜਿੱਠਣ ਦੇ ਵਿਕਲਪ 'ਤੇ ਵਿਚਾਰ ਕਰਾਂਗੇ.
ਈਥਰਨੈੱਟ ਨੈਟਵਰਕਸ ਵਿੱਚ ਮੁੱਖ ਪ੍ਰਸਾਰਣ ਜਨਰੇਟਰ ARP ਪ੍ਰੋਟੋਕੋਲ ਦੁਆਰਾ ਖੁਦ ਮੇਜ਼ਬਾਨ ਹੈ।

Nexus ARP ਬੇਨਤੀਆਂ ਦਾ ਮੁਕਾਬਲਾ ਕਰਨ ਲਈ ਹੇਠਾਂ ਦਿੱਤੀ ਵਿਧੀ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ - ਦਬਾਓ-ARP.
ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਕੰਮ ਕਰਦੀ ਹੈ:

1. ਹੋਸਟ-1 ਆਪਣੇ ਨੈੱਟਵਰਕ ਦੇ ਬ੍ਰੌਡਕਾਸਟ ਪਤੇ 'ਤੇ APR ਬੇਨਤੀ ਭੇਜਦਾ ਹੈ।
2. ਬੇਨਤੀ ਲੀਫ ਸਵਿੱਚ ਤੱਕ ਪਹੁੰਚਦੀ ਹੈ ਅਤੇ ਇਸ ਬੇਨਤੀ ਨੂੰ ਮੇਜ਼ਬਾਨ-2 ਵੱਲ ਫੈਬਰਿਕ ਨੂੰ ਅੱਗੇ ਭੇਜਣ ਦੀ ਬਜਾਏ, ਲੀਫ ਆਪਣੇ ਆਪ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਅਤੇ ਲੋੜੀਂਦੇ IP ਅਤੇ MAC ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਇਸ ਤਰ੍ਹਾਂ, ਪ੍ਰਸਾਰਣ ਦੀ ਬੇਨਤੀ ਫੈਕਟਰੀ ਵਿੱਚ ਨਹੀਂ ਗਈ. ਪਰ ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ ਜੇਕਰ ਲੀਫ ਸਿਰਫ MAC ਐਡਰੈੱਸ ਨੂੰ ਜਾਣਦਾ ਹੈ?

ਹਰ ਚੀਜ਼ ਕਾਫ਼ੀ ਸਧਾਰਨ ਹੈ, EVPN ਰੂਟ-ਟਾਈਪ 2, MAC ਐਡਰੈੱਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ MAC/IP ਸੁਮੇਲ ਨੂੰ ਸੰਚਾਰਿਤ ਕਰ ਸਕਦਾ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ VLAN on Leaf ਵਿੱਚ ਇੱਕ IP ਐਡਰੈੱਸ ਕੌਂਫਿਗਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਸਵਾਲ ਉੱਠਦਾ ਹੈ, ਮੈਨੂੰ ਕਿਹੜਾ IP ਸੈੱਟ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ? ਗਠਜੋੜ 'ਤੇ ਸਾਰੇ ਸਵਿੱਚਾਂ 'ਤੇ ਵੰਡਿਆ (ਇੱਕੋ) ਪਤਾ ਬਣਾਉਣਾ ਸੰਭਵ ਹੈ:

feature interface-vlan

fabric forwarding anycast-gateway-mac 0001.0001.0001    ! задаем virtual mac для создания распределенного шлюза между всеми коммутаторами

interface Vlan10
  no shutdown
  ip address 192.168.10.254/24          ! на всех Leaf задаем одинаковый IP
  fabric forwarding mode anycast-gateway    ! говорим использовать Virtual mac

ਇਸ ਤਰ੍ਹਾਂ, ਮੇਜ਼ਬਾਨਾਂ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਨੈਟਵਰਕ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦੇਵੇਗਾ:

ਆਉ BGP l2route evpn ਦੀ ਜਾਂਚ ਕਰੀਏ

Leaf11# sh bgp l2vpn evpn
<......>

   Network            Next Hop            Metric     LocPrf     Weight Path
Route Distinguisher: 10.255.1.11:32777    (L2VNI 10000)
*>l[2]:[0]:[0]:[48]:[5001.0007.0007]:[0]:[0.0.0.0]/216
                      10.255.1.21                       100      32768 i
*>i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.10                       100          0 i
* i                   10.255.1.10                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
                      10.255.1.10                       100          0 i
*>i                   10.255.1.10                       100          0 i

<......>

Route Distinguisher: 10.255.1.21:32777
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[0]:[0.0.0.0]/216
                      10.255.1.20                       100          0 i
*>i                   10.255.1.20                       100          0 i
* i[2]:[0]:[0]:[48]:[5001.0008.0007]:[32]:[192.168.10.20]/248
*>i                   10.255.1.20                       100          0 i

<......>

ਕਮਾਂਡ ਆਉਟਪੁੱਟ ਤੋਂ ਤੁਸੀਂ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ EVPN ਰੂਟ-ਟਾਈਪ 2 ਵਿੱਚ, MAC ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ ਹੁਣ ਹੋਸਟ IP ਐਡਰੈੱਸ ਵੀ ਦੇਖਦੇ ਹਾਂ।

ਚਲੋ ਸਪਰੈੱਸ-ਏਆਰਪੀ ਦੀ ਸੈਟਿੰਗ 'ਤੇ ਵਾਪਸ ਚੱਲੀਏ। ਇਹ ਸੈਟਿੰਗ ਹਰੇਕ VNI ਲਈ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਸਮਰੱਥ ਹੈ:

interface nve1
  member vni 10000   
    suppress-arp

ਫਿਰ ਕੁਝ ਜਟਿਲਤਾ ਪੈਦਾ ਹੁੰਦੀ ਹੈ:

• ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਦੇ ਕੰਮ ਕਰਨ ਲਈ, TCAM ਮੈਮੋਰੀ ਵਿੱਚ ਥਾਂ ਦੀ ਲੋੜ ਹੈ। ਇੱਥੇ ਦਬਾਉਣ-ਆਰਪੀ ਲਈ ਸੈਟਿੰਗਾਂ ਦੀ ਇੱਕ ਉਦਾਹਰਨ ਹੈ:

hardware access-list tcam region arp-ether 256

ਇਸ ਸੈਟਿੰਗ ਨੂੰ ਡਬਲ-ਵਾਈਡ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਭਾਵ, ਜੇਕਰ ਤੁਸੀਂ 256 ਸੈਟ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ TCAM ਵਿੱਚ 512 ਖਾਲੀ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। TCAM ਨੂੰ ਸੈਟ ਅਪ ਕਰਨਾ ਇਸ ਲੇਖ ਦੇ ਦਾਇਰੇ ਤੋਂ ਬਾਹਰ ਹੈ, ਕਿਉਂਕਿ TCAM ਸੈਟ ਅਪ ਕਰਨਾ ਸਿਰਫ਼ ਤੁਹਾਡੇ ਲਈ ਦਿੱਤੇ ਗਏ ਕੰਮ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਨੈੱਟਵਰਕ ਤੋਂ ਦੂਜੇ ਨੈੱਟਵਰਕ ਵਿੱਚ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ।

• ਸਾਰੇ ਲੀਫ ਸਵਿੱਚਾਂ 'ਤੇ ਸਪ੍ਰੈਸ-ਆਰਪ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੈ। ਹਾਲਾਂਕਿ, VPC ਡੋਮੇਨ ਵਿੱਚ ਰਹਿੰਦੇ ਲੀਫ ਜੋੜਿਆਂ 'ਤੇ ਸੰਰਚਨਾ ਕਰਨ ਵੇਲੇ ਜਟਿਲਤਾ ਪੈਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਜੇਕਰ TCAM ਨੂੰ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਜੋੜਿਆਂ ਵਿਚਕਾਰ ਇਕਸਾਰਤਾ ਟੁੱਟ ਜਾਵੇਗੀ ਅਤੇ ਇੱਕ ਨੋਡ ਨੂੰ ਕਾਰਵਾਈ ਤੋਂ ਬਾਹਰ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, TCAM ਤਬਦੀਲੀ ਸੈਟਿੰਗ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ ਇੱਕ ਡਿਵਾਈਸ ਰੀਬੂਟ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।

ਨਤੀਜੇ ਵਜੋਂ, ਤੁਹਾਨੂੰ ਧਿਆਨ ਨਾਲ ਵਿਚਾਰ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਕਿ ਕੀ, ਤੁਹਾਡੀ ਸਥਿਤੀ ਵਿੱਚ, ਇਹ ਇੱਕ ਚੱਲ ਰਹੀ ਫੈਕਟਰੀ ਵਿੱਚ ਇਸ ਸੈਟਿੰਗ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਯੋਗ ਹੈ.

ਇਹ ਲੜੀ ਦੇ ਪਹਿਲੇ ਭਾਗ ਨੂੰ ਸਮਾਪਤ ਕਰਦਾ ਹੈ. ਅਗਲੇ ਭਾਗ ਵਿੱਚ ਅਸੀਂ ਇੱਕ VxLAN ਫੈਬਰਿਕ ਦੁਆਰਾ ਵੱਖ-ਵੱਖ VRF ਵਿੱਚ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਵੱਖ ਕਰਨ ਦੇ ਨਾਲ ਰੂਟਿੰਗ ਨੂੰ ਵੇਖਾਂਗੇ।

ਅਤੇ ਹੁਣ ਮੈਂ ਸਾਰਿਆਂ ਨੂੰ ਸੱਦਾ ਦਿੰਦਾ ਹਾਂ ਮੁਫ਼ਤ ਵੈਬਿਨਾਰ, ਜਿਸ ਵਿੱਚ ਮੈਂ ਤੁਹਾਨੂੰ ਕੋਰਸ ਬਾਰੇ ਵਿਸਥਾਰ ਵਿੱਚ ਦੱਸਾਂਗਾ। ਇਸ ਵੈਬਿਨਾਰ ਲਈ ਰਜਿਸਟਰ ਕਰਨ ਵਾਲੇ ਪਹਿਲੇ 20 ਭਾਗੀਦਾਰਾਂ ਨੂੰ ਪ੍ਰਸਾਰਣ ਤੋਂ ਬਾਅਦ 1-2 ਦਿਨਾਂ ਦੇ ਅੰਦਰ ਈਮੇਲ ਰਾਹੀਂ ਇੱਕ ਛੂਟ ਸਰਟੀਫਿਕੇਟ ਪ੍ਰਾਪਤ ਹੋਵੇਗਾ।

ਸਰੋਤ: www.habr.com