하나의 스위치 이야기

로컬 네트워크 집합에는 Arista DCS-7050CX3-32S 스위치 6940쌍과 Brocade VDX 36-40Q 스위치 100쌍이 있었습니다. 이 네트워크의 Brocade 스위치로 인해 우리가 지나치게 부담을 느낀 것은 아닙니다. Brocade 스위치는 작동하고 기능을 수행하지만 일부 작업의 완전 자동화를 준비 중이었고 이러한 스위치에는 이러한 기능이 없었습니다. 또한 향후 2~3년 동안 여유 공간을 확보하기 위해 XNUMXGE 인터페이스에서 XNUMXGE 사용 가능성으로 전환하고 싶었습니다. 그래서 우리는 Brocade를 Arista로 변경하기로 결정했습니다.

이 스위치는 각 데이터 센터의 LAN 집합 스위치입니다. 분배 스위치(집합의 두 번째 수준)는 여기에 직접 연결되어 있으며 이미 서버가 있는 랙에 랙 상단형 로컬 네트워크 스위치를 조립하고 있습니다.

각 서버는 하나 또는 두 개의 액세스 스위치에 연결됩니다. 액세스 스위치는 한 쌍의 배포 스위치에 연결됩니다(두 개의 배포 스위치와 액세스 스위치에서 다른 배포 스위치로의 두 개의 물리적 링크가 중복성을 위해 사용됨).

각 서버는 자체 클라이언트에서 사용할 수 있으므로 클라이언트에는 별도의 VLAN이 할당됩니다. 그러면 동일한 VLAN이 모든 랙에 있는 이 클라이언트의 다른 서버에 등록됩니다. 데이터 센터는 이러한 여러 행(POD)으로 구성되며, 랙의 각 행에는 자체 배포 스위치가 있습니다. 그런 다음 이러한 배포 스위치는 집계 스위치에 연결됩니다.

클라이언트는 임의의 행에 있는 서버를 주문할 수 있지만, 서버가 특정 랙의 특정 행에 할당되거나 설치될 것이라는 것을 미리 예측하는 것은 불가능하므로 각 데이터 센터의 어그리게이션 스위치에 약 2500개의 VLAN이 있습니다.

DCI(Data-Center Interconnect)용 장비는 집합 스위치에 연결됩니다. 이는 L2 연결(다른 데이터 센터에 대한 VXLAN 터널을 형성하는 스위치 쌍) 또는 L3 연결(MPLS 라우터 XNUMX개)용으로 사용될 수 있습니다.

이미 쓴 것처럼 하나의 데이터 센터에 있는 장비의 서비스 구성을 자동화하는 프로세스를 통합하려면 중앙 집계 스위치를 교체해야 했습니다. 기존 스위치 옆에 새 스위치를 설치하고 MLAG 쌍으로 결합한 후 작업 준비를 시작했습니다. 이들은 기존 집합 스위치에 즉시 연결되어 모든 클라이언트 VLAN에 걸쳐 공통 L2 도메인을 갖게 되었습니다.

회로 세부정보

구체적으로 이전 집계 스위치의 이름을 지정해 보겠습니다. A1 и A2, 새로운 - N1 и N2. 그것을 상상해 봅시다. 포드 1 и 포드 4 한 클라이언트의 서버가 호스팅됩니다. С1,클라이언트 VLAN은 파란색으로 표시됩니다. 이 클라이언트는 다른 데이터 센터와 L2 연결 서비스를 사용하고 있으므로 해당 VLAN은 한 쌍의 VXLAN 스위치에 공급됩니다.

클라이언트 С2 서버를 호스팅합니다 포드 2 и 포드 3,클라이언트 VLAN은 진한 녹색으로 표시됩니다. 이 클라이언트는 L3가 아닌 다른 데이터 센터와의 연결 서비스도 사용하므로 해당 VLAN은 한 쌍의 L3VPN 라우터에 공급됩니다.

교체 작업의 어느 단계에서 어떤 일이 발생하는지, 통신 중단이 발생하는 위치 및 지속 시간을 이해하려면 클라이언트 VLAN이 필요합니다. 이 경우 STP 프로토콜은 트리 너비가 크고 프로토콜 수렴이 장치 및 장치 간의 링크 수에 따라 기하급수적으로 증가하기 때문에 이 체계에서는 사용되지 않습니다.

이중 링크로 연결된 모든 장치는 스택, MLAG 쌍 또는 VCS 이더넷 패브릭을 형성합니다. 한 쌍의 L3VPN 라우터의 경우 L2 중복성이 필요하지 않으므로 이러한 기술은 사용되지 않으며 집합 스위치를 통해 서로 L2 연결을 갖는 것으로 충분합니다.

구현 옵션

추가 이벤트에 대한 옵션을 분석하면서 우리는 이 작업을 수행하는 데 여러 가지 방법이 있다는 것을 깨달았습니다. 전체 로컬 네트워크의 글로벌 중단부터 네트워크 일부의 문자 그대로 1~2초의 작은 중단까지.

네트워크, 그만둬! 스위치, 교체하세요!

물론 가장 쉬운 방법은 모든 POD와 모든 DCI 서비스에 대한 전역 통신 중단을 선언하고 스위치의 모든 링크를 전환하는 것입니다. А 스위치에 N.

중단 외에도 시간을 안정적으로 예측할 수 없습니다(예, 링크 수는 알고 있지만 손상된 패치 코드 또는 손상된 커넥터부터 결함이 있는 포트 또는 트랜시버에 이르기까지 문제가 몇 번이나 발생하는지 알 수 없습니다) ), 이전 스위치 A에 연결된 패치 코드, DAC, AOC의 길이가 옆에 서 있더라도 새 스위치 N에 도달하기에 충분한지 여부를 미리 예측할 수는 없지만 여전히 조금은 예측할 수 없습니다. Brocade 스위치에서 Arista 스위치까지 동일한 트랜시버가 /DAC/AOC에서 작동하는지 여부.

그리고 이 모든 것은 고객과 기술 지원의 심각한 압력을 받는 조건에서 이루어집니다. (“나타샤, 일어나세요! 나타샤, 거기에서는 모든 것이 작동하지 않습니다! 나타샤, 솔직히 기술 지원팀에 이미 편지를 보냈습니다! 나타샤, 그들은 이미 모든 것을 삭제했습니다. ! 나타샤, 얼마나 더 작동하지 않았나요? 나타샤, 언제 작동할까요?!"). 사전에 공지된 중단 시간 및 고객에게 알림에도 불구하고 그러한 시간에 요청이 유입되는 것은 보장됩니다.

멈춰라, 1-2-3-4!

글로벌 중단을 발표하지 않고 POD 및 DCI 서비스에 대한 일련의 작은 통신 중단을 발표하면 어떻게 될까요? 첫 번째 휴식 시간에는 스위치로 전환 N 만 포드 1, 두 번째 - 며칠 후 - 포드 2, 그럼 며칠 더 포드 3더 멀리 포드 4…[N], VXLAN 스위치, L3VPN 라우터 순으로 구성됩니다.

이러한 작업 전환 구성을 통해 일회성 작업의 복잡성을 줄이고 갑자기 문제가 발생하는 경우 문제를 해결하는 데 소요되는 시간을 늘립니다. POD 1은 전환 후에도 다른 POD 및 DCI에 연결된 상태를 유지합니다. 그러나 작업 자체는 오랫동안 지속됩니다. 데이터 센터에서 이 작업을 수행하는 동안 엔지니어는 물리적으로 전환을 수행해야 하며 작업 중에는 이러한 작업이 원칙적으로 밤 2시부터 수행됩니다. 오전 5시까지), 상당히 높은 수준의 자격을 갖춘 온라인 네트워크 엔지니어의 존재가 필요합니다. 그러나 짧은 통신 중단이 발생하며 일반적으로 최대 2분의 휴식 시간을 포함하여 20분 간격으로 작업을 수행할 수 있습니다(실제로 장비의 예상 동작에 따라 30-XNUMX초가 되는 경우가 많습니다).

예제 클라이언트에서 С1 또는 클라이언트 С2 통신 중단이 있는 작업에 대해 최소 세 번 경고해야 합니다. 처음에는 서버 중 하나가 있는 하나의 POD에서 작업을 수행하고, 두 번째는 두 번째, 세 번째는 다음과 같습니다. DCI 서비스용 스위칭 장비.

집계된 통신 채널 전환

장비의 예상 동작에 대해 이야기하는 이유와 통신 중단을 최소화하면서 통합 채널을 전환할 수 있는 방법에 대해 이야기하는 이유는 무엇입니까? 다음 그림을 상상해 봅시다.

링크의 한쪽에는 POD 분배 스위치가 있습니다. D1 и D2, 서로 MLAG 쌍(스택, VCS 팩토리, vPC 쌍)을 형성하지만, 반면에 두 개의 링크가 있습니다. 1 링크 и 2 링크 - 기존 집합 스위치의 MLAG 쌍에 포함됨 А. 스위치 측에서 D 이름이 포함된 집계된 인터페이스 포트 채널 A, 집계 스위치 측면 А - 이름이 포함된 집계된 인터페이스 포트 채널 D.

집계된 인터페이스는 작동 시 LACP를 사용합니다. 즉, 양쪽의 스위치는 두 링크 모두에서 정기적으로 LACPDU 패킷을 교환하여 링크가 다음을 수행하는지 확인합니다.

• 노동자들;
• 원격 측 장치 한 쌍에 포함되어 있습니다.

패킷을 교환할 때 패킷은 값을 전달합니다. 시스템 ID, 이러한 링크가 포함된 장치를 나타냅니다. MLAG 쌍(스택, 팩토리 등)의 경우 집계된 인터페이스를 구성하는 장치의 system-id 값은 동일합니다. 스위치 D1 ~에게 보낸다 1 링크 가치 시스템 ID D, 그리고 스위치 D2 ~에게 보낸다 2 링크 가치 시스템 ID D.

스위치 A1 и A2 하나의 Po D 인터페이스를 통해 수신된 LACPDU 패킷을 분석하고 해당 패킷의 시스템 ID가 일치하는지 확인합니다. 일부 링크를 통해 수신된 시스템 ID가 갑자기 다른 경우 현재 작동 값에서을 클릭하면 상황이 수정될 때까지 이 링크가 집계된 인터페이스에서 제거됩니다. 이제 스위치 측에서 D LACP 파트너의 현재 시스템 ID 값 - A, 그리고 스위치 측에서 А — LACP 파트너의 현재 시스템 ID 값 — D.

집계된 인터페이스를 전환해야 하는 경우 두 가지 방법으로 전환할 수 있습니다.

방법 1 - 단순
스위치 A의 두 링크를 모두 비활성화합니다.. 이 경우 집계된 채널이 작동하지 않습니다.

두 링크를 하나씩 스위치에 연결하십시오. N그런 다음 LACP 작동 매개변수가 다시 협상되고 인터페이스가 형성됩니다. D 포 스위치에 N 링크를 통한 가치 전달 시스템 ID N.

방법 2 - 중단 최소화
스위치 A2에서 링크 2 연결을 끊습니다.. 동시에, 사이의 트래픽 А и D 링크 중 하나를 통해 계속 전송되며, 이는 집계된 인터페이스의 일부로 유지됩니다.

링크 2를 N2 스위치에 연결. 스위치에서 N 집계된 인터페이스가 이미 구성되어 있습니다. 포 DN, 그리고 스위치 N2 LACPDU로 전송을 시작합니다 시스템 ID N. 이 단계에서 우리는 이미 스위치가 N2 사용된 트랜시버와 올바르게 작동합니다. 2 링크, 연결 포트가 상태에 진입했음을 나타냅니다. Up, LACPDU 전송 시 연결 포트에 오류가 발생하지 않음을 확인합니다.

하지만 스위치라는 사실은 D2 집계된 인터페이스의 경우 포 A 측면 링크 2는 현재 운영 체제 ID A 값과 다른 시스템 ID N 값을 수신합니다., 스위치를 허용하지 않습니다 D 소개하다 2 링크 집계된 인터페이스의 일부 포 A. 스위치 N 들어갈 수 없다 2 링크 스위치의 LACP 파트너로부터 작동 가능성 확인을 받지 못하기 때문에 작동됩니다. D2. 결과 트래픽은 2 링크 통과하지 못함.

이제 스위치 A1에서 링크 1을 끕니다., 이로 인해 스위치가 박탈됩니다. А и D 작업 집계 인터페이스. 그래서 스위치 쪽에서는 D 인터페이스의 현재 작동 중인 system-id 값이 사라집니다. 포 A.

이는 스위치를 허용합니다. D и N system-id 교환에 동의 AN 인터페이스에 포 A и 포 DN, 트래픽이 링크를 따라 전송되기 시작합니다. 2 링크. 이 경우 휴식 시간은 실제로 최대 2초입니다.

이제 Link 1을 N1로 쉽게 전환할 수 있습니다., 인터페이스 이중화의 용량 및 수준 복원 포 A и 포 DN. 이 링크가 연결되면 현재 system-id 값은 어느 쪽에서도 변경되지 않으므로 중단이 없습니다.

추가 링크

그러나 전환 시 엔지니어 없이 전환을 수행할 수 있습니다. 이렇게 하려면 분배 스위치 사이에 미리 추가 링크를 배치해야 합니다. D 그리고 새로운 집합 스위치 N.

우리는 집계 스위치 사이에 새로운 링크를 배치하고 있습니다. N 모든 POD에 대한 배포 스위치. 이를 위해서는 추가 패치 코드를 주문 및 배치하고 다음과 같이 추가 트랜시버를 설치해야 합니다. N,에서 D. 우리는 스위치를 사용하기 때문에 이를 수행할 수 있습니다. D 각 POD에는 무료 포트가 있습니다(또는 미리 무료로 제공). 결과적으로 각 POD는 두 개의 링크를 통해 기존 스위치 A와 새 스위치 N에 물리적으로 연결됩니다.

스위치에서 D 두 개의 집계된 인터페이스가 형성되었습니다. 포 A 링크 포함 1 링크 и 2 링크과 포 N - 링크 포함 링크 N1 и 링크 N2. 이 단계에서는 인터페이스와 링크의 올바른 연결, 링크 양쪽 끝의 광 신호 수준(스위치의 DDM 정보를 통해)을 확인하고 로드 중인 링크의 성능을 확인하거나 링크 상태를 모니터링할 수도 있습니다. 며칠 동안의 광 신호 및 트랜시버 온도.

트래픽은 여전히 ​​인터페이스를 통해 전송됩니다. 포 A, 그리고 인터페이스 포 N 트래픽 비용이 들지 않습니다. 인터페이스 설정은 다음과 같습니다.

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D 스위치는 일반적으로 세션 재구성을 지원하며 이 기능을 갖춘 스위치 모델이 사용됩니다. 따라서 Po A 및 Po N 인터페이스의 설정을 한 단계로 변경할 수 있습니다.

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

그러면 구성 변경이 매우 빠르게 발생하며 실제로 중단 시간은 5초를 넘지 않습니다.

이 방법을 사용하면 모든 준비 작업을 미리 완료하고, 필요한 모든 점검을 수행하고, 프로세스 참가자와 작업을 조정하고, 모든 것이 잘못되었을 때 창의력을 발휘하지 않고도 작품 생산을 위한 조치를 자세히 예측할 수 있습니다. ,”를 선택하고 이전 구성으로 돌아갈 계획을 가지고 있습니다. 이 계획에 따른 작업은 물리적으로 스위칭을 수행하는 현장 데이터 센터 엔지니어 없이 네트워크 엔지니어가 수행합니다.

이 전환 방법에서 중요한 점은 모든 새로운 링크가 이미 사전에 모니터링된다는 것입니다. 오류, 장치에 링크 포함, 링크 로딩 - 필요한 모든 정보는 이미 모니터링 시스템에 있으며 이는 이미 지도에 그려져 있습니다.

디데이

현물 상환 지불

우리는 클라이언트에게 가장 덜 고통스러운 전환 경로를 선택하고 추가 링크를 통해 "무언가 잘못되었습니다" 시나리오가 발생할 가능성이 가장 적은 경로를 선택했습니다. 그래서 우리는 며칠 밤 만에 모든 POD를 새로운 집계 스위치로 전환했습니다.

하지만 남은 것은 DCI 서비스를 제공하는 장비를 바꾸는 것 뿐이다.

L2

L2 연결을 제공하는 장비의 경우 추가 링크로 유사한 작업을 수행할 수 없었습니다. 여기에는 적어도 두 가지 이유가 있습니다.

• VXLAN 스위치에 필요한 속도의 여유 포트가 부족합니다.
• VXLAN 스위치에 세션 구성 변경 기능이 부족합니다.

우리는 절차가 올바르게 진행될 것이라는 100% 확신이 없었기 때문에 새로운 시스템 ID 쌍에 동의하는 동안에만 중단으로 링크를 "한 번에 하나씩" 전환하지 않았으며 실험실 테스트에서 "뭔가 잘못되면" 여전히 연결이 중단되고, 최악의 상황은 다른 데이터 센터와 L2 연결이 있는 클라이언트뿐만 아니라 일반적으로 이 데이터 센터의 모든 클라이언트에 해당됩니다.

우리는 L2 채널 전환에 대한 선전 작업을 미리 수행했기 때문에 VXLAN 스위치 작업으로 영향을 받는 클라이언트 수는 이미 2년 전보다 몇 배나 줄었습니다. 이에 따라 하나의 데이터센터에서 로컬 네트워크 서비스의 정상적인 운영을 유지한다는 전제하에 LXNUMX 연결 서비스를 통한 통신을 중단하기로 결정했습니다. 또한 이 서비스에 대한 SLA는 중단 없이 예정된 작업을 수행할 수 있는 가능성을 제공합니다.

L3

DCI 서비스를 구성할 때 모든 사람이 L3VPN으로 전환하도록 권장한 이유는 무엇입니까? 그 이유 중 하나는 통신을 중단하지 않고 중복성 수준을 N+0으로 낮추면서 이 서비스를 제공하는 라우터 중 하나에서 작업을 수행할 수 있기 때문입니다.

서비스 제공 계획을 자세히 살펴 보겠습니다. 이 서비스에서 L2 세그먼트는 클라이언트 서버에서 L3VPN Selectel 라우터로만 이동합니다. 클라이언트 네트워크는 라우터에서 종료됩니다.

각 클라이언트 서버. S2 и S3 위 다이어그램에는 자체 개인 IP 주소가 있습니다. 서버 S10.0.0.2의 24/2 и 서버 S10.0.0.3의 24/3. 구애 10.0.0.252/24 и 10.0.0.253/24 Selectel이 라우터에 할당 L3VPN-1 и L3VPN-2, 각각. IP 주소 10.0.0.254/24는 VRRP VIP 주소입니다. Selectel 라우터에서.

L3VPN 서비스에 대해 자세히 알아볼 수 있습니다. 그 우리 블로그에서.

스위치 이전에는 모든 것이 대략 다이어그램과 같이 보였습니다.

라우터 XNUMX개 L3VPN-1 и L3VPN-2 이전 집계 스위치에 연결되었습니다. А. VRRP VIP 주소 10.0.0.254의 마스터는 라우터입니다. L3VPN-1. 이 주소는 라우터보다 우선순위가 높습니다. L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

S2 서버는 게이트웨이 10.0.0.254를 사용하여 다른 위치에 있는 서버와 통신합니다. 따라서 L3VPN-2 라우터를 네트워크에서 연결 해제해도(물론 MPLS 도메인에서 처음 연결 해제된 경우) 클라이언트 서버의 연결에는 영향을 미치지 않습니다. 이 시점에서 회로의 중복성 수준은 단순히 감소됩니다.

그런 다음 라우터를 안전하게 다시 연결할 수 있습니다 L3VPN-2 한 쌍의 스위치에 N. 링크를 배치하고 트랜시버를 변경하십시오. 클라이언트 서비스의 작동에 의존하는 라우터의 논리적 인터페이스는 모든 것이 제대로 작동하는지 확인할 때까지 비활성화됩니다.

인터페이스의 링크, 트랜시버, 신호 수준 및 오류 수준을 확인한 후 라우터가 작동되지만 이미 새로운 스위치 쌍에 연결되어 있습니다.

다음으로 L3VPN-1 라우터의 VRRP 우선순위를 낮추고 VIP 주소 10.0.0.254가 L3VPN-2 라우터로 이동됩니다. 이러한 작업 역시 의사소통의 중단 없이 진행됩니다.

VIP 주소 10.0.0.254를 라우터로 전송 중 L3VPN-2 라우터를 비활성화할 수 있습니다 L3VPN-1 클라이언트의 통신을 중단하지 않고 새로운 집합 스위치 쌍에 연결합니다. N.

VRRP VIP를 L3VPN-1 라우터에 반환할지 여부는 또 다른 질문이며, 반환하더라도 연결을 중단하지 않고 수행됩니다.

전체로

이러한 모든 단계를 거친 후 우리는 고객의 업무 중단을 최소화하면서 데이터 센터 중 하나의 통합 스위치를 실제로 교체했습니다.

남은 것은 해체뿐이다. 기존 스위치 해체, 스위치 A와 D 사이의 기존 링크 해체, 이러한 링크에서 트랜시버 해체, 모니터링 수정, 문서화 및 모니터링에서 네트워크 다이어그램 수정.

다른 프로젝트에서 전환한 후 남은 스위치, 트랜시버, 패치 코드, AOC, DAC를 사용하거나 기타 유사한 전환에 사용할 수 있습니다.

"나타샤, 우리는 모든 것을 바꿨어요!"

출처 : habr.com