모스크바 사무실에서 Huawei의 새로운 네트워크를 설계하고 구현한 방법, 3부: 서버 공장

이전 두 부분(시간, два) 새로운 커스텀 팩토리가 세워지는 원칙을 살펴보고, 모든 직업의 마이그레이션에 대해 이야기를 나눴습니다. 이제 서버 팩토리에 대해 이야기할 차례입니다.

이전에는 별도의 서버 인프라가 없었습니다. 서버 스위치는 사용자 배포 스위치와 동일한 코어에 연결되었습니다. 액세스 제어는 가상 네트워크(VLAN)를 사용하여 수행되었으며 VLAN 라우팅은 원칙에 따라 코어의 한 지점에서 수행되었습니다. 축소된 백본).

오래된 네트워크 인프라

새로운 사무실 네트워크와 동시에 새로운 서버룸과 이를 위한 별도의 새로운 공장을 짓기로 결정했습니다. 작은 것(서버 캐비닛 8850개)으로 밝혀졌지만 모든 기준을 준수했습니다. CE6870 스위치의 별도 코어, 완전히 메시형(스파인 리프) 토폴로지, ToR(Top of the Rack) CEXNUMX 스위치, 별도의 쌍 네트워크의 나머지 부분과 인터페이스하기 위한 스위치(경계 나뭇잎). 한마디로 완전한 민스미트입니다.

신규 서버공장 네트워크

우리는 서버를 ToR 스위치에 직접 연결하기 위해 서버 SCS를 포기하기로 결정했습니다. 왜? 우리는 이미 서버 SCS를 사용하여 구축된 두 개의 서버실을 갖고 있으며 이것이 다음과 같다는 것을 깨달았습니다.

• 사용이 불편함(재연결이 많으므로 케이블 로그를 주의 깊게 업데이트해야 함)
• 패치 패널이 차지하는 공간 측면에서 비용이 많이 듭니다.
• 서버의 연결 속도를 높여야 할 때 장애물이 됩니다(예: 구리를 통한 1Gbit/s 연결에서 광을 통한 10Gbit/s 연결로 전환).

새로운 서버 공장으로 이전할 때 우리는 1Gbit/s의 속도로 서버를 연결하는 것에서 벗어나 10Gbit 인터페이스로 제한하려고 노력했습니다. 이를 할 수 없는 기존 서버는 거의 모두 가상화했고, 나머지는 기가비트 트랜시버를 통해 10기가비트 포트에 연결됐다. 우리는 계산을 해본 결과 별도의 기가비트 스위치를 설치하는 것보다 비용이 더 저렴할 것이라고 결정했습니다.

ToR 스위치

또한 새 서버실에는 랙당 하나씩 24개의 포트가 있는 별도의 OOM(대역외 관리) 스위치를 설치했습니다. 이 아이디어는 매우 좋은 것으로 나타났지만 포트가 충분하지 않았습니다. 다음에는 포트가 48개 있는 OOM 스위치를 설치하겠습니다.

iLO 또는 Huawei 용어로 iBMC와 같은 서버의 원격 관리를 위한 인터페이스를 OOM 네트워크에 연결합니다. 서버의 네트워크 기본 연결이 끊어진 경우 이 인터페이스를 통해 서버에 연결할 수 있습니다. 또한 ToR 스위치, 온도 센서, UPS 제어 인터페이스 및 기타 유사한 장치의 제어 인터페이스가 OOM 스위치에 연결됩니다. OOM 네트워크는 별도의 방화벽 인터페이스를 통해 액세스할 수 있습니다.

OOM 네트워크 연결

서버와 사용자 네트워크 페어링

맞춤형 공장에서는 사용자 워크스테이션, 비디오 감시 시스템, 회의실의 멀티미디어 시스템 연결, 스탠드 및 데모 공간 구성 등 다양한 목적으로 별도의 VRF가 사용됩니다.

서버 공장에서 또 다른 VRF 세트가 생성되었습니다.

• 기업 서비스가 배포되는 일반 서버를 연결합니다.
• 인터넷에서 액세스할 수 있는 서버가 배포되는 별도의 VRF입니다.
• 다른 서버(예: 애플리케이션 서버)에서만 액세스하는 데이터베이스 서버를 위한 별도의 VRF입니다.
• 메일 시스템(MS Exchange + 비즈니스용 Skype)에 대해 별도의 VRF를 제공합니다.

따라서 사용자 팩토리 측에 VRF 세트가 있고 서버 팩토리 측에 VRF 세트가 있습니다. 두 세트 모두 회사 방화벽(FW) 클러스터에 설치됩니다. ME는 서버 패브릭과 사용자 패브릭 모두의 경계 스위치(경계 리프)에 연결됩니다.

ME를 통한 공장 인터페이스 - 물리학

ME를 통한 공장 인터페이스 - 로직

마이그레이션은 어떻게 진행됐나요?

마이그레이션하는 동안 임시 트렁크를 통해 데이터 링크 수준에서 새 서버 팩토리와 기존 서버 팩토리를 연결했습니다. 특정 VLAN에 위치한 서버를 마이그레이션하기 위해 이전 서버 공장의 VLAN과 새 서버 공장의 VXLAN을 포함하는 별도의 브리지 도메인을 만들었습니다.

구성은 다음과 같습니다. 마지막 두 줄이 핵심입니다.

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

가상 머신 마이그레이션

그런 다음 VMware vMotion을 사용하여 이 VLAN의 가상 머신이 기존 하이퍼바이저(버전 5.5)에서 새 하이퍼바이저(버전 6.5)로 마이그레이션되었습니다. 동시에 하드웨어 서버도 가상화되었습니다.

다시 시도하면MTU를 미리 구성하고 대규모 패킷의 "종단 간" 통과를 확인하세요.

기존 서버 네트워크에서는 VMware vShield 가상 방화벽을 사용했습니다. VMware는 더 이상 이 도구를 지원하지 않기 때문에 우리는 새로운 가상 팜으로 마이그레이션하는 동시에 vShield에서 하드웨어 방화벽으로 전환했습니다.

이전 네트워크의 특정 VLAN에 서버가 남아 있지 않은 후 라우팅을 전환했습니다. 이전에는 Collapsed Backbone 기술을 사용하여 구축된 기존 코어에서 수행되었으며 새 서버 공장에서는 Anycast Gateway 기술을 사용했습니다.

라우팅 전환

특정 VLAN에 대한 라우팅 전환 후 브리지 도메인과의 연결이 끊어지고 기존 네트워크와 신규 네트워크 간의 트렁크에서 제외되는 즉, 신규 서버 공장으로 완전히 이동되었습니다. 따라서 우리는 약 20개의 VLAN을 마이그레이션했습니다.

그래서 우리는 새로운 네트워크, 새로운 서버, 새로운 가상화 팜을 만들었습니다. 다음 기사 중 하나에서는 Wi-Fi로 수행한 작업에 대해 설명합니다.

막심 클로치코프
네트워크 감사 및 복합 프로젝트 그룹의 수석 컨설턴트
네트워크 솔루션 센터
"제트 인포시스템즈"

출처 : habr.com