모스크바 사무실에서 Huawei의 새로운 네트워크를 설계하고 구현한 방법, 1부

오늘은 우리 회사의 새로운 내부 네트워크를 만드는 아이디어가 어떻게 탄생하고 구현되었는지 알려 드리겠습니다. 경영진의 입장은 고객과 마찬가지로 자신도 본격적인 프로젝트를 수행해야한다는 것입니다. 우리가 스스로 잘하면 고객을 초대하고 우리가 그에게 제공하는 것이 얼마나 효과가 있는지 보여줄 수 있습니다. 따라서 우리는 부서별 요구 사항 분석 → 기술 솔루션 선택 → 설계 → 구현 → 테스트 등 전체 생산 주기를 사용하여 모스크바 사무실을 위한 새로운 네트워크 개념 개발에 매우 ​​철저하게 접근했습니다. 그럼 시작해 보겠습니다.

기술적 솔루션 선택: Mutant Sanctuary

복잡한 자동화 시스템 작업 절차는 현재 GOST 34.601-90 "자동 시스템"에 가장 잘 설명되어 있습니다. 창조의 단계”에 따라 작업했습니다. 그리고 이미 요구사항 형성 및 개념 개발 단계에서 첫 번째 어려움에 직면했습니다. 은행, 보험 회사, 소프트웨어 개발자 등 다양한 프로필의 조직은 업무 및 표준을 위해 특정 유형의 네트워크가 필요하며 그 세부 사항은 명확하고 표준화되어 있습니다. 그러나 이것은 우리에게는 작동하지 않습니다.

이유는 무엇입니까?

Jet Infosystems는 다각화된 대규모 IT 회사입니다. 동시에 우리 내부 지원 부서는 규모는 작지만 자랑스럽습니다. 기본 서비스와 시스템의 기능을 보장합니다. 회사에는 다양한 기능을 수행하는 여러 부서가 있습니다. 이들은 여러 강력한 아웃소싱 팀, 비즈니스 시스템의 내부 개발자, 정보 보안, 컴퓨팅 시스템 설계자 등 일반적으로 누구이든 마찬가지입니다. 이에 따라 업무, 시스템, 보안 정책도 다릅니다. 예상대로 수요 분석 및 표준화 과정에서 어려움이 발생했습니다.

예를 들어 개발 부서가 있습니다. 직원들은 수많은 고객을 위해 코드를 작성하고 테스트합니다. 테스트 환경을 빠르게 구성해야 하는 경우가 종종 있는데, 솔직히 말해서 모든 내부 규정에 따라 각 프로젝트에 대한 요구 사항을 공식화하고 리소스를 요청하고 별도의 테스트 환경을 구축하는 것이 항상 가능한 것은 아닙니다. 이로 인해 흥미로운 상황이 발생합니다. 어느 날 당신의 겸손한 하인이 개발자실을 들여다보더니 테이블 아래에서 제대로 작동하는 20개의 데스크탑으로 구성된 Hadoop 클러스터를 발견했습니다. 이 클러스터는 설명할 수 없을 정도로 공통 네트워크에 연결되어 있었습니다. 회사의 IT 부서가 그 존재를 몰랐다는 점을 명확히 할 가치가 없다고 생각합니다. 다른 많은 상황과 마찬가지로 이러한 상황으로 인해 프로젝트 개발 과정에서 오래 참음 사무실 인프라의 상태를 설명하는 "돌연변이 보호 구역"이라는 용어가 탄생했습니다.

아니면 또 다른 예가 있습니다. 주기적으로 부서 내에 테스트 벤치가 설치됩니다. 일부 프로젝트에서 소프트웨어 개발 센터에서 제한적으로 사용했던 Jira 및 Confluence의 경우가 그렇습니다. 얼마 후 다른 부서에서도 이러한 유용한 리소스를 파악하고 평가했으며, 2018년 말 Jira와 Confluence는 '로컬 프로그래머의 장난감' 상태에서 '회사 리소스' 상태로 이동했습니다. 이제 이러한 시스템에 소유자를 할당해야 하며, SLA, 액세스/정보 보안 정책, 백업 정책, 모니터링, 문제 해결을 위한 라우팅 요청 규칙을 정의해야 합니다. 일반적으로 본격적인 정보 시스템의 모든 속성이 존재해야 합니다. .
우리의 각 부서는 자체 제품을 성장시키는 인큐베이터이기도 합니다. 그 중 일부는 개발 단계에서 사라지고, 일부는 프로젝트 작업 중에 사용하고, 다른 일부는 뿌리를 내리고 복제 솔루션이 되어 우리가 직접 사용하고 고객에게 판매하기 시작합니다. 이러한 각 시스템에는 다른 시스템을 방해하지 않고 개발하고 어느 시점에서는 회사 인프라에 통합할 수 있는 자체 네트워크 환경을 갖는 것이 바람직합니다.

개발 외에도 우리는 매우 큰 서비스 센터 500명 이상의 직원이 각 고객을 위한 팀으로 구성되어 있습니다. 이들은 네트워크 및 기타 시스템 유지 관리, 원격 모니터링, 청구 해결 등에 관여합니다. 즉, SC의 인프라는 실제로 현재 협력하고 있는 고객의 인프라입니다. 네트워크의 이 섹션에서 작업할 때의 특징은 우리 회사의 워크스테이션이 일부는 외부에 있고 일부는 내부에 있다는 것입니다. 따라서 SC에 대해 우리는 다음과 같은 접근 방식을 구현했습니다. 회사는 해당 부서의 워크스테이션을 외부 연결(지점 및 원격 사용자와 유사하게)로 간주하여 해당 부서에 네트워크 및 기타 리소스를 제공합니다.

고속도로 설계: 우리가 운영자입니다(놀랐습니다)

모든 문제점을 평가한 결과, 우리는 한 사무실 내에서 통신 사업자의 네트워크를 확보하고 있다는 것을 깨달았고 그에 따라 조치를 취하기 시작했습니다.

우리는 내부 및 향후 외부 소비자에게 L2 VPN, L3 VPN 또는 일반 L3 라우팅과 같은 필수 서비스를 제공하는 핵심 네트워크를 만들었습니다. 일부 부서에는 안전한 인터넷 액세스가 필요하고, 다른 부서에는 방화벽 없이 깨끗한 액세스가 필요하면서도 동시에 회사 리소스와 핵심 네트워크를 트래픽으로부터 보호해야 합니다.

우리는 각 부서와 비공식적으로 "SLA를 체결"했습니다. 이에 따라 발생하는 모든 사건은 사전 합의된 특정 기간 내에 제거되어야 합니다. 회사의 네트워크 요구 사항은 엄격한 것으로 나타났습니다. 전화 및 이메일 장애 시 사고에 대한 최대 응답 시간은 5분이었습니다. 일반적인 오류 발생 시 네트워크 기능을 복원하는 데 걸리는 시간은 XNUMX분을 넘지 않습니다.

당사는 통신업체 수준의 네트워크를 보유하고 있으므로 규칙을 엄격하게 준수해야만 연결할 수 있습니다. 서비스 단위는 정책을 설정하고 서비스를 제공합니다. 특정 서버, 가상 머신 및 워크스테이션의 연결에 대한 정보도 필요하지 않습니다. 그러나 동시에 단일 연결로 인해 네트워크가 비활성화되어서는 안 되기 때문에 보호 메커니즘이 필요합니다. 실수로 루프가 생성된 경우 다른 사용자가 이를 알아채지 못하게 해야 합니다. 즉, 네트워크의 적절한 응답이 필요합니다. 모든 통신 사업자는 핵심 네트워크 내에서 비슷해 보이는 복잡해 보이는 문제를 지속적으로 해결합니다. 다양한 요구 사항과 트래픽을 가진 많은 고객에게 서비스를 제공합니다. 동시에, 다른 가입자는 다른 가입자의 트래픽으로 인해 불편을 겪어서는 안 됩니다.
집에서 우리는 다음과 같은 방법으로 이 문제를 해결했습니다. IS-IS 프로토콜을 사용하여 완전한 중복성을 갖춘 백본 L3 네트워크를 구축했습니다. 기술을 기반으로 코어 위에 오버레이 네트워크를 구축했습니다. EVPN/VXLAN, 라우팅 프로토콜을 사용하여 MP-BGP. 라우팅 프로토콜의 융합 속도를 높이기 위해 BFD 기술이 사용되었습니다.

네트워크 구조

테스트에서 이 방식은 탁월한 것으로 나타났습니다. 채널이나 스위치의 연결이 끊어지면 수렴 시간은 0.1-0.2초를 넘지 않으며 최소 패킷이 손실되고(종종 없음) TCP 세션이 끊어지지 않고 전화 대화가 이루어집니다. 중단되지 않습니다.

언더레이 레이어 - 라우팅

오버레이 레이어 - 라우팅

VXLAN 라이센스가 있는 Huawei CE6870 스위치가 분배 스위치로 사용되었습니다. 이 장치는 최적의 가격/품질 비율을 갖추고 있어 사용되는 송수신기에 따라 10Gbit/s의 속도로 가입자를 연결하고 40~100Gbit/s의 속도로 백본에 연결할 수 있습니다.

화웨이 CE6870 스위치

코어 스위치로는 Huawei CE8850 스위치가 사용되었습니다. 목표는 트래픽을 빠르고 안정적으로 전송하는 것입니다. 분배 스위치 외에는 어떤 장치도 연결되어 있지 않으며 VXLAN에 대해 아무것도 모릅니다. 따라서 L32 라우팅을 제공하고 IS-IS 및 MP-BGP를 지원하는 기본 라이센스와 함께 40개의 100/3Gbps 포트가 있는 모델을 선택했습니다. 프로토콜.

아래쪽은 화웨이 CE8850 코어 스위치입니다.

설계 단계에서 팀 내에서는 핵심 네트워크 노드에 대한 내결함성 연결을 구현하는 데 사용할 수 있는 기술에 대한 논의가 이루어졌습니다. 모스크바 사무실은 7개 건물에 위치하고 있으며 6870개의 배전실이 있으며 각 배전실에는 XNUMX개의 Huawei CEXNUMX 배전 스위치가 설치되어 있습니다(액세스 스위치만 여러 배전실에 설치되었습니다). 네트워크 개념을 개발할 때 두 가지 이중화 옵션이 고려되었습니다.

• 각 교차 연결실의 내결함성 스택에 분배 스위치를 통합합니다. 장점: 단순성과 설정 용이성. 단점: 네트워크 장치의 펌웨어에 오류("메모리 누수" 등)가 발생할 경우 전체 스택이 실패할 가능성이 더 높습니다.
• M-LAG 및 Anycast 게이트웨이 기술을 적용하여 장치를 배포 스위치에 연결합니다.

결국 우리는 두 번째 옵션을 선택했습니다. 구성하기가 다소 어렵지만 실제로 성능과 높은 신뢰성을 보여주었습니다.
먼저 최종 장치를 분배 스위치에 연결하는 것을 고려해 보겠습니다.

십자가

내결함성 연결이 필요한 액세스 스위치, 서버 또는 기타 장치는 두 개의 배포 스위치에 포함됩니다. M-LAG 기술은 데이터 링크 수준에서 중복성을 제공합니다. 연결된 장비에는 두 개의 분배 스위치가 하나의 장치로 나타나는 것으로 가정됩니다. 중복성과 로드 밸런싱은 LACP 프로토콜을 사용하여 수행됩니다.

Anycast 게이트웨이 기술은 네트워크 수준에서 이중화를 제공합니다. 상당히 많은 수의 VRF가 각 배포 스위치에 구성됩니다(각 VRF는 "일반" 사용자용, 전화 통신용, 다양한 테스트 및 개발 환경용 등). VRF에는 여러 개의 VLAN이 구성되어 있습니다. 우리 네트워크에서 배포 스위치는 연결된 모든 장치의 기본 게이트웨이입니다. VLAN 인터페이스에 해당하는 IP 주소는 두 배포 스위치 모두에서 동일합니다. 트래픽은 가장 가까운 스위치를 통해 라우팅됩니다.

이제 배포 스위치를 커널에 연결하는 방법을 살펴보겠습니다.
IS-IS 프로토콜을 사용하여 네트워크 수준에서 내결함성을 제공합니다. 스위치간에는 3G 속도로 별도의 L100 통신선이 제공된다는 점 참고해주세요. 물리적으로 이 통신 회선은 직접 액세스 케이블이며 Huawei CE6870 스위치 사진의 오른쪽에서 볼 수 있습니다.

대안은 "정직한" 완전히 연결된 더블 스타 토폴로지를 구성하는 것이지만 위에서 언급한 것처럼 7개 건물에 40개의 교차 연결 공간이 있습니다. 따라서 "더블 스타" 토폴로지를 선택했다면 정확히 두 배의 "장거리" XNUMXG 트랜시버가 필요했을 것입니다. 여기서 절감 효과는 매우 중요합니다.

VXLAN과 Anycast 게이트웨이 기술이 어떻게 함께 작동하는지에 대해 몇 마디 언급해야 합니다. 자세히 설명하지 않더라도 VXLAN은 UDP 패킷 내에서 이더넷 프레임을 전송하기 위한 터널입니다. 배포 스위치의 루프백 인터페이스는 VXLAN 터널의 대상 IP 주소로 사용됩니다. 각 교차 연결에는 동일한 루프백 인터페이스 주소를 가진 두 개의 스위치가 있으므로 패킷은 어느 스위치에나 도착할 수 있으며 이 스위치에서 이더넷 프레임을 추출할 수 있습니다.

스위치가 검색된 프레임의 대상 MAC 주소를 알고 있으면 프레임이 대상으로 올바르게 전달됩니다. 동일한 교차 연결에 설치된 두 배포 스위치가 액세스 스위치에서 "도착하는" 모든 MAC 주소에 대한 최신 정보를 갖도록 하기 위해 M-LAG 메커니즘은 MAC 주소 테이블(ARP는 물론) 동기화를 담당합니다. 테이블) 두 스위치 M-LAG 쌍 모두에 있습니다.

분배 스위치의 루프백 인터페이스에 대한 여러 경로가 언더레이 네트워크에 존재하므로 트래픽 균형이 이루어집니다.

대신 결론

위에서 언급한 바와 같이 테스트 및 운영 중에 네트워크는 높은 신뢰성(일반적인 오류에 대한 복구 시간은 수백 밀리초를 넘지 않음)과 우수한 성능을 보여주었습니다. 각 교차 연결은 40개의 10Gbit/s 채널로 코어에 연결됩니다. 당사 네트워크의 액세스 스위치는 스택형으로 쌓여 있으며 5개의 48Gbit/s 채널이 있는 LACP/M-LAG를 통해 분배 스위치에 연결됩니다. 스택에는 일반적으로 각각 10개의 포트가 있는 30개의 스위치가 포함되며 최대 XNUMX개의 액세스 스택이 각 교차 연결의 배포판에 연결됩니다. 따라서 백본은 이론적 최대 로드에서도 사용자당 약 XNUMXMbit/s를 제공하며, 이는 이 글을 쓰는 시점에서 모든 실제 애플리케이션에 충분합니다.

네트워크를 사용하면 L2와 L3 모두를 통해 임의의 연결된 장치의 페어링을 원활하게 구성할 수 있으며, 트래픽(정보 보안 서비스에서 선호하는)과 오류 도메인(운영 팀에서 선호하는)을 완벽하게 격리할 수 있습니다.

다음 부분에서는 새 네트워크로 마이그레이션하는 방법을 알려 드리겠습니다. 계속 지켜봐 주시기 바랍니다!

막심 클로치코프
네트워크 감사 및 복합 프로젝트 그룹의 수석 컨설턴트
네트워크 솔루션 센터
"제트 인포시스템즈"

출처 : habr.com