Huawei Enterprise 장비를 기반으로 데이터 센터를 위한 최신 ICT 인프라를 구축하기 위한 HiDC 솔루션

2020년에 발표된 모든 최신 Huawei Enterprise 솔루션을 조감한 후, 대기업과 정부 기관 모두의 디지털 변혁의 기반이 될 수 있는 개별 아이디어와 제품에 대한 보다 집중적이고 자세한 이야기로 넘어갑니다. 오늘 우리는 화웨이가 데이터 센터 구축을 위해 제안하는 개념과 기술에 대해 이야기하고 있습니다.

연결된 세계의 시대에 데이터 저장 및 처리 문제는 데이터 센터 수명 주기의 모든 단계에서 새로운 접근 방식을 요구합니다. 글로벌 디지털 경제 인프라의 핵심 요소로서의 역할에 대처하려면 더 단순해지고 더 스마트해져야 합니다.

2018년 인류가 저장한 정보량은 33제타바이트였지만, 2025년에는 그 총량이 XNUMX배 이상 증가할 것으로 예상된다. ICT 인프라 개발 분야에서 XNUMX년 동안 쌓아온 경험을 통해 화웨이는 증가하는 '데이터 쓰나미'에 잘 대비하고 파트너와 고객에게 구축, 운영 및 유지 관리의 모든 단계를 포함하는 지능형 데이터 센터 개념을 제공할 수 있었습니다. 이 개념의 요소는 HiDC라는 일반 이름으로 통합됩니다.

디지털화하세요

인터넷에 새로운 농담이 떠돌고 있습니다. CEO, CTO, 이사회 중 누가 회사의 디지털 혁신을 가장 가속화했습니까? 코로나바이러스 감염병 유행! 게으른 사람만이 웨비나를 진행하지 않고, 기사를 쓰지 않으며, 사람들에게 어떻게, 무엇을 해야 할지 알려주지 않습니다. 그러나 이것들은 모두 반응적인 행동입니다. 일부는 미리 준비했습니다.

자랑하려는 것이 아니라 객관적인 이유로 몇 년 전에 디지털 혁신이 대규모로 시작된 우리 회사를 예로 사용하겠습니다. 현재 우리는 효율성 저하 없이 거의 모든 직원을 재택근무로 전환할 수 있습니다. 열흘 만에 우한시에 병원을 지은 이야기가 대표적이다. 그곳에서 디지털 혁신은 모든 IT 시스템이 XNUMX일 만에 구축되었다는 사실로 나타났습니다. 따라서 디지털 혁신은 '언제'와 '왜'가 아니라 '어떻게'에 관한 것입니다.

자발적인 개발보다는 건축적 접근

특정 시스템을 구축하기 시작할 때 우리가 직면하는 주요 문제는 무엇입니까? 지금까지 우리의 모든 고객은 비즈니스 업무를 애플리케이션 서비스 및 IT 솔루션과 결합하는 모드로 작업했습니다. 단순히 다양한 블록을 추가하여 생성된 경우 이러한 복합체의 기능에 대한 일반적인 아이디어를 얻는 것은 매우 어렵습니다. 그리고 하나의 유기체로서 시스템을 구축하기 위해서는 먼저 아키텍처적인 접근이 필요하다. 이것이 우리가 HiDC 솔루션의 이념으로 구현한 것입니다.

최대 가치와 최소 비용

전체 HiDC 구조는 두 개의 주요 슬라이스로 구성됩니다. 첫 번째는 Huawei에서 보았던 고전적인 인프라입니다. 두 번째 조각의 요소는 "지능형 데이터"라는 용어와 가장 쉽게 결합됩니다.

이것이 왜 필요한가요? 오늘날 많은 기업에서는 다양한 유형의 "개스킷"을 통해 흩어져 있거나 액세스할 수 있는 엄청난 양의 정보를 축적합니다. 예, 최소한 일반 데이터베이스를 사용하십시오. 데이터베이스 관리자에게 이러한 데이터베이스가 어떻게 통합되는지, 그리고 비즈니스 결정을 내리기 위해 BI 시스템에서 데이터베이스의 정보를 사용하는 방법을 문의하세요. 놀랍게도 데이터베이스는 서로 매우 느슨하게 연결되어 있으며 별도의 "섬"으로 기능하는 경우가 많습니다. 따라서 우리는 먼저 이 문제를 해결할 수 있는 아키텍처 접근 방식이 무엇인지 생각해 보았습니다.

HiDC 아키텍처 설계 원리

HiDC 설계의 기본 원리를 살펴보겠습니다. 이는 주로 특정 분야의 전문가가 아니라 전체 파노라마를 파악할 수 있는 솔루션 설계자에게 유용합니다.

가장 일반적인 것은 통합 네트워크 블록과 데이터 관리 블록입니다. 솔루션 설계자가 거의 생각하지 않는 개념이 바로 데이터 수명주기 관리입니다. 클래식 데이터베이스에서 클라우드 및 엣지 컴퓨팅을 포함한 다른 많은 시스템으로 마이그레이션되었습니다.

엣지 컴퓨팅은 점점 더 보편화되고 있습니다. 이를 사용하는 가장 확실한 예는 단일 플랫폼에서 제어하는 ​​것이 권장되는 자동 조종 장치가 있는 자동차입니다. 또한, 에너지 효율이 높아져 환경에 대한 피해를 최소화하는 "녹색" 기술을 지향하는 추세가 있습니다. 지적 자원으로 전환하면 두 가지 모두를 달성할 수 있습니다(나중에 자세히 설명).

HiDC 구조의 XNUMX개 블록을 모두 마음대로 사용할 수 있다는 것은 멋진 일입니다. 사실, 고객은 이전에 만들어진 환경에서 작업하는 경우가 많습니다. 그러나 위 다이어그램에서 하나의 블록이라도 활용하면 성과를 낼 수 있습니다. 그리고 두 번째, 세 번째 등을 추가하면 시너지 효과가 나타나기 시작합니다. 네트워크와 분산 스토리지를 결합하면 성능이 향상되고 대기 시간이 단축됩니다. 블록 접근 방식을 사용하면 업계에서 흔히 발생하는 혼란스러운 개발이 아닌 통합 아키텍처 접근 방식을 사용하여 개발할 수 있습니다. 글쎄, 블록 자체의 개방성은 최적의 솔루션을 선택하는 데 자유를 제공합니다.

융합 네트워크의 시대

최근 글로벌 및 러시아 시장에서는 융합 네트워크 개념을 점점 더 홍보하고 있습니다. 이미 오늘날 고객들은 RoCEv2(RDMA over Converged Ethernet v2) 기반의 통합 솔루션을 사용하여 분산 소프트웨어 정의 스토리지 시스템을 구축하고 있습니다. 이 접근 방식의 가장 큰 장점은 개방성과 무한한 수의 서로 다른 네트워크를 생성할 필요가 없다는 것입니다.

이전에는 왜 이런 일이 이루어지지 않았습니까? 이더넷 표준은 1969년에 개발되었음을 기억하세요. 반세기 동안 많은 문제가 축적되었지만 화웨이는 이를 해결하는 방법을 배웠습니다. 이제 여러 추가 단계 덕분에 미션 크리티컬 애플리케이션, 고부하 솔루션 등에 이더넷을 사용할 수 있습니다.

DCN에서 DCI로

다음으로 중요한 추세는 DCI(Data Center Interconnect) 구현에 따른 시너지 효과입니다. 러시아에서는 중국과 달리 통신사에서만 비슷한 것을 찾을 수 있습니다. 고객이 데이터 센터용 네트워킹 솔루션을 고려할 때 일반적으로 단일 접속 지점 내에서 광 네트워크와 기존 IP 솔루션의 긴밀한 통합에 충분한 주의를 기울이지 않습니다. 그들은 IP 계층에서 작동하는 친숙한 솔루션을 사용하는데, 그것만으로도 충분합니다.

그렇다면 DCI란 무엇입니까? DWDM 노드 관리자와 네트워크 관리자가 독립적으로 행동한다고 ​​상상해 보십시오. 어느 시점에서 그 중 하나라도 실패하면 탄력성이 심각하게 저하될 수 있습니다. 그리고 시너지 원리를 사용하면 광 네트워크에서 일어나는 일을 고려하여 IP 라우팅이 수행됩니다. 이러한 지능형 서비스를 사용하면 전체 시스템의 가용성 수준이 크게 늘어납니다.

DCI의 또 다른 중요한 장점은 성능 마진이 크다는 것입니다. C와 L 범위의 기능을 합산하면 약 220개의 람다를 얻을 수 있습니다. 당사의 현재 솔루션이 각 람다를 통해 최대 400Gbit/s의 전송을 허용한다는 점을 고려하면 이러한 예비 용량은 대기업 고객이라도 빨리 소진될 가능성이 없습니다. 미래에는 동일한 장비에서 800Gbit/s를 달성하는 것이 가능해질 것입니다.

전통적인 개방형 인터페이스를 통해 제공되는 전반적인 관리 효율성으로 인해 추가적인 편의성이 제공됩니다. NETCONF는 스위치뿐만 아니라 광 멀티플렉스 장치도 관리하므로 모든 수준에서 융합을 달성하고 시스템을 "박스 세트"가 아닌 지적 리소스로 인식할 수 있습니다.

엣지 컴퓨팅의 중요성이 점점 커지고 있습니다

많은 사람들이 Edge Computing에 대해 들어봤습니다. 그리고 클라우드 및 기존 데이터 센터에 종사하는 사람들은 최근 엣지 컴퓨팅으로의 심각한 전환이 목격되었다는 점을 명심해야 합니다.

원인은 무엇입니까? 일반적인 배포 모델을 살펴보겠습니다. 요즘에는 "스마트 시티", "스마트 하우스" 등에 대한 이야기가 많이 있습니다. 이 개념을 통해 개발자는 부가가치를 창출하고 부동산 가격을 높일 수 있습니다. "스마트 홈"은 거주자를 식별하고 출입을 허용하며 특정 서비스를 제공합니다. 통계에 따르면 이러한 서비스는 아파트 가격에 약 10~15%를 추가하며 일반적으로 새로운 비즈니스 모델 개발을 촉진할 수 있습니다. 또한 자동 조종 장치 개념에 대해서는 이미 언급되었습니다. 머지않아 5G와 Wi-Fi 6 기술의 개발로 스마트 홈, 자동차, 엣지 컴퓨팅을 수행하는 메인 데이터 센터 간의 데이터 전송에 대한 지연 시간이 매우 짧아질 것입니다. 이는 심각한 데이터 처리와 관련된 훨씬 더 많은 작업을 수행할 수 있음을 의미합니다. 특히 이러한 문제를 해결하기 위해서는 이미 러시아에 공급되고 있는 신경 프로세서를 활용하는 것이 가능하다.

방금 설명한 추세의 전망은 부인할 수 없습니다. 예를 들어, 신호등을 전환하고, 특정 거리의 교통량을 조절하고, 비상 상황 시 적절한 조치를 취할 수 있는 지능형 도시 교통 관리 시스템을 상상해 봅시다.

이제 HiDC 개념의 구현을 제공하는 리소스를 살펴보겠습니다.

계산

표준 컴퓨팅 시스템을 구현해야 할 경우에는 물론 x86 아키텍처 프로세서가 사용됩니다. 하지만 맞춤화의 필요성이 대두되는 순간, 더욱 다양한 솔루션을 생각해 볼 때입니다.

예를 들어, ARM 프로세서는 코어 수가 많기 때문에 고도의 병렬 애플리케이션에 탁월합니다. 멀티스레딩은 약 30%의 성능 향상을 제공합니다.

낮은 대기 시간이 중요한 경우 현장 프로그래밍 가능 논리 집적 회로(FPGA)가 가장 중요합니다.

신경 프로세서는 기계 학습 문제를 해결할 때 주로 필요합니다. 특정 구현을 위해 각각 신경 프로세서로 채워진 16개의 서버가 있는 8개의 랙이 필요하다면 x86 아키텍처를 기반으로 하는 동일한 수준의 솔루션에는 약 128개의 랙이 필요합니다(!). 보시다시피 계산 유형이 다양하므로 하드웨어 플랫폼을 신중하게 선택해야 합니다.

데이터 저장

XNUMX년째 화웨이는 파트너, 고객, 업계 동료들에게 플래시 전용 원칙에 따라 데이터 스토리지 시스템을 구축할 것을 촉구해 왔습니다. 그리고 대부분의 고객은 구형 솔루션이나 거의 사용되지 않는 보관 데이터에만 기계식 스핀들 드라이브를 사용합니다.

플래시 시스템도 진화하고 있습니다. Intel Optane과 같은 SCM(Storage Class Memory) 시스템이 시장에 등장하고 있습니다. 중국과 일본 제조업체들이 흥미로운 발전을 보이고 있습니다. 현재 SCM은 처리 클래스 측면에서 다른 모든 솔루션보다 우수합니다. 지금까지는 높은 비용으로 인해 모든 곳에서 사용할 수 없었습니다.

동시에 기존 백엔드뿐만 아니라 프런트엔드에서도 스토리지 시스템의 품질이 향상되어야 함을 알 수 있습니다. 이제 사실상 새로운 구현에서 우리는 원칙적으로 이더넷을 통한 직접 메모리 액세스 메커니즘을 제공하고 사용하지만 고객 요청을 확인하므로 연말에는 패브릭을 통한 NVMe를 더 자주 사용하기 시작할 것입니다. 또한 엔드투엔드 공통 아키텍처를 제공하려면 고성능이어야 하며 컨트롤러 오류에 대한 저항력이 있어야 합니다.

OceanStor Dorado 스토리지 시스템은 당사의 주력 제품 중 하나입니다. 내부 테스트에 따르면 컨트롤러 20개 중 XNUMX개가 실패할 때 기능을 유지하면서 XNUMX천만 IOPS의 성능을 제공하는 것으로 나타났습니다.

왜 그렇게 많은 힘을 가지고 있습니까? 현재 상황을 살펴 보겠습니다. 몇 달 동안 중국 주민들은 봉쇄로 인해 집에서 훨씬 더 많은 시간을 보내고 있습니다. 당시 인터넷 트래픽은 평균 30% 증가했으며 일부 지방에서는 심지어 두 배까지 증가했습니다. 다양한 네트워크 서비스의 소비가 증가했습니다. 그리고 어느 시점에서 동일한 은행은 스토리지 시스템이 준비되지 않은 심각한 추가 부하를 경험하기 시작했습니다.

현재 모든 사람에게 20천만 IOPS가 필요한 것은 아니라는 것은 분명합니다. 하지만 내일은 어떻게 될까요? 당사의 지능형 시스템은 트래픽 압축, 중복 제거, 최적화 및 신속한 데이터 복구를 보장하기 위해 신경 프로세서의 잠재력을 최대한 활용합니다.

백본 네트워크

2020년은 이전 기사에서 언급했듯이 우리에게 핵심 네트워크의 해가 될 것입니다. 많은 고객, 특히 ASP(애플리케이션 서비스 제공업체)와 은행은 이미 데이터 센터와의 통신 측면에서 애플리케이션이 어떻게 작동할지 고민하고 있습니다. 이것이 바로 새로운 백본 네트워크가 우리를 돕는 곳입니다. 예를 들어, 데이터 센터 간의 통신을 위해 수십 가지의 서로 다른 프로토콜을 사용하는 것이 아니라 상대적으로 OSPF와 SRv6 두 가지 프로토콜을 사용하는 단순화된 백본 시스템으로 전환한 중국 최대 은행을 생각해 보겠습니다. 또한 조직은 동일한 서비스 세트를 받습니다.

지적 자원

데이터를 어떻게 사용하나요? 최근까지 Microsoft SQL, MySQL, Oracle 등의 이기종 데이터베이스로 구성된 단편화된 시스템이 있었습니다. 이들과 작업하기 위해 이 데이터를 결합하고 가져오고 작업할 수 있는 빅 데이터 분야의 솔루션이 사용되었습니다. 이 모든 것이 리소스에 높은 부하를 초래했습니다.

동시에 일부 이벤트 발생 시 데이터로 작업을 수행하는 메커니즘도 없었습니다. 해결책은 데이터 수명주기 관리(DLM) 원칙의 개발이었습니다.

누구나 데이터 레이크에 대해 들어본 적이 있을 것입니다. 데이터 관리에서 데이터 거버넌스로 전환하면서 '디지털 레이크'는 급속도로 스마트해지기 시작했습니다. Huawei 솔루션 덕분입니다. 다음 자료에서는 우리가 사용한 전체 소프트웨어 기술 스택에 대해 확실히 이야기할 것입니다. 이제 네트워크와 서버의 사용을 단순화하고 데이터 작업 원칙을 더 잘 이해하기 위해 엔드투엔드 아키텍처를 구축하는 방법을 배울 수 있었던 것은 스마트 데이터 수명주기 관리의 사용이었다는 점을 기억하는 것이 중요합니다. .

데이터 센터 엔지니어링 인프라

엔지니어링 인프라에 대한 별도의 자료를 출판할 예정이지만 오늘 주제의 맥락에서 HiDC 개념과 관련된 변경 사항을 언급하고 싶습니다.

오랫동안 데이터센터의 비상 및 백업 전원 시스템(ESP)에는 화재 위험이 높아 리튬 배터리 사용이 금지되었습니다. 기계적 손상이나 배터리 무결성 위반으로 인해 화재가 발생하거나 예측할 수 없는 결과가 발생할 수 있습니다. 이와 관련하여 PSA에는 비전하 밀도가 낮고 질량이 큰 구식 산성 배터리가 장착되었습니다.

화웨이의 새로운 비상 및 백업 전원 시스템은 지능형 사전 관리 기능을 갖춘 안전한 LFP(리튬철인산염) 배터리를 사용합니다. 동일한 용량으로 산성 배터리에 비해 10배 적은 부피를 차지합니다. 수명주기는 15~XNUMX년이며, 이는 무엇보다도 환경에 미치는 부담을 줄여줍니다. SmartLi 에코시스템의 특허받은 제어 시스템을 통해 기존 유형과 신형 배터리 어레이로 구성된 하이브리드 시스템을 사용할 수 있으며, 스위칭 시스템을 통해 중복 기능을 유지하면서 PSA 구조에 대한 "핫" 변경이 가능합니다.

스마트한 조작

HiDC 인프라 운영 원칙의 중요한 부분은 스마트 자가 치유의 이데올로기입니다. 안에 одной 이전 간행물에서 우리는 시스템에서 원하지 않는 이벤트를 감지 및 분석할 수 있을 뿐만 아니라 관리자에게 문제에 대한 완전 자동화된 솔루션을 위한 여러 옵션을 제공할 수 있는 O&M 1-3-5 지능형 플랫폼에 대해 언급했습니다.

자가 분석 기능을 사용하면 약 XNUMX분 안에 문제를 발견할 수 있습니다. 분석에는 XNUMX분이 소요되며, XNUMX분 이내에 시스템 상태를 변경하기 위한 제안이 형성됩니다.

일부 운영자 오류로 인해 프로세스의 폐쇄 루프가 형성되어 가상화 팜의 성능이 100%에서 77%로 감소했다고 가정해 보겠습니다. 데이터 센터 관리자는 원치 않는 프로세스의 영향을 받은 리소스의 네트워크 다이어그램을 포함하여 문제에 대한 완전한 시각화가 포함된 해당 메시지를 대시보드에서 받습니다. 그런 다음 관리자는 상황을 수동으로 수정하거나 제공된 여러 자동 복구 시나리오 중 하나를 사용할 수 있습니다.

시스템은 75분 이내에 구현할 수 있는 약 90개의 시나리오를 알고 있으며, 데이터 센터에서 직면하는 문제의 XNUMX%를 다루고 있습니다. 이때 엔지니어는 걱정하는 고객의 전화에 침착하게 응답할 수 있으며, 언제든지 서비스가 복구될 것이라고 확신할 수 있습니다.

HiDC의 새로운 핵심 제품

여기에는 소프트웨어 제품 외에도 인프라 수준에서 작동하는 주요 솔루션이 포함되어야 합니다. 우선 Atlas AI 클러스터 제품군과 NPU 및 GPU 기반 서버에 사용되는 신경 프로세서에 대해 언급해야 합니다.

또한, 앞으로도 수년간 지속될 동급 최고의 성능을 자랑하는 Dorado를 다시 한 번 언급하지 않을 수 없습니다. 이는 드문 예외를 제외하고 작동이 완전히 중단된 경우에만 무언가를 업데이트하는 것이 관례인 소련 이후 공간에서 특히 그렇습니다. 이는 개별 스토리지 시스템의 서비스 수명을 XNUMX년으로 설명합니다. Dorado가 지금부터 XNUMX년 동안 고품질 서비스 제공을 보장하려면 엄청난 생산성이 필요합니다.

모든 요소의 혁신

특정 인프라 솔루션을 선택할 때 추가 개발을 위한 아키텍처와 시나리오를 잊어서는 안 됩니다. 서로 다른 제조업체의 서로 다른 제품은 이미 공동 사용에 최적화된 솔루션이 제공할 것으로 예상되는 시너지 효과를 보장하지 않습니다.

인프라는 올바른 기술을 기반으로 해야 합니다. "올바른" 것에는 높은 처리량을 제공하고 높은 부하에서 안정적으로 작동하는 개방형이 포함됩니다. 예를 들어 데이터 센터에서는 IT 부하에 대한 총 에너지 소비의 적절한 비율이 중요합니다. 위의 모든 목표를 달성하려면 환경과 구성 요소를 선택해야 합니다. 현대 상황에서 이는 인공 지능의 사용이 점점 더 광범위해지고 있음을 의미하기도 합니다.

우리가 관찰한 바에 따르면, Huawei의 전략적 고객 중에는 여전히 기계 학습 시스템을 사용하지 않는 고객이 점점 줄어들고 있습니다. ML이 없으면 축적된 데이터를 최대한 수익화하는 것이 불가능합니다.

수익화 시스템은 다를 수 있습니다. 은행의 경우 새로운 대상 제품 제공, 통신 사업자의 경우 개별 서비스 제공 및 충성도 보장, 정부 고객의 경우 고품질 데이터 수명 주기 관리 및 다른 조직과의 높은 수준의 상호 작용이 있습니다. 결국, 데이터 관리 모델은 오랫동안 방화벽을 설정하고 데이터베이스의 네트워크 가시성을 보장하는 수준을 넘어섰습니다.

아이디어부터 데이터센터 운영까지

표준 데이터 센터를 구축하는 데에는 2.0년에서 최대 XNUMX년 반이 걸립니다. 우리의 생산 주기를 통해 FusionDC XNUMX이라는 공통 이름으로 통합된 솔루션 그룹을 사용함으로써 이 작업을 훨씬 더 빠르게 수행할 수 있습니다. IT 부하의 모든 요소에 대한 설계, 고급 설계 개발, 조립이 공장에서 직접 수행됩니다. 짧은 시간 내에 장비는 해상 컨테이너를 통해 중국에서 러시아로 배송됩니다. 결과적으로 턴키 데이터 센터 구축은 말 그대로 XNUMX~XNUMX개월 안에 완료될 수 있습니다.

조립식 클라우드 데이터센터 아이디어도 흥미롭다. 데이터센터는 필요한 기능 블록을 추가해 단계적으로 개발할 수 있기 때문이다. 이 접근 방식은 HiDC 개념 자체에 포함되어 있습니다.

리뷰 자료를 데이터시트로 전환하지 않으려면 HiDC에 대한 추가 정보를 보려면 다음 사이트로 이동하는 것이 좋습니다. 우리 웹사이트로. 여기서는 우리가 논의한 접근 방식, 제품 및 솔루션 구현에 대한 설명과 예를 찾을 수 있습니다. 사이트에 대한 액세스 수준이 높을수록 더 많은 자료가 제공됩니다. "파트너" 상태가 할당되면 HiDC 로드맵, 기술 프레젠테이션, 비디오를 다운로드할 수 있습니다.

우리는 이 기사를 읽는 대부분의 사람들이 네트워크 설계자의 역량을 가지고 있다고 감히 가정하겠습니다. 그들은 확실히 우리 방문에 관심을 가질 것입니다 디자인 존. 여기에서는 HVD(Huawei Validated Design) 규칙에 따라 네트워크 인프라를 구축하는 방법에 대해 자세히 설명합니다. 다운로드할 수 있는 지침은 회사의 솔루션 작동 방식을 철저하게 이해하는 데 도움이 됩니다. 승인 없이는 더 적은 양의 자료를 사용할 수 있다는 점을 기억하십시오.

***

러시아어 부문뿐만 아니라 국제 수준에서 진행되는 수많은 웹 세미나도 여러분의 탐색에 도움이 될 것입니다. 이를 통해 우리는 제품과 비즈니스 관행에 대한 정보를 모두 공유합니다. 또한, 많은 서비스 체인의 중단에도 불구하고 Huawei가 어떻게 계속해서 여러 국가에 제품을 지속적으로 제공하는지에 대해서도 이야기합니다. 예를 들어, 최근에는 데이터 센터용으로 새로 생산된 장비가 단 XNUMX주 만에 모스크바 고객에게 전달된 사례가 있었습니다.

XNUMX월 웨비나 목록을 확인하실 수 있습니다. 링크.

출처 : habr.com