대용량 저장 시스템의 산업 동향

오늘 우리는 XNUMX세대 네트워크, 게놈 스캐너, 자율 주행 자동차가 산업 혁명 이전의 모든 인류가 생성한 것보다 더 많은 데이터를 하루에 생성하는 세상에서 데이터를 가장 잘 저장하는 방법에 대해 이야기할 것입니다.

우리 세상은 점점 더 많은 정보를 생성합니다. 그 중 일부는 덧없고 수집되는 즉시 손실됩니다. 다른 하나는 더 오래 보관해야 하고 다른 하나는 "수세기 동안" 완전히 설계되었습니다. 적어도 현재부터 우리가 보는 방식입니다. 정보 흐름은 이러한 끝없는 "요구"를 충족시키기 위해 설계된 모든 새로운 접근 방식, 기술이 빠르게 구식이 되는 속도로 데이터 센터에 정착합니다.

40년의 분산 스토리지 개발

우리에게 친숙한 형태의 최초의 네트워크 스토리지는 1980년대에 등장했습니다. 많은 사람들이 NFS(Network File System), AFS(Andrew File System) 또는 Coda를 접했습니다. XNUMX년 후 패션과 기술이 바뀌었고 분산 파일 시스템은 GPFS(일반 병렬 파일 시스템), CFS(클러스터 파일 시스템) 및 StorNext를 기반으로 하는 클러스터 스토리지 시스템에 자리를 내주었습니다. 기본적으로 클래식 아키텍처의 블록 스토리지가 사용되었으며 그 위에 소프트웨어 계층을 사용하여 단일 파일 시스템이 생성되었습니다. 이러한 솔루션과 유사한 솔루션은 여전히 ​​사용되며 틈새 시장을 차지하고 수요가 많습니다.

밀레니엄을 맞이하면서 분산 스토리지 패러다임이 다소 바뀌었고 SN(Shared-Nothing) 아키텍처를 갖춘 시스템이 주도권을 잡았습니다. 일반적으로 신뢰할 수 있는 스토리지를 제공하는 소프트웨어가 있는 클래식 서버인 별도의 노드에 있는 클러스터 스토리지에서 스토리지로의 전환이 있었습니다. 예를 들어 HDFS(Hadoop Distributed File System) 및 GFS(Global File System)와 같은 원칙이 구축되었습니다.

2010년에 가까워지면서 분산 스토리지 시스템의 기본 개념이 VMware vSAN, Dell EMC Isilon 및 화웨이 오션스토어. 언급된 플랫폼 뒤에는 더 이상 매니아 커뮤니티가 아니라 제품의 기능, 지원, 서비스 유지 관리를 담당하고 추가 개발을 보장하는 특정 공급업체가 있습니다. 이러한 솔루션은 여러 영역에서 가장 수요가 많습니다.

통신 사업자

아마도 분산 저장 시스템의 가장 오래된 소비자 중 하나는 통신 사업자일 것입니다. 다이어그램은 대량의 데이터를 생성하는 애플리케이션 그룹을 보여줍니다. OSS(운영 지원 시스템), MSS(관리 지원 서비스) 및 BSS(비즈니스 지원 시스템)는 가입자에게 서비스를 제공하고 공급자에게 재무 보고를 하며 운영자 엔지니어에게 운영 지원을 제공하는 데 필요한 세 가지 보완 소프트웨어 계층입니다.

종종 이러한 계층의 데이터는 서로 강력하게 혼합되며 불필요한 사본의 축적을 피하기 위해 작업 네트워크에서 오는 전체 정보량을 축적하는 분산 스토리지가 사용됩니다. 스토리지는 모든 서비스가 액세스하는 공통 풀로 결합됩니다.

우리의 계산에 따르면 클래식에서 블록 스토리지 시스템으로 전환하면 전용 하이엔드 스토리지 시스템을 포기하고 기존의 클래식 아키텍처 서버(일반적으로 x70)를 사용하고 특수 소프트웨어와 함께 작동하는 경우에만 예산의 최대 86%를 절약할 수 있습니다. 셀룰러 사업자는 꽤 오랫동안 이러한 솔루션을 상당한 양으로 구입해 왔습니다. 특히 러시아 사업자들은 화웨이 제품을 XNUMX년 이상 사용해 왔다.

예, 분산 시스템을 사용하여 많은 작업을 수행할 수 없습니다. 예를 들어 성능 요구 사항이 증가하거나 이전 프로토콜과의 호환성이 있습니다. 그러나 운영자가 처리하는 데이터의 최소 70%는 분산 풀에 배치할 수 있습니다.

은행 부문

모든 은행에는 처리에서 자동화된 뱅킹 시스템에 이르기까지 다양한 IT 시스템이 많이 있습니다. 이 인프라는 엄청난 양의 정보와도 작동하지만 대부분의 작업은 개발, 테스트, 사무 프로세스 자동화 등과 같은 스토리지 시스템의 성능 및 안정성 향상이 필요하지 않습니다. 여기에서 클래식 스토리지 시스템의 사용이 가능합니다. , 그러나 매년 점점 더 수익성이 떨어집니다. 또한 이 경우 최대 부하에서 성능이 계산되는 스토리지 리소스를 사용할 수 있는 유연성이 없습니다.

분산 스토리지 시스템을 사용할 때 사실상 일반 서버인 노드는 예를 들어 서버 팜으로 언제든지 변환되어 컴퓨팅 플랫폼으로 사용될 수 있습니다.

데이터 레이크

위의 다이어그램은 일반적인 서비스 소비자 목록을 보여줍니다. 데이터 레이크. 전자 정부 서비스(예: "Gosuslugi"), 디지털화를 거친 기업, 재무 구조 등이 될 수 있습니다. 이들 모두는 대량의 이기종 정보로 작업해야 합니다.

블록 데이터베이스에 대한 고성능 액세스와 개체로 저장된 스캔 문서 라이브러리에 대한 정기적인 액세스가 모두 필요하기 때문에 이러한 문제를 해결하기 위한 기존 스토리지 시스템의 작동은 비효율적입니다. 예를 들어 웹 포털을 통한 주문 시스템을 연결할 수 있습니다. 이 모든 것을 기존 스토리지 플랫폼에서 구현하려면 다양한 작업을 위한 대규모 장비 세트가 필요합니다. 하나의 수평 범용 스토리지 시스템은 이전에 나열된 모든 작업을 쉽게 처리할 수 있습니다. 스토리지 특성이 다른 여러 풀을 생성하기만 하면 됩니다.

새로운 정보 생성자

전 세계에 저장되는 정보의 양은 매년 약 30%씩 증가하고 있습니다. 이것은 스토리지 벤더에게 희소식이지만 이 데이터의 주요 소스는 무엇이며 앞으로도 계속될 것입니까?

70년 전 소셜 네트워크는 수많은 새로운 알고리즘, 하드웨어 솔루션 등을 생성해야 하는 생성기가 되었습니다. 이제 스토리지 성장의 세 가지 주요 동인이 있습니다. 첫 번째는 클라우드 컴퓨팅입니다. 현재 기업의 약 XNUMX%가 어떤 방식으로든 클라우드 서비스를 사용하고 있습니다. 이들은 이메일 시스템, 백업 및 기타 가상화된 엔터티일 수 있습니다.
5세대 네트워크는 두 번째 동인이 되고 있습니다. 이것은 새로운 속도와 새로운 데이터 전송량입니다. 우리의 예측에 따르면 100G의 광범위한 채택은 플래시 메모리 카드에 대한 수요 감소로 이어질 것입니다. 전화기에 메모리가 아무리 많아도 종료되며 가제트에 XNUMX메가비트 채널이 있으면 사진을 로컬에 저장할 필요가 없습니다.

스토리지 시스템에 대한 수요가 증가하는 세 번째 이유는 인공 지능의 급속한 발전, 빅 데이터 분석으로의 전환 및 가능한 모든 것의 보편적인 자동화 경향을 포함합니다.

"신규 트래픽"의 특징은 구조화되지 않은. 형식을 정의하지 않고 이 데이터를 저장해야 합니다. 후속 읽기에만 필요합니다. 예를 들어, 사용 가능한 대출 규모를 결정하는 은행 점수 시스템은 소셜 네트워크에 게시한 사진을 보고 바다와 식당에 얼마나 자주 가는지 결정하는 동시에 사용 가능한 의료 문서에서 추출한 내용을 연구합니다. 이러한 데이터는 한편으로는 포괄적이지만 다른 한편으로는 동질성이 부족합니다.

구조화되지 않은 데이터의 바다

"새로운 데이터"의 출현이 수반하는 문제는 무엇입니까? 물론 그 중 첫 번째는 정보 자체의 양과 예상 저장 기간입니다. 최신 자율주행차는 모든 센서와 메커니즘에서 매일 최대 60TB의 데이터를 생성합니다. 새로운 동작 알고리즘을 개발하려면 이 정보를 같은 날에 처리해야 합니다. 그렇지 않으면 누적되기 시작합니다. 동시에 수십 년 동안 매우 오랫동안 보관해야 합니다. 그래야만 향후 대규모 분석 샘플을 기반으로 결론을 도출할 수 있습니다.

유전자 서열을 해독하는 장치 하나는 하루에 약 6테라바이트를 생산합니다. 그리고 그 도움으로 수집된 데이터는 삭제를 의미하지 않습니다. 즉, 가설적으로 영원히 저장되어야 합니다.

마지막으로 XNUMX세대의 모든 동일한 네트워크입니다. 정보 자체가 전송되는 것 외에도 이러한 네트워크는 활동 로그, 통화 기록, 기계 간 상호 작용의 중간 결과 등과 같은 거대한 데이터 생성기입니다.

이 모든 것은 정보를 저장하고 처리하기 위한 새로운 접근법과 알고리즘의 개발을 필요로 합니다. 그리고 그러한 접근 방식이 등장하고 있습니다.

새로운 시대의 기술

정보 저장 시스템에 대한 새로운 요구 사항에 대처하기 위해 설계된 세 가지 솔루션 그룹은 인공 지능의 도입, 저장 매체의 기술 발전 및 시스템 아키텍처 분야의 혁신으로 구분할 수 있습니다. AI부터 시작하겠습니다.

새로운 Huawei 솔루션에서는 이미 스토리지 자체 수준에서 인공 지능이 사용되고 있으며, 여기에는 시스템이 독립적으로 상태를 분석하고 장애를 예측할 수 있는 AI 프로세서가 장착되어 있습니다. 스토리지 시스템이 상당한 컴퓨팅 기능을 갖춘 서비스 클라우드에 연결되면 인공 지능은 더 많은 정보를 처리하고 가설의 정확도를 높일 수 있습니다.

이러한 AI는 장애 외에도 향후 최대 부하와 용량이 소진될 때까지 남은 시간을 예측할 수 있습니다. 이를 통해 원하지 않는 이벤트가 발생하기 전에 성능을 최적화하고 시스템을 확장할 수 있습니다.

이제 데이터 캐리어의 진화에 대해 알아보십시오. 최초의 플래시 드라이브는 SLC(Single-Level Cell) 기술을 사용하여 만들어졌습니다. 이를 기반으로 한 장치는 빠르고 안정적이며 안정적이지만 용량이 작고 매우 비쌌습니다. 볼륨 증가 및 가격 감소는 드라이브의 속도, 신뢰성 및 수명이 감소한 특정 기술 양보를 통해 달성되었습니다. 그럼에도 불구하고 추세는 스토리지 시스템 자체에 영향을 미치지 않았으며 일반적으로 다양한 아키텍처 트릭으로 인해 생산성과 안정성이 향상되었습니다.

그런데 왜 올플래시급 스토리지 시스템이 필요했을까요? 이미 실행 중인 시스템의 오래된 HDD를 동일한 폼 팩터의 새 SSD로 교체하는 것만으로 충분하지 않았습니까? 이는 이전 시스템에서는 불가능했던 새 SSD의 모든 리소스를 효율적으로 사용하기 위해 필요했습니다.

예를 들어 화웨이는 이 문제를 해결하기 위해 여러 기술을 개발했으며 그 중 하나는 플래시링크, 디스크 컨트롤러 상호 작용을 최대한 최적화할 수 있습니다.

지능형 식별을 통해 데이터를 여러 스트림으로 분해하고 다음과 같은 여러 가지 바람직하지 않은 현상에 대처할 수 있습니다. WA (증폭 쓰기). 동시에 새로운 복구 알고리즘, 특히 RAID 2.0+, 재구축 속도를 높이고 시간을 완전히 중요하지 않은 값으로 줄였습니다.

오류, 과밀, 가비지 수집 - 이러한 요소는 컨트롤러의 특별한 개선 덕분에 더 이상 스토리지 시스템의 성능에 영향을 미치지 않습니다.

그리고 블록 데이터 저장소는 충족을 준비하고 있습니다. NVMe. 데이터 액세스 구성을 위한 고전적인 체계는 다음과 같이 작동했습니다. 프로세서는 PCI Express 버스를 통해 RAID 컨트롤러에 액세스했습니다. 차례로 SCSI 또는 SAS를 통해 기계식 디스크와 상호 작용했습니다. 백엔드에서 NVMe를 사용하면 전체 프로세스 속도가 크게 빨라지지만 한 가지 단점이 있습니다. 직접 메모리 액세스를 제공하려면 드라이브를 프로세서에 직접 연결해야 했습니다.

현재 보고 있는 기술 개발의 다음 단계는 NVMe-oF(NVMe over Fabrics)를 사용하는 것입니다. Huawei 블록 기술의 경우 이미 FC-NVMe(NVMe over Fibre Channel)를 지원하고 NVMe over RoCE(RDMA over Converged Ethernet)가 진행 중입니다. 테스트 모델은 매우 기능적이며 공식 발표까지 몇 달 남았습니다. 이 모든 것은 "손실 없는 이더넷"이 큰 수요가 있는 분산 시스템에도 나타날 것입니다.

분산 저장소 작업을 최적화하는 또 다른 방법은 데이터 미러링을 완전히 거부하는 것입니다. Huawei 솔루션은 일반적인 RAID 1에서와 같이 더 이상 n개의 복사본을 사용하지 않고 메커니즘으로 완전히 전환합니다. EC (삭제 코딩). 특별한 수학적 패키지는 특정 빈도로 제어 블록을 계산하므로 손실된 경우 중간 데이터를 복원할 수 있습니다.

중복 제거 및 압축 메커니즘이 필수가 되었습니다. 기존 스토리지 시스템에서 컨트롤러에 설치된 프로세서 수로 제한된다면 수평 확장이 가능한 분산형 스토리지 시스템에서는 각 노드에 필요한 모든 것(디스크, 메모리, 프로세서 및 상호 연결)이 포함됩니다. 이러한 리소스는 중복 제거 및 압축이 성능에 미치는 영향을 최소화하기에 충분합니다.

그리고 하드웨어 최적화 방법에 대해. 여기에서 역할을 수행하는 추가 전용 마이크로 회로(또는 프로세서 자체의 전용 블록)를 사용하여 중앙 프로세서의 부하를 줄일 수 있었습니다. TOE (TCP/IP 오프로드 엔진) 또는 EC, 중복 제거 및 압축의 수학 작업을 수행합니다.

데이터 스토리지에 대한 새로운 접근 방식은 분해(분산) 아키텍처에 구현됩니다. 중앙 집중식 스토리지 시스템에는 파이버 채널을 통해 연결된 서버 공장이 있습니다. SAN 배열이 많습니다. 이 접근 방식의 단점은 확장이 어렵고 보장된 서비스 수준(성능 또는 대기 시간 측면에서)을 제공하는 것입니다. 하이퍼컨버지드 시스템은 정보 저장 및 처리에 동일한 호스트를 사용합니다. 이것은 거의 무제한의 확장 범위를 제공하지만 데이터 무결성을 유지하는 데는 높은 비용이 수반됩니다.

위의 두 가지와 달리 분리된 아키텍처는 다음을 의미합니다. 시스템을 컴퓨팅 팩토리와 수평 스토리지 시스템으로 분할. 이는 두 아키텍처의 장점을 모두 제공하며 성능이 충분하지 않은 요소만 거의 무제한으로 확장할 수 있습니다.

통합에서 융합으로

지난 15년 동안 관련성이 증가한 고전적인 작업은 블록 스토리지, 파일 액세스, 개체에 대한 액세스, 빅 데이터 팜 운영 등을 동시에 제공해야 한다는 것입니다. 예를 들어 자기 테이프에 대한 백업 시스템이기도 합니다.

첫 번째 단계에서는 이러한 서비스의 관리만 통합할 수 있었습니다. 이기종 스토리지 시스템은 일부 전문 소프트웨어에 폐쇄되어 관리자가 사용 가능한 풀에서 리소스를 분산했습니다. 그러나 이러한 풀은 하드웨어가 다르기 때문에 로드를 마이그레이션하는 것이 불가능했습니다. 더 높은 수준의 통합에서는 게이트웨이 수준에서 통합이 이루어졌습니다. 공유 파일 액세스가 있는 경우 다른 프로토콜을 통해 제공될 수 있습니다.

현재 우리가 사용할 수 있는 가장 진보된 융합 방법은 범용 하이브리드 시스템을 만드는 것입니다. 우리의 방식대로 오션스토어 100D. 범용 액세스는 논리적으로 서로 다른 풀로 나누어진 동일한 하드웨어 리소스를 사용하지만 로드 마이그레이션을 허용합니다. 이 모든 것은 단일 관리 콘솔을 통해 수행할 수 있습니다. 이러한 방식으로 "하나의 데이터 센터 - 하나의 스토리지 시스템"이라는 개념을 구현할 수 있었습니다.

정보 저장 비용은 이제 많은 아키텍처 결정을 결정합니다. 안전하게 최전선에 놓을 수 있지만 현재 활성 액세스가 있는 "라이브" 스토리지에 대해 논의하고 있으므로 성능도 고려해야 합니다. 차세대 분산 시스템의 또 다른 중요한 속성은 통합입니다. 결국 아무도 서로 다른 콘솔에서 관리되는 서로 다른 여러 시스템을 갖고 싶어하지 않습니다. 이러한 모든 특성은 새로운 Huawei 제품 시리즈에 구현되어 있습니다. 오션스토어 퍼시픽.

차세대 대용량 스토리지

OceanStor Pacific은 99,9999%의 신뢰성 요구 사항을 충족하며 HyperMetro급 데이터 센터를 만드는 데 사용할 수 있습니다. 최대 100km의 두 데이터 센터 사이의 거리에서 시스템은 2ms의 추가 지연을 보여 쿼럼 서버가 있는 솔루션을 포함하여 이를 기반으로 하는 모든 재해 방지 솔루션을 구축할 수 있습니다.

새로운 시리즈의 제품은 프로토콜 측면에서 다재다능함을 보여줍니다. 이미 OceanStor 100D는 블록 액세스, 개체 액세스 및 Hadoop 액세스를 지원합니다. 파일 액세스는 가까운 시일 내에 구현될 예정입니다. 서로 다른 프로토콜을 통해 발행할 수 있는 경우 데이터 사본을 여러 개 보관할 필요가 없습니다.

"무손실 네트워크"라는 개념이 스토리지와 어떤 관련이 있는 것 같습니까? 사실 분산 스토리지 시스템은 적절한 알고리즘과 RoCE 메커니즘을 지원하는 빠른 네트워크를 기반으로 구축됩니다. 스위치가 지원하는 인공 지능 시스템은 네트워크 속도를 더욱 높이고 대기 시간을 줄이는 데 도움이 됩니다. AI 패브릭. AI Fabric이 활성화될 때 스토리지 시스템의 성능 향상은 20%에 달할 수 있습니다.

새로운 OceanStor Pacific 분산 스토리지 노드는 무엇입니까? 5U 폼 팩터 솔루션에는 120개의 드라이브가 포함되어 있으며 랙 공간을 두 배 이상 늘려 92개의 클래식 노드를 대체할 수 있습니다. 사본 저장 거부로 인해 드라이브의 효율성이 크게 증가합니다(최대 + XNUMX%).

우리는 소프트웨어 정의 스토리지가 클래식 서버에 설치된 특수 소프트웨어라는 사실에 익숙합니다. 그러나 이제 최적의 매개변수를 달성하기 위해 이 아키텍처 솔루션에는 특수 노드도 필요합니다. XNUMX인치 드라이브 어레이를 관리하는 ARM 프로세서 기반의 두 서버로 구성됩니다.

이러한 서버는 하이퍼컨버지드 솔루션에 적합하지 않습니다. 첫째, ARM용 어플리케이션이 적고, 둘째, 로드밸런스 유지가 어렵다. 별도의 스토리지로 전환하는 것이 좋습니다. 클래식 또는 랙 서버로 대표되는 컴퓨팅 클러스터는 별도로 작동하지만 직접 작업도 수행하는 OceanStor Pacific 스토리지 노드에 연결됩니다. 그리고 그것은 스스로를 정당화합니다.

예를 들어, 15개의 서버 랙을 차지하는 고전적인 하이퍼컨버지드 빅 데이터 스토리지 솔루션을 살펴보겠습니다. 개별 OceanStor Pacific 컴퓨팅 서버와 스토리지 노드 간에 로드를 분산하고 서로 분리하면 필요한 랙 수가 절반으로 줄어듭니다! 이는 데이터 센터 운영 비용을 줄이고 총 소유 비용을 낮춥니다. 저장된 정보의 양이 매년 30%씩 증가하는 세상에서 이러한 혜택은 분산되지 않습니다.

***

Huawei 솔루션 및 적용 시나리오에 대한 자세한 내용은 당사를 방문하십시오. 온라인으로 또는 회사 대표에게 직접 연락하십시오.

출처 : habr.com