SSD에 최적화된 Micron 오픈 소스 HSE 스토리지 엔진

DRAM 및 플래시 메모리 기업인 마이크론 테크놀로지(Micron Technology)는 제시 새로운 스토리지 엔진 HSE (이종 메모리 스토리지 엔진)은 NAND 플래시(X100, TLC, QLC 3D NAND) 또는 영구 메모리(NVDIMM) 기반 SSD 드라이브의 사용 특성을 고려하여 설계되었습니다. 엔진은 다른 애플리케이션에 삽입하기 위한 라이브러리로 설계되었으며 키-값 형식의 데이터 처리를 지원합니다. HSE 코드는 C로 작성되었으며 배포자 Apache 2.0에 따라 라이센스가 부여되었습니다.

엔진 적용 분야로는 NoSQL DBMS의 저수준 데이터 스토리지, Ceph, Scality RING 등의 소프트웨어 스토리지(SDS, Software-Defined Storage), 대용량 데이터 처리를 위한 플랫폼(빅데이터) 등이 언급된다. , 고성능 컴퓨팅 시스템(HPC), 사물 인터넷 장치(IoT) 및 기계 학습 시스템용 솔루션입니다.

HSE는 최대 성능뿐만 아니라 다양한 SSD 클래스의 수명을 위해 최적화되었습니다. 하이브리드 스토리지 모델을 통해 높은 작동 속도가 달성됩니다. 가장 관련성이 높은 데이터가 RAM에 캐시되어 드라이브에 대한 액세스 횟수가 줄어듭니다. 새로운 엔진을 타사 프로젝트에 통합하는 예 준비 HSE를 사용하도록 번역된 문서 지향 DBMS MongoDB 버전입니다.

기술적으로 HSE는 추가 커널 모듈에 의존합니다. M풀는 SSD의 기능과 특징을 고려하여 SSD용 특수 개체 스토리지 인터페이스를 구현하므로 근본적으로 다른 성능과 내구성 특성을 얻을 수 있습니다. Mpool은 또한 HSE와 동시에 공개되지만 독립적인 인프라 프로젝트로 분리된 Micron Technology의 개발입니다. Mpool은 사용을 가정합니다. 영구 메모리 и 구역 저장 시설, 그러나 현재는 기존 SSD만 지원합니다.

패키지를 이용한 성능 테스트 YCSB (Yahoo Cloud Serving Benchmark)에서는 2KB 데이터 블록을 처리하면서 1TB 스토리지를 사용할 때 성능이 크게 향상되는 것으로 나타났습니다. 읽기 및 쓰기 작업이 균일하게 분포된 테스트에서 특히 상당한 성능 향상이 관찰되었습니다(그래프의 테스트 "A").

예를 들어 HSE 엔진을 탑재한 MongoDB는 표준 WiredTiger 엔진을 탑재한 버전보다 약 8배 빠른 것으로 나타났으며, RocksDB DBMS는 HSE 엔진보다 6배 이상 빠른 것으로 나타났습니다. 읽기 작업이 95%, 수정 또는 추가 작업이 5%인 테스트에서도 뛰어난 성능이 나타났습니다(그래프의 테스트 "B" 및 "D"). 읽기 작업만 포함하는 테스트 C는 약 40%의 이득을 보여줍니다. RocksDB 기반 솔루션에 비해 쓰기 작업 중 SSD 드라이브의 생존 가능성이 7배 증가한 것으로 추정됩니다.

HSE의 주요 특징:

• 키/값 형식으로 데이터를 처리하기 위한 일반 및 확장 연산자 지원
• 트랜잭션에 대한 완벽한 지원 및 스냅샷 생성을 통해 스토리지 슬라이스를 격리하는 기능(스냅샷을 사용하여 하나의 스토리지에서 독립적인 컬렉션을 유지 관리할 수도 있음)
• 스냅샷 기반 보기에서 커서를 사용하여 데이터를 탐색하는 기능
• 단일 스토리지의 혼합 로드 유형에 최적화된 데이터 모델.
• 유연한 스토리지 안정성 관리 메커니즘
• 사용자 정의 가능한 데이터 오케스트레이션 체계(스토리지에 있는 다양한 유형의 메모리에 분산)
• 모든 애플리케이션에 동적으로 연결할 수 있는 C API가 포함된 라이브러리입니다.
• 스토리지에서 테라바이트의 데이터와 수천억 개의 키로 확장할 수 있는 기능
• 수천 개의 병렬 작업을 효율적으로 처리합니다.
• 표준 대체 솔루션에 비해 다양한 유형의 워크로드에 대한 처리량이 크게 증가하고 대기 시간이 감소하며 쓰기/읽기 성능이 향상되었습니다.
• 성능과 내구성을 최적화하기 위해 하나의 스토리지에서 다양한 등급의 SSD 드라이브를 사용할 수 있는 기능입니다.

출처 : opennet.ru