Micron, SSD에 최적화된 HSE 3.0 스토리지 엔진 출시

DRAM 및 플래시 메모리 제조업체인 Micron Technology는 SSD 및 읽기 전용 메모리(NVDIMM)용으로 특별히 설계된 HSE 3.0(이기종 메모리 스토리지 엔진) 스토리지 엔진을 출시했습니다. 엔진은 다른 애플리케이션에 임베딩하기 위한 라이브러리 형태로 만들어지며 키-값 형식의 데이터 처리를 지원합니다. HSE 코드는 C로 작성되었으며 Apache 2.0 라이선스에 따라 배포됩니다.

HSE는 최대 성능뿐만 아니라 다양한 등급의 SSD에서 수명을 유지하도록 최적화되어 있습니다. 고속은 하이브리드 스토리지 모델을 통해 달성됩니다. 가장 최신 데이터가 RAM에 캐시되어 드라이브에 대한 액세스 횟수가 줄어듭니다. 이 엔진은 NoSQL DBMS의 저수준 데이터 스토리지, Ceph 및 Scality RING과 같은 소프트웨어 스토리지(SDS, 소프트웨어 정의 스토리지), 대용량 데이터(빅데이터) 처리 플랫폼, 고성능 컴퓨팅(HPC)에 사용할 수 있습니다. ) 시스템, 사물 인터넷(IoT) 장치 ) 및 기계 학습 시스템용 솔루션. 엔진을 타사 프로젝트에 통합하는 예로 문서 지향 DBMS MongoDB의 변형이 준비되어 HSE 사용으로 변환되었습니다.

HSE의 주요 기능:

• 키/값 형식으로 데이터를 처리하기 위한 일반 및 확장 연산자 지원
• 스냅샷 생성을 통해 스토리지 슬라이스를 격리하는 기능으로 트랜잭션을 완벽하게 지원합니다(스냅샷을 사용하여 하나의 스토리지에서 독립적인 컬렉션을 유지 관리할 수도 있음).
• 커서를 사용하여 스냅샷 기반 보기에서 데이터를 반복하는 기능
• 혼합 하중 유형에 최적화된 데이터 모델
• 유연한 스토리지 안정성 관리 메커니즘
• 사용자 정의 가능한 데이터 오케스트레이션 체계(스토리지에 있는 다양한 유형의 메모리에 분산)
• 모든 애플리케이션에 동적으로 연결할 수 있는 C API가 포함된 라이브러리입니다. Python 및 Java용 바인딩
• 압축된 형식으로 키 및 데이터 저장 지원.
• 스토리지에서 테라바이트의 데이터와 수천억 개의 키로 확장할 수 있는 기능
• 수천 개의 병렬 작업을 효율적으로 처리합니다.
• 동일한 스토리지에서 다양한 등급의 SSD 드라이브를 사용하여 성능을 최적화하고 드라이브 수명을 연장하는 기능.

HSE 3.0의 중요한 버전 번호 변경은 이전 버전과의 호환성을 깨는 API, CLI, 구성 옵션, REST 인터페이스 및 스토리지 형식의 변경으로 인한 것입니다. 새 릴리스를 준비할 때 일부 중요한 워크로드에서 성능을 개선하기 위해 데이터 스토리지를 최적화하는 데 중점을 두었습니다. 가장 눈에 띄는 개선 사항:

• 커서 작업의 성능은 이제 필터 길이와 무관하므로 임의 필터가 있는 커서를 사용하여 처리량을 줄이지 않고도 키를 반복할 수 있습니다.
• 예를 들어 모니터링 시스템, 금융 플랫폼, 센서 상태 폴링 시스템에서 일정 간격으로 기록된 매개 변수 값의 조각을 저장할 때와 같이 단조롭게 증가하는 키가 사용되는 상황에서 읽기 및 쓰기 성능이 향상되었습니다.
• API는 개별 값 수준에서 압축을 제어하는 ​​기능을 제공하므로 압축된 레코드와 압축되지 않은 레코드를 모두 동일한 저장소에 보관할 수 있습니다.
• KVDB를 열기 위한 새로운 모드를 추가하여 읽기 전용 저장소에서 데이터베이스에 대한 쿼리를 생성할 수 있습니다.

출처 : opennet.ru