Micron Technology, một công ty về DRAM và bộ nhớ flash, công cụ lưu trữ mới (Công cụ lưu trữ bộ nhớ không đồng nhất), được thiết kế có tính đến các đặc điểm sử dụng cụ thể trên ổ SSD dựa trên flash NAND (X100, TLC, QLC 3D NAND) hoặc bộ nhớ vĩnh viễn (NVDIMM). Công cụ này được thiết kế như một thư viện để nhúng vào các ứng dụng khác và hỗ trợ xử lý dữ liệu ở định dạng khóa-giá trị. Mã HSE được viết bằng C và được cấp phép theo Apache 2.0.
Trong số các lĩnh vực ứng dụng của công cụ này, phải kể đến lưu trữ dữ liệu cấp thấp trong NoSQL DBMS, kho lưu trữ phần mềm (SDS, Lưu trữ do phần mềm xác định) như Ceph và Scality RING, các nền tảng để xử lý lượng lớn dữ liệu (Dữ liệu lớn) , hệ thống điện toán hiệu năng cao (HPC), thiết bị Internet vạn vật (IoT) và các giải pháp cho hệ thống máy học.
HSE được tối ưu hóa không chỉ để mang lại hiệu suất tối đa mà còn kéo dài tuổi thọ trên nhiều loại SSD khác nhau. Tốc độ hoạt động cao đạt được thông qua mô hình lưu trữ kết hợp - dữ liệu phù hợp nhất được lưu vào bộ nhớ đệm trong RAM, giúp giảm số lượng truy cập vào ổ đĩa. Là một ví dụ về việc tích hợp một công cụ mới vào các dự án của bên thứ ba một phiên bản của DBMS MongoDB định hướng tài liệu, được dịch sang sử dụng HSE.
Về mặt công nghệ, HSE dựa vào một mô-đun hạt nhân bổ sung , triển khai giao diện lưu trữ đối tượng chuyên dụng cho các ổ đĩa thể rắn, có tính đến khả năng và tính năng của chúng, cho phép bạn đạt được các đặc tính về hiệu suất và độ bền khác nhau về cơ bản. Mpool cũng là sự phát triển của Micron Technology, mở cùng thời điểm với HSE nhưng được tách thành một dự án cơ sở hạ tầng độc lập. Mpool đảm nhận việc sử dụng и , nhưng hiện chỉ hỗ trợ SSD truyền thống.
Kiểm tra hiệu suất bằng gói (Điểm chuẩn phục vụ đám mây của Yahoo) cho thấy hiệu suất tăng đáng kể khi sử dụng bộ lưu trữ 2 TB với việc xử lý các khối dữ liệu 1 KB. Sự gia tăng hiệu suất đặc biệt đáng kể được quan sát thấy trong thử nghiệm với sự phân bổ đồng đều các hoạt động đọc và ghi (kiểm tra “A” trong biểu đồ).
Ví dụ: MongoDB với công cụ HSE hóa ra nhanh hơn khoảng 8 lần so với phiên bản có công cụ WiredTiger tiêu chuẩn và RocksDB DBMS nhanh hơn công cụ HSE hơn 6 lần. Hiệu suất xuất sắc cũng được thể hiện rõ trong các thử nghiệm bao gồm 95% thao tác đọc và 5% sửa đổi hoặc thêm thao tác (kiểm tra “B” và “D” trong biểu đồ). Thử nghiệm C, chỉ bao gồm các thao tác đọc, cho thấy mức tăng khoảng 40%. Khả năng sống sót của ổ SSD tăng lên trong quá trình ghi so với giải pháp dựa trên RocksDB được ước tính là 7 lần.
Các tính năng chính của HSE:
- Hỗ trợ các toán tử tiêu chuẩn và mở rộng để xử lý dữ liệu ở định dạng khóa/giá trị;
- Hỗ trợ đầy đủ cho các giao dịch và khả năng tách biệt các phần lưu trữ thông qua việc tạo ảnh chụp nhanh (ảnh chụp nhanh cũng có thể được sử dụng để duy trì các bộ sưu tập độc lập trong một bộ lưu trữ);
- Khả năng sử dụng con trỏ để duyệt dữ liệu trong chế độ xem dựa trên ảnh chụp nhanh;
- Mô hình dữ liệu được tối ưu hóa cho các loại tải hỗn hợp trong một bộ lưu trữ;
- Cơ chế linh hoạt để quản lý độ tin cậy của lưu trữ;
- Sơ đồ điều phối dữ liệu có thể tùy chỉnh (phân phối trên các loại bộ nhớ khác nhau có trong bộ lưu trữ);
- Thư viện có API C có thể liên kết động với bất kỳ ứng dụng nào;
- Khả năng mở rộng tới terabyte dữ liệu và hàng trăm tỷ khóa được lưu trữ;
- Xử lý hiệu quả hàng nghìn thao tác song song;
- Thông lượng tăng đáng kể, độ trễ giảm và hiệu suất ghi/đọc tăng lên cho nhiều loại khối lượng công việc khác nhau so với các giải pháp thay thế tiêu chuẩn;
- Khả năng sử dụng các ổ SSD thuộc nhiều loại khác nhau trong một bộ lưu trữ để tối ưu hóa hiệu suất và độ bền.
Nguồn: opennet.ru