Micron Technology, một công ty chuyên sản xuất DRAM và bộ nhớ flash, đã công bố bản phát hành công cụ lưu trữ HSE 3.0 (Công cụ lưu trữ bộ nhớ không đồng nhất), được thiết kế có tính đến các đặc điểm sử dụng cụ thể trên ổ SSD và bộ nhớ chỉ đọc ( NVDIMM). Công cụ này được thiết kế như một thư viện để nhúng vào các ứng dụng khác và hỗ trợ xử lý dữ liệu ở định dạng khóa-giá trị. Mã HSE được viết bằng C và được cấp phép theo giấy phép Apache 2.0.
HSE được tối ưu hóa không chỉ để mang lại hiệu suất tối đa mà còn kéo dài tuổi thọ trên nhiều loại SSD khác nhau. Tốc độ hoạt động cao đạt được thông qua mô hình lưu trữ kết hợp - dữ liệu phù hợp nhất được lưu vào bộ nhớ đệm trong RAM, giúp giảm số lượng truy cập vào ổ đĩa. Công cụ này có thể được sử dụng để lưu trữ dữ liệu cấp thấp trong NoSQL DBMS, kho lưu trữ phần mềm (SDS, Lưu trữ do phần mềm xác định) như Ceph và Scality RING, nền tảng để xử lý lượng lớn dữ liệu (Dữ liệu lớn), điện toán hiệu năng cao (HPC) ) hệ thống, thiết bị Internet of Things (IoT)) và các giải pháp cho hệ thống máy học. Là một ví dụ về việc tích hợp công cụ này vào các dự án của bên thứ ba, một phiên bản của DBMS MongoDB hướng tài liệu đã được chuẩn bị, chuyển đổi để sử dụng HSE.
Các tính năng chính của HSE:
- Hỗ trợ các toán tử tiêu chuẩn và mở rộng để xử lý dữ liệu ở định dạng khóa/giá trị;
- Hỗ trợ đầy đủ cho các giao dịch với khả năng tách biệt các phần lưu trữ thông qua việc tạo ảnh chụp nhanh (ảnh chụp nhanh cũng có thể được sử dụng để duy trì các bộ sưu tập độc lập trong một bộ lưu trữ);
- Khả năng sử dụng con trỏ để lặp qua dữ liệu trong chế độ xem dựa trên ảnh chụp nhanh;
- Mô hình dữ liệu được tối ưu hóa cho các loại khối lượng công việc hỗn hợp;
- Cơ chế linh hoạt để quản lý độ tin cậy của lưu trữ;
- Sơ đồ điều phối dữ liệu có thể tùy chỉnh (phân phối trên các loại bộ nhớ khác nhau có trong bộ lưu trữ);
- Thư viện có API C có thể liên kết động với bất kỳ ứng dụng nào. Có sẵn các ràng buộc cho Python và Java;
- Hỗ trợ lưu trữ khóa và dữ liệu ở dạng nén.
- Khả năng mở rộng tới terabyte dữ liệu và hàng trăm tỷ khóa được lưu trữ;
- Xử lý hiệu quả hàng nghìn thao tác song song;
- Khả năng sử dụng các ổ SSD thuộc nhiều loại khác nhau trong một bộ lưu trữ để tối ưu hóa hiệu suất và kéo dài tuổi thọ của ổ đĩa.
Sự thay đổi đáng kể về số phiên bản trong HSE 3.0 là do những thay đổi về API, CLI, tùy chọn cấu hình, giao diện REST và định dạng lưu trữ làm phá vỡ khả năng tương thích ngược. Bản phát hành mới tập trung vào việc tối ưu hóa việc lưu trữ dữ liệu để cải thiện hiệu suất cho một số khối lượng công việc quan trọng. Trong số những cải tiến đáng chú ý nhất:
- Hiệu suất của các thao tác con trỏ giờ đây không phụ thuộc vào độ dài bộ lọc, cho phép bạn lặp lại các phím bằng cách sử dụng con trỏ với các bộ lọc tùy ý mà không làm giảm thông lượng.
- Hiệu suất đọc và ghi đã được tăng lên trong các tình huống sử dụng các phím tăng đơn điệu, chẳng hạn như khi lưu trữ các lát giá trị tham số được ghi theo các khoảng thời gian nhất định trong hệ thống giám sát, nền tảng tài chính và hệ thống dành cho trạng thái cảm biến thăm dò.
- API cung cấp khả năng kiểm soát việc nén ở cấp giá trị riêng lẻ, cho phép bạn lưu trữ cả bản ghi đã nén và không nén trong cùng một bộ lưu trữ.
- Các chế độ mới để mở KVDB đã được thêm vào, cho phép bạn tạo các truy vấn tới cơ sở dữ liệu trong kho lưu trữ chỉ đọc.
Nguồn: opennet.ru