Micron Technology، یک شرکت متخصص در تولید حافظه های DRAM و فلش، موتور ذخیره سازی HSE 3.0 (موتور ذخیره سازی ناهمگن حافظه) را منتشر کرده است که با در نظر گرفتن ویژگی های استفاده در درایوهای SSD و حافظه فقط خواندنی طراحی شده است. NVDIMM). این موتور به عنوان یک کتابخانه برای جاسازی در سایر برنامه ها طراحی شده است و از پردازش داده ها در قالب کلید-مقدار پشتیبانی می کند. کد HSE به زبان C نوشته شده است و تحت مجوز Apache 2.0 مجوز دارد.
HSE نه تنها برای حداکثر عملکرد، بلکه برای طول عمر در انواع کلاس های SSD بهینه شده است. سرعت عملیات بالا از طریق یک مدل ذخیره سازی هیبریدی به دست می آید - مرتبط ترین داده ها در حافظه رم ذخیره می شوند که تعداد دسترسی ها به درایو را کاهش می دهد. این موتور می‌تواند برای ذخیره‌سازی داده‌های سطح پایین در NoSQL DBMS، ذخیره‌سازی نرم‌افزار (SDS، ذخیره‌سازی تعریف‌شده توسط نرم‌افزار) مانند Ceph و Scality RING، پلتفرم‌هایی برای پردازش مقادیر زیادی داده (Big Data)، محاسبات با کارایی بالا (HPC) استفاده شود. ) سیستم ها، دستگاه های اینترنت اشیا (IoT) و راه حل هایی برای سیستم های یادگیری ماشینی. به عنوان نمونه ای از ادغام موتور در پروژه های شخص ثالث، نسخه ای از DBMS MongoDB مبتنی بر سند آماده شده است که برای استفاده از HSE تبدیل شده است.
ویژگی های اصلی HSE:
- پشتیبانی از اپراتورهای استاندارد و توسعه یافته برای پردازش داده ها در قالب کلید/مقدار.
- پشتیبانی کامل از تراکنش‌ها با قابلیت جداسازی برش‌های ذخیره‌سازی از طریق ایجاد عکس‌های فوری (عکس‌های فوری همچنین می‌توانند برای نگهداری مجموعه‌های مستقل در یک فضای ذخیره‌سازی استفاده شوند).
- توانایی استفاده از مکان نما برای تکرار از طریق داده ها در نماهای مبتنی بر عکس فوری.
- مدل داده بهینه شده برای انواع حجم کار مختلط.
- مکانیسم های انعطاف پذیر برای مدیریت قابلیت اطمینان ذخیره سازی؛
- طرح‌های هماهنگ‌سازی داده‌های قابل تنظیم (توزیع در انواع مختلف حافظه موجود در حافظه).
- کتابخانه ای با C API که می تواند به صورت پویا به هر برنامه ای پیوند دهد. در دسترس بودن اتصالات برای پایتون و جاوا.
- پشتیبانی از ذخیره کلیدها و داده ها به صورت فشرده.
- امکان مقیاس دهی به ترابایت داده و صدها میلیارد کلید در ذخیره سازی.
- پردازش کارآمد هزاران عملیات موازی؛
- امکان استفاده از درایوهای SSD کلاس‌های مختلف در یک فضای ذخیره‌سازی برای بهینه‌سازی عملکرد و افزایش طول عمر درایو.
تغییر قابل توجه شماره نسخه در HSE 3.0 به دلیل تغییرات در API، CLI، گزینه های پیکربندی، رابط REST و فرمت ذخیره سازی است که سازگاری رو به عقب را از بین می برد. نسخه جدید بر بهینه سازی ذخیره سازی داده ها برای بهبود عملکرد برای برخی از بارهای کاری حیاتی متمرکز بود. از جمله قابل توجه ترین پیشرفت ها:
- عملکرد عملیات مکان نما اکنون مستقل از طول فیلتر است، و به شما امکان می دهد با استفاده از مکان نما با فیلترهای دلخواه بدون کاهش توان، روی کلیدها تکرار کنید.
- عملکرد خواندن و نوشتن در موقعیت‌هایی که از کلیدهای افزایش‌دهنده یکنواخت استفاده می‌شود، افزایش یافته است، به عنوان مثال، هنگام ذخیره برش‌هایی از مقادیر پارامترهای ثبت شده در فواصل زمانی معین در سیستم‌های نظارت، پلت‌فرم‌های مالی و سیستم‌های حالت‌های حسگر نظرسنجی.
- API توانایی کنترل فشرده سازی را در سطح ارزش فردی فراهم می کند و به شما امکان می دهد رکوردهای فشرده و غیر فشرده را در یک حافظه ذخیره کنید.
- حالت های جدیدی برای باز کردن KVDB اضافه شده است که به شما امکان می دهد پرس و جوهایی را در پایگاه داده در حافظه های فقط خواندنی تشکیل دهید.
منبع: opennet.ru