موتور ذخیره سازی منبع باز میکرون HSE بهینه شده برای SSD

Micron Technology، یک شرکت DRAM و حافظه های فلش، ارایه شده موتور ذخیره سازی جدید HSE (موتور ذخیره سازی ناهمگن) که با در نظر گرفتن ویژگی های استفاده در درایوهای SSD مبتنی بر فلش NAND (X100، TLC، QLC 3D NAND) یا حافظه دائمی (NVDIMM) طراحی شده است. این موتور به عنوان یک کتابخانه برای جاسازی در برنامه های دیگر طراحی شده است و از پردازش داده ها در قالب کلید-مقدار پشتیبانی می کند. کد HSE به زبان C و نوشته شده است توزیع شده توسط دارای مجوز Apache 2.0.

از جمله زمینه های کاربردی موتور، به ذخیره سازی داده های سطح پایین در NoSQL DBMS، ذخیره سازی نرم افزار (SDS، ذخیره سازی تعریف شده توسط نرم افزار) مانند Ceph و Scality RING، پلتفرم هایی برای پردازش مقادیر زیاد داده (Big Data) اشاره شده است. ، سیستم های محاسباتی با کارایی بالا (HPC)، دستگاه های اینترنت اشیا (IoT) و راه حل هایی برای سیستم های یادگیری ماشینی.

HSE نه تنها برای حداکثر عملکرد، بلکه برای طول عمر در انواع کلاس های SSD بهینه شده است. سرعت عملیات بالا از طریق یک مدل ذخیره سازی ترکیبی به دست می آید - مرتبط ترین داده ها در حافظه رم ذخیره می شوند که تعداد دسترسی ها به درایو را کاهش می دهد. به عنوان نمونه ای از ادغام یک موتور جدید در پروژه های شخص ثالث آماده شده نسخه ای از سند گرا DBMS MongoDB که برای استفاده از HSE ترجمه شده است.

از نظر فناوری، HSE به یک ماژول هسته اضافی متکی است mpool، که با در نظر گرفتن قابلیت ها و ویژگی های آنها، یک رابط تخصصی ذخیره سازی اشیاء را برای درایوهای حالت جامد پیاده سازی می کند، که به شما امکان می دهد عملکرد و دوام اساساً متفاوتی را به دست آورید. Mpool همچنین توسعه‌ای از فناوری Micron است که همزمان با HSE افتتاح شد، اما به یک پروژه زیرساخت مستقل جدا شد. Mpool استفاده را فرض می کند حافظه پایدار и امکانات ذخیره سازی منطقه ای، اما در حال حاضر فقط از SSD های سنتی پشتیبانی می کند.

تست عملکرد با استفاده از بسته YCSB (Yahoo Cloud Serving Benchmark) هنگام استفاده از فضای ذخیره سازی 2 ترابایتی با پردازش بلوک های داده 1 کیلوبایتی، افزایش قابل توجهی در عملکرد نشان داد. افزایش عملکرد قابل توجهی در آزمون با توزیع یکنواخت عملیات خواندن و نوشتن مشاهده می شود (تست "A" در نمودار).

به عنوان مثال، MongoDB با موتور HSE حدود 8 برابر سریعتر از نسخه با موتور استاندارد WiredTiger بود و RocksDB DBMS بیش از 6 برابر سریعتر از موتور HSE بود. عملکرد عالی نیز در تست هایی قابل مشاهده است که شامل 95% عملیات خواندن و 5% عملیات اصلاح یا الحاق می شود (آزمون های "B" و "D" در نمودارها). تست C، که فقط شامل عملیات خواندن است، افزایش تقریباً 40٪ را نشان می دهد. افزایش بقای درایوهای SSD در طول عملیات نوشتن در مقایسه با یک راه حل مبتنی بر RocksDB 7 برابر برآورد شده است.

ویژگی های کلیدی HSE:

• پشتیبانی از اپراتورهای استاندارد و توسعه یافته برای پردازش داده ها در قالب کلید/مقدار.
• پشتیبانی کامل از تراکنش ها و با قابلیت جداسازی برش های ذخیره سازی از طریق ایجاد عکس های فوری (عکس های فوری را می توان برای نگهداری مجموعه های مستقل در یک ذخیره سازی نیز استفاده کرد).
• امکان استفاده از مکان نما برای پیمایش داده ها در نماهای مبتنی بر عکس فوری.
• مدل داده بهینه شده برای انواع بار مختلط در یک ذخیره سازی واحد.
• مکانیسم های انعطاف پذیر برای مدیریت قابلیت اطمینان ذخیره سازی؛
• طرح‌های هماهنگ‌سازی داده‌های قابل تنظیم (توزیع در انواع مختلف حافظه موجود در حافظه).
• کتابخانه ای با C API که می تواند به صورت پویا به هر برنامه ای پیوند داده شود.
• امکان مقیاس دهی به ترابایت داده و صدها میلیارد کلید در ذخیره سازی.
• پردازش کارآمد هزاران عملیات موازی؛
• افزایش قابل توجه توان عملیاتی، کاهش تاخیر و افزایش عملکرد نوشتن/خواندن برای انواع مختلف حجم کاری در مقایسه با راه حل های جایگزین استاندارد؛
• امکان استفاده از درایوهای SSD کلاس های مختلف در یک فضای ذخیره سازی برای بهینه سازی عملکرد و دوام.

منبع: opennet.ru