نشرت شركة Micron Technology، وهي شركة متخصصة في إنتاج DRAM وذاكرة الفلاش، إصدار محرك التخزين HSE 3.0 (محرك تخزين الذاكرة غير المتجانسة)، المصمم مع مراعاة تفاصيل الاستخدام على محركات أقراص SSD وذاكرة القراءة فقط ( نفديم). تم تصميم المحرك كمكتبة للتضمين في التطبيقات الأخرى ويدعم معالجة البيانات بتنسيق قيمة المفتاح. كود HSE مكتوب باللغة C ومرخص بموجب ترخيص Apache 2.0.
تم تحسين HSE ليس فقط لتحقيق أقصى قدر من الأداء، ولكن أيضًا لطول العمر عبر مجموعة متنوعة من فئات SSD. يتم تحقيق سرعة تشغيل عالية من خلال نموذج تخزين هجين - حيث يتم تخزين البيانات الأكثر صلة مؤقتًا في ذاكرة الوصول العشوائي (RAM)، مما يقلل من عدد مرات الوصول إلى محرك الأقراص. يمكن استخدام المحرك لتخزين البيانات منخفضة المستوى في NoSQL DBMS، ومخازن البرامج (SDS، والتخزين المعرف بالبرمجيات) مثل Ceph وScality RING، ومنصات معالجة كميات كبيرة من البيانات (Big Data)، والحوسبة عالية الأداء (HPC). ) الأنظمة وأجهزة إنترنت الأشياء (IoT) ) وحلول أنظمة التعلم الآلي. وكمثال على دمج المحرك في مشاريع الطرف الثالث، تم إعداد نسخة من نظام إدارة قواعد البيانات (DBMS) MongoDB الموجه للمستندات، وتحويلها لاستخدام HSE.
الملامح الرئيسية للصحة والسلامة والبيئة:
- دعم المشغلين القياسيين والموسعين لمعالجة البيانات بتنسيق المفتاح/القيمة؛
- دعم كامل للمعاملات مع إمكانية عزل شرائح التخزين من خلال إنشاء لقطات (يمكن أيضًا استخدام اللقطات للاحتفاظ بمجموعات مستقلة في مخزن واحد)؛
- القدرة على استخدام المؤشرات لتكرار البيانات في طرق العرض المستندة إلى اللقطات؛
- نموذج بيانات مُحسّن لأنواع أعباء العمل المختلطة؛
- آليات مرنة لإدارة موثوقية التخزين؛
- مخططات تنسيق البيانات القابلة للتخصيص (التوزيع عبر أنواع مختلفة من الذاكرة الموجودة في وحدة التخزين)؛
- مكتبة ذات واجهة برمجة تطبيقات C يمكنها الارتباط ديناميكيًا بأي تطبيق. توافر الارتباطات لبيثون وجافا؛
- دعم لتخزين المفاتيح والبيانات في شكل مضغوط.
- القدرة على التوسع إلى تيرابايت من البيانات ومئات المليارات من المفاتيح المخزنة؛
- معالجة فعالة لآلاف العمليات المتوازية؛
- القدرة على استخدام محركات أقراص SSD من فئات مختلفة في وحدة تخزين واحدة لتحسين الأداء وإطالة عمر خدمة محرك الأقراص.
يرجع التغيير الكبير في رقم الإصدار في HSE 3.0 إلى التغييرات في واجهة برمجة التطبيقات (API) وCLI وخيارات التكوين وواجهة REST وتنسيق التخزين الذي يعطل التوافق مع الإصدارات السابقة. ركز الإصدار الجديد على تحسين تخزين البيانات لتحسين الأداء لبعض أعباء العمل الهامة. ومن أبرز التحسينات:
- أصبح أداء عمليات المؤشر الآن مستقلاً عن طول المرشح، مما يسمح لك بالتكرار على المفاتيح باستخدام مؤشر مع مرشحات عشوائية دون تقليل الإنتاجية.
- تم زيادة أداء القراءة والكتابة في المواقف التي يتم فيها استخدام مفاتيح متزايدة بشكل رتيب، على سبيل المثال، عند تخزين شرائح قيم المعلمات المسجلة على فترات زمنية معينة في أنظمة المراقبة والمنصات المالية وأنظمة استطلاع حالات الاستشعار.
- توفر واجهة برمجة التطبيقات (API) القدرة على التحكم في الضغط على مستوى القيمة الفردية، مما يسمح لك بتخزين السجلات المضغوطة وغير المضغوطة في نفس وحدة التخزين.
- تمت إضافة أوضاع جديدة لفتح KVDB، مما يسمح لك بتكوين استعلامات إلى قاعدة البيانات في مخازن للقراءة فقط.
المصدر: opennet.ru