ميكرون تكنولوجي، شركة DRAM وذاكرة فلاش، محرك تخزين جديد (محرك تخزين الذاكرة غير المتجانسة)، تم تصميمه مع الأخذ في الاعتبار تفاصيل الاستخدام على محركات أقراص SSD المستندة إلى فلاش NAND (X100، TLC، QLC 3D NAND) أو الذاكرة الدائمة (NVDIMM). تم تصميم المحرك كمكتبة للتضمين في التطبيقات الأخرى ويدعم معالجة البيانات بتنسيق قيمة المفتاح. يتم كتابة رمز HSE في C و مرخص بموجب Apache 2.0.
من بين مجالات تطبيق المحرك، تم ذكر تخزين البيانات منخفض المستوى في NoSQL DBMS، ومخازن البرامج (SDS، التخزين المحدد بالبرمجيات) مثل Ceph وScality RING، ومنصات معالجة كميات كبيرة من البيانات (Big Data). وأنظمة الحوسبة عالية الأداء (HPC)، وأجهزة إنترنت الأشياء (IoT)، وحلول أنظمة التعلم الآلي.
تم تحسين HSE ليس فقط لتحقيق أقصى قدر من الأداء، ولكن أيضًا لطول العمر عبر مجموعة متنوعة من فئات SSD. يتم تحقيق سرعة تشغيل عالية من خلال نموذج تخزين هجين - حيث يتم تخزين البيانات الأكثر صلة مؤقتًا في ذاكرة الوصول العشوائي (RAM)، مما يقلل من عدد مرات الوصول إلى محرك الأقراص. كمثال على دمج محرك جديد في مشاريع الطرف الثالث نسخة من نظام إدارة قواعد البيانات (DBMS) MongoDB الموجه نحو المستندات، تمت ترجمته لاستخدام HSE.
ومن الناحية التكنولوجية، تعتمد الصحة والسلامة والبيئة على وحدة نواة إضافية ، الذي ينفذ واجهة تخزين كائنات متخصصة لمحركات الأقراص ذات الحالة الصلبة، مع مراعاة إمكانياتها وميزاتها، مما يتيح لك الحصول على خصائص أداء ومتانة مختلفة بشكل أساسي. يعد Mpool أيضًا تطويرًا لـ Micron Technology، وهو مفتوح في نفس الوقت مع HSE، ولكنه منفصل إلى مشروع بنية تحتية مستقل. Mpool يفترض الاستخدام и ، ولكنه يدعم حاليًا محركات أقراص SSD التقليدية فقط.
اختبار الأداء باستخدام الحزمة أظهر (Yahoo Cloud Serving Benchmark) زيادة كبيرة في الأداء عند استخدام سعة تخزينية تبلغ 2 تيرابايت مع معالجة كتل بيانات بحجم 1 كيلو بايت. وقد لوحظت زيادة ملحوظة في الأداء في الاختبار مع التوزيع الموحد لعمليات القراءة والكتابة (اختبار "أ" في الرسم البياني).
على سبيل المثال، تبين أن MongoDB المزود بمحرك HSE أسرع بحوالي 8 مرات من الإصدار المزود بمحرك WiredTiger القياسي، وكان RocksDB DBMS أسرع من محرك HSE بأكثر من 6 مرات. يظهر الأداء الممتاز أيضًا في الاختبارات التي تتضمن 95% من عمليات القراءة و5% من عمليات التعديل أو الإلحاق (الاختباران "B" و"D" في الرسوم البيانية). يُظهر الاختبار C، الذي يتضمن عمليات القراءة فقط، ربحًا بنسبة 40% تقريبًا. تقدر الزيادة في قابلية بقاء محركات أقراص SSD أثناء عمليات الكتابة مقارنة بالحل القائم على RocksDB بـ 7 مرات.
الملامح الرئيسية للصحة والسلامة والبيئة:
- دعم المشغلين القياسيين والموسعين لمعالجة البيانات بتنسيق المفتاح/القيمة؛
- دعم كامل للمعاملات مع إمكانية عزل شرائح التخزين من خلال إنشاء لقطات (يمكن أيضًا استخدام اللقطات للاحتفاظ بمجموعات مستقلة في مخزن واحد)؛
- القدرة على استخدام المؤشرات لاجتياز البيانات في طرق العرض المستندة إلى اللقطات؛
- نموذج بيانات محسّن لأنواع التحميل المختلط في وحدة تخزين واحدة؛
- آليات مرنة لإدارة موثوقية التخزين؛
- مخططات تنسيق البيانات القابلة للتخصيص (التوزيع عبر أنواع مختلفة من الذاكرة الموجودة في وحدة التخزين)؛
- مكتبة ذات واجهة برمجة تطبيقات C يمكنها الارتباط ديناميكيًا بأي تطبيق؛
- القدرة على التوسع إلى تيرابايت من البيانات ومئات المليارات من المفاتيح المخزنة؛
- معالجة فعالة لآلاف العمليات المتوازية؛
- زيادة كبيرة في الإنتاجية وتقليل زمن الوصول وزيادة أداء الكتابة/القراءة لأنواع مختلفة من أعباء العمل مقارنة بالحلول البديلة القياسية؛
- القدرة على استخدام محركات أقراص SSD من فئات مختلفة في وحدة تخزين واحدة لتحسين الأداء والمتانة.
المصدر: opennet.ru