مائکرون ٹیکنالوجی، ایک DRAM اور فلیش میموری کمپنی، نیا اسٹوریج انجن (Heterogeneous-میموری اسٹوریج انجن)، NAND فلیش (X100، TLC، QLC 3D NAND) یا مستقل میموری (NVDIMM) پر مبنی SSD ڈرائیوز پر استعمال کی تفصیلات کو مدنظر رکھتے ہوئے ڈیزائن کیا گیا ہے۔ انجن کو دیگر ایپلی کیشنز میں سرایت کرنے کے لیے ایک لائبریری کے طور پر ڈیزائن کیا گیا ہے اور کلیدی قدر کی شکل میں ڈیٹا پروسیسنگ کی حمایت کرتا ہے۔ HSE کوڈ C اور میں لکھا ہوا ہے۔ اپاچی 2.0 کے تحت لائسنس یافتہ۔
انجن کے اطلاق کے شعبوں میں، NoSQL DBMS میں نچلے درجے کے ڈیٹا اسٹوریج، سافٹ ویئر سٹوریجز (SDS، سافٹ ویئر ڈیفائنڈ سٹوریج) جیسے Ceph اور Scality RING، ڈیٹا کی بڑی مقدار پر کارروائی کرنے کے پلیٹ فارمز (بگ ڈیٹا) کا ذکر ہے۔ ، اعلی کارکردگی والے کمپیوٹنگ سسٹمز (HPC)، چیزوں کے انٹرنیٹ ڈیوائسز (IoT) اور مشین لرننگ سسٹمز کے حل۔
HSE نہ صرف زیادہ سے زیادہ کارکردگی کے لیے، بلکہ SSD کی مختلف کلاسوں میں لمبی عمر کے لیے بھی موزوں ہے۔ ہائبرڈ سٹوریج ماڈل کے ذریعے ہائی آپریٹنگ سپیڈ حاصل کی جاتی ہے - سب سے زیادہ متعلقہ ڈیٹا RAM میں محفوظ کیا جاتا ہے، جس سے ڈرائیو تک رسائی کی تعداد کم ہو جاتی ہے۔ تیسری پارٹی کے منصوبوں میں ایک نئے انجن کو ضم کرنے کی مثال کے طور پر دستاویز پر مبنی DBMS MongoDB کا ایک ورژن، HSE استعمال کرنے کے لیے ترجمہ کیا گیا ہے۔
تکنیکی طور پر، HSE ایک اضافی کرنل ماڈیول پر انحصار کرتا ہے۔ ، جو سالڈ اسٹیٹ ڈرائیوز کے لیے ایک خصوصی آبجیکٹ اسٹوریج انٹرفیس کو لاگو کرتا ہے، ان کی صلاحیتوں اور خصوصیات کو مدنظر رکھتے ہوئے، جو آپ کو بنیادی طور پر مختلف کارکردگی اور پائیداری کی خصوصیات حاصل کرنے کی اجازت دیتا ہے۔ ایمپول مائکرون ٹکنالوجی کی ترقی بھی ہے ، جو HSE کے ساتھ ہی کھلی ہے ، لیکن ایک آزاد انفراسٹرکچر پروجیکٹ میں الگ ہے۔ ایمپول استعمال کو فرض کرتا ہے۔ и ، لیکن فی الحال صرف روایتی SSDs کو سپورٹ کرتا ہے۔
پیکیج کا استعمال کرتے ہوئے کارکردگی کی جانچ (Yahoo Cloud Serving Benchmark) نے 2 KB ڈیٹا بلاکس کی پروسیسنگ کے ساتھ 1 TB اسٹوریج استعمال کرنے پر کارکردگی میں نمایاں اضافہ دکھایا۔ پڑھنے اور لکھنے کے عمل کی یکساں تقسیم کے ساتھ ٹیسٹ میں کارکردگی میں خاص طور پر نمایاں اضافہ دیکھا گیا ہے (گراف میں ٹیسٹ "A")۔
مثال کے طور پر، HSE انجن کے ساتھ MongoDB معیاری WiredTiger انجن والے ورژن سے تقریباً 8 گنا تیز نکلا، اور RocksDB DBMS HSE انجن سے 6 گنا زیادہ تیز تھا۔ بہترین کارکردگی ان ٹیسٹوں میں بھی نظر آتی ہے جن میں 95% ریڈ آپریشنز شامل ہوتے ہیں اور 5% ترمیم یا منسلک آپریشنز (گرافس میں "B" اور "D" ٹیسٹ)۔ ٹیسٹ C، جس میں صرف پڑھنے کے آپریشن شامل ہیں، تقریباً 40% کا فائدہ ظاہر کرتا ہے۔ RocksDB پر مبنی حل کے مقابلے رائٹ آپریشنز کے دوران SSD ڈرائیوز کی بقا میں اضافے کا تخمینہ 7 گنا ہے۔
HSE کی اہم خصوصیات:
- کلیدی/ویلیو فارمیٹ میں ڈیٹا کی پروسیسنگ کے لیے معیاری اور توسیعی آپریٹرز کے لیے تعاون؛
- لین دین کے لیے مکمل تعاون اور اسنیپ شاٹس کی تخلیق کے ذریعے سٹوریج کے سلائسز کو الگ کرنے کی صلاحیت کے ساتھ (اسنیپ شاٹس کو ایک اسٹوریج میں آزاد کلیکشن کو برقرار رکھنے کے لیے بھی استعمال کیا جا سکتا ہے)؛
- اسنیپ شاٹ پر مبنی مناظر میں ڈیٹا کو عبور کرنے کے لیے کرسر استعمال کرنے کی اہلیت؛
- ایک ہی اسٹوریج میں مخلوط بوجھ کی اقسام کے لیے موزوں ڈیٹا ماڈل؛
- سٹوریج کی وشوسنییتا کے انتظام کے لیے لچکدار طریقہ کار؛
- حسب ضرورت ڈیٹا آرکیسٹریشن اسکیمیں (اسٹوریج میں موجود میموری کی مختلف اقسام میں تقسیم)؛
- C API کے ساتھ ایک لائبریری جو متحرک طور پر کسی بھی ایپلیکیشن سے لنک کر سکتی ہے۔
- ڈیٹا کے ٹیرا بائٹس تک پیمانہ کرنے کی صلاحیت اور اسٹوریج میں سیکڑوں بلین کیز؛
- ہزاروں متوازی کارروائیوں کی موثر پروسیسنگ؛
- معیاری متبادل حل کے مقابلے میں مختلف قسم کے کام کے بوجھ کے لیے تھرو پٹ میں نمایاں اضافہ، تاخیر میں کمی اور لکھنے/پڑھنے کی کارکردگی میں اضافہ؛
- کارکردگی اور استحکام کو بہتر بنانے کے لیے ایک اسٹوریج میں مختلف کلاسز کی SSD ڈرائیوز استعمال کرنے کی صلاحیت۔
ماخذ: opennet.ru