मायक्रॉन ओपन सोर्स केलेले HSE स्टोरेज इंजिन SSD साठी ऑप्टिमाइझ केले आहे

मायक्रोन टेक्नॉलॉजी, एक DRAM आणि फ्लॅश मेमरी कंपनी, सादर नवीन स्टोरेज इंजिन एचएसई (विषम-मेमरी स्टोरेज इंजिन), NAND फ्लॅश (X100, TLC, QLC 3D NAND) किंवा कायमस्वरूपी मेमरी (NVDIMM) वर आधारित SSD ड्राइव्हवरील वापराचे तपशील लक्षात घेऊन डिझाइन केलेले. इंजिन इतर ऍप्लिकेशन्समध्ये एम्बेड करण्यासाठी लायब्ररी म्हणून डिझाइन केले आहे आणि की-व्हॅल्यू फॉरमॅटमध्ये प्रोसेसिंग डेटाला समर्थन देते. HSE कोड C आणि मध्ये लिहिलेला आहे द्वारा वितरित Apache 2.0 अंतर्गत परवानाकृत.

इंजिनच्या वापराच्या क्षेत्रांमध्ये, NoSQL DBMS मधील निम्न-स्तरीय डेटा स्टोरेज, सॉफ्टवेअर स्टोरेज (SDS, सॉफ्टवेअर-परिभाषित स्टोरेज) जसे की Ceph आणि Scality RING, मोठ्या प्रमाणात डेटा प्रक्रिया करण्यासाठी प्लॅटफॉर्म (बिग डेटा) यांचा उल्लेख केला जातो. , उच्च-कार्यक्षमता संगणकीय प्रणाली (HPC), इंटरनेट डिव्हाइसेस ऑफ थिंग्ज (IoT) आणि मशीन लर्निंग सिस्टमसाठी उपाय.

HSE केवळ कमाल कार्यक्षमतेसाठीच नव्हे तर विविध SSD वर्गांमध्ये दीर्घायुष्यासाठीही अनुकूल आहे. हायब्रिड स्टोरेज मॉडेलद्वारे उच्च ऑपरेटिंग गती प्राप्त केली जाते - सर्वात संबंधित डेटा RAM मध्ये कॅश केला जातो, ज्यामुळे ड्राइव्हवरील प्रवेशांची संख्या कमी होते. तृतीय-पक्ष प्रकल्पांमध्ये नवीन इंजिन समाकलित करण्याचे उदाहरण म्हणून तयार दस्तऐवज-देणारं DBMS MongoDB ची आवृत्ती, HSE वापरण्यासाठी भाषांतरित.

तांत्रिकदृष्ट्या, HSE अतिरिक्त कर्नल मॉड्यूलवर अवलंबून आहे mpool, जे सॉलिड-स्टेट ड्राइव्हसाठी एक विशेष ऑब्जेक्ट स्टोरेज इंटरफेस लागू करते, त्यांची क्षमता आणि वैशिष्ट्ये विचारात घेऊन, जे आपल्याला मूलभूतपणे भिन्न कार्यप्रदर्शन आणि टिकाऊपणा वैशिष्ट्ये प्राप्त करण्यास अनुमती देते. Mpool हा मायक्रोन तंत्रज्ञानाचा विकास देखील आहे, जो HSE प्रमाणेच उघडला आहे, परंतु स्वतंत्र पायाभूत सुविधा प्रकल्पात विभक्त आहे. Mpool वापर गृहीत धरते सतत स्मृती и झोनल स्टोरेज सुविधा, परंतु सध्या फक्त पारंपारिक SSD चे समर्थन करते.

पॅकेज वापरून कामगिरी चाचणी YCSB (याहू क्लाउड सर्व्हिंग बेंचमार्क) ने 2 KB डेटा ब्लॉक्सवर प्रक्रिया करून 1 TB स्टोरेज वापरताना कामगिरीमध्ये लक्षणीय वाढ दर्शविली. वाचन आणि लेखन ऑपरेशन्सच्या एकसमान वितरणासह चाचणीमध्ये विशेषतः लक्षणीय कामगिरी वाढ दिसून येते (ग्राफमध्ये चाचणी "A").

उदाहरणार्थ, एचएसई इंजिनसह मोंगोडीबी मानक वायर्ड टायगर इंजिनच्या आवृत्तीपेक्षा सुमारे 8 पट वेगवान होते आणि रॉक्सडीबी डीबीएमएस एचएसई इंजिनपेक्षा 6 पटीने अधिक वेगवान होते. 95% रीड ऑपरेशन्स आणि 5% ऑपरेशन्स सुधारित किंवा जोडल्या जाणार्‍या चाचण्यांमध्ये देखील उत्कृष्ट कामगिरी दिसून येते (आलेखांमध्ये “B” आणि “D” चाचण्या). चाचणी सी, ज्यामध्ये फक्त वाचन ऑपरेशन्सचा समावेश आहे, अंदाजे 40% वाढ दर्शवते. RocksDB वर आधारित सोल्यूशनच्या तुलनेत लेखन ऑपरेशन्स दरम्यान SSD ड्राइव्हच्या टिकून राहण्याच्या क्षमतेत 7 पट वाढ झाल्याचा अंदाज आहे.

HSE ची प्रमुख वैशिष्ट्ये:

• की/मूल्य स्वरूपात डेटा हाताळण्यासाठी जेनेरिक आणि विस्तारित ऑपरेटरसाठी समर्थन;
• व्यवहारांसाठी पूर्ण समर्थन आणि स्नॅपशॉट्सच्या निर्मितीद्वारे स्टोरेज स्लाइस वेगळे करण्याच्या क्षमतेसह (स्नॅपशॉट्सचा वापर एका स्टोरेजमध्ये स्वतंत्र संग्रह राखण्यासाठी देखील केला जाऊ शकतो);
• स्नॅपशॉट-आधारित दृश्यांमध्ये डेटा ट्रॅव्हर्स करण्यासाठी कर्सर वापरण्याची क्षमता;
• एका स्टोरेजमध्ये मिश्रित वर्कलोड प्रकारांसाठी ऑप्टिमाइझ केलेले डेटा मॉडेल;
• लवचिक स्टोरेज विश्वसनीयता व्यवस्थापन यंत्रणा;
• सानुकूल करण्यायोग्य डेटा ऑर्केस्ट्रेशन योजना (स्टोरेजमध्ये उपस्थित असलेल्या विविध प्रकारच्या मेमरीमध्ये वितरण);
• C API असलेली लायब्ररी जी डायनॅमिकली कोणत्याही ऍप्लिकेशनशी लिंक करू शकते;
• टेराबाइट डेटा आणि शेकडो अब्जावधी कळा स्टोरेजमध्ये मोजण्याची क्षमता;
• हजारो समांतर ऑपरेशन्सची कार्यक्षम प्रक्रिया;
• मानक पर्यायी उपायांच्या तुलनेत थ्रूपुटमध्ये लक्षणीय वाढ, कमी विलंब आणि विविध प्रकारच्या वर्कलोडसाठी लेखन/वाचन कार्यक्षमता वाढली;
• कार्यप्रदर्शन आणि टिकाऊपणा ऑप्टिमाइझ करण्यासाठी एका स्टोरेजमध्ये विविध वर्गांचे SSD ड्राइव्ह वापरण्याची क्षमता.

स्त्रोत: opennet.ru