एसएसडी के लिए अनुकूलित माइक्रोन ओपन सोर्स एचएसई स्टोरेज इंजन

माइक्रोन टेक्नोलॉजी, एक डीआरएएम और फ्लैश मेमोरी कंपनी, प्रस्तुत नया भंडारण इंजन एचएसई (विषम-मेमोरी स्टोरेज इंजन), NAND फ़्लैश (X100, TLC, QLC 3D NAND) या स्थायी मेमोरी (NVDIMM) पर आधारित SSD ड्राइव पर उपयोग की विशिष्टताओं को ध्यान में रखते हुए डिज़ाइन किया गया है। इंजन को अन्य अनुप्रयोगों में एम्बेड करने के लिए एक लाइब्रेरी के रूप में डिज़ाइन किया गया है और कुंजी-मूल्य प्रारूप में डेटा प्रोसेसिंग का समर्थन करता है। एचएसई कोड सी और में लिखा गया है द्वारा वितरित अपाचे 2.0 के तहत लाइसेंस प्राप्त।

इंजन के अनुप्रयोग के क्षेत्रों में, NoSQL DBMS में निम्न-स्तरीय डेटा भंडारण, सॉफ्टवेयर स्टोरेज (एसडीएस, सॉफ्टवेयर-डिफाइंड स्टोरेज) जैसे कि सेफ और स्केलिटी रिंग, बड़ी मात्रा में डेटा संसाधित करने के लिए प्लेटफॉर्म (बिग डेटा) का उल्लेख किया गया है। , उच्च-प्रदर्शन कंप्यूटिंग सिस्टम (एचपीसी), इंटरनेट डिवाइसेज ऑफ थिंग्स (आईओटी) और मशीन लर्निंग सिस्टम के लिए समाधान।

एचएसई को न केवल अधिकतम प्रदर्शन के लिए, बल्कि विभिन्न एसएसडी वर्गों में दीर्घायु के लिए भी अनुकूलित किया गया है। हाइब्रिड स्टोरेज मॉडल के माध्यम से उच्च परिचालन गति प्राप्त की जाती है - सबसे प्रासंगिक डेटा रैम में कैश किया जाता है, जिससे ड्राइव तक पहुंच की संख्या कम हो जाती है। तीसरे पक्ष की परियोजनाओं में एक नए इंजन को एकीकृत करने के उदाहरण के रूप में तैयार दस्तावेज़-उन्मुख DBMS MongoDB का एक संस्करण, जिसका HSE में अनुवाद किया गया है।

तकनीकी रूप से, एचएसई एक अतिरिक्त कर्नेल मॉड्यूल पर निर्भर करता है एमपूल, जो सॉलिड-स्टेट ड्राइव के लिए उनकी क्षमताओं और विशेषताओं को ध्यान में रखते हुए एक विशेष ऑब्जेक्ट स्टोरेज इंटरफ़ेस लागू करता है, जो आपको मौलिक रूप से भिन्न प्रदर्शन और स्थायित्व विशेषताओं को प्राप्त करने की अनुमति देता है। एमपूल भी माइक्रोन टेक्नोलॉजी का एक विकास है, जो एचएसई के साथ ही खुला था, लेकिन एक स्वतंत्र बुनियादी ढांचा परियोजना में अलग हो गया। एमपूल उपयोग मानता है लगातार स्मृति и क्षेत्रीय भंडारण सुविधाएं, लेकिन वर्तमान में केवल पारंपरिक SSDs का समर्थन करता है।

पैकेज का उपयोग करके प्रदर्शन परीक्षण वाईसीएसबी (याहू क्लाउड सर्विंग बेंचमार्क) ने 2 केबी डेटा ब्लॉक को संसाधित करने के साथ 1 टीबी स्टोरेज का उपयोग करने पर प्रदर्शन में उल्लेखनीय वृद्धि देखी। पढ़ने और लिखने के संचालन (ग्राफ़ में परीक्षण "ए") के एक समान वितरण के साथ परीक्षण में विशेष रूप से महत्वपूर्ण प्रदर्शन वृद्धि देखी गई है।

उदाहरण के लिए, HSE इंजन वाला MongoDB मानक वायर्डटाइगर इंजन वाले संस्करण की तुलना में लगभग 8 गुना तेज निकला, और RocksDB DBMS HSE इंजन की तुलना में 6 गुना से अधिक तेज था। उत्कृष्ट प्रदर्शन उन परीक्षणों में भी दिखाई देता है जिनमें 95% पढ़ने के संचालन और 5% संशोधित या जोड़ने के संचालन (ग्राफ़ में परीक्षण "बी" और "डी") शामिल हैं। टेस्ट सी, जिसमें केवल रीड ऑपरेशन शामिल है, लगभग 40% का लाभ दिखाता है। RocksDB पर आधारित समाधान की तुलना में लिखने के संचालन के दौरान SSD ड्राइव की उत्तरजीविता में 7 गुना वृद्धि का अनुमान है।

एचएसई की मुख्य विशेषताएं:

• कुंजी/मूल्य प्रारूप में डेटा संसाधित करने के लिए मानक और विस्तारित ऑपरेटरों के लिए समर्थन;
• लेनदेन के लिए पूर्ण समर्थन और स्नैपशॉट के निर्माण के माध्यम से भंडारण स्लाइस को अलग करने की क्षमता के साथ (स्नैपशॉट का उपयोग एक भंडारण में स्वतंत्र संग्रह बनाए रखने के लिए भी किया जा सकता है);
• स्नैपशॉट-आधारित दृश्यों में डेटा को पार करने के लिए कर्सर का उपयोग करने की क्षमता;
• एकल भंडारण में मिश्रित लोड प्रकारों के लिए अनुकूलित डेटा मॉडल;
• भंडारण विश्वसनीयता के प्रबंधन के लिए लचीले तंत्र;
• अनुकूलन योग्य डेटा ऑर्केस्ट्रेशन योजनाएं (भंडारण में मौजूद विभिन्न प्रकार की मेमोरी में वितरण);
• सी एपीआई वाली एक लाइब्रेरी जो गतिशील रूप से किसी भी एप्लिकेशन से लिंक कर सकती है;
• डेटा के टेराबाइट्स और भंडारण में सैकड़ों अरब चाबियों को स्केल करने की क्षमता;
• हजारों समानांतर परिचालनों का कुशल प्रसंस्करण;
• मानक वैकल्पिक समाधानों की तुलना में थ्रूपुट में उल्लेखनीय वृद्धि, कम विलंबता और विभिन्न प्रकार के कार्यभार के लिए लिखने/पढ़ने के प्रदर्शन में वृद्धि;
• प्रदर्शन और स्थायित्व को अनुकूलित करने के लिए एक ही स्टोरेज में विभिन्न वर्गों के एसएसडी ड्राइव का उपयोग करने की क्षमता।

स्रोत: opennet.ru