माइक्रोन खुला स्रोत HSE भण्डारण इन्जिन SSD को लागी अनुकूलित

माइक्रोन टेक्नोलोजी, एक DRAM र फ्ल्यास मेमोरी कम्पनी, प्रस्तुत नयाँ भण्डारण इन्जिन HSE (Heterogeneous-मेमोरी भण्डारण इन्जिन), NAND फ्लैश (X100, TLC, QLC 3D NAND) वा स्थायी मेमोरी (NVDIMM) मा आधारित SSD ड्राइभहरूमा प्रयोगको विशिष्टतालाई ध्यानमा राखेर डिजाइन गरिएको। इन्जिनलाई अन्य अनुप्रयोगहरूमा इम्बेड गर्नको लागि पुस्तकालयको रूपमा डिजाइन गरिएको छ र कुञ्जी-मान ढाँचामा प्रशोधन डाटालाई समर्थन गर्दछ। HSE कोड C र मा लेखिएको छ द्वारा वितरित Apache 2.0 अन्तर्गत इजाजतपत्र प्राप्त।

इन्जिन प्रयोग गर्ने क्षेत्रहरू मध्ये, NoSQL DBMS मा निम्न-स्तरको डाटा भण्डारण, सफ्टवेयर भण्डारण (SDS, सफ्टवेयर-परिभाषित भण्डारण) जस्तै Ceph र Scality RING, ठूलो मात्रामा डाटा प्रशोधन गर्ने प्लेटफर्महरू (बिग डाटा) लाई उल्लेख गरिएको छ। , उच्च प्रदर्शन कम्प्युटिङ प्रणाली (HPC), चीजहरूको इन्टरनेट उपकरणहरू (IoT) र मेसिन लर्निङ प्रणालीहरूको लागि समाधान।

HSE अधिकतम कार्यसम्पादनका लागि मात्र नभई विभिन्न SSD कक्षाहरूमा दीर्घायुका लागि पनि अप्टिमाइज गरिएको छ। हाइब्रिड भण्डारण मोडेल मार्फत उच्च अपरेटिङ गति प्राप्त हुन्छ - सबैभन्दा सान्दर्भिक डाटा RAM मा क्यास गरिएको छ, जसले ड्राइभमा पहुँचहरूको संख्या घटाउँछ। तेस्रो-पक्ष परियोजनाहरूमा नयाँ इन्जिन एकीकृत गर्ने उदाहरणको रूपमा तयार कागजात-उन्मुख DBMS MongoDB को संस्करण, HSE प्रयोग गर्न अनुवाद गरिएको।

प्राविधिक रूपमा, HSE एक अतिरिक्त कर्नेल मोड्युलमा निर्भर गर्दछ mpool, जसले ठोस-स्टेट ड्राइभहरूको लागि एक विशेष वस्तु भण्डारण इन्टरफेस लागू गर्दछ, तिनीहरूको क्षमता र सुविधाहरूलाई ध्यानमा राख्दै, जसले तपाईंलाई मौलिक रूपमा फरक प्रदर्शन र स्थायित्व विशेषताहरू प्राप्त गर्न अनुमति दिन्छ। Mpool माइक्रोन टेक्नोलोजीको विकास पनि हो, HSE को रूपमा एकै समयमा खुला, तर एक स्वतन्त्र पूर्वाधार परियोजनामा ​​विभाजित। Mpool प्रयोग मान्छ निरन्तर स्मृति и क्षेत्रीय भण्डारण सुविधाहरू, तर हाल मात्र परम्परागत SSD लाई समर्थन गर्दछ।

प्याकेज प्रयोग गरेर प्रदर्शन परीक्षण YCSB (याहू क्लाउड सर्भिङ बेन्चमार्क) ले 2 KB डाटा ब्लकहरू प्रशोधन गर्दै 1 TB भण्डारण प्रयोग गर्दा कार्यसम्पादनमा उल्लेखनीय वृद्धि देखाएको छ। पढ्न र लेख्ने कार्यहरूको एक समान वितरण (ग्राफमा "A" परीक्षण) को साथ परीक्षणमा विशेष रूपमा महत्त्वपूर्ण प्रदर्शन वृद्धि देखाइएको छ।

उदाहरणका लागि, HSE इन्जिन भएको MongoDB मानक WiredTiger इन्जिन भएको संस्करणको तुलनामा लगभग 8 गुणा छिटो भयो, र RocksDB DBMS HSE इन्जिन भन्दा ६ गुणा बढी छिटो थियो। 6% पढ्ने अपरेसनहरू र 95% परिमार्जन वा संलग्न अपरेशनहरू (ग्राफहरूमा "B" र "D" परीक्षणहरू) समावेश भएका परीक्षणहरूमा उत्कृष्ट प्रदर्शन पनि देखिन्छ। परीक्षण सी, जसमा केवल पढ्ने अपरेशनहरू समावेश छन्, लगभग 5% को लाभ देखाउँछ। RocksDB मा आधारित समाधानको तुलनामा लेखन अपरेसनहरूको समयमा SSD ड्राइभहरूको जीविततामा वृद्धि 40 गुणा हुने अनुमान गरिएको छ।

HSE को मुख्य विशेषताहरु:

• कुञ्जी/मान ढाँचामा डाटा प्रशोधन गर्न मानक र विस्तारित अपरेटरहरूको लागि समर्थन;
• लेनदेनको लागि पूर्ण समर्थन र स्न्यापसटहरू सिर्जना गरेर भण्डारण स्लाइसहरू अलग गर्ने क्षमताको साथ (स्न्यापसटहरू पनि एक भण्डारमा स्वतन्त्र संग्रहहरू कायम राख्न प्रयोग गर्न सकिन्छ);
• स्न्यापसट-आधारित दृश्यहरूमा डेटा ट्र्याभर गर्न कर्सरहरू प्रयोग गर्ने क्षमता;
• एकल भण्डारणमा मिश्रित लोड प्रकारहरूको लागि अनुकूलित डाटा मोडेल;
• भण्डारण विश्वसनीयता व्यवस्थापन गर्न लचिलो संयन्त्र;
• अनुकूलन योग्य डाटा अर्केस्ट्रेशन योजनाहरू (भण्डारमा उपस्थित विभिन्न प्रकारका मेमोरीहरूमा वितरण);
• C API को साथ एक पुस्तकालय जुन गतिशील रूपमा कुनै पनि अनुप्रयोगमा लिङ्क गर्न सक्छ;
• डाटाको टेराबाइट मापन गर्ने क्षमता र भण्डारणमा सयौं बिलियन कुञ्जीहरू;
• हजारौं समानान्तर कार्यहरूको कुशल प्रशोधन;
• मानक वैकल्पिक समाधानहरूको तुलनामा विभिन्न प्रकारका कार्यभारका लागि थ्रुपुटमा उल्लेखनीय वृद्धि, कम विलम्बता र लेखन/पढ्ने कार्यसम्पादन वृद्धि;
• प्रदर्शन र स्थायित्व अनुकूलन गर्न एक भण्डारणमा विभिन्न वर्गहरूको SSD ड्राइभहरू प्रयोग गर्ने क्षमता।

स्रोत: opennet.ru