छोटी फ़ाइलों के लिए कॉम्पैक्ट स्टोरेज सर्वर, wZD 1.0.0 की पहली रिलीज़

उपलब्ध प्रथम संस्करण डब्ल्यूजेडडी 1.0.0 - बड़ी संख्या में फ़ाइलों को कॉम्पैक्ट रूप में कुशलतापूर्वक संग्रहीत करने के लिए एक सर्वर, जो बाहर से एक नियमित WebDAV सर्वर जैसा दिखता है। भंडारण के लिए एक संशोधित संस्करण का उपयोग किया जाता है बोल्टडीबी. प्रोजेक्ट कोड गो और में लिखा गया है द्वारा वितरित बीएसडी लाइसेंस के तहत.

सेवक यह अनुमति देता है पूर्ण लॉकिंग समर्थन के साथ नियमित या क्लस्टर फ़ाइल सिस्टम पर छोटी फ़ाइलों की संख्या को महत्वपूर्ण रूप से कम करें। WZD डेवलपर्स द्वारा समर्थित क्लस्टर क्लस्टर फ़ाइल सिस्टम में 250 मिलियन निर्देशिकाओं में वितरित लगभग 15 मिलियन छोटी फ़ाइलों को संग्रहीत करता है मूसएफएस.

wZD बोल्टडीबी प्रारूप में निर्देशिकाओं की सामग्री को अभिलेखागार में ले जाना (संग्रहीत करना) संभव बनाता है और फिर इन फ़ाइलों को इन अभिलेखागारों से वितरित करता है (या PUT विधि का उपयोग करके फ़ाइलों को अभिलेखागार में रखता है), जिससे फ़ाइल सिस्टम में फ़ाइलों की संख्या काफी कम हो जाती है और मेटाडेटा भंडारण के ओवरहेड को कम करना। बड़ी फ़ाइलों को संसाधित करने की दक्षता बढ़ाने के लिए, ऐसी फ़ाइलों को बोल्ट अभिलेखागार से अलग से सहेजा जा सकता है। यह दृष्टिकोण आपको फ़ाइल सिस्टम में इनोड की संख्या की सीमा तक सीमित हुए बिना बड़ी संख्या में छोटी फ़ाइलों के भंडारण को व्यवस्थित करने की अनुमति देता है।

सर्वर का उपयोग कुंजी/मूल्य प्रारूप में डेटा के लिए (निर्देशिका संरचना के आधार पर शार्डिंग के साथ) या डेटाबेस से पूर्व-निर्मित HTML या json दस्तावेज़ों को वितरित करने के लिए NoSQL डेटाबेस के रूप में भी किया जा सकता है। प्रदर्शन के संदर्भ में, बोल्ट अभिलेखागार का उपयोग करके डेटा भेजने और लिखने से पढ़ने के दौरान विलंबता में लगभग 20-25% और लिखते समय 40-50% की वृद्धि होती है। फ़ाइल का आकार जितना छोटा होगा, विलंबता में अंतर उतना ही कम होगा।

मुख्य सुनहरे अवसर:

• मल्टीथ्रेडिंग;
• मल्टीसर्वर, दोष सहनशीलता और भार संतुलन प्रदान करता है;
• उपयोगकर्ता या डेवलपर के लिए अधिकतम पारदर्शिता;
• समर्थित HTTP विधियाँ: प्राप्त करें, हेड करें, डालें और हटाएँ;
• क्लाइंट हेडर के माध्यम से पढ़ने और लिखने के व्यवहार का नियंत्रण;
• लचीले वर्चुअल होस्ट के लिए समर्थन;
• लिखते/पढ़ते समय सीआरसी डेटा अखंडता के लिए समर्थन;
• न्यूनतम मेमोरी खपत और इष्टतम नेटवर्क प्रदर्शन ट्यूनिंग के लिए अर्ध-गतिशील बफ़र्स;
• आस्थगित डेटा पैकेजिंग;
• इसके अलावा, एक बहु-थ्रेडेड संग्रहकर्ता की पेशकश की जाती है wZA सेवा को रोके बिना फ़ाइलों को बोल्ट अभिलेखागार में ले जाने के लिए।

वर्तमान रिलीज़ की कुछ सीमाएँ: मल्टीपार्ट, POST विधि, HTTPS प्रोटोकॉल, प्रोग्रामिंग भाषाओं के लिए बाइंडिंग, निर्देशिकाओं के पुनरावर्ती विलोपन के लिए कोई समर्थन नहीं है, WebDAV या FUSE, फ़ाइलों के माध्यम से फ़ाइल सिस्टम में संरचना को माउंट करने के लिए कोई समर्थन नहीं है एक सिस्टम उपयोगकर्ता के अंतर्गत संग्रहीत हैं। भंडारण प्रारूप वास्तुकला विशिष्ट है और लिटिल एंडियन और बिग एंडियन सिस्टम के बीच पोर्टेबल नहीं है। इस तथ्य के बावजूद कि wZD सर्वर HTTP प्रोटोकॉल के लिए समर्थन लागू करता है, इसे केवल रिवर्स प्रॉक्सी, जैसे कि nginx और haproxy की आड़ में लॉन्च करने की आवश्यकता है।

स्रोत: opennet.ru