LizardFS 3.13.0-rc2 क्लस्टर फ़ाइल सिस्टम अद्यतन

विकास में एक साल की लंबी सुस्ती के बाद फिर से शुरू दोष-सहिष्णु वितरित फ़ाइल सिस्टम की एक नई शाखा पर काम कर रहा हूँ छिपकलीएफ 3.13 и प्रकाशित दूसरा रिलीज़ उम्मीदवार. हाल ही में हुआ लिज़र्डएफएस विकसित करने वाली कंपनी के मालिकों में बदलाव, नया प्रबंधन अपनाया गया और डेवलपर्स को बदल दिया गया। पिछले दो वर्षों से, परियोजना को समुदाय से हटा लिया गया है और इस पर पर्याप्त ध्यान नहीं दिया गया है, लेकिन नई टीम समुदाय के साथ पिछले संबंधों को पुनर्जीवित करने और इसके साथ घनिष्ठ संपर्क स्थापित करने का इरादा रखती है। प्रोजेक्ट कोड C और C++ भाषाओं में लिखा गया है और द्वारा वितरित GPLv3 लाइसेंस के अंतर्गत.

छिपकली है एक वितरित क्लस्टर फ़ाइल सिस्टम, जो आपको विभिन्न सर्वरों पर डेटा वितरित करने की अनुमति देता है, लेकिन एक बड़े विभाजन के रूप में उन तक पहुंच प्रदान करता है, जिसके साथ पारंपरिक डिस्क विभाजन के समान तरीके से काम किया जाता है। LizardFS के साथ एक माउंटेड विभाजन POSIX फ़ाइल विशेषताओं, ACL, लॉक, सॉकेट, पाइप, डिवाइस फ़ाइलें, प्रतीकात्मक और हार्ड लिंक का समर्थन करता है। सिस्टम में विफलता का एक भी बिंदु नहीं है; सभी घटक अनावश्यक हैं। डेटा संचालन का समानांतरकरण समर्थित है (कई क्लाइंट एक साथ फ़ाइलों तक पहुंच सकते हैं)।

दोष सहिष्णुता सुनिश्चित करने के लिए, डेटा को प्रतिकृतियों में विभाजित किया जाता है, जिन्हें अतिरेक के साथ विभिन्न नोड्स में वितरित किया जाता है (कई प्रतियां अलग-अलग नोड्स पर रखी जाती हैं); यदि नोड्स या ड्राइव विफल हो जाते हैं, तो सिस्टम जानकारी के नुकसान के बिना काम करना जारी रखता है और स्वचालित रूप से डेटा को पुनर्वितरित करता है शेष नोड्स को ध्यान में रखते हुए। भंडारण का विस्तार करने के लिए, रखरखाव के लिए काम को रोके बिना इसमें नए नोड्स को जोड़ना पर्याप्त है (सिस्टम स्वयं डेटा के हिस्से को नए सर्वर पर दोहराता है और नए सर्वर को ध्यान में रखते हुए भंडारण को संतुलित करता है)। आप क्लस्टर के आकार को कम करने के लिए भी ऐसा कर सकते हैं - आप सिस्टम से हटाए जा रहे अप्रचलित उपकरण को आसानी से अक्षम कर सकते हैं।

डेटा और मेटाडेटा अलग-अलग संग्रहीत किए जाते हैं। संचालन के लिए, मास्टर-स्लेव मोड में काम करने वाले दो मेटाडेटा सर्वर, साथ ही कम से कम दो डेटा स्टोरेज सर्वर (चंकसर्वर) स्थापित करने की अनुशंसा की जाती है। इसके अतिरिक्त, मेटाडेटा का बैकअप लेने के लिए, लॉग सर्वर का उपयोग मेटाडेटा में परिवर्तनों के बारे में जानकारी संग्रहीत करने के लिए किया जा सकता है और आपको सभी मौजूदा मेटाडेटा सर्वरों के क्षतिग्रस्त होने की स्थिति में संचालन बहाल करने की अनुमति देता है। प्रत्येक फ़ाइल को 64 एमबी तक के ब्लॉकों (खंडों) में विभाजित किया गया है। ब्लॉक को चयनित प्रतिकृति मोड के अनुसार स्टोरेज सर्वर के बीच वितरित किया जाता है: मानक (अलग-अलग नोड्स पर रखी जाने वाली प्रतियों की संख्या का स्पष्ट निर्धारण, जिसमें व्यक्तिगत निर्देशिकाओं के संबंध में - महत्वपूर्ण डेटा के लिए प्रतियों की संख्या बढ़ाई जा सकती है, और के लिए) महत्वहीन डेटा कम हो गया), XOR (RAID5 ) और EC (RAID6)।

भंडारण पेटाबाइट आकार तक बढ़ सकता है। अनुप्रयोग के क्षेत्रों में संग्रहण, वर्चुअल मशीन छवियों का भंडारण, मल्टीमीडिया डेटा, बैकअप, डीआरसी (आपदा रिकवरी सेंटर) के रूप में उपयोग और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर में भंडारण शामिल है। LizardFS किसी भी आकार की फ़ाइलों के लिए बहुत उच्च पढ़ने की गति प्रदान करता है, और लिखते समय, यह संपूर्ण बड़ी और मध्यम आकार की फ़ाइलों को लिखते समय अच्छा प्रदर्शन दिखाता है, जब कोई निरंतर संशोधन नहीं होता है, खुली फ़ाइलों के साथ गहन काम होता है, और एक बार के संचालन के साथ छोटी फ़ाइलों का समूह.

एफएस की विशेषताओं के बीच, कोई स्नैपशॉट के लिए समर्थन की उपस्थिति, एक निश्चित समय पर फ़ाइलों की स्थिति को दर्शाता है, और "रीसायकल बिन" के अंतर्निहित कार्यान्वयन को भी नोट कर सकता है (फ़ाइलें तुरंत हटाई नहीं जाती हैं और इसके लिए उपलब्ध हैं) कुछ समय के लिए पुनर्प्राप्ति)। किसी विभाजन तक पहुंच आईपी पते या पासवर्ड (एनएफएस के समान) द्वारा सीमित की जा सकती है। सेवा प्रबंधन तंत्र का कोटा और गुणवत्ता है जो आपको कुछ श्रेणियों के उपयोगकर्ताओं के लिए आकार और बैंडविड्थ को सीमित करने की अनुमति देता है। भौगोलिक रूप से वितरित भंडारण सुविधाएं बनाना संभव है, जिनके खंड विभिन्न डेटा केंद्रों में स्थित हैं।

लिज़र्डएफएस परियोजना की स्थापना 2013 में एक कांटे के रूप में की गई थी मूसएफएस, और मुख्य रूप से रीड-सोलोमन त्रुटि सुधार कोड (रेडज़एन के अनुरूप), विस्तारित एसीएल समर्थन, विंडोज प्लेटफ़ॉर्म के लिए क्लाइंट की उपस्थिति, अतिरिक्त अनुकूलन (उदाहरण के लिए, क्लाइंट को संयोजित करते समय) पर आधारित प्रतिकृति मोड की उपस्थिति में भिन्न होता है। एक स्टोरेज सर्वर, ब्लॉक, यदि संभव हो तो, वर्तमान नोड के साथ भेजे जाते हैं, और मेटाडेटा को मेमोरी में कैश किया जाता है), एक अधिक लचीली कॉन्फ़िगरेशन प्रणाली, डेटा रीड-फॉरवर्ड, निर्देशिका कोटा और आंतरिक पुनः कार्य के लिए समर्थन।

LizardFS 3.13.0 दिसंबर के अंत में रिलीज़ होने वाली है। लिज़र्डएफएस 3.13 का मुख्य नवाचार दोष सहनशीलता सुनिश्चित करने के लिए सर्वसम्मति एल्गोरिदम का उपयोग है (विफलता के मामले में मास्टर सर्वर को स्विच करना) बेड़ा (यूराफ्ट के हमारे स्वयं के कार्यान्वयन का उपयोग करता है, जिसका उपयोग पहले वाणिज्यिक उत्पादों में किया जाता था)। यूराफ्ट का उपयोग कॉन्फ़िगरेशन को सरल बनाता है और विफलता पुनर्प्राप्ति विलंब को कम करता है, लेकिन इसके लिए कम से कम तीन कार्यशील नोड्स की आवश्यकता होती है, जिनमें से एक का उपयोग कोरम के लिए किया जाता है।

अन्य परिवर्तन: FUSE3 सबसिस्टम पर आधारित एक नया क्लाइंट, त्रुटि सुधार के साथ समस्याओं का समाधान, nfs-ganesha प्लगइन को C भाषा में फिर से लिखा गया है। अद्यतन 3.13.0-आरसी2 कई महत्वपूर्ण बगों को ठीक करता है जिसने 3.13 शाखा के पिछले परीक्षण रिलीज़ को अनुपयोगी बना दिया है (3.12 शाखा के लिए सुधार अभी तक प्रकाशित नहीं हुए हैं, और 3.12 से 3.13 तक अद्यतन अभी भी पूर्ण डेटा हानि की ओर ले जाता है)।

2020 में विकास पर फोकस रहेगा
अगम, एक नया पूरी तरह से पुनः लिखित लिज़र्डएफएस कर्नेल, जो डेवलपर्स के अनुसार, शाखा 3.12 की तुलना में प्रदर्शन में तीन गुना वृद्धि प्रदान करेगा। अगामा एक घटना-संचालित वास्तुकला, अतुल्यकालिक इनपुट/आउटपुट आधारित में परिवर्तित हो जाएगा asio, मुख्य रूप से उपयोगकर्ता स्थान में काम करें (कर्नेल कैशिंग तंत्र पर निर्भरता कम करने के लिए)। इसके अतिरिक्त, एक नया डिबगिंग सबसिस्टम और प्रदर्शन ऑटो-ट्यूनिंग के समर्थन के साथ एक नेटवर्क गतिविधि विश्लेषक की पेशकश की जाएगी।

लिज़र्डएफएस क्लाइंट संस्करण लेखन कार्यों के लिए पूर्ण समर्थन जोड़ देगा, जो आपदा पुनर्प्राप्ति की विश्वसनीयता में सुधार करेगा, विभिन्न ग्राहकों द्वारा एक ही डेटा तक पहुंच साझा करने पर उत्पन्न होने वाली समस्याओं का समाधान करेगा, और महत्वपूर्ण प्रदर्शन सुधार की अनुमति देगा। क्लाइंट को उपयोगकर्ता स्थान में संचालित अपने स्वयं के नेटवर्क सबसिस्टम में स्थानांतरित कर दिया जाएगा। अगामा पर आधारित लिज़र्डएफएस का पहला कार्यशील प्रोटोटाइप 2020 की दूसरी तिमाही में तैयार होने की योजना है। साथ ही, वे कुबेरनेट्स प्लेटफ़ॉर्म के साथ लिज़र्डएफएस को एकीकृत करने के लिए उपकरण लागू करने का वादा करते हैं।

स्रोत: opennet.ru