LizardFS 3.13.0-rc2 क्लस्टर फाइल सिस्टम अपडेट

वर्षभराच्या मंद विकासानंतर पुन्हा सुरू केले दोष-सहिष्णु वितरित फाइल प्रणालीच्या नवीन शाखेवर कार्य करणे LizardF 3.13 и प्रकाशित दुसरा प्रकाशन उमेदवार. अलीकडे आली आहे लिझार्डएफएस विकसित करणार्‍या कंपनीच्या मालकांमध्ये बदल, नवीन व्यवस्थापन स्वीकारले गेले आणि विकसक बदलले गेले. गेल्या दोन वर्षांपासून हा प्रकल्प समाजाकडून काढून घेण्यात आला आहे आणि त्याकडे पुरेसे लक्ष दिले गेले नाही, परंतु नवीन संघाचा समाजाशी पूर्वीचा संबंध पुन्हा जिवंत करण्याचा आणि त्यांच्याशी जवळचा संवाद प्रस्थापित करण्याचा मानस आहे. प्रकल्प कोड C आणि C++ भाषांमध्ये लिहिलेला आहे आणि द्वारा वितरित GPLv3 परवान्या अंतर्गत.

लिझार्डएफएस तो आहे वितरित क्लस्टर फाइल सिस्टम, जी तुम्हाला वेगवेगळ्या सर्व्हरवर डेटा वितरीत करण्यास परवानगी देते, परंतु त्यांना एका मोठ्या विभाजनाच्या रूपात प्रवेश प्रदान करते, जे पारंपारिक डिस्क विभाजनांप्रमाणेच कार्य केले जाते. LizardFS सह माउंट केलेले विभाजन POSIX फाइल विशेषता, ACL, लॉक, सॉकेट्स, पाईप्स, डिव्हाइस फाइल्स, प्रतीकात्मक आणि हार्ड लिंक्सना समर्थन देते. सिस्टममध्ये अपयशाचा एकही बिंदू नाही; सर्व घटक निरर्थक आहेत. डेटा ऑपरेशन्सचे समांतरीकरण समर्थित आहे (अनेक क्लायंट एकाच वेळी फायलींमध्ये प्रवेश करू शकतात).

दोष सहिष्णुता सुनिश्चित करण्यासाठी, डेटाची प्रतिकृतींमध्ये विभागणी केली जाते, जी रिडंडंसीसह वेगवेगळ्या नोड्समध्ये वितरीत केली जाते (अनेक प्रती वेगवेगळ्या नोड्सवर ठेवल्या जातात); नोड्स किंवा ड्राइव्ह अयशस्वी झाल्यास, सिस्टम माहिती गमावल्याशिवाय कार्य करणे सुरू ठेवते आणि स्वयंचलितपणे डेटाचे पुनर्वितरण करते. उर्वरित नोड्स लक्षात घेऊन. स्टोरेजचा विस्तार करण्यासाठी, देखभालीसाठी काम न थांबवता नवीन नोड्स जोडणे पुरेसे आहे (सिस्टम स्वतःच नवीन सर्व्हरवर डेटाचा काही भाग प्रतिरूपित करते आणि नवीन सर्व्हर लक्षात घेऊन स्टोरेज संतुलित करते). क्लस्टरचा आकार कमी करण्यासाठी आपण असेच करू शकता - आपण सिस्टममधून काढले जाणारे अप्रचलित उपकरणे फक्त अक्षम करू शकता.

डेटा आणि मेटाडेटा स्वतंत्रपणे संग्रहित केले जातात. ऑपरेशनसाठी, मास्टर-स्लेव्ह मोडमध्ये कार्यरत असलेले दोन मेटाडेटा सर्व्हर तसेच किमान दोन डेटा स्टोरेज सर्व्हर (चंकसर्व्हर) स्थापित करण्याची शिफारस केली जाते. याव्यतिरिक्त, मेटाडेटा बॅकअप करण्यासाठी, मेटाडेटामधील बदलांबद्दल माहिती संचयित करण्यासाठी लॉग सर्व्हरचा वापर केला जाऊ शकतो आणि सर्व विद्यमान मेटाडेटा सर्व्हरचे नुकसान झाल्यास ऑपरेशन पुनर्संचयित करण्याची परवानगी देतो. प्रत्येक फाइल 64 MB पर्यंत आकारात ब्लॉक्स् (खंड) मध्ये विभागली जाते. निवडलेल्या प्रतिकृती मोडनुसार स्टोरेज सर्व्हरमध्ये ब्लॉक्स वितरीत केले जातात: मानक (वेगवेगळ्या नोड्सवर ठेवल्या जाणार्‍या प्रतींच्या संख्येचे स्पष्ट निर्धारण, वैयक्तिक डिरेक्टरीच्या संबंधात - महत्त्वाच्या डेटासाठी प्रतींची संख्या वाढवता येते, आणि बिनमहत्त्वाचा डेटा कमी केला आहे, XOR (RAID5 ) आणि EC (RAID6).

स्टोरेज पेटाबाइट आकारापर्यंत वाढू शकते. अनुप्रयोगाच्या क्षेत्रांमध्ये संग्रहण, व्हर्च्युअल मशीन प्रतिमांचे संचयन, मल्टीमीडिया डेटा, बॅकअप, DRC (डिझास्टर रिकव्हरी सेंटर) म्हणून वापर आणि उच्च-कार्यक्षमता संगणकीय क्लस्टर्समध्ये संग्रहण समाविष्ट आहे. LizardFS कोणत्याही आकाराच्या फायलींसाठी खूप उच्च वाचन गती प्रदान करते आणि लिहिताना, संपूर्ण मोठ्या आणि मध्यम आकाराच्या फायली लिहिताना ते चांगले कार्यप्रदर्शन दर्शवते, जेव्हा कोणतेही सतत बदल होत नाहीत, उघडलेल्या फायलींसह गहन काम आणि एक-वेळ ऑपरेशन्स लहान फाईल्सचा समूह.

FS च्या वैशिष्ट्यांपैकी, स्नॅपशॉटसाठी समर्थनाची उपस्थिती देखील लक्षात घेतली जाऊ शकते, विशिष्ट वेळी फायलींची स्थिती प्रतिबिंबित करते आणि "रीसायकल बिन" ची अंगभूत अंमलबजावणी (फायली त्वरित हटविल्या जात नाहीत आणि उपलब्ध आहेत. काही काळ पुनर्प्राप्ती). विभाजनाचा प्रवेश IP पत्ता किंवा पासवर्ड (NFS प्रमाणे) द्वारे मर्यादित असू शकतो. सेवा व्यवस्थापन यंत्रणेचा कोटा आणि गुणवत्ता आहे जी तुम्हाला वापरकर्त्यांच्या विशिष्ट श्रेणींसाठी आकार आणि बँडविड्थ मर्यादित करण्याची परवानगी देतात. भौगोलिकदृष्ट्या वितरित स्टोरेज सुविधा तयार करणे शक्य आहे, ज्याचे विभाग वेगवेगळ्या डेटा सेंटरमध्ये आहेत.

LizardFS प्रकल्पाची स्थापना 2013 मध्ये एक काटा म्हणून झाली MooseFS, आणि मुख्यतः रीड-सोलोमन एरर दुरूस्ती कोड (raidzN च्या अनुरूप), विस्तारित ACL समर्थन, Windows प्लॅटफॉर्मसाठी क्लायंटची उपस्थिती, अतिरिक्त ऑप्टिमायझेशन (उदाहरणार्थ, क्लायंट एकत्र करताना आणि स्टोरेज सर्व्हर, ब्लॉक्स, शक्य असल्यास, वर्तमान नोडसह पाठवले जातात, आणि मेटाडेटा मेमरीमध्ये कॅश केला जातो), अधिक लवचिक कॉन्फिगरेशन सिस्टम, डेटा रीड-अहेडसाठी समर्थन, निर्देशिका कोटा आणि अंतर्गत रीवर्क.

LizardFS 3.13.0 डिसेंबरच्या शेवटी रिलीज होणार आहे. LizardFS 3.13 चे मुख्य नाविन्य म्हणजे दोष सहिष्णुता सुनिश्चित करण्यासाठी सहमती अल्गोरिदमचा वापर (अपयश झाल्यास मास्टर सर्व्हर स्विच करणे) राफ्ट (आमच्या स्वतःच्या uRaf च्या अंमलबजावणीचा वापर करते, जे पूर्वी व्यावसायिक उत्पादनांमध्ये वापरले जात होते). uRaft वापरल्याने कॉन्फिगरेशन सुलभ होते आणि अयशस्वी पुनर्प्राप्ती विलंब कमी होतो, परंतु किमान तीन कार्यरत नोड्स आवश्यक असतात, त्यापैकी एक कोरमसाठी वापरला जातो.

इतर बदल: FUSE3 उपप्रणालीवर आधारित नवीन क्लायंट, त्रुटी सुधारणेसह समस्या सोडवणे, nfs-ganesha प्लगइन C भाषेत पुन्हा लिहिण्यात आले आहे. अद्यतन 3.13.0-rc2 अनेक गंभीर दोषांचे निराकरण करते ज्याने 3.13 शाखेचे मागील चाचणी प्रकाशन निरुपयोगी केले (3.12 शाखेचे निराकरण अद्याप प्रकाशित केले गेले नाही आणि 3.12 ते 3.13 पर्यंतचे अद्यतन अद्याप संपूर्ण डेटा गमावण्यास कारणीभूत आहे).

2020 मध्ये, काम विकसित करण्यावर भर दिला जाईल
आगमा, एक नवीन पूर्णपणे पुनर्लेखित LizardFS कर्नल, जे विकासकांच्या मते, शाखा 3.12 च्या तुलनेत कार्यक्षमतेत तिप्पट वाढ प्रदान करेल. आगमा इव्हेंट-चालित आर्किटेक्चरमध्ये संक्रमण करेल, असिंक्रोनस इनपुट/आउटपुट आधारित asio, प्रामुख्याने वापरकर्ता जागेत कार्य करा (कर्नल कॅशिंग यंत्रणेवरील अवलंबित्व कमी करण्यासाठी). याव्यतिरिक्त, एक नवीन डीबगिंग उपप्रणाली आणि कार्यप्रदर्शन स्वयं-ट्यूनिंगसाठी समर्थन असलेले नेटवर्क क्रियाकलाप विश्लेषक ऑफर केले जातील.

LizardFS क्लायंट आवृत्ती लेखन ऑपरेशनसाठी पूर्ण समर्थन जोडेल, जे आपत्ती पुनर्प्राप्तीची विश्वासार्हता सुधारेल, भिन्न क्लायंट समान डेटामध्ये प्रवेश सामायिक करतात तेव्हा उद्भवणार्‍या समस्यांचे निराकरण करेल आणि लक्षणीय कार्यप्रदर्शन सुधारणांना अनुमती देईल. क्लायंटला त्याच्या स्वतःच्या नेटवर्क सबसिस्टममध्ये हस्तांतरित केले जाईल जे वापरकर्ता स्पेसमध्ये कार्यरत आहे. Agama वर आधारित LizardFS चा पहिला कार्यरत प्रोटोटाइप 2020 च्या दुसऱ्या तिमाहीत तयार होण्याची योजना आहे. त्याच वेळी, ते LizardFS ला Kubernetes प्लॅटफॉर्मसह एकत्रित करण्यासाठी साधने लागू करण्याचे वचन देतात.

स्त्रोत: opennet.ru