स्टोरेकल - विकेन्द्रीकृत फ़ाइल भंडारण

शुरू करने से पहले, मुझे जाना होगा पिछले लेख का लिंकताकि यह स्पष्ट हो सके कि हम वास्तव में किस बारे में बात कर रहे हैं।

इस लेख में मैं उस परत को देखना चाहूँगा जो फ़ाइलों को संग्रहीत करने के लिए ज़िम्मेदार है, और इसका उपयोग कोई भी कैसे कर सकता है। स्टोरेकल एक स्टैंडअलोन लाइब्रेरी है, संगीत से कोई सीधा संबंध नहीं है. आप किसी भी फाइल के भंडारण को व्यवस्थित कर सकते हैं।

पिछले लेख में, मैंने "बैरल को थोड़ा आगे बढ़ाया"। ipfs, लेकिन यह ठीक उसी समस्या के संदर्भ में हुआ जिसे मैं हल कर रहा था। कुल मिलाकर, मुझे लगता है कि यह प्रोजेक्ट बढ़िया है। मैं बस अलग-अलग कार्यों के लिए अलग-अलग नेटवर्क बनाने की क्षमता को प्राथमिकता देता हूं। यह आपको संरचना को बेहतर ढंग से व्यवस्थित करने और व्यक्तिगत नोड्स और संपूर्ण नेटवर्क पर लोड को कम करने की अनुमति देता है। यहां तक ​​कि एक परियोजना के ढांचे के भीतर, यदि आवश्यक हो, तो आप समग्र भार को कम करते हुए, कुछ मानदंडों के अनुसार नेटवर्क को टुकड़ों में विभाजित कर सकते हैं।

इसलिए स्टोरेकल तंत्र का उपयोग करता है फैलने योग्य एक नेटवर्क व्यवस्थित करने के लिए. प्रमुख विशेषताऐं:

• फ़ाइलों को किसी भी नोड के माध्यम से रिपॉजिटरी में जोड़ा जा सकता है।
• फ़ाइलें संपूर्ण रूप से सहेजी जाती हैं, खंडों में नहीं.
• प्रत्येक फ़ाइल के साथ आगे काम करने के लिए उसकी अपनी अनूठी सामग्री हैश होती है।
• अधिक विश्वसनीयता के लिए फ़ाइलों को डुप्लिकेट किया जा सकता है
• एक नोड पर फ़ाइलों की संख्या केवल फ़ाइल सिस्टम द्वारा सीमित है (एक अपवाद है, उस पर नीचे अधिक जानकारी है)
• नेटवर्क में फ़ाइलों की संख्या नेटवर्क में मान्य नोड्स की संख्या के अनुसार प्रसार योग्य क्षमताओं द्वारा सीमित है, जो दूसरे संस्करण में अनंत संख्या में नोड्स के साथ काम करने में सक्षम होगी (इस पर किसी अन्य लेख में अधिक जानकारी)

यह आम तौर पर प्रोग्राम से कैसे काम करता है इसका एक सरल उदाहरण:

सर्वर:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

ग्राहक:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

अंदर का नजारा

हुड के नीचे कुछ भी फैंसी नहीं है। फ़ाइलों की संख्या, उनके कुल आकार और अन्य बिंदुओं के बारे में जानकारी इन-मेमोरी डेटाबेस में संग्रहीत की जाती है और फ़ाइलों को हटाए जाने और जोड़े जाने पर अपडेट की जाती है, इसलिए फ़ाइल सिस्टम तक बार-बार पहुंचने की कोई आवश्यकता नहीं होती है। एक अपवाद कचरा संग्रहकर्ता को सक्षम करना है जब आपको एक निश्चित भंडारण आकार तक पहुंचने पर फ़ाइलों को प्रसारित करने की आवश्यकता होती है, और नए जोड़ने पर रोक नहीं होती है। इस मामले में, आपको स्टोरेज को बायपास करना होगा, और बड़ी संख्या में फ़ाइलों (> मान लीजिए दस लाख) के साथ काम करने से महत्वपूर्ण लोड हो सकता है। और कम फ़ाइलें संग्रहीत करना और अधिक नोड चलाना बेहतर है। यदि "क्लीनर" अक्षम है, तो ऐसी कोई समस्या नहीं है।

फ़ाइल भंडारण में 256 फ़ोल्डर और नेस्टिंग के 2 स्तर होते हैं। फ़ाइलें दूसरे स्तर के फ़ोल्डरों में संग्रहीत की जाती हैं। यानी अगर 1 मिलियन हैं. ऐसे प्रत्येक फ़ोल्डर में लगभग 62500 फ़ाइलें होंगी (1000000 / sqrt(256))।

फ़ोल्डर नाम फ़ाइल हैश से बनते हैं ताकि यदि आप हैश जानते हैं तो आप उस तक तुरंत पहुंच सकें।

इस संरचना को बड़ी संख्या में विभिन्न भंडारण आवश्यकताओं के आधार पर चुना गया था: कमजोर फ़ाइल सिस्टम के लिए समर्थन, जहां एक फ़ोल्डर में कई फाइलें रखना वांछनीय नहीं है, यदि आवश्यक हो तो सभी फ़ोल्डरों का त्वरित ट्रैवर्सल आदि। किसी प्रकार का सुनहरा मतलब।

कैशिंग

फ़ाइलें जोड़ते समय, साथ ही उन्हें प्राप्त करते समय, फ़ाइलों के लिंक कैश में लिखे जाते हैं।
इसके कारण, अक्सर किसी फ़ाइल की तलाश में पूरे नेटवर्क को पार करने की आवश्यकता नहीं होती है। इससे लिंक प्राप्त होने की गति तेज हो जाती है और नेटवर्क पर लोड कम हो जाता है। कैशिंग http हेडर के माध्यम से भी होती है।

समरूपता

क्लाइंट जावास्क्रिप्ट में लिखा गया है और आइसोमोर्फिक है, इसका उपयोग सीधे ब्राउज़र से किया जा सकता है। 
आप फ़ाइल अपलोड कर सकते हैं https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js एक स्क्रिप्ट और पहुंच के रूप में window.ClientStoracle या बिल्ड सिस्टम आदि के माध्यम से आयात करें।

आस्थगित लिंक

एक दिलचस्प विशेषता "स्थगित संदर्भ" भी है। यह एक फ़ाइल का लिंक है जिसे यहां और अभी समकालिक रूप से प्राप्त किया जा सकता है, और जब फ़ाइल पहले से ही स्टोरेज में मिल जाएगी तो उसे खींच लिया जाएगा। यह बहुत सुविधाजनक है, उदाहरण के लिए, आपको साइट पर कुछ तस्वीरें दिखाने की आवश्यकता है। हमने बस src में एक स्थगित लिंक डाल दिया है और बस इतना ही। आपके सामने कई मामले आ सकते हैं.

क्लाइंट एपीआई

• async क्लाइंट.प्रोटोटाइप.स्टोरफाइल() - फ़ाइल को सहेजना
• async क्लाइंट.प्रोटोटाइप.getFileLink() - फ़ाइल का सीधा लिंक प्राप्त करना
• async क्लाइंट.प्रोटोटाइप.getFileLinks() - किसी फ़ाइल के मौजूद सभी नोड्स से सीधे लिंक की एक सूची प्राप्त करना
• async क्लाइंट.प्रोटोटाइप.getFileToBuffer() - फ़ाइल को बफ़र में प्राप्त करें
• async क्लाइंट.प्रोटोटाइप.getFileToPath() - फ़ाइल सिस्टम में फ़ाइल प्राप्त करें
• async क्लाइंट.प्रोटोटाइप.getFileToBlob() - फ़ाइल को ब्लॉब में प्राप्त करें (ब्राउज़र संस्करण के लिए)
• async क्लाइंट.प्रोटोटाइप.रिमूवफ़ाइल() - एक फ़ाइल हटाएँ
• क्लाइंट.प्रोटोटाइप.createRequestedFileLink() - एक स्थगित लिंक बनाएं

फ़ाइलों को दूसरे सर्वर पर निर्यात करें

फ़ाइलों को दूसरे नोड में स्थानांतरित करने के लिए, आप यह कर सकते हैं:

• बस सेटिंग्स के साथ संपूर्ण स्टोरेज फ़ोल्डर को कॉपी करें। (यह भविष्य में काम नहीं कर सकता)
• केवल फ़ाइलों वाले फ़ोल्डर की प्रतिलिपि बनाएँ। लेकिन, इस मामले में, आपको फ़ंक्शन को एक बार चलाने की आवश्यकता होगी नोड.नॉर्मलाइज़फ़ाइल्सइन्फो()सभी डेटा की पुनर्गणना करना और उसे डेटाबेस में दर्ज करना।
• समारोह का प्रयोग करें नोड.exportफ़ाइलें()जो फाइलों की प्रतिलिपि बनाना शुरू कर देगा।

मूल नोड सेटिंग्स
स्टोरेज नोड प्रारंभ करते समय, आप सभी आवश्यक सेटिंग्स निर्दिष्ट कर सकते हैं।
मैं सबसे बुनियादी का वर्णन करूंगा, बाकी जीथब पर पाया जा सकता है।

• भंडारण.डेटाआकार -फ़ाइलों वाले फ़ोल्डर का आकार
• भंडारण.tempSize - अस्थायी फ़ोल्डर का आकार
• भंडारण.ऑटोक्लीनआकार - न्यूनतम भंडारण आकार जिसे रखने की आवश्यकता है। यदि आप यह पैरामीटर निर्दिष्ट करते हैं, तो जैसे ही स्थान समाप्त होने लगेगा, सबसे कम उपयोग की जाने वाली फ़ाइलें हटा दी जाएंगी।
• फ़ाइल.अधिकतमआकार - अधिकतम फ़ाइल आकार
• फ़ाइल.minSize - न्यूनतम फ़ाइल आकार
• फ़ाइल.पसंदीदाडुप्लिकेट - नेटवर्क पर फ़ाइल डुप्लिकेट की पसंदीदा संख्या
• फ़ाइल.माइमश्वेतसूची - मान्य फ़ाइल प्रकार
• फ़ाइल.माइमब्लैकलिस्ट - अमान्य फ़ाइल प्रकार
• फ़ाइल.extश्वेतसूची - वैध फ़ाइल एक्सटेंशन
• फ़ाइल.extब्लैकलिस्ट -अमान्य फ़ाइल एक्सटेंशन
• फ़ाइल.लिंक कैश - विभिन्न लिंक कैशिंग सेटिंग्स

आयामों से संबंधित लगभग सभी पैरामीटर निरपेक्ष और सापेक्ष दोनों मानों में दर्ज किए जा सकते हैं।

कमांड लाइन के माध्यम से कार्य करना
लाइब्रेरी का उपयोग कमांड लाइन के माध्यम से किया जा सकता है। ऐसा करने के लिए आपको इसे विश्व स्तर पर स्थापित करना होगा: एनपीएम आई-जी स्टोरेकल. इसके बाद, आप उस प्रोजेक्ट निर्देशिका से आवश्यक क्रियाएं लॉन्च कर सकते हैं जहां नोड है। उदाहरण के लिए, स्टोरेकल -ए स्टोरफ़ाइल -एफ ./फ़ाइल.txt -सी ./config.jsफ़ाइल जोड़ने के लिए. सभी क्रियाएँ इसमें पाई जा सकती हैं https://github.com/ortexx/storacle/blob/master/bin/actions.js

आपको इसकी आवश्यकता क्यों पड़ सकती है?

• यदि आप किसी प्रकार का विकेन्द्रीकृत प्रोजेक्ट बनाना चाहते हैं जिसमें आप सुविधाजनक तरीकों का उपयोग करके फ़ाइलों को संग्रहीत करने और उनके साथ काम करने की योजना बनाते हैं। उदाहरण के लिए, लेख की शुरुआत में लिंक में वर्णित संगीत परियोजना का उपयोग किया जाता है भण्डार.
• यदि आप किसी अन्य प्रोजेक्ट पर काम करते हैं जहां आपको फ़ाइलों को वितरित तरीके से संग्रहीत करने की आवश्यकता है। आप आसानी से अपना बंद नेटवर्क बना सकते हैं, लचीले ढंग से नोड्स कॉन्फ़िगर कर सकते हैं और जरूरत पड़ने पर नए जोड़ सकते हैं।
• यदि आपको बस अपनी वेबसाइट फ़ाइलों को कहीं संग्रहीत करने की आवश्यकता है और आपके लिए सब कुछ स्वयं लिखना बहुत अधिक है। शायद यह लाइब्रेरी आपके मामले में दूसरों की तुलना में बेहतर अनुकूल है।
• यदि आपके पास एक प्रोजेक्ट है जिसमें आप फ़ाइलों के साथ काम करते हैं, लेकिन ब्राउज़र से सभी हेरफेर करना चाहते हैं। आप सर्वर कोड लिखने से बच सकते हैं.

मेरे संपर्क:

• @ऑर्टेक्स
• [ईमेल संरक्षित]

स्रोत: www.habr.com