স্টোরাকেল - বিকেন্দ্রীভূত ফাইল স্টোরেজ

আমি শুরু করার আগে, আমাকে অবশ্যই চলে যেতে হবে পূর্ববর্তী নিবন্ধের লিঙ্কযাতে আমরা ঠিক কী বিষয়ে কথা বলছি তা স্পষ্ট হয়।

এই নিবন্ধে আমি ফাইলগুলি সংরক্ষণের জন্য দায়ী স্তরটি দেখতে চাই এবং এটি যে কেউ কীভাবে ব্যবহার করতে পারে। স্টোরাকেল একটি স্বতন্ত্র লাইব্রেরি, সঙ্গীতের সাথে সরাসরি কোন সম্পর্ক নেই। আপনি যেকোনো ফাইলের স্টোরেজ সংগঠিত করতে পারেন।

পূর্ববর্তী নিবন্ধে, আমি "পিপা ঘূর্ণিত" একটু উপর ipfs, কিন্তু আমি যে সমস্যার সমাধান করছিলাম সেই প্রেক্ষাপটে এটি ঘটেছিল। সামগ্রিকভাবে, আমি মনে করি এই প্রকল্পটি দুর্দান্ত। আমি শুধু বিভিন্ন কাজের জন্য বিভিন্ন নেটওয়ার্ক তৈরি করার ক্ষমতা পছন্দ করি। এটি আপনাকে কাঠামোটি আরও ভালভাবে সংগঠিত করতে এবং পৃথক নোড এবং সামগ্রিকভাবে নেটওয়ার্কের লোড কমাতে দেয়। এমনকি একটি প্রকল্পের কাঠামোর মধ্যে, যদি প্রয়োজন হয়, আপনি সামগ্রিক লোড হ্রাস করে কিছু মানদণ্ড অনুসারে নেটওয়ার্কটিকে টুকরো টুকরো করে বিভক্ত করতে পারেন।

তাই স্টোরাকেল মেকানিজম ব্যবহার করে প্রসারণযোগ্য একটি নেটওয়ার্ক সংগঠিত করার জন্য। মুখ্য সুবিধা:

• ফাইল যেকোনো নোডের মাধ্যমে সংগ্রহস্থলে যোগ করা যেতে পারে।
• ফাইলগুলি সম্পূর্ণরূপে সংরক্ষিত হয়, ব্লকে নয়।
• প্রতিটি ফাইলের সাথে আরও কাজ করার জন্য তার নিজস্ব অনন্য সামগ্রী হ্যাশ রয়েছে।
• বৃহত্তর নির্ভরযোগ্যতার জন্য ফাইলগুলি নকল করা যেতে পারে
• একটি নোডে ফাইলের সংখ্যা শুধুমাত্র ফাইল সিস্টেম দ্বারা সীমিত (একটি ব্যতিক্রম আছে, নীচে আরও বেশি)
• নেটওয়ার্কে ফাইলের সংখ্যা নেটওয়ার্কের বৈধ নোডের সংখ্যা অনুসারে ছড়িয়ে দেওয়ার ক্ষমতা দ্বারা সীমিত, যা দ্বিতীয় সংস্করণে অসীম সংখ্যক নোডের সাথে কাজ করতে সক্ষম হবে (অন্য নিবন্ধে এটি সম্পর্কে আরও)

এটি সাধারণত প্রোগ্রাম থেকে কীভাবে কাজ করে তার একটি সহজ উদাহরণ:

সার্ভার:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

ক্রেতা:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

ভিতরে দেখুন

হুড অধীনে অভিনব কিছুই নেই. ফাইলের সংখ্যা, তাদের মোট আকার এবং অন্যান্য পয়েন্ট সম্পর্কে তথ্য একটি ইন-মেমরি ডাটাবেসে সংরক্ষণ করা হয় এবং ফাইলগুলি মুছে ফেলা এবং যোগ করার সময় আপডেট করা হয়, তাই ঘন ঘন ফাইল সিস্টেম অ্যাক্সেস করার প্রয়োজন নেই। একটি ব্যতিক্রম হল আবর্জনা সংগ্রাহককে সক্রিয় করা যখন একটি নির্দিষ্ট স্টোরেজ আকারে পৌঁছে গেলে ফাইলগুলিকে সঞ্চালন করার প্রয়োজন হয় এবং নতুনগুলি যোগ করা নিষিদ্ধ নয়৷ এই ক্ষেত্রে, আপনাকে স্টোরেজ বাইপাস করতে হবে এবং প্রচুর সংখ্যক ফাইলের সাথে কাজ করা (> এক মিলিয়ন বলুন) উল্লেখযোগ্য লোড হতে পারে। এবং কম ফাইল সংরক্ষণ করা এবং আরও নোড চালানো ভাল। যদি "ক্লিনার" অক্ষম হয়, তাহলে এমন কোন সমস্যা নেই।

ফাইল স্টোরেজ 256টি ফোল্ডার এবং 2টি স্তরের নেস্টিং নিয়ে গঠিত। ফাইল দ্বিতীয় স্তরের ফোল্ডারে সংরক্ষণ করা হয়. অর্থাৎ ১০ লাখ থাকলে। এই ধরনের প্রতিটি ফোল্ডারে প্রায় 1টি ফাইল থাকবে (62500/sqrt(1000000))।

ফোল্ডারের নামগুলি ফাইল হ্যাশ থেকে তৈরি করা হয় যাতে আপনি হ্যাশটি জানলে দ্রুত এটি অ্যাক্সেস করতে পারেন।

এই কাঠামোটি প্রচুর পরিমাণে বিভিন্ন স্টোরেজ প্রয়োজনীয়তার উপর ভিত্তি করে বেছে নেওয়া হয়েছিল: দুর্বল ফাইল সিস্টেমের জন্য সমর্থন, যেখানে একটি ফোল্ডারে অনেকগুলি ফাইল থাকা বাঞ্ছনীয় নয়, প্রয়োজনে সমস্ত ফোল্ডারের দ্রুত ট্রাভার্সাল ইত্যাদি। কোন ধরনের সোনালী মানে।

ক্যাশিং

ফাইল যোগ করার সময়, সেইসাথে সেগুলি গ্রহণ করার সময়, ফাইলগুলির লিঙ্কগুলি ক্যাশে লেখা হয়।
এটির জন্য ধন্যবাদ, খুব প্রায়ই একটি ফাইলের সন্ধানে পুরো নেটওয়ার্কটি অতিক্রম করার দরকার নেই। এটি লিঙ্কগুলির প্রাপ্তির গতি বাড়ায় এবং নেটওয়ার্কে লোড হ্রাস করে। ক্যাশিং HTTP হেডারের মাধ্যমেও ঘটে।

আইসোমর্ফি

ক্লায়েন্ট জাভাস্ক্রিপ্টে লেখা এবং আইসোমরফিক, এটি সরাসরি ব্রাউজার থেকে ব্যবহার করা যেতে পারে। 
আপনি ফাইল আপলোড করতে পারেন https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js একটি স্ক্রিপ্ট এবং অ্যাক্সেস হিসাবে window.ClientStoracle বা বিল্ড সিস্টেমের মাধ্যমে আমদানি করুন, ইত্যাদি

বিলম্বিত লিঙ্ক

একটি আকর্ষণীয় বৈশিষ্ট্য হল "বিলম্বিত রেফারেন্স"। এটি একটি ফাইলের একটি লিঙ্ক যা এখানে এবং এখন সিঙ্ক্রোনাসভাবে প্রাপ্ত করা যেতে পারে এবং ফাইলটি যখন স্টোরেজে ইতিমধ্যেই পাওয়া যাবে তখন তা টেনে আনা হবে৷ এটি খুব সুবিধাজনক যখন, উদাহরণস্বরূপ, আপনাকে সাইটে কিছু ছবি দেখাতে হবে। আমরা শুধু src এ একটি বিলম্বিত লিঙ্ক রেখেছি এবং এটিই। আপনি অনেক ক্ষেত্রে সঙ্গে আসতে পারেন.

ক্লায়েন্ট API

• ASYNC Client.prototype.storeFile() - ফাইল সংরক্ষণ
• ASYNC Client.prototype.getFileLink() - ফাইলের সরাসরি লিঙ্ক পাওয়া
• ASYNC Client.prototype.getFileLinks() — যেখানে আছে সব নোড থেকে একটি ফাইলের সরাসরি লিঙ্কের একটি তালিকা পাওয়া
• ASYNC Client.prototype.getFileToBuffer() - ফাইলটি বাফারে নিয়ে যান
• ASYNC Client.prototype.getFileToPath() - ফাইল সিস্টেমে একটি ফাইল পান
• ASYNC Client.prototype.getFileToBlob() — ফাইলটি ব্লবে পান (ব্রাউজার সংস্করণের জন্য)
• ASYNC Client.prototype.removeFile() - একটি ফাইল মুছে দিন
• Client.prototype.createRequestedFileLink() - একটি বিলম্বিত লিঙ্ক তৈরি করুন

অন্য সার্ভারে ফাইল রপ্তানি করুন

অন্য নোডে ফাইল স্থানান্তর করার জন্য, আপনি করতে পারেন:

• সেটিংস সহ সম্পূর্ণ স্টোরেজ ফোল্ডারটি কপি করুন। (এটি ভবিষ্যতে কাজ নাও করতে পারে)
• ফাইল সহ শুধুমাত্র ফোল্ডার কপি করুন. কিন্তু, এই ক্ষেত্রে, আপনাকে একবার ফাংশনটি চালাতে হবে node.normalizeFilesInfo()সমস্ত ডেটা পুনঃগণনা করতে এবং ডাটাবেসে প্রবেশ করতে।
• ফাংশন ব্যবহার করুন node.exportFiles()যা ফাইল কপি করা শুরু করবে।

বেসিক নোড সেটিংস
স্টোরেজ নোড শুরু করার সময়, আপনি সমস্ত প্রয়োজনীয় সেটিংস নির্দিষ্ট করতে পারেন।
আমি সবচেয়ে মৌলিক বর্ণনা করব, বাকিগুলি Github এ পাওয়া যাবে।

• store.dataSize — ফাইল সহ ফোল্ডারের আকার
• store.tempSize - অস্থায়ী ফোল্ডার আকার
• store.autoCleanSize — ন্যূনতম স্টোরেজ আকার যা রাখা দরকার। আপনি যদি এই প্যারামিটারটি নির্দিষ্ট করেন, তাহলে যত তাড়াতাড়ি স্থান ফুরিয়ে যেতে শুরু করবে, সবচেয়ে কম ব্যবহৃত ফাইলগুলি মুছে ফেলা হবে।
• file.maxSize - সর্বোচ্চ ফাইলের আকার
• file.minSize - নূন্যতম ফাইলের আকার
• file.preferredDuplicates — নেটওয়ার্কে ফাইল ডুপ্লিকেটের পছন্দের সংখ্যা
• file.mimeWhitelist - বৈধ ফাইল প্রকার
• file.mimeBlacklist - অবৈধ ফাইল প্রকার
• file.extWhitelist - বৈধ ফাইল এক্সটেনশন
• file.extBlacklist - অবৈধ ফাইল এক্সটেনশন
• file.linkCache - বিভিন্ন লিঙ্ক ক্যাশিং সেটিংস

মাত্রা সম্পর্কিত প্রায় সমস্ত পরামিতি পরম এবং আপেক্ষিক উভয় মানগুলিতে প্রবেশ করা যেতে পারে।

কমান্ড লাইনের মাধ্যমে কাজ করা
লাইব্রেরিটি কমান্ড লাইনের মাধ্যমে ব্যবহার করা যেতে পারে। এটি করার জন্য আপনাকে এটি বিশ্বব্যাপী ইনস্টল করতে হবে: npm i -g স্টোরেকল. এর পরে, আপনি প্রোজেক্ট ডিরেক্টরি থেকে প্রয়োজনীয় ক্রিয়াগুলি চালু করতে পারেন যেখানে নোডটি রয়েছে। উদাহরণ স্বরূপ, storacle -a storeFile -f ./file.txt -c ./config.jsফাইল যোগ করতে। সমস্ত কর্ম পাওয়া যাবে https://github.com/ortexx/storacle/blob/master/bin/actions.js

কেন আপনি এই প্রয়োজন হতে পারে?

• আপনি যদি এমন কিছু বিকেন্দ্রীভূত প্রকল্প তৈরি করতে চান যাতে আপনি সুবিধাজনক পদ্ধতি ব্যবহার করে ফাইল সংরক্ষণ এবং কাজ করার পরিকল্পনা করেন। উদাহরণস্বরূপ, নিবন্ধের শুরুতে লিঙ্কে বর্ণিত সঙ্গীত প্রকল্প ব্যবহার করে মজুত.
• আপনি যদি অন্য কোনও প্রকল্পে কাজ করেন যেখানে আপনাকে বিতরণ করা পদ্ধতিতে ফাইল সংরক্ষণ করতে হবে। আপনি সহজেই আপনার বন্ধ নেটওয়ার্ক তৈরি করতে পারেন, নমনীয়ভাবে নোড কনফিগার করতে পারেন এবং প্রয়োজনে নতুন যোগ করতে পারেন।
• আপনি যদি আপনার ওয়েবসাইটের ফাইলগুলিকে কোথাও সঞ্চয় করতে চান এবং আপনি নিজেই সবকিছু লিখতে পারেন। সম্ভবত এই লাইব্রেরি আপনার ক্ষেত্রে অন্যদের তুলনায় ভাল উপযুক্ত.
• আপনার যদি এমন একটি প্রকল্প থাকে যেখানে আপনি ফাইলগুলির সাথে কাজ করেন তবে ব্রাউজার থেকে সমস্ত ম্যানিপুলেশন করতে চান। আপনি সার্ভার কোড লেখা এড়াতে পারেন.

আমার যোগাযোগ:

• @অর্টেক্স
• [ইমেল সুরক্ষিত]

উত্স: www.habr.com