LizardFS 3.13.0-rc2 ক্লাস্টার ফাইল সিস্টেম আপডেট

দীর্ঘ এক বছরের উন্নয়নের পর পুনরায় শুরু একটি ত্রুটি-সহনশীল বিতরণ করা ফাইল সিস্টেমের একটি নতুন শাখায় কাজ করা LizardF 3.13 и প্রকাশিত দ্বিতীয় রিলিজ প্রার্থী। সম্প্রতি ঘটেছিলো লিজার্ডএফএস বিকাশকারী কোম্পানির মালিকদের পরিবর্তন, নতুন ব্যবস্থাপনা গৃহীত হয়েছিল এবং বিকাশকারীদের প্রতিস্থাপিত হয়েছিল। গত দুই বছর ধরে, প্রকল্পটি সম্প্রদায়ের কাছ থেকে প্রত্যাহার করা হয়েছে এবং এতে যথেষ্ট মনোযোগ দেওয়া হয়নি, তবে নতুন দলটি সম্প্রদায়ের সাথে পূর্ববর্তী সম্পর্ক পুনরুজ্জীবিত করতে এবং এর সাথে ঘনিষ্ঠ যোগাযোগ স্থাপন করতে চায়। প্রজেক্ট কোড C এবং C++ ভাষায় লেখা হয় এবং দ্বারা বিতরণ GPLv3 লাইসেন্সের অধীনে।

টিকটিকি এটা হয় একটি বিতরণ করা ক্লাস্টার ফাইল সিস্টেম, যা আপনাকে বিভিন্ন সার্ভার জুড়ে ডেটা বিতরণ করতে দেয়, কিন্তু একটি একক বৃহৎ পার্টিশনের আকারে সেগুলিতে অ্যাক্সেস প্রদান করে, যা প্রথাগত ডিস্ক পার্টিশনের অনুরূপভাবে কাজ করে। LizardFS-এর সাথে একটি মাউন্ট করা পার্টিশন POSIX ফাইল অ্যাট্রিবিউট, ACL, লক, সকেট, পাইপ, ডিভাইস ফাইল, প্রতীকী এবং হার্ড লিঙ্ক সমর্থন করে। সিস্টেমের ব্যর্থতার একক পয়েন্ট নেই; সমস্ত উপাদান অপ্রয়োজনীয়। ডেটা ক্রিয়াকলাপগুলির সমান্তরালকরণ সমর্থিত (বেশ কিছু ক্লায়েন্ট একই সাথে ফাইলগুলি অ্যাক্সেস করতে পারে)।

ত্রুটি সহনশীলতা নিশ্চিত করার জন্য, ডেটাকে প্রতিলিপিতে বিভক্ত করা হয়, যা রিডানডেন্সি সহ বিভিন্ন নোড জুড়ে বিতরণ করা হয় (বেশ কয়েকটি কপি বিভিন্ন নোডে স্থাপন করা হয়); যদি নোড বা ড্রাইভ ব্যর্থ হয়, সিস্টেমটি তথ্যের ক্ষতি ছাড়াই কাজ চালিয়ে যায় এবং স্বয়ংক্রিয়ভাবে ডেটা পুনরায় বিতরণ করে একাউন্টে অবশিষ্ট নোড গ্রহণ. স্টোরেজ প্রসারিত করার জন্য, রক্ষণাবেক্ষণের জন্য কাজ বন্ধ না করে এটিতে নতুন নোডগুলি সংযুক্ত করা যথেষ্ট (সিস্টেম নিজেই নতুন সার্ভারগুলিতে ডেটার অংশ প্রতিলিপি করে এবং নতুন সার্ভারগুলিকে বিবেচনায় রেখে স্টোরেজের ভারসাম্য বজায় রাখে)। ক্লাস্টারের আকার কমাতে আপনি একই কাজ করতে পারেন - আপনি কেবল অপ্রচলিত সরঞ্জামগুলি অক্ষম করতে পারেন যা সিস্টেম থেকে সরানো হচ্ছে।

ডেটা এবং মেটাডেটা আলাদাভাবে সংরক্ষণ করা হয়। অপারেশনের জন্য, মাস্টার-স্লেভ মোডে অপারেটিং দুটি মেটাডেটা সার্ভার, সেইসাথে কমপক্ষে দুটি ডেটা স্টোরেজ সার্ভার (চাঙ্ক সার্ভার) ইনস্টল করার পরামর্শ দেওয়া হয়৷ অতিরিক্তভাবে, মেটাডেটা ব্যাকআপ করার জন্য, লগ সার্ভারগুলি মেটাডেটার পরিবর্তন সম্পর্কে তথ্য সংরক্ষণ করতে ব্যবহার করা যেতে পারে এবং সমস্ত বিদ্যমান মেটাডেটা সার্ভারের ক্ষতির ক্ষেত্রে আপনাকে অপারেশন পুনরুদ্ধার করার অনুমতি দেয়। প্রতিটি ফাইল 64 MB পর্যন্ত আকারে ব্লকে (খণ্ড) বিভক্ত। নির্বাচিত প্রতিলিপি মোড অনুসারে স্টোরেজ সার্ভারের মধ্যে ব্লকগুলি বিতরণ করা হয়: স্ট্যান্ডার্ড (বিভিন্ন নোডগুলিতে স্থাপন করা অনুলিপিগুলির সংখ্যার সুস্পষ্ট সংকল্প, পৃথক ডিরেক্টরিগুলির সাথে সম্পর্কিত - গুরুত্বপূর্ণ ডেটার জন্য অনুলিপিগুলির সংখ্যা বাড়ানো যেতে পারে এবং এর জন্য গুরুত্বহীন ডেটা হ্রাস করা হয়েছে, XOR (RAID5 ) এবং EC (RAID6)৷

স্টোরেজ পেটাবাইট আকার পর্যন্ত স্কেল করতে পারে। আবেদনের ক্ষেত্রগুলির মধ্যে রয়েছে আর্কাইভিং, ভার্চুয়াল মেশিনের ছবি সংরক্ষণ, মাল্টিমিডিয়া ডেটা, ব্যাকআপ, ডিআরসি (ডিজাস্টার রিকভারি সেন্টার) হিসাবে ব্যবহার এবং উচ্চ-পারফরম্যান্স কম্পিউটিং ক্লাস্টারে স্টোরেজ হিসাবে। LizardFS যেকোন আকারের ফাইলের জন্য খুব উচ্চ রিডিং স্পিড প্রদান করে এবং লেখার সময়, পুরো বড় এবং মাঝারি আকারের ফাইলগুলি লেখার সময় এটি ভাল কার্যকারিতা দেখায়, যখন কোনও ধ্রুবক পরিবর্তন হয় না, খোলা ফাইলগুলির সাথে নিবিড় কাজ এবং এককালীন অপারেশন ছোট ফাইল গুচ্ছ.

এফএস-এর বৈশিষ্ট্যগুলির মধ্যে, কেউ স্ন্যাপশটগুলির জন্য সমর্থনের উপস্থিতিও নোট করতে পারে, একটি নির্দিষ্ট সময়ে ফাইলগুলির অবস্থা প্রতিফলিত করে এবং "রিসাইকেল বিন" এর অন্তর্নির্মিত বাস্তবায়ন (ফাইলগুলি অবিলম্বে মুছে ফেলা হয় না এবং এর জন্য উপলব্ধ কিছু সময়ের জন্য পুনরুদ্ধার)। একটি পার্টিশনে অ্যাক্সেস IP ঠিকানা বা পাসওয়ার্ড দ্বারা সীমিত করা যেতে পারে (NFS-এর মতো)। পরিষেবা পরিচালনার পদ্ধতির কোটা এবং গুণমান রয়েছে যা আপনাকে নির্দিষ্ট শ্রেণীর ব্যবহারকারীদের জন্য আকার এবং ব্যান্ডউইথ সীমাবদ্ধ করতে দেয়। ভৌগলিকভাবে বিতরণ করা স্টোরেজ সুবিধা তৈরি করা সম্ভব, যার অংশগুলি বিভিন্ন ডেটা সেন্টারে অবস্থিত।

লিজার্ডএফএস প্রকল্পটি 2013 সালে একটি কাঁটা হিসাবে প্রতিষ্ঠিত হয়েছিল MooseFS, এবং প্রধানত রিড-সলোমন ত্রুটি সংশোধন কোডগুলির উপর ভিত্তি করে একটি প্রতিলিপি মোডের উপস্থিতিতে (রাইডজেএন-এর অনুরূপ), প্রসারিত ACL সমর্থন, উইন্ডোজ প্ল্যাটফর্মের জন্য একটি ক্লায়েন্টের উপস্থিতি, অতিরিক্ত অপ্টিমাইজেশন (উদাহরণস্বরূপ, একটি ক্লায়েন্টকে একত্রিত করার সময় এবং একটি স্টোরেজ সার্ভার, ব্লকগুলি, যদি সম্ভব হয়, বর্তমান নোডের সাথে পাঠানো হয়, এবং মেটাডেটা মেমরিতে ক্যাশে করা হয়), একটি আরও নমনীয় কনফিগারেশন সিস্টেম, ডেটা পড়ার জন্য সমর্থন, ডিরেক্টরি কোটা এবং অভ্যন্তরীণ পুনর্ব্যবহার।

LizardFS 3.13.0 ডিসেম্বরের শেষে মুক্তি পাওয়ার কথা রয়েছে। LizardFS 3.13 এর প্রধান উদ্ভাবন হল ত্রুটি সহনশীলতা নিশ্চিত করতে একটি ঐক্যমত্য অ্যালগরিদমের ব্যবহার (ব্যর্থতার ক্ষেত্রে মাস্টার সার্ভার পরিবর্তন করা) ভেলা (ইউরাফ্টের আমাদের নিজস্ব বাস্তবায়ন ব্যবহার করে, যা আগে বাণিজ্যিক পণ্যগুলিতে ব্যবহৃত হয়েছিল)। uRaft ব্যবহার করা কনফিগারেশনকে সহজ করে এবং ব্যর্থতা পুনরুদ্ধারের বিলম্ব কমায়, তবে কমপক্ষে তিনটি কার্যকরী নোডের প্রয়োজন, যার মধ্যে একটি কোরামের জন্য ব্যবহৃত হয়।

অন্যান্য পরিবর্তন: FUSE3 সাবসিস্টেমের উপর ভিত্তি করে একটি নতুন ক্লায়েন্ট, ত্রুটি সংশোধনের সমস্যা সমাধান করে, nfs-ganesha প্লাগইন C ভাষায় পুনরায় লেখা হয়েছে। আপডেট 3.13.0-rc2 বেশ কিছু জটিল বাগ সংশোধন করে যা 3.13 শাখার পূর্ববর্তী পরীক্ষা রিলিজগুলিকে অব্যবহারযোগ্য করে তুলেছিল (3.12 শাখার জন্য সংশোধনগুলি এখনও প্রকাশিত হয়নি, এবং 3.12 থেকে 3.13 পর্যন্ত আপডেট এখনও সম্পূর্ণ ডেটা ক্ষতির দিকে নিয়ে যায়)।

2020 সালে, কাজ উন্নয়নে ফোকাস করা হবে
Agama, একটি নতুন সম্পূর্ণরূপে পুনর্লিখিত LizardFS কার্নেল, যা ডেভেলপারদের মতে, শাখা 3.12 এর তুলনায় কার্যক্ষমতা তিনগুণ বৃদ্ধি প্রদান করবে। আগমা একটি ইভেন্ট-চালিত আর্কিটেকচারে রূপান্তর করবে, অ্যাসিঙ্ক্রোনাস ইনপুট/আউটপুট ভিত্তিক asio, প্রাথমিকভাবে ইউজার স্পেসে কাজ করুন (কার্নেল ক্যাশিং মেকানিজমের উপর নির্ভরতা কমাতে)। অতিরিক্তভাবে, একটি নতুন ডিবাগিং সাবসিস্টেম এবং কর্মক্ষমতা স্বয়ং-টিউনিংয়ের জন্য সমর্থন সহ একটি নেটওয়ার্ক কার্যকলাপ বিশ্লেষক অফার করা হবে।

LizardFS ক্লায়েন্ট সংস্করণ লেখার ক্রিয়াকলাপগুলির জন্য সম্পূর্ণ সমর্থন যোগ করবে, যা দুর্যোগ পুনরুদ্ধারের নির্ভরযোগ্যতা উন্নত করবে, বিভিন্ন ক্লায়েন্ট একই ডেটাতে অ্যাক্সেস শেয়ার করার সময় উদ্ভূত সমস্যাগুলির সমাধান করবে এবং উল্লেখযোগ্য কর্মক্ষমতা উন্নতির অনুমতি দেবে। ক্লায়েন্টকে তার নিজস্ব নেটওয়ার্ক সাবসিস্টেমে স্থানান্তর করা হবে যা ইউজার স্পেসে কাজ করছে। আগামার উপর ভিত্তি করে LizardFS-এর প্রথম কার্যকারী প্রোটোটাইপ 2020-এর দ্বিতীয় ত্রৈমাসিকে প্রস্তুত হওয়ার পরিকল্পনা করা হয়েছে। একই সময়ে, তারা Kubernetes প্ল্যাটফর্মের সাথে LizardFS সংহত করার জন্য সরঞ্জামগুলি বাস্তবায়নের প্রতিশ্রুতি দেয়।

উত্স: opennet.ru