জিমব্রা কোলাবরেশন স্যুটে মেল স্টোরেজ অপ্টিমাইজ করা

আমাদের একটিতে পূর্ববর্তী নিবন্ধগুলি, একটি এন্টারপ্রাইজে জিমব্রা কোলাবরশন স্যুট বাস্তবায়নের সময় অবকাঠামো পরিকল্পনার জন্য নিবেদিত, বলা হয়েছিল যে এই সমাধানটির পরিচালনার প্রধান সীমাবদ্ধতা হল মেল স্টোরেজে ডিস্ক ডিভাইসের I/O গতি। প্রকৃতপক্ষে, একটি সময়ে যখন একটি এন্টারপ্রাইজের কয়েকশ কর্মচারী একই সাথে একই মেল স্টোরেজ অ্যাক্সেস করে, হার্ড ড্রাইভ থেকে তথ্য লেখা এবং পড়ার জন্য চ্যানেলের প্রস্থ পরিষেবাটির প্রতিক্রিয়াশীল অপারেশনের জন্য যথেষ্ট নাও হতে পারে। এবং যদি জিম্ব্রার ছোট ইনস্টলেশনের জন্য এটি একটি বিশেষ সমস্যা হবে না, তবে বড় উদ্যোগ এবং SaaS প্রদানকারীদের ক্ষেত্রে, এই সমস্ত কিছু প্রতিক্রিয়াশীল ইমেলের দিকে পরিচালিত করতে পারে এবং ফলস্বরূপ, কর্মচারীর দক্ষতা হ্রাসের পাশাপাশি লঙ্ঘন হতে পারে। SLA এর। এ কারণেই, বড় আকারের জিমব্রা ইনস্টলেশন ডিজাইন এবং পরিচালনা করার সময়, মেল স্টোরেজে হার্ড ড্রাইভের কার্যকারিতা অপ্টিমাইজ করার জন্য বিশেষ মনোযোগ দেওয়া উচিত। আসুন দুটি ক্ষেত্রে তাকান এবং ডিস্ক স্টোরেজের লোড অপ্টিমাইজ করার জন্য কী পদ্ধতিগুলি তাদের প্রতিটিতে প্রয়োগ করা যেতে পারে তা খুঁজে বের করার চেষ্টা করি।

1. একটি বড় মাপের জিমব্রা ইনস্টলেশন ডিজাইন করার সময় অপ্টিমাইজেশন

একটি উচ্চ-লোড জিমব্রা ইনস্টলেশনের ডিজাইন পর্বের সময়, প্রশাসককে কোন স্টোরেজ সিস্টেম ব্যবহার করতে হবে সে সম্পর্কে একটি পছন্দ করতে হবে। এই বিষয়ে সিদ্ধান্ত নেওয়ার জন্য, আপনার জানা উচিত যে হার্ড ড্রাইভের প্রধান লোড জিমব্রা কোলাবরেশন স্যুট, অ্যাপাচি লুসিন সার্চ ইঞ্জিন এবং ব্লব স্টোরেজের অন্তর্ভুক্ত MariaDB DBMS থেকে আসে। এই কারণেই উচ্চ লোড অবস্থায় এই সফ্টওয়্যার পণ্যগুলি পরিচালনা করার জন্য, উচ্চ-গতি এবং নির্ভরযোগ্য সরঞ্জাম ব্যবহার করা প্রয়োজন।

স্বাভাবিক অবস্থায়, জিমব্রা হার্ড ড্রাইভের RAID এবং NFS প্রোটোকলের মাধ্যমে সংযুক্ত স্টোরেজ উভয় ক্ষেত্রেই ইনস্টল করা যেতে পারে। খুব ছোট ইনস্টলেশনের জন্য, আপনি নিয়মিত SATA ড্রাইভে জিমব্রা ইনস্টল করতে পারেন। যাইহোক, বৃহৎ ইনস্টলেশনের প্রেক্ষাপটে, এই সমস্ত প্রযুক্তিগুলি রেকর্ডিং গতি হ্রাস বা কম নির্ভরযোগ্যতার আকারে বিভিন্ন অসুবিধাগুলি প্রদর্শন করে, যা বড় উদ্যোগের জন্য বা বিশেষ করে SaaS প্রদানকারীদের জন্য অগ্রহণযোগ্য নয়।

এই কারণেই বড় আকারের জিমব্রা পরিকাঠামোতে SAN ব্যবহার করা ভাল। এটি এই প্রযুক্তি যা বর্তমানে স্টোরেজ ডিভাইসগুলির জন্য সর্বশ্রেষ্ঠ থ্রুপুট প্রদান করতে সক্ষম এবং একই সাথে, প্রচুর পরিমাণে ক্যাশে সংযোগ করার ক্ষমতার জন্য ধন্যবাদ, এর ব্যবহার কার্যত এন্টারপ্রাইজের জন্য কোনও উল্লেখযোগ্য ঝুঁকি তৈরি করে না। NVRAM ব্যবহার করা একটি ভাল ধারণা, যা লেখার সময় গতি বাড়ানোর জন্য অনেক SAN-এ ব্যবহৃত হয়। তবে ডিস্কে রেকর্ড করা ডেটার ক্যাশিং অক্ষম করা ভাল, কারণ এটি মিডিয়ার অপূরণীয় ক্ষতি এবং পাওয়ার সমস্যা দেখা দিলে ডেটা হারাতে পারে।

একটি ফাইল সিস্টেম বেছে নেওয়ার জন্য, সবচেয়ে ভালো পছন্দ হবে স্ট্যান্ডার্ড Linux Ext3/Ext4 ব্যবহার করা। ফাইল সিস্টেমের সাথে যুক্ত প্রধান সূক্ষ্মতা হল এটি প্যারামিটারের সাথে মাউন্ট করা উচিত -নোটাইম. এই বিকল্পটি ফাইলগুলিতে শেষ অ্যাক্সেসের সময় রেকর্ড করার ফাংশনটি অক্ষম করবে, যার অর্থ এটি পড়া এবং লেখার লোডকে ব্যাপকভাবে হ্রাস করবে। সাধারণভাবে, জিমব্রার জন্য একটি ext3 বা ext4 ফাইল সিস্টেম তৈরি করার সময়, আপনাকে নিম্নলিখিত ইউটিলিটি প্যারামিটারগুলি ব্যবহার করা উচিত mke2fs:

-j — একটি ফাইল সিস্টেম জার্নাল তৈরি করতে একটি ext3/ext4 জার্নাল দিয়ে ফাইল সিস্টেম তৈরি করুন।
-এল নাম - একটি ভলিউম নাম তৈরি করতে তারপর /etc/fstab-এ ব্যবহার করুন
-ও dir_index - বড় ডিরেক্টরিতে ফাইল অনুসন্ধানের গতি বাড়ানোর জন্য একটি হ্যাশড অনুসন্ধান গাছ ব্যবহার করতে
-ম 2 — রুট ডিরেক্টরির জন্য বড় ফাইল সিস্টেমে ভলিউমের 2% সংরক্ষণ করা
-জে সাইজ = 400 - একটি বড় ম্যাগাজিন তৈরি করতে
-বি 4096 — বাইটে ব্লকের আকার নির্ধারণ করতে
-আই 10240 - বার্তা সঞ্চয়স্থানের জন্য, এই সেটিংটি গড় বার্তা আকারের সাথে সঙ্গতিপূর্ণ হওয়া উচিত। আপনি এই পরামিতি ঘনিষ্ঠ মনোযোগ দিতে হবে, কারণ এর মান পরে পরিবর্তন করা যাবে না।

এটি সক্ষম করার জন্যও সুপারিশ করা হয় dirsync ব্লব স্টোরেজ, লুসিন সার্চ মেটাডেটা স্টোরেজ এবং এমটিএ কিউ স্টোরেজের জন্য। এটি করা উচিত কারণ জিমব্রা সাধারণত ইউটিলিটি ব্যবহার করে fsync ডিস্কে ডেটা সহ একটি ব্লবের নিশ্চিত লেখার জন্য। যাইহোক, যখন জিমব্রা মেল স্টোর বা এমটিএ বার্তা বিতরণের সময় নতুন ফাইল তৈরি করে, তখন সংশ্লিষ্ট ফোল্ডারগুলিতে যে পরিবর্তনগুলি ঘটে তা ডিস্কে লেখার প্রয়োজন হয়৷ সেজন্য, ডিস্ক ব্যবহার করে ফাইল আগে থেকেই লেখা থাকলেও fsync, ডিরেক্টরিতে এর সংযোজনের রেকর্ডটি ডিস্কে লেখার সময় নাও থাকতে পারে এবং ফলস্বরূপ, হঠাৎ সার্ভার ব্যর্থতার কারণে হারিয়ে যেতে পারে। ব্যবহারের জন্য ধন্যবাদ dirsync এই সমস্যাগুলি এড়ানো যেতে পারে।

2. জিমব্রা পরিকাঠামো চলমান সঙ্গে অপ্টিমাইজেশান

এটি প্রায়শই ঘটে যে জিমব্রা ব্যবহারের কয়েক বছর পরে, এর ব্যবহারকারীর সংখ্যা উল্লেখযোগ্যভাবে বৃদ্ধি পায় এবং পরিষেবাটি প্রতিদিন কম এবং কম প্রতিক্রিয়াশীল হয়ে ওঠে। এই পরিস্থিতি থেকে বেরিয়ে আসার উপায় সুস্পষ্ট: আপনাকে কেবল পরিকাঠামোতে নতুন সার্ভার যুক্ত করতে হবে যাতে পরিষেবাটি আগের মতো দ্রুত কাজ করে। এদিকে, এটির কার্যকারিতা বাড়ানোর জন্য অবিলম্বে পরিকাঠামোতে নতুন সার্ভার যুক্ত করা সবসময় সম্ভব নয়। আইটি পরিচালকদের প্রায়ই অ্যাকাউন্টিং বা নিরাপত্তা বিভাগের সাথে নতুন সার্ভার কেনার সমন্বয় করতে দীর্ঘ সময় ব্যয় করতে হয়; উপরন্তু, তারা প্রায়শই সরবরাহকারীদের দ্বারা হতাশ হয় যারা দেরিতে একটি নতুন সার্ভার সরবরাহ করতে পারে বা এমনকি ভুল জিনিস সরবরাহ করতে পারে।

অবশ্যই, এটির সম্প্রসারণের জন্য সর্বদা একটি রিজার্ভ থাকার জন্য এবং কারও উপর নির্ভর না করার জন্য একটি রিজার্ভ সহ আপনার জিমব্রা অবকাঠামো তৈরি করা সর্বোত্তম, তবে, যদি ইতিমধ্যে একটি ভুল হয়ে থাকে তবে আইটি ম্যানেজার শুধুমাত্র এর পরিণতিগুলিকে মসৃণ করতে পারে। যতটা সম্ভব উদাহরণস্বরূপ, একজন আইটি ম্যানেজার অস্থায়ীভাবে লিনাক্স সিস্টেম পরিষেবাগুলিকে অক্ষম করে একটি ছোট উত্পাদনশীলতা বৃদ্ধি করতে পারে যা নিয়মিতভাবে অপারেশন চলাকালীন হার্ড ড্রাইভগুলি অ্যাক্সেস করে এবং তাই জিমব্রার কর্মক্ষমতাকে নেতিবাচকভাবে প্রভাবিত করতে পারে। সুতরাং, আপনি সাময়িকভাবে অক্ষম করতে পারেন:

autofs, netfs - রিমোট ফাইল সিস্টেম ডিসকভারি সার্ভিসেস
কাপ - মুদ্রণ পরিষেবা
xinetd, vsftpd - অন্তর্নির্মিত *NIX পরিষেবা যা আপনার সম্ভবত প্রয়োজন হবে না
পোর্টম্যাপ, rpcsvcgssd, rpcgssd, rpcidmapd — দূরবর্তী পদ্ধতি কল পরিষেবা, যা সাধারণত নেটওয়ার্ক ফাইল সিস্টেমের সাথে ব্যবহার করা হয়
dovecot, cyrus-imapd, sendmail, exim, postfix, ldap — জিমব্রা কোলাবরেশন স্যুটে অন্তর্ভুক্ত প্রধান ইউটিলিটিগুলির সদৃশ
slocate/updatedb - যেহেতু জিমব্রা প্রতিটি বার্তাকে একটি পৃথক ফাইলে সংরক্ষণ করে, তাই প্রতিদিন আপডেট করা পরিষেবাটি চালানোর ফলে সমস্যা হতে পারে এবং তাই সার্ভারে সর্বনিম্ন লোডের সময় ম্যানুয়ালি এটি করা সম্ভব।

এই পরিষেবাগুলিকে নিষ্ক্রিয় করার ফলে সিস্টেম সংস্থানগুলি সংরক্ষণ করা খুব গুরুত্বপূর্ণ হবে না, তবে এটি জোরপূর্বক পরিস্থিতির কাছাকাছি পরিস্থিতিতেও খুব কার্যকর হতে পারে। একবার জিমব্রা পরিকাঠামোতে নতুন সার্ভার যোগ করা হলে, পূর্বে অক্ষম করা পরিষেবাগুলি পুনরায় সক্ষম করার সুপারিশ করা হয়।

আপনি সিসলগ পরিষেবাটিকে একটি পৃথক সার্ভারে স্থানান্তর করে জিমব্রার অপারেশনটি অপ্টিমাইজ করতে পারেন যাতে অপারেশন চলাকালীন এটি মেল স্টোরেজের হার্ড ড্রাইভগুলি লোড না করে। প্রায় কোনো কম্পিউটার এই উদ্দেশ্যে উপযুক্ত, এমনকি একটি সস্তা একক-বোর্ড রাস্পবেরি পাই।

উত্স: www.habr.com