PFCACHE প্রযুক্তি ব্যবহার করে একটি নোডে ধারক ঘনত্ব বৃদ্ধি করা

হোস্টিং প্রদানকারীর লক্ষ্যগুলির মধ্যে একটি হল শেষ ব্যবহারকারীদের উচ্চ মানের পরিষেবা প্রদানের জন্য বিদ্যমান সরঞ্জামগুলির সর্বাধিক ব্যবহার করা। শেষ সার্ভারের সংস্থান সর্বদা সীমিত, তবে হোস্ট করা ক্লায়েন্ট পরিষেবার সংখ্যা এবং আমাদের ক্ষেত্রে আমরা VPS সম্পর্কে কথা বলছি, উল্লেখযোগ্যভাবে আলাদা হতে পারে। কিভাবে গাছে আরোহণ এবং কাটা নীচে একটি বার্গার খাওয়া সম্পর্কে পড়ুন.

একটি নোডে VPS এমনভাবে কম্প্যাক্ট করা যাতে ক্লায়েন্টরা এটি একেবারেই অনুভব না করে যে কোনো হোস্টিং প্রদানকারীর অর্থনৈতিক কর্মক্ষমতা বাড়াতে সাহায্য করে। অবশ্যই, একটি নোড সিমগুলিতে ফেটে যাওয়া উচিত নয় যদি এটি পাত্রে পূর্ণ হয়, এবং লোডের কোনো বৃদ্ধি অবিলম্বে সমস্ত ক্লায়েন্ট দ্বারা অনুভূত হয়।

একটি নোডে কতগুলি VPS হোস্ট করা যেতে পারে তা অনেকগুলি কারণের উপর নির্ভর করে, যেমন সুস্পষ্ট বিষয়গুলি:

1. নোডের হার্ডওয়্যারের বৈশিষ্ট্য
2. VPS আকার
3. ভিপিএসে লোডের প্রকৃতি
4. সফটওয়্যার প্রযুক্তি যা ঘনত্ব অপ্টিমাইজ করতে সাহায্য করে

এই ক্ষেত্রে, আমরা Virtuozzo-এর জন্য Pfcache প্রযুক্তি ব্যবহারের অভিজ্ঞতা শেয়ার করব।
আমরা 6 তম শাখা ব্যবহার করি, তবে যা বলা হয়েছে তা 7 তম এর জন্যও সত্য।

Pfcache - একটি ভার্চুজো মেকানিজম যা কন্টেইনারে IOPS এবং RAM-কে ডিডপ্লিকেট করতে সাহায্য করে, কন্টেইনারে অভিন্ন ফাইলগুলিকে আলাদা সাধারণ এলাকায় বরাদ্দ করে।

আসলে এটি নিয়ে গঠিত:
1. কার্নেল কোড
2. ইউজার-স্পেস রাক্ষস
3. ইউজার-স্পেস ইউটিলিটি

নোডের দিকে, আমরা একটি সম্পূর্ণ বিভাগ বরাদ্দ করি যেখানে ফাইল তৈরি করা হবে যা নোডের সমস্ত VPS দ্বারা সরাসরি ব্যবহার করা হবে। এই বিভাগে একটি ব্লক প্লুপ ডিভাইস মাউন্ট করা হয়েছে। তারপর, যখন ধারকটি শুরু হয়, এটি এই বিভাগের জন্য একটি রেফারেন্স পায়:

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

এখানে আমাদের নোডগুলির একটিতে ফাইলের সংখ্যার আনুমানিক পরিসংখ্যান রয়েছে:

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    total

pfcache এর নীতিটি নিম্নরূপ:
ইউজার-স্পেস ডেমন Pfcached ফাইলটির sha-1 হ্যাশ এই ফাইলের xattr অ্যাট্রিবিউটে লিখে। সমস্ত ফাইল প্রক্রিয়া করা হয় না, তবে শুধুমাত্র /usr, /bin, /usr/sbin, /sbin, /lib, /lib64 ডিরেক্টরিতে

• সম্ভবত এই ডিরেক্টরিগুলির ফাইলগুলি "ভাগ করা" হবে এবং কয়েকটি পাত্রে ব্যবহার করা হবে;

• Pfcached পর্যায়ক্রমে কার্নেল থেকে ফাইল পড়ার পরিসংখ্যান সংগ্রহ করে, এটি বিশ্লেষণ করে এবং ফাইলগুলিকে ক্যাশে যুক্ত করে যদি সেগুলি ঘন ঘন ব্যবহার করা হয়;

• এই ডিরেক্টরিগুলি আলাদা হতে পারে এবং কনফিগারেশন ফাইলগুলিতে কনফিগার করা হয়।

• একটি ফাইল পড়ার সময়, এটি xattr বর্ধিত বৈশিষ্ট্যগুলিতে নির্দিষ্ট হ্যাশ রয়েছে কিনা তা পরীক্ষা করা হয়। যদি এটি থাকে, তাহলে ধারক ফাইলের পরিবর্তে "সাধারণ" ফাইলটি খোলা হয়। এই প্রতিস্থাপন কন্টেইনার কোড দ্বারা অলক্ষিত হয় এবং কার্নেলে লুকানো হয়;

• একটি ফাইলে লেখার সময়, হ্যাশটি অবৈধ হয়ে যায়। এইভাবে, পরের বার আপনি এটি খুললে, কন্টেইনার ফাইলটি নিজেই খোলা হবে, এবং এর ক্যাশে নয়।

পৃষ্ঠার ক্যাশে /vz/pfcache থেকে শেয়ার করা ফাইলগুলি রেখে, আমরা এই ক্যাশে নিজেই সঞ্চয় করি, সেইসাথে IOPS-তেও সঞ্চয় করি। ডিস্ক থেকে দশটি ফাইল পড়ার পরিবর্তে, আমরা একটি পড়ি, যা অবিলম্বে পৃষ্ঠা ক্যাশে চলে যায়।

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

ফাইলের জন্য VMA তালিকা একক থাকে (আমরা মেমরির অনুলিপি করি) এবং ডিস্ক থেকে কম বার পড়া হয় (iops সংরক্ষণ করা হয়)। আমাদের সাধারণ তহবিল একটি SSD-তে অবস্থিত - গতিতে একটি অতিরিক্ত লাভ।

/bin/bash ফাইল ক্যাশ করার উদাহরণ:

[root@pcs13 ~]# ls -li /vz/root/2388/bin/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 /vz/root/2388/bin/bash
[root@pcs13 ~]# pfcache dump /vz/root/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum /vz/root/2388/bin/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/root/2388/bin/bash
[root@pcs13 /]# getfattr -ntrusted.pfcache /vz/root/2388/bin/bash
# file: vz/root/2388/bin/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362

আমরা ব্যবহারের দক্ষতা গণনা করি রেডিমেড স্ক্রিপ্ট.

এই স্ক্রিপ্টটি নোডের সমস্ত কন্টেইনারের মধ্য দিয়ে যায়, প্রতিটি কন্টেইনারের ক্যাশে করা ফাইলগুলি গণনা করে।

[root@pcs16 ~]# /pcs/distr/pfcache-examine.pl
...
Pfcache cache uses 831 MB of memory
Total use of pfcached files in containers is 39837 MB of memory
Pfcache effectiveness: 39006 MB

এইভাবে, মেমরি থেকে আমরা পাত্রে প্রায় 40 গিগাবাইট ফাইল সংরক্ষণ করি; সেগুলি ক্যাশে থেকে লোড করা হবে।

এই প্রক্রিয়াটি আরও ভালভাবে কাজ করার জন্য, নোডে সবচেয়ে "অভিন্ন" VPS স্থাপন করা প্রয়োজন। উদাহরণস্বরূপ, যেগুলিতে ব্যবহারকারীর রুট অ্যাক্সেস নেই এবং যেগুলির উপর স্থাপন করা চিত্র থেকে পরিবেশ কনফিগার করা হয়েছে৷

আপনি কনফিগার ফাইলের মাধ্যমে pfcache টিউন করতে পারেন
/etc/vz/pfcache.conf

MINSIZE, MAXSIZE - ক্যাশে করার জন্য সর্বনিম্ন/সর্বোচ্চ ফাইলের আকার
টাইমআউট - ক্যাশিং প্রচেষ্টার মধ্যে সময়সীমা

আপনি প্যারামিটারের সম্পূর্ণ তালিকা দেখতে পারেন লিংক.

উত্স: www.habr.com