PFCACHE तकनीक का उपयोग करके नोड पर कंटेनर घनत्व बढ़ाना

होस्टिंग प्रदाता का एक लक्ष्य अंतिम उपयोगकर्ताओं को उच्च गुणवत्ता वाली सेवा प्रदान करने के लिए मौजूदा उपकरणों का अधिकतम उपयोग करना है। अंतिम सर्वर के संसाधन हमेशा सीमित होते हैं, लेकिन होस्ट की गई क्लाइंट सेवाओं की संख्या, और हमारे मामले में हम वीपीएस के बारे में बात कर रहे हैं, काफी भिन्न हो सकती हैं। पेड़ पर कैसे चढ़ें और कट के नीचे बर्गर कैसे खाएं, इसके बारे में पढ़ें।

वीपीएस को एक नोड पर इस तरह से संकुचित करना कि ग्राहकों को यह बिल्कुल भी महसूस न हो, किसी भी होस्टिंग प्रदाता के आर्थिक प्रदर्शन को बढ़ाने में बहुत मदद करता है। निःसंदेह, यदि कोई नोड कंटेनरों से भरा हुआ है तो उसे तेजी से नहीं फटना चाहिए, और लोड में किसी भी उछाल को सभी ग्राहकों द्वारा तुरंत महसूस किया जाता है।

एक नोड पर कितने वीपीएस होस्ट किए जा सकते हैं यह कई कारकों पर निर्भर करता है, जैसे कि स्पष्ट:

1. नोड के हार्डवेयर की ही विशेषताएँ
2. वीपीएस आकार
3. वीपीएस पर भार की प्रकृति
4. सॉफ़्टवेयर प्रौद्योगिकियाँ जो घनत्व को अनुकूलित करने में मदद करती हैं

इस मामले में, हम Virtuozzo के लिए Pfcache तकनीक का उपयोग करने का अपना अनुभव साझा करेंगे।
हम छठी शाखा का उपयोग करते हैं, लेकिन जो कुछ भी कहा गया है वह सातवीं शाखा के लिए भी सत्य है।

पीएफ कैश - एक Virtuozzo तंत्र जो कंटेनरों में IOPS और RAM को डीडुप्लिकेट करने में मदद करता है, कंटेनरों में समान फ़ाइलों को एक अलग सामान्य क्षेत्र में आवंटित करता है।

वास्तव में इसमें निम्न शामिल हैं:
1. कर्नेल कोड
2. उपयोक्ता-अंतरिक्ष दानव
3. उपयोक्ता-स्थान उपयोगिताएँ

नोड पक्ष पर, हम एक संपूर्ण अनुभाग आवंटित करते हैं जिसमें फ़ाइलें बनाई जाएंगी जिनका उपयोग नोड पर सभी वीपीएस द्वारा सीधे किया जाएगा। इस अनुभाग में एक ब्लॉक प्लूप डिवाइस लगाया गया है। फिर, जब कंटेनर प्रारंभ होता है, तो उसे इस अनुभाग के लिए एक संदर्भ प्राप्त होता है:

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

हमारे एक नोड पर फ़ाइलों की संख्या पर अनुमानित आँकड़े यहां दिए गए हैं:

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    total

Pfcache का सिद्धांत इस प्रकार है:
• उपयोगकर्ता-स्पेस डेमॉन Pfcached फ़ाइल के sha-1 हैश को इस फ़ाइल की xattr विशेषता पर लिखता है। सभी फ़ाइलें संसाधित नहीं होती हैं, लेकिन केवल /usr, /bin, /usr/sbin, /sbin, /lib, /lib64 निर्देशिकाओं में संसाधित होती हैं

• यह सबसे अधिक संभावना है कि इन निर्देशिकाओं में फ़ाइलें "साझा" की जाएंगी और कई कंटेनरों द्वारा उपयोग की जाएंगी;

• Pfcached समय-समय पर कर्नेल से फ़ाइलों को पढ़ने पर आंकड़े एकत्र करता है, इसका विश्लेषण करता है, और यदि फ़ाइलों का अक्सर उपयोग किया जाता है तो उन्हें कैश में जोड़ता है;

• ये निर्देशिकाएँ भिन्न हो सकती हैं और कॉन्फ़िगरेशन फ़ाइलों में कॉन्फ़िगर की गई हैं।

• किसी फ़ाइल को पढ़ते समय, यह जांचा जाता है कि इसमें xattr विस्तारित विशेषताओं में निर्दिष्ट हैश शामिल है या नहीं। यदि इसमें शामिल है, तो कंटेनर फ़ाइल के बजाय "सामान्य" फ़ाइल खोली जाती है। यह प्रतिस्थापन कंटेनर कोड द्वारा किसी का ध्यान नहीं जाता है और कर्नेल में छिपा होता है;

• किसी फ़ाइल पर लिखते समय, हैश अमान्य हो जाता है। इस प्रकार, अगली बार जब आप इसे खोलेंगे, तो कंटेनर फ़ाइल स्वयं खुलेगी, न कि उसका कैश।

/vz/pfcache से साझा की गई फ़ाइलों को पेज कैश में रखकर, हम इस कैश में बचत के साथ-साथ IOPS में भी बचत प्राप्त करते हैं। डिस्क से दस फ़ाइलें पढ़ने के बजाय, हम एक पढ़ते हैं, जो तुरंत पेज कैश में चली जाती है।

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

फ़ाइल के लिए VMA सूची एकल रहती है (हम मेमोरी को डीडुप्लिकेट करते हैं) और इसे डिस्क से कम बार पढ़ा जाता है (आईओपीएस को सहेजते हुए)। हमारा सामान्य फंड एसएसडी पर स्थित है - गति में एक अतिरिक्त लाभ।

/bin/bash फ़ाइल को कैशिंग करने का उदाहरण:

[root@pcs13 ~]# ls -li /vz/root/2388/bin/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 /vz/root/2388/bin/bash
[root@pcs13 ~]# pfcache dump /vz/root/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum /vz/root/2388/bin/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/root/2388/bin/bash
[root@pcs13 /]# getfattr -ntrusted.pfcache /vz/root/2388/bin/bash
# file: vz/root/2388/bin/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362

हम उपयोग की दक्षता की गणना करते हैं तैयार स्क्रिप्ट.

यह स्क्रिप्ट प्रत्येक कंटेनर की कैश्ड फ़ाइलों की गणना करते हुए, नोड पर सभी कंटेनरों से होकर गुजरती है।

[root@pcs16 ~]# /pcs/distr/pfcache-examine.pl
...
Pfcache cache uses 831 MB of memory
Total use of pfcached files in containers is 39837 MB of memory
Pfcache effectiveness: 39006 MB

इस प्रकार, मेमोरी से हम लगभग 40 गीगाबाइट फ़ाइलों को कंटेनरों में सहेजते हैं; उन्हें कैश से लोड किया जाएगा।

इस तंत्र को और भी बेहतर ढंग से काम करने के लिए, नोड पर सबसे "समान" वीपीएस रखना आवश्यक है। उदाहरण के लिए, जिन तक उपयोगकर्ता की रूट पहुंच नहीं है और जिन पर तैनात छवि से वातावरण कॉन्फ़िगर किया गया है।

आप कॉन्फ़िगरेशन फ़ाइल के माध्यम से pfcache को ट्यून कर सकते हैं
/etc/vz/pfcache.conf

लघु आकार, अधिकतम आकार - कैशिंग के लिए न्यूनतम/अधिकतम फ़ाइल आकार
टाइमआउट - कैशिंग प्रयासों के बीच टाइमआउट

आप पैरामीटर्स की पूरी सूची देख सकते हैं по ссылке.

स्रोत: www.habr.com