पाठ्यक्रम के विद्यार्थियों के लिए तैयार किये गये आलेख का अनुवाद "लिनक्स प्रशासक".

पहले, मैंने Linux पर Hugepages का परीक्षण और सक्षम करने के तरीके के बारे में बात की थी।
यह आलेख केवल तभी उपयोगी होगा जब आपके पास वास्तव में ह्यूजपेज का उपयोग करने के लिए कोई स्थान हो। मैं ऐसे बहुत से लोगों से मिला हूं जो इस संभावना से मूर्ख हैं कि ह्यूजपेज जादुई रूप से उत्पादकता में सुधार करेगा। हालाँकि, ह्यूजपेजिंग एक जटिल विषय है और अगर गलत तरीके से उपयोग किया जाए तो यह प्रदर्शन को ख़राब कर सकता है।

भाग 1: यह सत्यापित करना कि लिनक्स (मूल) पर विशाल पृष्ठ सक्षम हैं यहां)

समस्या:
आपको यह जांचना होगा कि क्या आपके सिस्टम पर HugePages सक्षम है।

समाधान:
यह बहुत आसान है:

cat /sys/kernel/mm/transparent_hugepage/enabled

आपको कुछ इस तरह मिलेगा:

always [madvise] never

आपको उपलब्ध विकल्पों की एक सूची दिखाई देगी (हमेशा, पागल, कभी नहीं), और वर्तमान में सक्रिय विकल्प कोष्ठक में संलग्न किया जाएगा (डिफ़ॉल्ट रूप से)। पागलपन).

पागलपन मतलब कि transparent hugepages केवल उन स्मृति क्षेत्रों के लिए सक्षम किया गया है जो स्पष्ट रूप से विशाल पृष्ठों का उपयोग करने का अनुरोध करते हैं पागलपन(2).

हमेशा मतलब कि transparent hugepages सभी प्रक्रियाओं के लिए हमेशा सक्षम। यह आमतौर पर प्रदर्शन में सुधार करता है, लेकिन यदि आपके पास एक उपयोग का मामला है जहां कई प्रक्रियाएं थोड़ी मात्रा में मेमोरी का उपभोग कर रही हैं, तो समग्र मेमोरी लोड नाटकीय रूप से बढ़ सकता है।

कभी नहीँ मतलब कि transparent hugepages मैडविज़ का उपयोग करके अनुरोध करने पर भी शामिल नहीं किया जाएगा। अधिक जानने के लिए संपर्क करें प्रलेखन लिनक्स कर्नेल.

डिफ़ॉल्ट मान कैसे बदलें

देखिये 1: सीधे परिवर्तन sysfs (रीबूट के बाद पैरामीटर अपने डिफ़ॉल्ट मान पर वापस आ जाएगा):

echo always >/sys/kernel/mm/transparent_hugepage/enabled
echo madvise >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/enabled

देखिये 2: संशोधित कॉन्फ़िगरेशन के साथ कर्नेल को पुन: संकलित करके सिस्टम डिफ़ॉल्ट को बदलें (यह विकल्प केवल तभी अनुशंसित है यदि आप कस्टम कर्नेल का उपयोग कर रहे हैं):

• हमेशा डिफ़ॉल्ट रूप से सेट करने के लिए, उपयोग करें:

  CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS=y
  # Comment out CONFIG_TRANSPARENT_HUGEPAGE_MADVISE=y

• मैडविज़ को डिफ़ॉल्ट के रूप में सेट करने के लिए, इसका उपयोग करें:

  CONFIG_TRANSPARENT_HUGEPAGE_MADVISE=y
  # Comment out CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS=y

भाग 2: ह्यूजपेज के फायदे और नुकसान

हम ह्यूजपेज के उपयोग के फायदे, नुकसान और संभावित नुकसान को चुनिंदा रूप से समझाने का प्रयास करेंगे। चूँकि एक तकनीकी रूप से जटिल और पांडित्यपूर्ण लेख उन लोगों के लिए समझना मुश्किल होगा जो यह सोचकर भ्रमित हैं कि ह्यूजपेज एक रामबाण है, मैं सरलता के लिए सटीकता का त्याग कर दूँगा। यह ध्यान में रखने योग्य बात है कि बहुत सारे विषय वास्तव में जटिल हैं और इसलिए बहुत सरल हैं।

कृपया ध्यान दें कि हम लिनक्स पर चलने वाले 64-बिट x86 सिस्टम के बारे में बात कर रहे हैं, और मैं बस यह मान रहा हूं कि सिस्टम पारदर्शी ह्यूजपेज का समर्थन करता है (क्योंकि यह कोई नुकसान नहीं है कि ह्यूजपेज ओवरराइट नहीं किए गए हैं), जैसा कि लगभग किसी भी आधुनिक लिनक्स में होता है पर्यावरण।

मैं नीचे दिए गए लिंक में अधिक तकनीकी विवरण संलग्न करूंगा।

आभासी स्मृति

यदि आप C++ प्रोग्रामर हैं, तो आप जानते हैं कि मेमोरी में ऑब्जेक्ट के विशिष्ट पते (पॉइंटर मान) होते हैं।

हालाँकि, ये पते आवश्यक रूप से मेमोरी (रैम पते) में भौतिक पते को प्रतिबिंबित नहीं करते हैं। वे वर्चुअल मेमोरी में पतों का प्रतिनिधित्व करते हैं। प्रोसेसर में एक विशेष एमएमयू (मेमोरी मैनेजमेंट यूनिट) मॉड्यूल है जो कर्नेल को वर्चुअल मेमोरी को भौतिक स्थान पर मैप करने में मदद करता है।

इस दृष्टिकोण के कई फायदे हैं, लेकिन सबसे महत्वपूर्ण हैं:

• प्रदर्शन (विभिन्न कारणों से);
• प्रोग्राम आइसोलेशन, अर्थात कोई भी प्रोग्राम दूसरे प्रोग्राम की मेमोरी से नहीं पढ़ सकता।

पेज क्या हैं?

वर्चुअल मेमोरी को पेजों में विभाजित किया गया है। प्रत्येक व्यक्तिगत पृष्ठ एक विशिष्ट भौतिक मेमोरी को इंगित करता है, यह रैम में एक क्षेत्र को इंगित कर सकता है, या यह किसी भौतिक डिवाइस, जैसे वीडियो कार्ड, को निर्दिष्ट पते को इंगित कर सकता है।

आपके द्वारा देखे जाने वाले अधिकांश पेज या तो रैम की ओर इशारा करते हैं या स्वैप किए गए होते हैं, जिसका अर्थ है कि वे आपकी हार्ड ड्राइव या एसएसडी पर संग्रहीत होते हैं। कर्नेल प्रत्येक पृष्ठ के भौतिक लेआउट का प्रबंधन करता है। यदि कोई नकली पेज एक्सेस किया जाता है, तो कर्नेल उस थ्रेड को रोक देता है जो मेमोरी तक पहुंचने का प्रयास कर रहा है, पेज को हार्ड ड्राइव/एसएसडी से रैम में पढ़ता है, और फिर थ्रेड को निष्पादित करना जारी रखता है।

यह प्रक्रिया स्ट्रीम पारदर्शी है, जिसका अर्थ यह नहीं है कि यह सीधे एचडीडी/एसएसडी से पढ़ी जाती है। सामान्य पृष्ठों का आकार 4096 बाइट्स होता है। ह्यूजपेज का आकार 2 मेगाबाइट है।

अनुवाद-साहचर्य बफ़र (टीएलबी)

जब कोई प्रोग्राम मेमोरी के किसी पेज तक पहुंचता है, तो सीपीयू को पता होना चाहिए कि किस भौतिक पेज से डेटा पढ़ना है (अर्थात, एक वर्चुअल एड्रेस मैप होना चाहिए)।

कर्नेल में एक डेटा संरचना (पेज टेबल) होती है जिसमें उपयोग किए जा रहे पेजों के बारे में सारी जानकारी होती है। इस डेटा संरचना का उपयोग करके, आप वर्चुअल पते को भौतिक पते पर मैप कर सकते हैं।

हालाँकि, पृष्ठ तालिका काफी जटिल और धीमी है, इसलिए जब भी कोई प्रक्रिया मेमोरी तक पहुँचती है तो हम संपूर्ण डेटा संरचना का विश्लेषण नहीं कर सकते।

सौभाग्य से, हमारे प्रोसेसर में एक टीएलबी है जो वर्चुअल और भौतिक पतों के बीच मैपिंग को कैश करता है। इसका मतलब यह है कि यद्यपि हमें पहले एक्सेस प्रयास पर पेज टेबल को पार्स करने की आवश्यकता है, पेज पर सभी बाद की एक्सेस को टीएलबी में नियंत्रित किया जा सकता है, जिससे तेज संचालन की अनुमति मिलती है।

चूँकि इसे एक भौतिक उपकरण के रूप में लागू किया गया है (जो इसे सबसे पहले तेज़ बनाता है), इसकी क्षमता सीमित है। इसलिए यदि आप अधिक पृष्ठों तक पहुँचना चाहते हैं, तो टीएलबी उन सभी के लिए मैपिंग संग्रहीत करने में सक्षम नहीं होगा, जिससे आपका प्रोग्राम बहुत धीमी गति से चलेगा।

विशालपेज बचाव के लिए आते हैं

तो टीएलबी अतिप्रवाह से बचने के लिए हम क्या कर सकते हैं? (हम मानते हैं कि प्रोग्राम को अभी भी उतनी ही मेमोरी की आवश्यकता है)।

यहीं पर ह्यूजपेजेस आता है। केवल एक टीएलबी प्रविष्टि की आवश्यकता वाले 4096 बाइट्स के बजाय, एक टीएलबी प्रविष्टि अब 2 मेगाबाइट की ओर इशारा कर सकती है। आइए मान लें कि टीएलबी में 512 प्रविष्टियाँ हैं, यहां बिना ह्यूजपेज के हम मिलान कर सकते हैं:

4096 b⋅512=2 MB

फिर हम उनसे तुलना कैसे कर सकते हैं:

2 MB⋅512=1 GB

यही कारण है कि Hugepages अद्भुत है। वे बिना अधिक प्रयास के उत्पादकता में सुधार कर सकते हैं। लेकिन यहां महत्वपूर्ण चेतावनियां हैं।

विशाल पेज स्पूफिंग

कर्नेल स्वचालित रूप से मॉनिटर करता है कि प्रत्येक मेमोरी पेज का कितनी बार उपयोग किया जाता है। यदि पर्याप्त भौतिक मेमोरी (रैम) नहीं है, तो कर्नेल अधिक महत्वपूर्ण पृष्ठों के लिए कुछ रैम खाली करने के लिए कम महत्वपूर्ण (कम बार उपयोग किए जाने वाले) पृष्ठों को हार्ड डिस्क पर ले जाएगा।
सिद्धांत रूप में, यही बात Hugepages पर भी लागू होती है। हालाँकि, कर्नेल केवल संपूर्ण पृष्ठों की अदला-बदली कर सकता है, व्यक्तिगत बाइट्स की नहीं।

मान लीजिए कि हमारे पास इस तरह का एक कार्यक्रम है:

char* mymemory = malloc(2*1024*1024); // Возьмем это за одну Hugepage!
// Заполним mymemory какими-либо данными
// Сделаем много других вещей,
// которые приведут к подмене страницы mymemory
// ...
// Запросим доступ только к первому байту
putchar(mymemory[0]); 

इस मामले में, कर्नेल को केवल आपके एक बाइट को पढ़ने के लिए हार्ड ड्राइव/एसएसडी से 2 मेगाबाइट जानकारी को बदलने (पढ़ने) की आवश्यकता होगी। जहां तक ​​नियमित पृष्ठों की बात है, हार्ड ड्राइव/एसएसडी से केवल 4096 बाइट्स पढ़ने की जरूरत है।

इसलिए, यदि विशाल पृष्ठ को ओवरराइड किया गया है, तो इसे पढ़ना तभी तेज़ होगा जब आपको पूरे पृष्ठ तक पहुंचने की आवश्यकता होगी। इसका मतलब यह है कि यदि आप मेमोरी के विभिन्न हिस्सों को बेतरतीब ढंग से एक्सेस करने का प्रयास कर रहे हैं और केवल कुछ किलोबाइट पढ़ रहे हैं, तो आपको नियमित पृष्ठों का उपयोग करना चाहिए और किसी अन्य चीज़ के बारे में चिंता नहीं करनी चाहिए।

दूसरी ओर, यदि आपको मेमोरी के एक बड़े हिस्से को क्रमिक रूप से एक्सेस करने की आवश्यकता है, तो विशाल पृष्ठ आपके प्रदर्शन में सुधार करेंगे। हालाँकि, आपको इसे स्वयं परीक्षण करने की आवश्यकता है (अमूर्त सॉफ़्टवेयर के साथ नहीं) और देखें कि क्या तेज़ काम करता है।

स्मृति में आवंटन

यदि आप C लिखते हैं, तो आप जानते हैं कि आप ढेर से मनमाने ढंग से छोटी (या लगभग मनमाने ढंग से बड़ी) मात्रा में मेमोरी का अनुरोध कर सकते हैं malloc(). मान लीजिए कि आपको 30 बाइट्स मेमोरी की आवश्यकता है:

char* mymemory = malloc(30);

किसी प्रोग्रामर को, ऐसा प्रतीत हो सकता है कि आप ऑपरेटिंग सिस्टम से 30 बाइट्स मेमोरी का "अनुरोध" कर रहे हैं और कुछ वर्चुअल मेमोरी में एक पॉइंटर लौटा रहे हैं। लेकिन वास्तव में malloc () यह केवल एक C फ़ंक्शन है जो फ़ंक्शन के भीतर से कॉल करता है बीआरके और एसबीआरके ऑपरेटिंग सिस्टम से मेमोरी का अनुरोध करने या उसे मुक्त करने के लिए।

हालाँकि, प्रत्येक आवंटन के लिए अधिक से अधिक मेमोरी का अनुरोध करना अक्षम्य है; यह सबसे अधिक संभावना है कि कुछ मेमोरी खंड पहले ही मुक्त कर दिया गया है (free()), और हम इसका पुन: उपयोग कर सकते हैं। malloc() मुक्त मेमोरी का पुन: उपयोग करने के लिए काफी जटिल एल्गोरिदम लागू करता है।

साथ ही, सब कुछ आपके लिए अनजान हो जाता है, तो इससे आपको चिंता क्यों होनी चाहिए? लेकिन क्योंकि चुनौती free() इसका मतलब यह नहीं है मेमोरी आवश्यक रूप से तुरंत ऑपरेटिंग सिस्टम में वापस आ जाती है.

स्मृति विखंडन जैसी कोई चीज़ होती है। चरम मामलों में, ऐसे ढेर खंड होते हैं जहां केवल कुछ बाइट्स का उपयोग किया जाता है, जबकि बीच में सब कुछ मुक्त कर दिया गया है (free()).

कृपया ध्यान दें कि मेमोरी विखंडन एक अविश्वसनीय रूप से जटिल विषय है, और किसी प्रोग्राम में मामूली बदलाव भी महत्वपूर्ण प्रभाव डाल सकते हैं। ज्यादातर मामलों में, प्रोग्राम महत्वपूर्ण मेमोरी विखंडन का कारण नहीं बनेंगे, लेकिन आपको पता होना चाहिए कि यदि ढेर के कुछ क्षेत्र में विखंडन की समस्या है, तो विशाल पृष्ठ स्थिति को और खराब कर सकते हैं।

विशालपेजों का चयनात्मक उपयोग

इस लेख को पढ़ने के बाद, आपने यह निर्धारित कर लिया है कि आपके प्रोग्राम के कौन से हिस्से ह्यूगपेज का उपयोग करने से लाभान्वित हो सकते हैं और कौन से नहीं। तो क्या bigpages को बिल्कुल भी सक्षम किया जाना चाहिए?

सौभाग्य से आप उपयोग कर सकते हैं madvise()केवल उन स्मृति क्षेत्रों के लिए ह्यूजपेजिंग सक्षम करना जहां यह उपयोगी होगा।

सबसे पहले, जांचें कि bigpages मैडविज़() मोड का उपयोग करके चल रहा है या नहीं निर्देश लेख की शुरुआत में.

फिर, उपयोग करें madvise()कर्नेल को सटीक रूप से बताने के लिए कि ह्यूगपेज का उपयोग कहां करना है।

#include <sys/mman.h>
// Аллоцируйте большое количество памяти, которую будете использовать
size_t size = 256*1024*1024;
char* mymemory = malloc(size);
// Просто включите hugepages…
madvise(mymemory, size, MADV_HUGEPAGE);
// … и задайте следующее
madvise(mymemory, size, MADV_HUGEPAGE | MADV_SEQUENTIAL)

ध्यान दें कि यह विधि मेमोरी को प्रबंधित करने के तरीके पर कर्नेल को केवल सलाह है। इसका मतलब यह नहीं है कि कर्नेल किसी दी गई मेमोरी के लिए स्वचालित रूप से ह्यूजपेज का उपयोग करेगा।

दस्तावेज़ीकरण देखें (मैनपेज)मैडविज़स्मृति प्रबंधन और के बारे में अधिक जानने के लिए madvise(), इस विषय में अविश्वसनीय रूप से तीव्र सीखने की अवस्था है। इसलिए यदि आप वास्तव में इसमें अच्छा होने का इरादा रखते हैं, तो किसी भी सकारात्मक परिणाम की उम्मीद करने से पहले कुछ हफ्तों तक पढ़ने और परीक्षण करने की तैयारी करें।

क्या पढ़ना है?

• ह्यूजपेज पर आईबीएम ओपनस्टैक लेख
• पारदर्शी विशाल पृष्ठ बनाम गैर-पारदर्शी विशाल पृष्ठ
• टीएलबी के बारे में विकिपीडिया लेख
• पारदर्शी विशालपृष्ठों पर लिनक्स कर्नेल दस्तावेज़ीकरण
• स्टैक ओवरफ़्लो: विशाल पृष्ठों में स्मृति विखंडन का खतरा होता है
• वर्चुअल मेमोरी प्रबंधन पर Microsoft आलेख

एक सवाल है? टिप्पणियों में लिखें!

स्रोत: www.habr.com