फेसबुक ने टीएमओ तंत्र पेश किया, जो आपको सर्वर पर 20-32% मेमोरी बचाने की अनुमति देता है

फेसबुक (रूसी संघ में प्रतिबंधित) के इंजीनियरों ने पिछले साल टीएमओ (ट्रांसपेरेंट मेमोरी ऑफलोडिंग) तकनीक के कार्यान्वयन पर एक रिपोर्ट प्रकाशित की थी, जो एनवीएमई जैसी सस्ती ड्राइव पर काम के लिए आवश्यक नहीं होने वाले माध्यमिक डेटा को विस्थापित करके सर्वर पर रैम में महत्वपूर्ण बचत की अनुमति देता है। एसएसडी -डिस्क। फेसबुक का अनुमान है कि टीएमओ का उपयोग करने से प्रत्येक सर्वर पर 20 से 32% रैम बचाई जा सकती है। समाधान को बुनियादी ढांचे में उपयोग के लिए डिज़ाइन किया गया है जहां एप्लिकेशन पृथक कंटेनरों में चलते हैं। टीएमओ के कर्नेल-साइड घटक पहले से ही लिनक्स कर्नेल में शामिल हैं।

लिनक्स कर्नेल पक्ष पर, प्रौद्योगिकी पीएसआई (प्रेशर स्टॉल इंफॉर्मेशन) सबसिस्टम द्वारा समर्थित है, जो रिलीज 4.20 से उपलब्ध है। पीएसआई पहले से ही विभिन्न कम-मेमोरी हैंडलर में उपयोग किया जाता है और आपको विभिन्न संसाधनों (सीपीयू, मेमोरी, आई/ओ) प्राप्त करने के लिए प्रतीक्षा समय के बारे में जानकारी का विश्लेषण करने की अनुमति देता है। पीएसआई के साथ, उपयोगकर्ता-स्पेस प्रोसेसर सिस्टम लोड स्तर और मंदी पैटर्न का अधिक सटीक आकलन कर सकते हैं, जिससे प्रदर्शन पर ध्यान देने योग्य प्रभाव पड़ने से पहले विसंगतियों की पहचान की जा सकती है।

उपयोगकर्ता स्थान में, TMO को सेनपई घटक द्वारा प्रदान किया जाता है, जो cgroup2 के माध्यम से, PSI से प्राप्त डेटा के आधार पर एप्लिकेशन कंटेनरों के लिए मेमोरी सीमा को गतिशील रूप से समायोजित करता है। सेनपाई पीएसआई के माध्यम से संसाधन की कमी की शुरुआत के संकेतों का विश्लेषण करता है, मेमोरी एक्सेस में मंदी के प्रति अनुप्रयोगों की संवेदनशीलता का आकलन करता है और कंटेनर द्वारा आवश्यक न्यूनतम मेमोरी आकार निर्धारित करने का प्रयास करता है, जिस पर ऑपरेशन के लिए आवश्यक डेटा रैम और साथ में रहता है फ़ाइल कैश में जमा किया गया डेटा या फिलहाल सीधे उपयोग नहीं किया गया है, उसे स्वैप विभाजन के लिए मजबूर किया जाता है।

इस प्रकार, टीएमओ का सार मेमोरी खपत के संदर्भ में प्रक्रियाओं को सख्त आहार पर रखना है, अप्रयुक्त मेमोरी पेजों की अदला-बदली को मजबूर करना, जिनके निष्कासन से प्रदर्शन पर कोई विशेष प्रभाव नहीं पड़ता है (उदाहरण के लिए, केवल आरंभीकरण के दौरान उपयोग किए गए कोड वाले पेज, और एकल-उपयोग) डिस्क कैश में डेटा)। मेमोरी दबाव के जवाब में स्वैप विभाजन से जानकारी को बाहर निकालने के विपरीत, टीएमओ में डेटा को सक्रिय भविष्यवाणी के आधार पर बाहर निकाला जाता है।

निष्कासन के मानदंडों में से एक 5 मिनट के लिए मेमोरी पेज तक पहुंच की अनुपस्थिति है। ऐसे पेजों को कोल्ड मेमोरी पेज कहा जाता है और औसतन ये एप्लिकेशन मेमोरी का लगभग 35% हिस्सा बनाते हैं (एप्लिकेशन के प्रकार के आधार पर, 19% से 65% तक की सीमा होती है)। प्रीएम्प्शन अनाम मेमोरी पेजों (एप्लिकेशन द्वारा आवंटित मेमोरी) और फ़ाइल कैशिंग (कर्नेल द्वारा आवंटित) के लिए उपयोग की जाने वाली मेमोरी से जुड़ी गतिविधि को ध्यान में रखता है। कुछ अनुप्रयोगों में मुख्य खपत अनाम मेमोरी है, लेकिन अन्य में फ़ाइल कैश भी महत्वपूर्ण है। कैश निष्कासन असंतुलन से बचने के लिए, टीएमओ एक नए पेजिंग एल्गोरिदम का उपयोग करता है जो अनाम पृष्ठों और फ़ाइल कैश से जुड़े पृष्ठों को आनुपातिक रूप से बाहर निकालता है।

कम उपयोग किए गए पृष्ठों को धीमी मेमोरी में डालने से प्रदर्शन पर कोई महत्वपूर्ण प्रभाव नहीं पड़ता है, लेकिन हार्डवेयर लागत में काफी कमी आ सकती है। डेटा को SSD ड्राइव या RAM में संपीड़ित स्वैप क्षेत्र में प्रवाहित किया जाता है। डेटा की एक बाइट संग्रहीत करने की लागत के संदर्भ में, एनवीएमई एसएसडी का उपयोग करना रैम में संपीड़न का उपयोग करने की तुलना में 10 गुना सस्ता है।

स्रोत: opennet.ru