फेसबुकने TMO यंत्रणा सादर केली, ज्यामुळे तुम्ही सर्व्हरवर 20-32% मेमरी वाचवू शकता

Facebook च्या अभियंत्यांनी (रशियन फेडरेशनमध्ये बंदी घातली आहे) TMO (पारदर्शक मेमरी ऑफलोडिंग) तंत्रज्ञानाच्या अंमलबजावणीचा गेल्या वर्षी अहवाल प्रकाशित केला होता, जे NVMe सारख्या स्वस्त ड्राइव्हवर काम करण्यासाठी आवश्यक नसलेला दुय्यम डेटा विस्थापित करून सर्व्हरवर RAM मध्ये लक्षणीय बचत करण्यास अनुमती देते. SSD -डिस्क. फेसबुकचा अंदाज आहे की TMO वापरल्याने प्रत्येक सर्व्हरवर 20 ते 32% RAM वाचू शकते. सोल्यूशन इन्फ्रास्ट्रक्चरमध्ये वापरण्यासाठी डिझाइन केले आहे जेथे अनुप्रयोग वेगळ्या कंटेनरमध्ये चालतात. TMO चे कर्नल-साइड घटक आधीपासूनच Linux कर्नलमध्ये समाविष्ट केले आहेत.

लिनक्स कर्नल बाजूला, तंत्रज्ञान PSI (प्रेशर स्टॉल इन्फॉर्मेशन) उपप्रणालीद्वारे समर्थित आहे, रिलीझ 4.20 पासून उपलब्ध आहे. PSI आधीच विविध लो-मेमरी हँडलर्समध्ये वापरले जाते आणि तुम्हाला विविध संसाधने (CPU, मेमरी, I/O) मिळविण्यासाठी प्रतीक्षा वेळेबद्दल माहितीचे विश्लेषण करण्याची परवानगी देते. PSI सह, वापरकर्ता-स्पेस प्रोसेसर अधिक अचूकपणे सिस्टम लोड पातळी आणि स्लोडाउन पॅटर्नचे मूल्यांकन करू शकतात, ज्यामुळे कार्यक्षमतेवर लक्षणीय परिणाम होण्यापूर्वी विसंगती लवकर ओळखता येतात.

युजर स्पेसमध्ये, TMO हे Senpai घटकाद्वारे प्रदान केले जाते, जे cgroup2 द्वारे, PSI कडून मिळालेल्या डेटाच्या आधारे ऍप्लिकेशन कंटेनरसाठी मेमरी मर्यादा डायनॅमिकरित्या समायोजित करते. सेनपाई PSI द्वारे संसाधनांच्या कमतरतेच्या सुरुवातीच्या लक्षणांचे विश्लेषण करते, मेमरी प्रवेशामध्ये कमी होण्याच्या ऍप्लिकेशनच्या संवेदनशीलतेचे मूल्यांकन करते आणि कंटेनरला आवश्यक किमान मेमरी आकार निर्धारित करण्याचा प्रयत्न करते, ज्यावर ऑपरेशनसाठी आवश्यक डेटा RAM मध्ये राहतो आणि सोबत फाइल कॅशेमध्ये सेटल केलेला डेटा किंवा याक्षणी थेट वापरला जात नाही, स्वॅप विभाजनासाठी सक्ती केली जाते.

अशाप्रकारे, TMO चे सार म्हणजे मेमरी वापराच्या बाबतीत कठोर आहारावर प्रक्रिया ठेवणे, न वापरलेली मेमरी पृष्ठे अदलाबदल करण्यास भाग पाडणे ज्यांच्या निष्कासनामुळे कार्यक्षमतेवर लक्षणीय परिणाम होत नाही (उदाहरणार्थ, कोड असलेली पृष्ठे फक्त प्रारंभ करताना वापरली जातात, आणि एकल-वापर डिस्क कॅशेमधील डेटा). मेमरी प्रेशरच्या प्रतिसादात स्वॅप विभाजनाची माहिती बाहेर काढण्यापेक्षा, TMO डेटामध्ये प्रोएक्टिव्ह प्रेडिक्शनच्या आधारे बेदखल केले जाते.

बेदखल करण्याच्या निकषांपैकी एक म्हणजे 5 मिनिटांसाठी मेमरी पृष्ठावर प्रवेश नसणे. अशा पृष्ठांना कोल्ड मेमरी पृष्ठे म्हणतात आणि सरासरी 35% अनुप्रयोग मेमरी बनवतात (अनुप्रयोगाच्या प्रकारानुसार, 19% ते 65% पर्यंत श्रेणी असते). निनावी मेमरी पृष्ठे (ॲप्लिकेशनद्वारे वाटप केलेली मेमरी) आणि फाइल कॅशिंगसाठी वापरली जाणारी मेमरी (कर्नलद्वारे वाटप) यांच्याशी निगडीत खाते क्रियाकलाप प्रीम्प्शन घेते. काही अनुप्रयोगांमध्ये मुख्य वापर अनामित मेमरी आहे, परंतु इतरांमध्ये फाइल कॅशे देखील महत्त्वपूर्ण आहे. कॅशे इव्हिक्शन असमतोल टाळण्यासाठी, TMO नवीन पेजिंग अल्गोरिदम वापरते जे निनावी पृष्ठे आणि फाइल कॅशेशी संबंधित पृष्ठे प्रमाणानुसार काढून टाकते.

क्वचित वापरल्या जाणाऱ्या पृष्ठांना स्लो मेमरीमध्ये ढकलल्याने कार्यक्षमतेवर लक्षणीय परिणाम होत नाही, परंतु हार्डवेअर खर्चात लक्षणीय घट होऊ शकते. डेटा SSD ड्राइव्हस् किंवा RAM मधील संकुचित स्वॅप क्षेत्रामध्ये फ्लश केला जातो. डेटाचा बाइट संचयित करण्याच्या खर्चाच्या बाबतीत, NVMe SSD वापरणे RAM मध्ये कॉम्प्रेशन वापरण्यापेक्षा 10 पट स्वस्त आहे.

स्त्रोत: opennet.ru