Facebook TMO প্রক্রিয়া চালু করেছে, যা আপনাকে সার্ভারে 20-32% মেমরি সংরক্ষণ করতে দেয়

Facebook-এর প্রকৌশলীরা (রাশিয়ান ফেডারেশনে নিষিদ্ধ) TMO (স্বচ্ছ মেমরি অফলোডিং) প্রযুক্তির গত বছর বাস্তবায়নের বিষয়ে একটি প্রতিবেদন প্রকাশ করেছেন, যা NVMe-এর মতো সস্তা ড্রাইভে কাজের জন্য প্রয়োজনীয় সেকেন্ডারি ডেটা স্থানান্তর করে সার্ভারে RAM-তে উল্লেখযোগ্য সঞ্চয় করতে দেয়। এসএসডি-ডিস্ক। Facebook অনুমান করে যে TMO ব্যবহার করে প্রতিটি সার্ভারে 20 থেকে 32% RAM সংরক্ষণ করতে পারে। সমাধানটি পরিকাঠামোতে ব্যবহারের জন্য ডিজাইন করা হয়েছে যেখানে অ্যাপ্লিকেশনগুলি বিচ্ছিন্ন পাত্রে চলে। TMO-এর কার্নেল-সাইড উপাদানগুলি ইতিমধ্যেই লিনাক্স কার্নেলে অন্তর্ভুক্ত করা হয়েছে।

Linux কার্নেলের দিকে, প্রযুক্তিটি PSI (প্রেশার স্টল ইনফরমেশন) সাবসিস্টেম দ্বারা সমর্থিত, রিলিজ 4.20 থেকে শুরু করে উপলব্ধ। PSI ইতিমধ্যেই বিভিন্ন লো-মেমরি হ্যান্ডলারে ব্যবহৃত হয়েছে এবং আপনাকে বিভিন্ন সংস্থান (CPU, মেমরি, I/O) পাওয়ার জন্য অপেক্ষার সময় সম্পর্কে তথ্য বিশ্লেষণ করতে দেয়। PSI-এর সাহায্যে, ব্যবহারকারী-স্পেস প্রসেসরগুলি আরও সঠিকভাবে সিস্টেম লোডের মাত্রা এবং স্লোডাউন প্যাটার্নগুলিকে মূল্যায়ন করতে পারে, যার ফলে কর্মক্ষমতার উপর লক্ষণীয় প্রভাব পড়ার আগে অসঙ্গতিগুলিকে তাড়াতাড়ি চিহ্নিত করা যায়।

ইউজার স্পেসে, টিএমও সেনপাই কম্পোনেন্ট দ্বারা সরবরাহ করা হয়, যা cgroup2 এর মাধ্যমে, PSI থেকে প্রাপ্ত ডেটার উপর ভিত্তি করে অ্যাপ্লিকেশন কন্টেইনারগুলির জন্য মেমরি সীমা গতিশীলভাবে সামঞ্জস্য করে। সেনপাই পিএসআই-এর মাধ্যমে সম্পদের ঘাটতির সূত্রপাতের লক্ষণগুলি বিশ্লেষণ করে, মেমরি অ্যাক্সেসে ধীরগতির জন্য অ্যাপ্লিকেশনগুলির সংবেদনশীলতা মূল্যায়ন করে এবং ধারকটির জন্য প্রয়োজনীয় ন্যূনতম মেমরির আকার নির্ধারণ করার চেষ্টা করে, যেখানে অপারেশনের জন্য প্রয়োজনীয় ডেটা RAM-তে থাকে এবং এর সাথে ফাইল ক্যাশে সেটেল করা ডেটা বা এই মুহূর্তে সরাসরি ব্যবহার করা হয় না, অদলবদল পার্টিশনে বাধ্য করা হয়।

এইভাবে, TMO এর সারমর্ম হল মেমরি খরচের ক্ষেত্রে প্রক্রিয়াগুলিকে একটি কঠোর ডায়েটে রাখা, অব্যবহৃত মেমরি পৃষ্ঠাগুলির অদলবদল করতে বাধ্য করা যার উচ্ছেদ কার্যকারিতাকে উল্লেখযোগ্যভাবে প্রভাবিত করে না (উদাহরণস্বরূপ, শুধুমাত্র শুরু করার সময় ব্যবহৃত কোড সহ পৃষ্ঠাগুলি, এবং একক ব্যবহার ডিস্ক ক্যাশে ডেটা)। মেমরির চাপের প্রতিক্রিয়ায় অদলবদল পার্টিশনে তথ্য উচ্ছেদ করার বিপরীতে, TMO ডেটা সক্রিয় ভবিষ্যদ্বাণীর উপর ভিত্তি করে উচ্ছেদ করা হয়।

উচ্ছেদের একটি মাপকাঠি হল 5 মিনিটের জন্য মেমরি পৃষ্ঠায় অ্যাক্সেসের অনুপস্থিতি। এই জাতীয় পৃষ্ঠাগুলিকে কোল্ড মেমরি পেজ বলা হয় এবং গড়ে প্রায় 35% অ্যাপ্লিকেশন মেমরি তৈরি করে (অ্যাপ্লিকেশনের ধরণের উপর নির্ভর করে, 19% থেকে 65% পর্যন্ত একটি পরিসর রয়েছে)। প্রিম্পশন বেনামী মেমরি পেজ (অ্যাপ্লিকেশন দ্বারা বরাদ্দ করা মেমরি) এবং ফাইল ক্যাশে করার জন্য ব্যবহৃত মেমরি (কার্ণেল দ্বারা বরাদ্দ) এর সাথে সম্পর্কিত অ্যাকাউন্ট কার্যকলাপকে বিবেচনা করে। কিছু অ্যাপ্লিকেশনে প্রধান খরচ হল বেনামী মেমরি, কিন্তু অন্যগুলিতে ফাইল ক্যাশেও গুরুত্বপূর্ণ। ক্যাশে উচ্ছেদ ভারসাম্যহীনতা এড়াতে, TMO একটি নতুন পেজিং অ্যালগরিদম ব্যবহার করে যা আনুপাতিকভাবে ফাইল ক্যাশের সাথে যুক্ত বেনামী পৃষ্ঠা এবং পৃষ্ঠাগুলিকে উচ্ছেদ করে৷

কদাচিৎ ব্যবহৃত পৃষ্ঠাগুলিকে ধীরগতির মেমরিতে পুশ করা কার্যক্ষমতার উপর উল্লেখযোগ্য প্রভাব ফেলে না, তবে হার্ডওয়্যার খরচ উল্লেখযোগ্যভাবে হ্রাস করতে পারে। ডেটা SSD ড্রাইভে বা RAM-তে সংকুচিত অদলবদল এলাকায় ফ্লাশ করা হয়। একটি বাইট ডেটা সংরক্ষণের খরচের পরিপ্রেক্ষিতে, একটি NVMe SSD ব্যবহার করা RAM এ কম্প্রেশন ব্যবহার করার চেয়ে 10 গুণ পর্যন্ত সস্তা।

উত্স: opennet.ru