Facebook એ TMO મિકેનિઝમ રજૂ કર્યું છે, જેનાથી તમે સર્વર્સ પર 20-32% મેમરી સાચવી શકો છો

ફેસબુકના એન્જિનિયરોએ (રશિયન ફેડરેશનમાં પ્રતિબંધિત) TMO (પારદર્શક મેમરી ઑફલોડિંગ) ટેક્નોલોજીના અમલીકરણ પર ગયા વર્ષે અહેવાલ પ્રકાશિત કર્યો હતો, જે NVMe જેવી સસ્તી ડ્રાઇવ પર કામ કરવા માટે જરૂરી ન હોય તેવા સેકન્ડરી ડેટાને સ્થાનાંતરિત કરીને સર્વર પર RAM માં નોંધપાત્ર બચત કરવાની મંજૂરી આપે છે. SSD - ડિસ્ક. ફેસબુકનો અંદાજ છે કે TMO નો ઉપયોગ કરવાથી દરેક સર્વર પર 20 થી 32% RAM બચાવી શકાય છે. સોલ્યુશન ઇન્ફ્રાસ્ટ્રક્ચરમાં ઉપયોગ માટે ડિઝાઇન કરવામાં આવ્યું છે જ્યાં એપ્લિકેશન અલગ કન્ટેનરમાં ચાલે છે. TMO ના કર્નલ-બાજુના ઘટકો પહેલાથી જ Linux કર્નલમાં સમાવિષ્ટ છે.

Linux કર્નલ બાજુ પર, ટેક્નોલોજી PSI (પ્રેશર સ્ટોલ માહિતી) સબસિસ્ટમ દ્વારા આધારભૂત છે, જે રિલીઝ 4.20 થી શરૂ થાય છે. PSI નો ઉપયોગ પહેલાથી જ વિવિધ લો-મેમરી હેન્ડલર્સમાં થાય છે અને તમને વિવિધ સંસાધનો (CPU, મેમરી, I/O) મેળવવા માટે રાહ જોવાના સમય વિશેની માહિતીનું વિશ્લેષણ કરવાની મંજૂરી આપે છે. PSI સાથે, યુઝર-સ્પેસ પ્રોસેસર્સ સિસ્ટમ લોડ લેવલ અને સ્લોડાઉન પેટર્નનું વધુ સચોટપણે મૂલ્યાંકન કરી શકે છે, જે વિસંગતતાઓને વહેલાસર ઓળખી શકાય છે, તે પહેલાં તેમની કામગીરી પર નોંધપાત્ર અસર થાય છે.

યુઝર સ્પેસમાં, TMO એ Senpai ઘટક દ્વારા પ્રદાન કરવામાં આવે છે, જે cgroup2 દ્વારા, PSI તરફથી પ્રાપ્ત ડેટાના આધારે એપ્લિકેશન કન્ટેનર માટે મેમરી મર્યાદાને ગતિશીલ રીતે ગોઠવે છે. સેનપાઈ PSI દ્વારા સંસાધનની અછતની શરૂઆતના સંકેતોનું વિશ્લેષણ કરે છે, મેમરી એક્સેસમાં મંદી માટે એપ્લિકેશનની સંવેદનશીલતાનું મૂલ્યાંકન કરે છે અને કન્ટેનર દ્વારા જરૂરી ન્યૂનતમ મેમરી માપ નક્કી કરવાનો પ્રયાસ કરે છે, જેના પર ઓપરેશન માટે જરૂરી ડેટા રેમમાં રહે છે, અને તેની સાથે ફાઇલ કેશમાં સ્થાયી થયેલ ડેટા અથવા આ ક્ષણે સીધો ઉપયોગ થતો નથી, તેને સ્વેપ પાર્ટીશનમાં ફરજ પાડવામાં આવે છે.

આમ, TMOનો સાર એ છે કે મેમરી વપરાશના સંદર્ભમાં પ્રક્રિયાઓને કડક આહાર પર રાખવી, બિનઉપયોગી મેમરી પૃષ્ઠોને અદલાબદલી કરવાની ફરજ પાડવી કે જેમની બહાર કાઢવાથી પ્રભાવને નોંધપાત્ર રીતે અસર થતી નથી (ઉદાહરણ તરીકે, ફક્ત પ્રારંભ દરમિયાન ઉપયોગમાં લેવાતા કોડવાળા પૃષ્ઠો, અને સિંગલ-ઉપયોગ) ડિસ્ક કેશમાંનો ડેટા). મેમરી દબાણના પ્રતિભાવમાં સ્વેપ પાર્ટીશનની માહિતીને બહાર કાઢવાથી વિપરીત, TMO ડેટામાં સક્રિય આગાહીના આધારે બહાર કાઢવામાં આવે છે.

5 મિનિટ માટે મેમરી પેજની ઍક્સેસની ગેરહાજરી એ બહાર કાઢવાના માપદંડોમાંનો એક છે. આવા પૃષ્ઠોને કોલ્ડ મેમરી પેજીસ કહેવામાં આવે છે અને સરેરાશ 35% એપ્લિકેશન મેમરી બનાવે છે (એપ્લિકેશનના પ્રકાર પર આધાર રાખીને, 19% થી 65% સુધીની શ્રેણી છે). અનામી મેમરી પૃષ્ઠો (એપ્લિકેશન દ્વારા ફાળવવામાં આવેલ મેમરી) અને ફાઇલ કેશીંગ (કર્નલ દ્વારા ફાળવેલ) માટે ઉપયોગમાં લેવાતી મેમરી સાથે સંકળાયેલ એકાઉન્ટ પ્રવૃત્તિને પ્રીમ્પશન ધ્યાનમાં લે છે. કેટલીક એપ્લિકેશન્સમાં મુખ્ય વપરાશ અનામી મેમરી છે, પરંતુ અન્યમાં ફાઇલ કેશ પણ મહત્વપૂર્ણ છે. કેશ ઇવિક્શન અસંતુલન ટાળવા માટે, TMO એક નવા પેજીંગ એલ્ગોરિધમનો ઉપયોગ કરે છે જે પ્રમાણસર ફાઇલ કેશ સાથે સંકળાયેલ અનામી પૃષ્ઠો અને પૃષ્ઠોને બહાર કાઢે છે.

અવારનવાર વપરાતા પૃષ્ઠોને ધીમી મેમરીમાં ધકેલવાથી કામગીરી પર નોંધપાત્ર અસર થતી નથી, પરંતુ હાર્ડવેર ખર્ચમાં નોંધપાત્ર ઘટાડો થઈ શકે છે. ડેટાને SSD ડ્રાઇવ અથવા RAM માં સંકુચિત સ્વેપ એરિયામાં ફ્લશ કરવામાં આવે છે. ડેટાના બાઈટ સ્ટોર કરવાના ખર્ચના સંદર્ભમાં, NVMe SSD નો ઉપયોગ RAM માં કમ્પ્રેશનનો ઉપયોગ કરતા 10 ગણો સસ્તો છે.

સોર્સ: opennet.ru