Facebook introduċa l-mekkaniżmu TMO, li jippermettilek tiffranka 20-32% tal-memorja fuq is-servers

Inġiniera minn Facebook (ipprojbit fil-Federazzjoni Russa) ippubblikaw rapport dwar l-implimentazzjoni s-sena l-oħra tat-teknoloġija TMO (Transparent Memory Offloading), li tippermetti tfaddil sinifikanti fir-RAM fuq is-servers billi tisposta data sekondarja mhux meħtieġa għax-xogħol għal drives orħos, bħal NVMe SSD -disks. Facebook jistma li l-użu ta 'TMO jista' jiffranka 20 sa 32% ta 'RAM fuq kull server. Is-soluzzjoni hija mfassla għall-użu f'infrastrutturi fejn l-applikazzjonijiet jaħdmu f'kontenituri iżolati. Il-komponenti tan-naħa tal-kernel tat-TMO huma diġà inklużi fil-kernel tal-Linux.

Fuq in-naħa tal-qalba tal-Linux, it-teknoloġija hija appoġġjata mis-subsistema PSI (Informazzjoni dwar Stall tal-Pressjoni), disponibbli li tibda bir-rilaxx 4.20. PSI diġà jintuża f'diversi handlers ta 'memorja baxxa u jippermettilek tanalizza informazzjoni dwar il-ħin ta' stennija għall-kisba ta 'diversi riżorsi (CPU, memorja, I/O). Bil-PSI, il-proċessuri tal-ispazju tal-utent jistgħu jivvalutaw b'mod aktar preċiż il-livelli tat-tagħbija tas-sistema u l-mudelli ta 'tnaqqis, li jippermettu li l-anomaliji jiġu identifikati kmieni, qabel ma jkollhom impatt notevoli fuq il-prestazzjoni.

Fl-ispazju tal-utent, TMO huwa pprovdut mill-komponent Senpai, li, permezz ta 'cgroup2, jaġġusta b'mod dinamiku l-limitu tal-memorja għall-kontenituri tal-applikazzjoni abbażi tad-dejta riċevuta minn PSI. Senpai janalizza s-sinjali tal-bidu ta 'nuqqas ta' riżorsi permezz tal-PSI, jevalwa s-sensittività tal-applikazzjonijiet għal tnaqqis fl-aċċess għall-memorja u jipprova jiddetermina d-daqs minimu tal-memorja meħtieġ mill-kontenitur, li fih id-dejta meħtieġa għall-operazzjoni tibqa 'f'RAM, u l-akkumpanjament. data stabbilita fil-cache tal-fajl jew ma tintużax direttament fil-mument, huma sfurzati 'l barra għall-partizzjoni ta' tpartit.

Facebook introduċa l-mekkaniżmu TMO, li jippermettilek tiffranka 20-32% tal-memorja fuq is-servers

Għalhekk, l-essenza ta 'TMO hija li l-proċessi jinżammu fuq dieta stretta f'termini ta' konsum tal-memorja, li jisforzaw l-iskambju ta 'paġni tal-memorja mhux użati li l-iżgumbrament tagħhom ma jaffettwax b'mod sinifikanti l-prestazzjoni (per eżempju, paġni b'kodiċi użat biss waqt l-inizjalizzazzjoni, u li jintużaw darba biss). data fil-cache tad-diska). B'differenza mill-iżgumbrar ta 'informazzjoni għall-partizzjoni ta' tpartit bi tweġiba għall-pressjoni tal-memorja, f'TMO id-dejta hija żgumbrata bbażata fuq tbassir proattiv.

Wieħed mill-kriterji għall-iżgumbrament huwa n-nuqqas ta 'aċċess għall-paġna tal-memorja għal 5 minuti. Paġni bħal dawn jissejħu paġni tal-memorja kiesħa u bħala medja jagħmlu madwar 35% tal-memorja tal-applikazzjoni (skond it-tip ta 'applikazzjoni, hemm firxa minn 19% sa 65%). Preemption tqis l-attività assoċjata ma 'paġni tal-memorja anonimi (memorja allokata mill-applikazzjoni) u memorja użata għall-caching tal-fajls (allokata mill-kernel). F'xi applikazzjonijiet il-konsum ewlieni huwa memorja anonima, iżda f'oħrajn il-cache tal-fajls huwa importanti wkoll. Biex tevita l-iżbilanċi ta 'żgumbrament tal-cache, TMO juża algoritmu ġdid ta' paging li jkeċċi paġni anonimi u paġni assoċjati mal-cache tal-fajls proporzjonalment.

L-imbuttar ta 'paġni li jintużaw mhux ta' spiss f'memorja aktar bil-mod m'għandux impatt sinifikanti fuq il-prestazzjoni, iżda jista 'jnaqqas b'mod sinifikanti l-ispejjeż tal-hardware. Id-dejta tiġi mlaħalħa għal drives SSD jew għal żona ta 'skambju kompressata fir-RAM. F'termini tal-ispiża tal-ħażna ta 'byte ta' dejta, l-użu ta 'NVMe SSD huwa sa 10 darbiet irħas mill-użu tal-kompressjoni fir-RAM.

Facebook introduċa l-mekkaniżmu TMO, li jippermettilek tiffranka 20-32% tal-memorja fuq is-servers


Sors: opennet.ru

Żid kumment