Facebook e hlahisitse mochine oa TMO, o u lumella ho boloka 20-32% ea memori ho li-server

Baenjiniere ba tsoang Facebook (ba thibetsoe ho Russia Federation) ba phatlalalitse tlaleho ea ts'ebetsong selemong se fetileng sa theknoloji ea TMO (Transparent Memory Offloading), e lumellang ho boloka chelete e ngata ho RAM ho li-server ka ho tlosa lintlha tsa bobeli tse sa hlokeheng bakeng sa mosebetsi ho li-drive tse theko e tlaase, tse kang NVMe. SSD - li-disks. Facebook e hakanya hore ho sebelisa TMO ho ka boloka 20 ho 32% ea RAM ho seva ka seng. Tharollo e etselitsoe ho sebelisoa meahong ea ts'ebetso moo lits'ebetso li tsamaisoang ka har'a lijana tse ka thoko. Likarolo tsa Kernel-side tsa TMO li se li kenyelelitsoe ho Linux kernel.

Ka lehlakoreng la Linux kernel, thekenoloji e tšehetsoa ke tsamaiso ea PSI (Pressure Stall Information), e fumanehang ho qala ka tokollo 4.20. PSI e se e ntse e sebelisoa ho batho ba fapaneng ba memori e tlase mme e o lumella ho sekaseka tlhahisoleseling mabapi le nako ea ho leta bakeng sa ho fumana lisebelisoa tse fapaneng (CPU, memori, I / O). Ka PSI, li-processor tsa sebaka sa basebelisi li ka lekola maemo a mojaro oa sistimi ka nepo le lipaterone tsa ho theoha butle, e leng se lumellang ho tsebahatsoa ho sa tloaelehang, pele ho ka ba le phello e hlokomelehang ts'ebetsong.

Sebakeng sa basebelisi, TMO e fanoa ke karolo ea Senpai, eo, ka cgroup2, e fetolang moeli oa mohopolo bakeng sa lijana tsa kopo ho latela data e amohetsoeng ho tsoa ho PSI. Senpai e lekola matšoao a ho qala ha khaello ea lisebelisoa ka PSI, e lekola kutloisiso ea lits'ebetso ho fokotseha ha phihlello ea memori mme e leka ho fumana bonyane boholo ba mohopolo o hlokoang ke setshelo, moo data e hlokehang bakeng sa ts'ebetso e lulang ho RAM, le tse tsamaeang le eona. data e rarollotsoe ka har'a cache ea faele kapa e sa sebelisoe ka kotloloho hajoale, e tlameha ho tsoa karohanong ea swap.

Facebook e hlahisitse mochine oa TMO, o u lumella ho boloka 20-32% ea memori ho li-server

Ka hona, moelelo oa TMO ke ho boloka mekhoa ea ho ja lijo tse thata ho latela tšebeliso ea mohopolo, ho qobella ho fapanyetsana ha maqephe a sa sebelisoeng ao ho lelekoang ho sa ameng ts'ebetso (mohlala, maqephe a nang le khoutu e sebelisoang feela nakong ea ho qala, le tšebeliso e le 'ngoe. data ka har'a cache ea disk). Ho fapana le ho leleka tlhahisoleseling ho karohano ea swap ho arabela khatello ea mohopolo, ho data ea TMO e lelekoa ho ipapisitse le ponelopele e matla.

E 'ngoe ea mekhoa ea ho lelekoa ke ho ba sieo ha leqephe la memori bakeng sa metsotso e 5. Maqephe a joalo a bitsoa maqephe a memori a batang 'me ka karolelano a etsa hoo e ka bang 35% ea mohopolo oa kopo (ho itšetlehile ka mofuta oa kopo, ho na le mefuta e fapaneng ea 19% ho ea ho 65%). Preemption e ela hloko ts'ebetso e amanang le maqephe a memori a sa tsejoeng (memori e fanoeng ke ts'ebeliso) le memori e sebelisetsoang ho boloka lifaele (tse fanoeng ke kernel). Lits'ebetsong tse ling tšebeliso ea mantlha ke mohopolo o sa tsejoeng, empa ho tse ling cache ea faele le eona e bohlokoa. Ho qoba ho se leka-lekane ha cache, TMO e sebelisa algorithm e ncha ea paging e lelekang maqephe a sa tsejoeng le maqephe a amanang le cache ea faele ka ho lekana.

Ho sutumelletsa maqephe a sa sebelisoeng khafetsa mohopolong o liehang ha ho na tšusumetso e kholo ts'ebetsong, empa ho ka fokotsa litšenyehelo tsa hardware haholo. Lintlha li fetisetsoa ho li-drive tsa SSD kapa sebakeng se feto-fetohang sa RAM. Mabapi le litšenyehelo tsa ho boloka li-byte tsa data, ho sebelisa NVMe SSD ho theko e tlase ho makhetlo a 10 ho feta ho sebelisa compression ho RAM.

Facebook e hlahisitse mochine oa TMO, o u lumella ho boloka 20-32% ea memori ho li-server


Source: opennet.ru

Eketsa ka tlhaloso