Gipaila sa Facebook ang mekanismo sa TMO, nga gitugotan ka nga makatipig 20-32% sa memorya sa mga server

Ang mga inhenyero gikan sa Facebook (gidili sa Russian Federation) nagpatik sa usa ka taho bahin sa pagpatuman sa miaging tuig sa teknolohiya sa TMO (Transparent Memory Offloading), nga nagtugot sa hinungdanon nga pagtipig sa RAM sa mga server pinaagi sa pagbalhin sa mga sekondaryang datos nga dili kinahanglan alang sa trabaho sa mas barato nga mga drive, sama sa NVMe SSD - mga disk. Gibanabana sa Facebook nga ang paggamit sa TMO makatipig 20 hangtod 32% sa RAM sa matag server. Ang solusyon gidisenyo alang sa paggamit sa mga imprastraktura diin ang mga aplikasyon nagdagan sa hilit nga mga sudlanan. Ang mga sangkap nga bahin sa kernel sa TMO nalakip na sa kernel sa Linux.

Sa bahin sa Linux kernel, ang teknolohiya gisuportahan sa PSI (Pressure Stall Information) subsystem, nga magamit sugod sa pagpagawas sa 4.20. Gigamit na ang PSI sa lain-laing mga tigdumala sa ubos nga memorya ug gitugotan ka sa pag-analisar sa impormasyon bahin sa oras sa paghulat alang sa pagkuha sa lainlaing mga kapanguhaan (CPU, memorya, I/O). Uban sa PSI, ang mga processor sa user-space mas tukma nga makasusi sa mga lebel sa load sa sistema ug mga pattern sa paghinay, nga magtugot sa mga anomaliya nga mailhan og sayo, sa dili pa kini adunay mamatikdan nga epekto sa performance.

Sa wanang sa tiggamit, ang TMO gihatag sa sangkap sa Senpai, nga, pinaagi sa cgroup2, dinamikong nag-adjust sa limitasyon sa memorya alang sa mga sulud sa aplikasyon base sa datos nga nadawat gikan sa PSI. Gi-analisar ni Senpai ang mga timailhan sa pagsugod sa mga kakulangan sa kapanguhaan pinaagi sa PSI, gisusi ang pagkasensitibo sa mga aplikasyon sa paghinay sa pag-access sa memorya ug gisulayan pagtino ang minimum nga gidak-on sa memorya nga gikinahanglan sa sudlanan, diin ang datos nga gikinahanglan alang sa operasyon nagpabilin sa RAM, ug ang kauban nga Ang datos nga nahusay sa file cache o dili direkta nga gigamit sa karon, napugos sa paggawas sa swap partition.

Gipaila sa Facebook ang mekanismo sa TMO, nga gitugotan ka nga makatipig 20-32% sa memorya sa mga server

Sa ingon, ang diwa sa TMO mao ang pagpadayon sa mga proseso sa usa ka estrikto nga pagkaon sa mga termino sa pagkonsumo sa panumduman, pagpugos sa pagbayloay sa wala magamit nga mga panid sa panumduman kansang pagpalayas dili kaayo makaapekto sa pasundayag (pananglitan, mga panid nga adunay code nga gigamit lamang sa panahon sa pagsugod, ug us aka paggamit data sa cache sa disk). Dili sama sa pagpalayas sa impormasyon ngadto sa swap partition agig tubag sa presyur sa memorya, sa TMO data gipapahawa base sa proactive prediction.

Usa sa mga sukdanan sa pagpalayas mao ang pagkawalay access sa memory page sulod sa 5 minutos. Ang ingon nga mga panid gitawag nga bugnaw nga mga panid sa panumduman ug sa kasagaran naglangkob sa mga 35% sa memorya sa aplikasyon (depende sa klase sa aplikasyon, adunay sakup gikan sa 19% hangtod 65%). Gikonsiderar sa preemption ang kalihokan nga may kalabotan sa wala mailhi nga mga panid sa panumduman (memorya nga gigahin sa aplikasyon) ug memorya nga gigamit alang sa pag-cache sa file (gigahin sa kernel). Sa pipila ka mga aplikasyon ang nag-unang konsumo mao ang wala mailhi nga panumduman, apan sa uban ang file cache hinungdanon usab. Aron malikayan ang mga imbalances sa pagpalayas sa cache, ang TMO naggamit ug bag-ong paging algorithm nga nagpalayas sa mga anonymous nga panid ug mga panid nga may kalabotan sa file cache sa proporsyonal.

Ang pagduso sa dili kanunay gigamit nga mga panid ngadto sa mas hinay nga panumduman walay dakong epekto sa performance, apan makapamenos pag-ayo sa gasto sa hardware. Ang datos gibalhin sa SSD drive o sa usa ka compressed swap area sa RAM. Sa mga termino sa gasto sa pagtipig sa usa ka byte nga datos, ang paggamit sa usa ka NVMe SSD hangtod sa 10 ka beses nga mas barato kaysa sa paggamit sa compression sa RAM.

Gipaila sa Facebook ang mekanismo sa TMO, nga gitugotan ka nga makatipig 20-32% sa memorya sa mga server


Source: opennet.ru

Idugang sa usa ka comment