Cyflwynodd Facebook y mecanwaith TMO, sy'n eich galluogi i arbed 20-32% o'r cof ar weinyddion

Cyhoeddodd peirianwyr o Facebook (wedi'i wahardd yn Ffederasiwn Rwsia) adroddiad ar weithrediad technoleg TMO (Dadlwytho Cof Tryloyw) y llynedd, sy'n caniatáu arbedion sylweddol mewn RAM ar weinyddion trwy ddisodli data eilaidd nad oes ei angen ar gyfer gwaith i yriannau rhatach, megis NVMe SSD -disgiau. Mae Facebook yn amcangyfrif y gall defnyddio TMO arbed 20 i 32% o RAM ar bob gweinydd. Mae'r datrysiad wedi'i gynllunio i'w ddefnyddio mewn seilweithiau lle mae cymwysiadau'n rhedeg mewn cynwysyddion ynysig. Mae cydrannau ochr cnewyllyn TMO eisoes wedi'u cynnwys yn y cnewyllyn Linux.

Ar ochr cnewyllyn Linux, cefnogir y dechnoleg gan yr is-system PSI (Pwysau Stall Information), sydd ar gael gan ddechrau gyda rhyddhau 4.20. Mae PSI eisoes yn cael ei ddefnyddio mewn amrywiol drinwyr cof isel ac mae'n caniatáu ichi ddadansoddi gwybodaeth am yr amser aros ar gyfer cael adnoddau amrywiol (CPU, cof, I / O). Gyda PSI, gall proseswyr gofod defnyddiwr asesu lefelau llwyth system a phatrymau arafu yn fwy cywir, gan ganiatáu i anghysondebau gael eu nodi'n gynnar, cyn iddynt gael effaith amlwg ar berfformiad.

Yn y gofod defnyddiwr, darperir TMO gan y gydran Senpai, sydd, trwy cgroup2, yn addasu'r terfyn cof ar gyfer cynwysyddion cymwysiadau yn ddeinamig yn seiliedig ar ddata a dderbyniwyd gan PSI. Mae Senpai yn dadansoddi arwyddion dyfodiad prinder adnoddau trwy PSI, yn asesu sensitifrwydd cymwysiadau i arafu mynediad cof ac yn ceisio pennu'r maint cof lleiaf sy'n ofynnol gan y cynhwysydd, lle mae'r data sy'n ofynnol ar gyfer gweithredu yn aros yn RAM, a'r data cysylltiedig data setlo yn y storfa ffeil neu nad yw'n cael ei ddefnyddio'n uniongyrchol ar hyn o bryd, yn cael eu gorfodi allan i'r rhaniad cyfnewid.

Cyflwynodd Facebook y mecanwaith TMO, sy'n eich galluogi i arbed 20-32% o'r cof ar weinyddion

Felly, hanfod TMO yw cadw prosesau ar ddeiet llym o ran defnydd cof, gan orfodi cyfnewid tudalennau cof nas defnyddiwyd nad yw eu dadfeddiant yn effeithio'n sylweddol ar berfformiad (er enghraifft, tudalennau â chod a ddefnyddir yn ystod cychwyn yn unig, a defnydd sengl. data yn y storfa ddisg). Yn wahanol i ddadfeddiannu gwybodaeth i'r rhaniad cyfnewid mewn ymateb i bwysau cof, mewn data TMO yn cael ei droi allan yn seiliedig ar ragfynegiad rhagweithiol.

Un o'r meini prawf ar gyfer troi allan yw absenoldeb mynediad i'r dudalen cof am 5 munud. Gelwir tudalennau o'r fath yn dudalennau cof oer ac ar gyfartaledd maent yn cyfrif am tua 35% o gof y cais (yn dibynnu ar y math o gais, mae ystod o 19% i 65%). Mae preemption yn ystyried gweithgaredd sy'n gysylltiedig â thudalennau cof dienw (cof a ddyrennir gan y cymhwysiad) a'r cof a ddefnyddir ar gyfer storio ffeiliau (a ddyrennir gan y cnewyllyn). Mewn rhai cymwysiadau, cof dienw yw'r prif ddefnydd, ond mewn eraill mae'r storfa ffeiliau hefyd yn bwysig. Er mwyn osgoi anghydbwysedd dadfeddiannu cache, mae TMO yn defnyddio algorithm paging newydd sy'n troi tudalennau a thudalennau dienw sy'n gysylltiedig â'r storfa ffeiliau allan yn gymesur.

Nid yw gwthio tudalennau na ddefnyddir yn aml i gof arafach yn cael effaith sylweddol ar berfformiad, ond gall leihau costau caledwedd yn sylweddol. Mae data'n cael ei orfodi allan i yriannau SSD neu i ardal cyfnewid cywasgedig yn RAM. O ran cost storio beit o ddata, mae defnyddio NVMe SSD hyd at 10 gwaith yn rhatach na defnyddio cywasgu yn RAM.

Cyflwynodd Facebook y mecanwaith TMO, sy'n eich galluogi i arbed 20-32% o'r cof ar weinyddion


Ffynhonnell: opennet.ru

Ychwanegu sylw