Thug Facebook a-steach inneal TMO, a leigeas leat 20-32% de chuimhne a shàbhaladh air frithealaichean

Dh'fhoillsich innleadairean bho Facebook (toirmisgte ann an Caidreachas na Ruis) aithisg mu bhith a’ toirt a-steach teicneòlas TMO (Transparent Memory Offloading) an-uiridh, a leigeas leat RAM a shàbhaladh gu mòr air frithealaichean le bhith a’ cuir às do dhàta àrd-sgoile nach eil a dhìth gus obair a dhèanamh air draibhearan nas saoire. , leithid NVMe SSD -discs. Tha Facebook den bheachd gu bheil cleachdadh TMO a’ sàbhaladh eadar 20% agus 32% de RAM air gach frithealaiche. Tha am fuasgladh air a dhealbhadh airson a chleachdadh ann am bun-structaran far a bheil tagraidhean a’ ruith ann an soithichean iomallach. Tha na pàirtean taobh kernel de TMO mu thràth air an toirt a-steach don kernel Linux.

Air taobh kernel Linux, tha gnìomhachd an teicneòlais air a thoirt seachad leis an fho-shiostam PSI (Bruthadh Stall Information), a chaidh a thoirt seachad bho chaidh a leigeil ma sgaoil 4.20. Tha PSI mar-thà air a chleachdadh ann an diofar làimhseachadh taobh a-muigh cuimhne agus leigidh e leat fiosrachadh a mhion-sgrùdadh mun ùine feitheimh airson diofar ghoireasan fhaighinn (CPU, cuimhne, I / O). Le PSI, is urrainn do luchd-giullachd àite-cleachdaidh measadh nas cinntiche a dhèanamh air pàtrain eallach siostaim agus slaodachadh, a’ leigeil le neo-riaghailteachdan a bhith air an lorg tràth, mus toir iad buaidh follaiseach air coileanadh.

Ann an àite luchd-cleachdaidh, tha TMO air a ruith leis a ’phàirt Senpai, a bhios gu dinamach ag atharrachadh a’ chrìoch cuimhne airson soithichean tagraidh tro cgroup2 stèidhichte air dàta a fhuaireadh bhon PSI. Bidh Senpai a’ dèanamh anailis air comharran toiseach gainnead ghoireasan tro PSI, a’ measadh cugallachd thagraidhean airson ruigsinneachd cuimhne slaodach agus a’ feuchainn ri faighinn a-mach dè an ìre as lugha de chuimhne a tha riatanach airson soitheach, aig a bheil an dàta a tha a dhìth airson obair fhathast ann an RAM, agus co-cheangailte ris. tha dàta a tha air socrachadh san tasgadan faidhle no nach eilear a’ cleachdadh gu dìreach ann an-dràsta, air a sparradh a-mach don sgaradh suaip.

Thug Facebook a-steach inneal TMO, a leigeas leat 20-32% de chuimhne a shàbhaladh air frithealaichean

Mar sin, is e brìgh TMO pròiseasan a chumail air daithead teann a thaobh caitheamh cuimhne, a’ toirt air duilleagan cuimhne nach deach an cleachdadh a ghluasad chun sgaradh suaip, nach eil toirt air falbh a’ toirt buaidh mhòr air coileanadh (mar eisimpleir, duilleagan le còd air a chleachdadh a-mhàin aig àm tòiseachaidh, agus dàta aon-chleachdadh san tasgadan diosc). An coimeas ri bhith a’ fuadach fiosrachadh don sgaradh suaip mar fhreagairt air cuimhne ìosal, bidh TMO a’ fuadach dàta stèidhichte air ro-innse ro-innseach.

Tha dìth ruigsinneachd duilleag cuimhne taobh a-staigh 5 mionaidean air a chleachdadh mar aon de na slatan-tomhais airson preemption. Canar fuar (duilleag cuimhne fuar) ris na duilleagan sin agus gu cuibheasach tha iad a’ dèanamh suas mu 35% de chuimhne an tagraidh (a rèir an seòrsa tagraidh, tha eadar-dhealachadh ann bho 19% gu 65%). Bidh preemption a’ toirt aire don ghnìomhachd co-cheangailte ri duilleagan cuimhne gun urra (cuimhne air a thoirt seachad leis an tagradh) agus cuimhne air a chleachdadh airson tasgadh faidhle (air a riarachadh leis an kernel). Ann an cuid de thagraidhean is e cuimhne gun urra am prìomh chaitheamh, ach ann an cuid eile tha an tasgadan faidhle glè chudromach cuideachd. Gus mì-chothromachadh a sheachnadh nuair a bhios tu a’ sruthadh cuimhne chun tasgadan, bidh TMO a’ cleachdadh algairim paging ùr a bhios a’ sruthadh duilleagan gun urra agus duilleagan co-cheangailte ri tasgadan an fhaidhle gu co-rèireach.

Chan eil a bhith a’ putadh dhuilleagan nach eilear a’ cleachdadh gu tric gu cuimhne nas slaodaiche a’ toirt buaidh mhòr air coileanadh, ach faodaidh e cosgaisean bathar-cruaidh a lughdachadh gu mòr. Tha dàta air a phutadh a-mach gu SSDs no àite suaip teann ann an RAM. Aig cosgais stòradh dàta, tha cleachdadh NVMe SSD suas ri 10 tursan nas saoire na bhith a’ cleachdadh teannachadh ann an RAM.

Thug Facebook a-steach inneal TMO, a leigeas leat 20-32% de chuimhne a shàbhaladh air frithealaichean


Source: fosgailtenet.ru

Cuir beachd ann