{"id":104459,"date":"2022-06-21T15:36:41","date_gmt":"2022-06-21T13:36:42","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/facebook-predstavil-mehanizm-tmo-pozvolyayushhij-ekonomit-20-32-pamyati-na-serverah"},"modified":"2022-06-21T15:36:41","modified_gmt":"2022-06-21T13:36:42","slug":"facebook-predstavil-mehanizm-tmo-pozvolyayushhij-ekonomit-20-32-pamyati-na-serverah","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/facebook-predstavil-mehanizm-tmo-pozvolyayushhij-ekonomit-20-32-pamyati-na-serverah","title":{"rendered":"Facebook wprowadzi\u0142 mechanizm TMO, kt\u00f3ry pozwala zaoszcz\u0119dzi\u0107 20-32% pami\u0119ci na serwerach","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

In\u017cynierowie z firmy Facebook (zakazana w Rosji) opublikowali raport o wdro\u017ceniu w zesz\u0142ym roku technologii TMO (Transparent Memory Offloading), kt\u00f3ra znacznie oszcz\u0119dza pami\u0119\u0107 operacyjn\u0105 na serwerach, przesuwaj\u0105c niepotrzebne dane do ta\u0144szych no\u015bnik\u00f3w, takich jak dyski NVMe SSD. Wed\u0142ug szacunk\u00f3w Facebooka, zastosowanie TMO pozwala zaoszcz\u0119dzi\u0107 od 20 do 32% RAM na ka\u017cdym serwerze. To rozwi\u0105zanie jest przeznaczone do u\u017cycia w infrastrukturach, w kt\u00f3rych aplikacje dzia\u0142aj\u0105 w izolowanych kontenerach. Dzia\u0142aj\u0105ce po stronie j\u0105dra komponenty TMO s\u0105 ju\u017c zawarte w j\u0105drze Linux. <\/p>\n

Po stronie j\u0105dra Linux dzia\u0142anie technologii zapewnia podsystem PSI (Pressure Stall Information), wprowadzony od wersji 4.20. PSI jest ju\u017c stosowane w r\u00f3\u017cnych handlerach niedoboru pami\u0119ci i pozwala na analiz\u0119 informacji o czasie oczekiwania na r\u00f3\u017cne zasoby (CPU, pami\u0119\u0107, wej\u015bcie\/wyj\u015bcie). Dzi\u0119ki PSI, handlerzy w przestrzeni u\u017cytkownika mog\u0105 dok\u0142adniej oceni\u0107 poziom obci\u0105\u017cenia systemu i charakter spowolnienia, co pozwala na wykrycie odchyle\u0144 na najwcze\u015bniejszym etapie, kiedy jeszcze nie wp\u0142ywaj\u0105 one na wydajno\u015b\u0107. <\/p>\n

W przestrzeni u\u017cytkownika dzia\u0142anie TMO zapewnia komponent Senpai, kt\u00f3ry przez cgroup2 dynamicznie dostosowuje limit pami\u0119ci dla kontener\u00f3w aplikacji na podstawie danych uzyskanych z PSI. Senpai analizuje sygna\u0142y pocz\u0105tku niedoboru zasob\u00f3w przez PSI, ocenia wra\u017cliwo\u015b\u0107 aplikacji na spowolnienie dost\u0119pu do pami\u0119ci i stara si\u0119 okre\u015bli\u0107 minimalny niezb\u0119dny rozmiar pami\u0119ci dla kontenera, przy kt\u00f3rym wymagana do dzia\u0142ania dane pozostaj\u0105 w RAM, a dane pomocnicze, osadzone w pami\u0119ci podr\u0119cznej plik\u00f3w lub bezpo\u015brednio nieu\u017cywane w danej chwili, s\u0105 przenoszone do przestrzeni swap.

\"Facebook<\/center> <\/p>\n

Zasadniczo, TMO polega na \u015bcis\u0142ym ograniczeniu proces\u00f3w pod k\u0105tem zu\u017cycia pami\u0119ci, wymuszaj\u0105c przesuni\u0119cie nieu\u017cywanych stron pami\u0119ci do obszaru wymiany, kt\u00f3rego usuni\u0119cie nie ma znacz\u0105cego wp\u0142ywu na wydajno\u015b\u0107 (np. strony z kodem u\u017cywanym tylko podczas inicjalizacji oraz dane wykorzystywane jednorazowo w pami\u0119ci podr\u0119cznej dysku). W przeciwie\u0144stwie do przesuwania informacji do obszaru wymiany w odpowiedzi na niedob\u00f3r pami\u0119ci, w TMO dane s\u0105 usuwane na podstawie proaktywnych prognoz. <\/p>\n

Jednym z kryteri\u00f3w do usuwania jest brak dost\u0119pu do strony pami\u0119ci przez 5 minut. Takie strony nazywane s\u0105 zimnymi (cold memory page) i w \u015brednim wyniku stanowi\u0105 oko\u0142o 35% pami\u0119ci aplikacji (w zale\u017cno\u015bci od rodzaju aplikacji rozrzut wynosi od 19% do 65%). Przy usuwaniu uwzgl\u0119dnia si\u0119 aktywno\u015b\u0107 zwi\u0105zan\u0105 z anonimowymi stronami pami\u0119ci (pami\u0119\u0107 przydzielona przez aplikacj\u0119) oraz pami\u0119ci\u0105 u\u017cywan\u0105 do buforowania plik\u00f3w (przydzielan\u0105 przez j\u0105dro). W niekt\u00f3rych aplikacjach g\u0142\u00f3wne zu\u017cycie dotyczy pami\u0119ci anonimowej, ale w innych du\u017c\u0105 rol\u0119 odgrywa te\u017c bufor plik\u00f3w. Aby unikn\u0105\u0107 niezr\u00f3wnowa\u017cenia przy usuwaniu pami\u0119ci do bufora, w TMO stosowany jest nowy algorytm wymiany, kt\u00f3ry proporcjonalnie usuwa strony anonimowe oraz strony zwi\u0105zane z buforowaniem plik\u00f3w. <\/p>\n

Usuwanie rzadko u\u017cywanych stron do wolniejszej pami\u0119ci nie wp\u0142ywa znacz\u0105co na wydajno\u015b\u0107, ale pozwala znacz\u0105co obni\u017cy\u0107 koszty sprz\u0119tu. Dane przesuwane s\u0105 na nap\u0119dy SSD lub do skompresowanego obszaru wymiany w pami\u0119ci RAM. Pod wzgl\u0119dem koszt\u00f3w przechowywania bajta danych, wykorzystanie NVMe SSD jest do 10 razy ta\u0144sze ni\u017c stosowanie kompresji w pami\u0119ci RAM.

\"Facebook<\/center>
\n
\u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Facebook (\u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u0430 \u0432 \u0420\u0424) \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0447\u0451\u0442 \u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0433\u043e\u0434\u0443 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 TMO (Transparent Memory Offloading), \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0435\u0439 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0432\u044b\u0442\u0435\u0441\u043d\u0435\u043d\u0438\u044f \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0445 \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u0442\u043e\u0440\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0448\u0451\u0432\u044b\u0435 \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u0435\u043b\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a NVMe SSD-\u0434\u0438\u0441\u043a\u0438. \u041f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 Facebook, \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 TMO \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043e\u0442 20 \u0434\u043e 32% […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":104460,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-104459","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Facebook zaprezentowa\u0142 mechanizm TMO, kt\u00f3ry pozwala na oszcz\u0119dno\u015bci 20-32% pami\u0119ci na serwerach | ProHoster","description":"In\u017cynierowie z firmy Facebook (zakazana w Rosji) opublikowali raport na temat wprowadzenia w zesz\u0142ym roku technologii TMO (Transparent Memory Offloading), kt\u00f3ra pozwala na znaczne oszcz\u0119dno\u015bci pami\u0119ci RAM na serwerach.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/facebook-predstavil-mehanizm-tmo-pozvolyayushhij-ekonomit-20-32-pamyati-na-serverah","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Facebook \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c TMO, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0439 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c 20-32% \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 | ProHoster","og:description":"\u0418\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Facebook (\u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u0430 \u0432 \u0420\u0424) \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u0447\u0451\u0442 \u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0433\u043e\u0434\u0443 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 TMO (Transparent Memory Offloading), \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0435\u0439 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0437\u0430 \u0441\u0447\u0451\u0442.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/facebook-predstavil-mehanizm-tmo-pozvolyayushhij-ekonomit-20-32-pamyati-na-serverah","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2022-06-21T13:36:42+00:00","article:modified_time":"2022-06-21T13:36:42+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"104459","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2022-06-21 13:37:49","updated":"2022-10-01 20:35:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/104459","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=104459"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/104459\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/104460"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=104459"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=104459"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=104459"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}