{"id":113018,"date":"2024-01-20T23:28:04","date_gmt":"2024-01-20T21:28:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu"},"modified":"2024-01-20T23:28:04","modified_gmt":"2024-01-20T21:28:06","slug":"opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","title":{"rendered":"Do\u015bwiadczenie w tworzeniu magazynu Ceph o przepustowo\u015bci tebibit\u00f3w na sekund\u0119","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

In\u017cynier z firmy Clyso podsumowa\u0142 do\u015bwiadczenia zwi\u0105zane z tworzeniem klastra przechowywania opartego na odpornej na awarie, rozproszonej systemie Ceph z przepustowo\u015bci\u0105 przekraczaj\u0105c\u0105 tebibajt na sekund\u0119. Zauwa\u017cono, \u017ce to pierwszy klaster oparty na Ceph, kt\u00f3ry osi\u0105gn\u0105\u0142 taki wynik, ale przed uzyskaniem przedstawionego rezultatu in\u017cynierowie musieli pokona\u0107 szereg nieoczywistych pu\u0142apek. <\/p>\n

Na przyk\u0142ad, aby zwi\u0119kszy\u0107 wydajno\u015b\u0107 o 10-20%, wystarczy\u0142o w\u0142\u0105czy\u0107 na serwerach w ustawieniach oszcz\u0119dzania energii BIOS tryb maksymalnej wydajno\u015bci i wy\u0142\u0105czy\u0107 c-state (c-state zmienia parametry oszcz\u0119dzania energii w zale\u017cno\u015bci od obci\u0105\u017cenia, co wp\u0142ywa na Ceph). Okaza\u0142o si\u0119 r\u00f3wnie\u017c, \u017ce podczas korzystania z dysk\u00f3w NVMe j\u0105dro Linux po\u015bwi\u0119ca znaczn\u0105 ilo\u015b\u0107 czasu na obs\u0142ug\u0119 spin-lock\u00f3w w trakcie aktualizacji mapowania IOMMU. Wy\u0142\u0105czenie IOMMU w j\u0105drze doprowadzi\u0142o do zauwa\u017calnego wzrostu wydajno\u015bci w testach zapisu i odczytu blok\u00f3w o rozmiarze 4MB. <\/p>\n

Wy\u0142\u0105czenie IOMMU nie rozwi\u0105za\u0142o problemu z spadkiem wydajno\u015bci przy losowym zapisywaniu blok\u00f3w o rozmiarze 4 KB. In\u017cynierowie, analizuj\u0105c problem, natrafili na poprawki w skryptach budowania Ceph od projekt\u00f3w Gentoo i Ubuntu, kt\u00f3re obejmowa\u0142y kompilacj\u0119 z opcj\u0105 RelWithDebInfo, co zwi\u0119ksza\u0142o wydajno\u015b\u0107 Ceph przy u\u017cyciu trybu optymalizacji -O2 w GCC. Obni\u017con\u0105 wydajno\u015b\u0107 powodowa\u0142a r\u00f3wnie\u017c kompilacja z bibliotek\u0105 TCMalloc. Zmiana flag kompilacji i zaprzestanie u\u017cycia TCMalloc doprowadzi\u0142y do trzykrotnego skr\u00f3cenia czasu kompresji (compaction) i podwojenia wydajno\u015bci losowych operacji zapisywania blok\u00f3w 4K. Na ko\u0144cu dodatkowo przeprowadzono optymalizacj\u0119 ustawie\u0144 Reef RocksDB oraz grup rozmieszczenia (PG). <\/p>\n

Klaster utworzono z 68 w\u0119z\u0142\u00f3w na bazie serwer\u00f3w<\/a> Dell PowerEdge R6615 z CPU AMD EPYC 9454P 48C\/96T. Ka\u017cdy w\u0119ze\u0142 zawiera 10 dysk\u00f3w NVMe Dell 15.36TB, dwa adaptery Ethernet 100GbE Mellanox ConnectX-6 oraz 192 GB RAM. Oprogramowanie jest oparte na Ubuntu 20.04.6 i Ceph 17.2.7. W klastrze sk\u0142adaj\u0105cym si\u0119 z 63 w\u0119z\u0142\u00f3w uruchomiono 630 OSD (Object Storage Daemon, proces t\u0142a zarz\u0105dzaj\u0105cy przechowywaniem danych w lokalnym magazynie, po jednym OSD na dysk NVMe), trzy procesy MON (monitor, \u015bledz\u0105cy stan klastra) oraz jeden proces MGR (Manager, zarz\u0105dzaj\u0105cy us\u0142ug\u0105). Rozmiar magazynu wynosi 8.2 PB. <\/p>\n

Przepustowo\u015b\u0107 podczas sekwencyjnych operacji odczytu blok\u00f3w 4M wynosi\u0142a 1025 GiB\/s, a zapisu \u2014 270 GiB\/s. Przy losowym odczycie blok\u00f3w 4KB wydajno\u015b\u0107 wynios\u0142a 25,5 miliona operacji odczytu na sekund\u0119 oraz 4,9 miliona przy zapisie. W\u0142\u0105czenie szyfrowania zmniejszy\u0142o przepustowo\u015b\u0107 przy odczycie do oko\u0142o 750 GiB\/s. Przy u\u017cyciu kod\u00f3w korekcji b\u0142\u0119d\u00f3w EC62 przepustowo\u015b\u0107 wynios\u0142a 547 GiB\/s przy odczycie i 387 GiB\/s przy zapisie (pr\u0119dko\u015b\u0107 zapisu okaza\u0142a si\u0119 wy\u017csza ni\u017c bez kod\u00f3w korekcji), a przy losowym dost\u0119pie uzyskano 3,4M IOPS przy odczycie i 936K IOPS przy zapisie.

\"Do\u015bwiadczenie<\/center>
\"Do\u015bwiadczenie<\/center> <\/p>\n

Dodatkowo mo\u017cna zauwa\u017cy\u0107, \u017ce we wrze\u015bniu podobny poziom przepustowo\u015bci w tebibajtach na sekund\u0119 osi\u0105gni\u0119to w klastra eksabajtowego przechowywania CERN, zrealizowanego na bazie otwartego rozproszonego systemu przechowywania EOS, opartego na protokole XRootD.
\n
\u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0442\u043c\u0435\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0431\u0430\u0437\u0435 Ceph, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f, \u043d\u043e \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u0441\u0435\u0440\u0438\u044e \u043d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 10-20% \u0431\u044b\u043b\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":113019,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-113018","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Do\u015bwiadczenie w tworzeniu przechowywania Ceph z przepustowo\u015bci\u0105 tebibajt\u00f3w na sekund\u0119 | ProHoster","description":"In\u017cynier z firmy Clyso podsumowa\u0142 do\u015bwiadczenie w tworzeniu klastra przechowywania na bazie odpornej rozproszonej systemu Ceph, z przepustowo\u015bci\u0105 przekraczaj\u0105c\u0105 tebibajt na sekund\u0119.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 Ceph c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 | ProHoster","og:description":"\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2024-01-20T21:28:06+00:00","article:modified_time":"2024-01-20T21:28:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"113018","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-02-09 16:50:41","updated":"2026-02-09 16:50:41","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/113018","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=113018"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/113018\/revisions"}],"predecessor-version":[{"id":158784,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/113018\/revisions\/158784"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/113019"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=113018"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=113018"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=113018"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}