{"id":113018,"date":"2024-01-20T23:28:04","date_gmt":"2024-01-20T21:28:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu"},"modified":"2024-01-20T23:28:04","modified_gmt":"2024-01-20T21:28:06","slug":"opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","title":{"rendered":"Erfahrungen mit der Erstellung eines Ceph-Speichers mit einer Bandbreite von Tebibyte pro Sekunde.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ein Ingenieur von Clyso fasste die Erfahrungen bei der Erstellung eines Speicherkclusters auf der Grundlage des ausfallsicheren verteilten Systems Ceph zusammen, dessen Durchsatz einen Terabyte pro Sekunde \u00fcbersteigt. Es wird angemerkt, dass dies der erste Ceph-Cluster ist, der einen solchen Wert erreichen konnte, aber um das pr\u00e4sentierte Ergebnis zu erzielen, mussten die Ingenieure eine Reihe von nicht offensichtlichen H\u00fcrden \u00fcberwinden. <\/p>\n

Um die Leistung um 10-20% zu steigern, gen\u00fcgte es beispielsweise, auf den Servern im BIOS die Energieeinspannungen nur im Modus maximale Leistung zu aktivieren und c-state zu deaktivieren (c-state passt die Energiespareinstellungen je nach Last an, was sich auf Ceph auswirkt). Au\u00dferdem stellte sich heraus, dass der Linux-Kernel bei der Nutzung von NVMe-Laufwerken erheblich Zeit mit der Verarbeitung von Spin-Locks w\u00e4hrend der Aktualisierung der IOMMU-Zuordnung verbringt. Die Deaktivierung der IOMMU im Kernel f\u00fchrte zu einem merklichen Anstieg der Leistung in Tests zum Schreiben und Lesen von Bl\u00f6cken mit einer Gr\u00f6\u00dfe von 4MB. <\/p>\n

Die Deaktivierung von IOMMU hat das Problem mit der Leistungsabnahme bei zuf\u00e4lligen Schreibzugriffen auf Bl\u00f6cke mit einer Gr\u00f6\u00dfe von 4KB nicht behoben. Bei der Ursachenforschung stie\u00dfen die Ingenieure auf Korrekturen in den Build-Skripten von Ceph aus den Projekten Gentoo und Ubuntu, die den Build mit der Option RelWithDebInfo beinhalteten. Diese Option aktivierte im GCC den Optimierungsmodus '-O2', der die Leistung von Ceph erheblich steigerte. Auch die Kompilierung mit der TCMalloc-Bibliothek f\u00fchrte zu einer Leistungsabnahme. Eine \u00c4nderung der Compiler-Flags und die Beendigung der Verwendung von TCMalloc f\u00fchrten zu einer dreifachen Reduzierung der Kompaktierungszeit sowie einer Verdopplung der Leistung bei zuf\u00e4lligen Schreibvorg\u00e4ngen mit 4K-Bl\u00f6cken. Am Ende wurden zus\u00e4tzlich die Einstellungen von Reef RocksDB und die Platzierungsgruppen (PG) optimiert. <\/p>\n

Der Cluster besteht aus 68 Knoten auf der Basis von Server<\/a> Dell PowerEdge R6615 mit CPU AMD EPYC 9454P 48C\/96T. Jeder Knoten enth\u00e4lt 10 NVMe-Laufwerke Dell 15.36TB, zwei Ethernet-Adapter 100GbE Mellanox ConnectX-6 und 192 GB RAM. Die Software basiert auf Ubuntu 20.04.6 und Ceph 17.2.7. Im Cluster mit 63 Knoten sind 630 OSD (Object Storage Daemon, Hintergrundprozess zur Verwaltung des Datenstorage im lokalen Speicher, einer pro NVMe-Laufwerk), drei MON Prozesse (\u00dcberwachung des Clusterstatus) und ein MGR Prozess (Manager, verwaltender Dienst) aktiv. Die Speicherkapazit\u00e4t betr\u00e4gt 8,2 PB. <\/p>\n

Die Bandbreite bei sequenziellen Lesevorg\u00e4ngen von 4M-Bl\u00f6cken betrug 1025 GiB\/s, beim Schreiben 270 GiB\/s. Bei zuf\u00e4lligem Lesen von 4KB-Bl\u00f6cken lag die Leistung bei 25,5 Millionen Lesevorg\u00e4ngen pro Sekunde und 4,9 Millionen beim Schreiben. Die Aktivierung der Verschl\u00fcsselung reduzierte die Bandbreite beim Lesen auf etwa 750 GiB\/s. Bei Verwendung des Fehlerkorrekturcodes EC62 betrug die Bandbreite 547 GiB\/s beim Lesen und 387 GiB\/s beim Schreiben (die Schreibgeschwindigkeit war h\u00f6her als ohne Fehlerkorrektur), w\u00e4hrend beim zuf\u00e4lligen Zugriff 3,4 Millionen IOPS beim Lesen und 936.000 IOPS beim Schreiben erreicht wurden.

\"Erfahrungen<\/center>
\"Erfahrungen<\/center> <\/p>\n

Zus\u00e4tzlich ist zu erw\u00e4hnen, dass im September ein \u00e4hnlicher Bandbreitenwert in Tebibyte pro Sekunde im Exabyte-Storage-Cluster des CERN erreicht wurde, der auf dem offenen verteilten Speicher EOS basiert, der auf dem Protokoll XRootD aufgebaut ist.
\n
Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0442\u043c\u0435\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0431\u0430\u0437\u0435 Ceph, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f, \u043d\u043e \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u0441\u0435\u0440\u0438\u044e \u043d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 10-20% \u0431\u044b\u043b\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":113019,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-113018","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Erfahrungen beim Aufbau eines Ceph-Speichers mit einer Bandbreite von Tebibyte pro Sekunde | ProHoster","description":"Ein Ingenieur von Clyso hat die Erfahrungen beim Aufbau eines Speicherkclusters auf der Grundlage eines fehlertoleranten verteilten Systems Ceph mit einer Bandbreite von \u00fcber einem Tebibyte pro Sekunde zusammengefasst.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 Ceph c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 | ProHoster","og:description":"\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443.","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2024-01-20T21:28:06+00:00","article:modified_time":"2024-01-20T21:28:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"113018","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-02-09 16:50:41","updated":"2026-02-09 16:50:41","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=113018"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018\/revisions"}],"predecessor-version":[{"id":158784,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018\/revisions\/158784"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/113019"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=113018"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=113018"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=113018"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}