{"id":113018,"date":"2024-01-20T23:28:04","date_gmt":"2024-01-20T21:28:06","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu"},"modified":"2024-01-20T23:28:04","modified_gmt":"2024-01-20T21:28:06","slug":"opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","title":{"rendered":"Erfahrung in der Erstellung eines Ceph-Speichers mit einer Bandbreite von mehreren Terabyte pro Sekunde","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ein Ingenieur von Clyso fasste die Erfahrung in der Erstellung eines Speicherclusters auf Basis des fehlertoleranten verteilten Systems Ceph zusammen, dessen Bandbreite mehr als ein Terabyte pro Sekunde betr\u00e4gt. Es wird vermerkt, dass dies der erste Ceph-Cluster ist, der einen solchen Wert erreicht hat, jedoch mussten die Ingenieure vor dem Erreichen des pr\u00e4sentierten Ergebnisses eine Reihe von weniger offensichtlichen Herausforderungen \u00fcberwinden. <\/p>\n

Um die Leistung um 10-20 % zu steigern, gen\u00fcgte es, auf den Servern im BIOS-Energiesparmodus nur den Maximalleistungsmodus zu aktivieren und den c-state zu deaktivieren (c-state \u00e4ndert die Energieeinstellungen je nach Last, was sich auf Ceph auswirkt). Au\u00dferdem stellte sich heraus, dass der Linux-Kernel bei der Verwendung von NVMe-Laufwerken erheblich Zeit mit der Verarbeitung von Spinlocks beim Aktualisieren der IOMMU-Mapping verbringt. Das Deaktivieren von IOMMU im Kernel f\u00fchrte zu einem signifikanten Anstieg der Leistung in Tests f\u00fcr das Lesen und Schreiben von Bl\u00f6cken mit einer Gr\u00f6\u00dfe von 4 MB. <\/p>\n

Die Deaktivierung von IOMMU hat jedoch das Problem mit der Leistungseinbu\u00dfe bei zuf\u00e4lligen Schreibvorg\u00e4ngen von 4KB gro\u00dfen Bl\u00f6cken nicht behoben. Bei der Ursachenforschung stie\u00dfen die Ingenieure auf Korrekturen in den Build-Skripten von Ceph aus den Projekten Gentoo und Ubuntu, die den Build mit der Option RelWithDebInfo umfassten, da im GCC in diesem Modus die Optimierungsstufe «-O2» verwendet wurde, die die Leistung von Ceph erheblich steigerte. Auch die Kompilierung mit der Bibliothek TCMalloc f\u00fchrte zu einer Leistungsminderung. Die Anpassung der Compile-Flags und die Einstellung von TCMalloc f\u00fchrten zu einer dreifachen Verringerung der Kompaktierungszeit und verdoppelten die Leistung bei zuf\u00e4lligen 4K-Schreibvorg\u00e4ngen. Schlie\u00dflich wurden zus\u00e4tzlich die Einstellungen von Reef RocksDB und die Platzierungsgruppen (PG) optimiert. <\/p>\n

Der Cluster besteht aus 68 Knoten auf Basis von Server<\/a> Dell PowerEdge R6615 mit CPU AMD EPYC 9454P 48C\/96T. Jeder Knoten ist mit 10 NVMe-Speicherl\u00f6sungen Dell 15,36 TB, zwei 100GbE Ethernet-Adaptern Mellanox ConnectX-6 und 192 GB RAM ausgestattet. Die Software basiert auf Ubuntu 20.04.6 und Ceph 17.2.7. Im Cluster mit 63 Knoten sind 630 OSD (Object Storage Daemon, ein Hintergrundprozess, der die Datenspeicherung im lokalen Speicher verwaltet, wobei ein OSD auf jedem NVMe-Speicher vorhanden ist), drei MON-Prozesse (Monitor, \u00fcberwacht den Zustand des Clusters) und ein MGR-Prozess (Manager, verwaltet den Service) aktiv. Die Speicherkapazit\u00e4t betr\u00e4gt 8,2 PB. <\/p>\n

Die Durchsatzrate bei sequentiellen Lesevorg\u00e4ngen von 4MB-Bl\u00f6cken betrug 1025 GiB\/s, beim Schreiben 270 GiB\/s. Bei zuf\u00e4lligen Lesevorg\u00e4ngen von 4KB-Bl\u00f6cken lag die Leistung bei 25,5 Millionen Lesevorg\u00e4ngen pro Sekunde und 4,9 Millionen beim Schreiben. Die Aktivierung der Verschl\u00fcsselung verringerte den Durchsatz beim Lesen auf etwa 750 GiB\/s. Bei Verwendung von Fehlerkorrekturcodes EC62 betrug der Durchsatz 547 GiB\/s beim Lesen und 387 GiB\/s beim Schreiben (die Schreibgeschwindigkeit war h\u00f6her als ohne Fehlerkorrektur), und bei zuf\u00e4lligem Zugriff wurden 3,4M IOPS beim Lesen und 936K IOPS beim Schreiben erreicht.

\"Erfahrung<\/center>
\"Erfahrung<\/center> <\/p>\n

Zus\u00e4tzlich kann erw\u00e4hnt werden, dass im September ein \u00e4hnlicher Grenzwert bei der Durchsatzrate in Tebibyte pro Sekunde im Exabyte-Speichercluster des CERN erreicht wurde, das auf dem offenen verteilten Speicher EOS basiert, das unter Verwendung des XRootD-Protokolls implementiert wurde.
\n
Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0442\u043c\u0435\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043d\u0430 \u0431\u0430\u0437\u0435 Ceph, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f, \u043d\u043e \u043f\u0435\u0440\u0435\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u0441\u0435\u0440\u0438\u044e \u043d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 10-20% \u0431\u044b\u043b\u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":113019,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-113018","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Erfahrungen beim Aufbau eines Ceph-Speichers mit einer Durchsatzrate von Tebibyte pro Sekunde | ProHoster","description":"Ein Ingenieur von Clyso fasste die Erfahrungen bei der Erstellung eines Speicherclusters auf der Grundlage des fehlertoleranten verteilten Systems Ceph zusammen, dessen Durchsatz \u00fcber ein Tebibyte pro Sekunde liegt.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 Ceph c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 | ProHoster","og:description":"\u0418\u043d\u0436\u0435\u043d\u0435\u0440 \u0438\u0437 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Clyso \u043e\u0431\u043e\u0431\u0449\u0438\u043b \u043e\u043f\u044b\u0442 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0431\u0430\u0437\u0435 \u043e\u0442\u043a\u0430\u0437\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b Ceph \u0441 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0449\u0435\u0439 \u0442\u0435\u0431\u0438\u0431\u0430\u0439\u0442 \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443.","og:url":"https:\/\/prohoster.info\/de\/blog\/news\/opyt-sozdaniya-hranilishha-ceph-c-propusknoj-sposobnostyu-tebibajt-v-sekundu","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2024-01-20T21:28:06+00:00","article:modified_time":"2024-01-20T21:28:06+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"113018","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":"default","schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2026-02-09 16:50:41","updated":"2026-02-09 16:50:41","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=113018"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018\/revisions"}],"predecessor-version":[{"id":158784,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/113018\/revisions\/158784"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/113019"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=113018"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=113018"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=113018"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}