{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Er ist kein dRook.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Angesichts der wachsenden Beliebtheit von Rook m\u00f6chte ich \u00fcber seine Fallstricke und die Probleme sprechen, die Sie auf Ihrem Weg erwarten.<\/p>\n

\u00dcber mich: Erfahrung in der Verwaltung von Ceph seit Version Hammer, Gr\u00fcnder der Community t.me\/ceph_de<\/a><\/noindex> in Telegram.<\/p>\n

Um nicht unbegr\u00fcndet zu sein, werde ich auf die am Hub ver\u00f6ffentlichten (laut Ranking) Beitr\u00e4ge \u00fcber Probleme mit Ceph verweisen. Mit den meisten dieser Probleme bin ich ebenfalls konfrontiert worden. Links zu den verwendeten Materialien am Ende des Beitrags.<\/p>\n

Im Artikel \u00fcber Rook erw\u00e4hnen wir Ceph nicht ohne Grund \u2013 Rook ist im Grunde Ceph, das in Kubernetes verpackt ist, was bedeutet, dass es alle seine Probleme erbt. Mit den Problemen von Ceph fangen wir an.
\n<\/a><\/noindex><\/p>\n

Vereinfachung des Cluster-Managements<\/h3>\n

\nEiner der Vorteile von Rook ist die bequeme Verwaltung von Ceph \u00fcber Kubernetes.<\/p>\n

Allerdings enth\u00e4lt Ceph \u00fcber 1000 Parameter zur Konfiguration, w\u00e4hrend wir \u00fcber Rook nur einen kleineren Teil von ihnen anpassen k\u00f6nnen.<\/p>\n

Beispiel f\u00fcr Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook wird als bequemer Weg positioniert, Ceph zu installieren und zu aktualisieren.<\/b>
\nMit der Installation von Ceph ohne Rook gibt es keine Probleme \u2013 ein Ansible-Playbook wird in 30 Minuten geschrieben, aber beim Aktualisieren gibt es massenhaft Probleme. <\/p>\n

Zitat aus dem Krok-Beitrag<\/i><\/p>\n

Beispiel: Fehlfunktion der Crush-Tunables nach dem Upgrade von Hammer auf Jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u201estraw_calc_version\u201c: 1,
\n \u201eallowed_bucket_algs\u201c: 22,
\n \u201eprofile\u201c: \u201eunknown\u201c,
\n \u201eoptimal_tunables\u201c: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Aber selbst innerhalb kleinerer Versionen gibt es Probleme.<\/p>\n

Beispiel: Update 12.2.6, das den Cluster in den Zustand health err und bedingt besch\u00e4digte PG versetzt
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Nicht aktualisieren, warten und testen? Aber wir nutzen doch Rook auch f\u00fcr die Bequemlichkeit der Updates.<\/p>\n

Schwierigkeit der Disaster-Recovery im Cluster mit Rook <\/h3>\n

\nBeispiel: OSD f\u00e4llt mit Fehlern zusammen. Sie vermuten, dass das Problem in einem der Parameter in der Konfiguration liegt, m\u00f6chten die Konfiguration f\u00fcr einen bestimmten Daemon \u00e4ndern, k\u00f6nnen es jedoch nicht, weil Sie Kubernetes und DaemonSet haben.<\/p>\n

Es gibt keine Alternative. ceph tell osd.Num injectargs funktioniert nicht \u2013 das OSD ist schlie\u00dflich ausgefallen.<\/p>\n

Schwierigkeit beim Debuggen<\/h3>\n

\nF\u00fcr einige Einstellungen und Leistungstests muss man direkt mit dem Socket des OSD-Daemons verbinden. Im Fall von Rook muss man zun\u00e4chst den richtigen Container finden, dann in ihn eintreten, das fehlende Debugging-Tool entdecken und sehr entt\u00e4uscht sein.<\/p>\n

Schwierigkeit mit dem sequentiellen Hochfahren von OSDs<\/h3>\n

\nBeispiel: OSD f\u00e4llt wegen OOM aus, es beginnt eine Re-Balancierung, danach fallen die n\u00e4chsten aus.<\/p>\n

L\u00f6sung: OSDs nacheinander hochfahren, auf das vollst\u00e4ndige Hochlaufen im Cluster warten und die n\u00e4chsten hochfahren. (Mehr im Bericht Ceph. Anatomie einer Katastrophe).<\/p>\n

Bei baremetal-Installationen geschieht dies einfach von Hand. Bei Rook und einem OSD pro Node gibt es keine besonderen Probleme. Probleme beim nacheinander Hochfahren treten auf, wenn > 1 OSD pro Node vorhanden ist. <\/p>\n

Nat\u00fcrlich sind sie l\u00f6sbar, aber wir bringen Rook ein, um es zu vereinfachen, und erhalten stattdessen Komplikationen.<\/p>\n

Schwierigkeit bei der Festlegung der Limits f\u00fcr Ceph-Demons.<\/h3>\n

\nF\u00fcr baremetal-Installationen ist es relativ einfach, die ben\u00f6tigten Ressourcen f\u00fcr den Cluster zu berechnen \u2013 es gibt Formeln und Studien. Bei schwachen CPUs m\u00fcssen Sie dennoch eine Reihe von Leistungstests durchf\u00fchren und verstehen, was Numa ist, aber das ist immer noch einfacher als bei Rook.<\/p>\n

Bei Rook m\u00fcssen Sie neben den Speichergrenzen, die Sie berechnen k\u00f6nnen, auch eine CPU-Grenze festlegen.<\/p>\n

Hier werden Sie gefordert, Leistungstests durchzuf\u00fchren. Bei zu niedrigen Limits erhalten Sie einen langsamen Cluster, bei unlimitierten Limits wird die CPU w\u00e4hrend der Rebalancierung stark beansprucht, was sich negativ auf Ihre Anwendungen in Kubernetes auswirkt.<\/p>\n

Probleme mit der Netzwerkintegration v1.<\/h3>\n

\nF\u00fcr Ceph wird empfohlen, ein 2x10 Gb-Netzwerk zu verwenden. Eins f\u00fcr den Clientverkehr, eines f\u00fcr die administrativen Bed\u00fcrfnisse von Ceph (Rebalancierung). Wenn Sie mit Ceph auf baremetal leben, ist diese Trennung einfach einzurichten. Wenn Sie mit Rook arbeiten, kann diese Netzwerktrennung problematisch sein, da nicht jede Cluster-Konfiguration es erm\u00f6glicht, einem Pod zwei verschiedene Netzwerke zuzuweisen.<\/p>\n

Probleme mit der Netzwerkintegration v2.<\/h3>\n

\nWenn Sie sich gegen die Trennung der Netzwerke entscheiden, wird der Ceph-Verkehr beim Rebalancieren die gesamte Bandbreite auslasten und Ihre Anwendungen in Kubernetes werden h\u00e4ngen bleiben oder abst\u00fcrzen. Sie k\u00f6nnen die Rebalancierungsrate von Ceph reduzieren, aber dann riskieren Sie durch die l\u00e4ngere Rebalancierung, dass der zweite Node aufgrund von Disk-Fehlern oder OOM aus dem Cluster f\u00e4llt, was zu einem garantierten Read-Only-Zustand f\u00fcr den Cluster f\u00fchrt.<\/p>\n

Lange Rebalancierung \u2013 lange Verz\u00f6gerungen f\u00fcr Anwendungen.<\/h3>\n

\nZitat aus dem Beitrag Ceph. Anatomie einer Katastrophe.<\/i><\/p>\n

Leistung des Testclusters:<\/p>\n

Ein Schreibvorgang mit einer Gr\u00f6\u00dfe von 4 KB ben\u00f6tigt 1 ms, Leistung 1000 Operationen\/Sekunde in 1 Thread.<\/p>\n

Ein Vorgang mit einer Gr\u00f6\u00dfe von 4 MB (Objektgr\u00f6\u00dfe) ben\u00f6tigt 22 ms, Leistung 45 Operationen\/Sekunde.<\/p>\n

Daher bleibt der Cluster, wenn eine der drei Dom\u00e4nen ausf\u00e4llt, eine Zeit lang in einem degradierten Zustand, und die H\u00e4lfte der hei\u00dfen Objekte verteilt sich auf verschiedene Versionen, sodass die H\u00e4lfte der Schreibvorg\u00e4nge mit einer erzwungenen Wiederherstellung beginnt.<\/p>\n

Die Zeit f\u00fcr die erzwungene Wiederherstellung wird ungef\u00e4hr berechnet \u2013 Schreibvorg\u00e4nge auf das degradierte Objekt.<\/p>\n

Zuerst lesen wir 4 MB in 22 ms, schreiben 22 ms, und anschlie\u00dfend schreiben wir in 1 ms 4 KB tats\u00e4chlicher Daten. Insgesamt also 45 ms f\u00fcr einen Schreibvorgang auf ein degradierte Objekt auf SSD, wo die regul\u00e4re Leistung bei 1 ms lag \u2013 ein Performance-R\u00fcckgang um das 45-fache.<\/p>\n

Je h\u00f6her der Prozentsatz der degradierten Objekte, desto schlimmer wird es.<\/p><\/blockquote>\n

Die Geschwindigkeit des Rebalancings ist entscheidend f\u00fcr das korrekte Funktionieren des Clusters.<\/p>\n

Spezifische Servereinstellungen f\u00fcr Ceph<\/h3>\n

\nCeph ben\u00f6tigt m\u00f6glicherweise spezifisches Host-Tuning. <\/p>\n

Beispiel: sysctl-Einstellungen und JumboFrame, einige dieser Einstellungen k\u00f6nnen sich negativ auf Ihr Payload auswirken.<\/p>\n

Die tats\u00e4chliche Notwendigkeit von Rook bleibt fraglich.<\/h3>\n

\nWenn Sie in der Cloud sind, haben Sie Speicher von Ihrem Cloud-Anbieter, was viel bequemer ist. <\/p>\n

Wenn Sie auf Ihren eigenen Servern sind, ist die Verwaltung von Ceph ohne Kubernetes einfacher. <\/p>\n

Mieten Sie Server bei einem kosteng\u00fcnstigen Hosting-Anbieter? Dann wartet viel Spa\u00df mit dem Netzwerk, den Verz\u00f6gerungen und der Bandbreite auf Sie, was sich eindeutig negativ auf Ceph auswirkt.<\/p>\n

Insgesamt:<\/b> Die Implementierung von Kubernetes und die Implementierung von Speicher sind unterschiedliche Aufgaben mit unterschiedlichen Anforderungen und unterschiedlichen L\u00f6sungsm\u00f6glichkeiten \u2013 diese zu vermischen, bedeutet, einen potenziell gef\u00e4hrlichen Trade-off zugunsten des einen oder anderen zu machen. Diese L\u00f6sungen im Planungsprozess zu verbinden, wird sehr schwierig sein, und es gibt auch die Betriebsphase.<\/p>\n

Literaturliste:<\/p>\n

Beitrag #1<\/a><\/noindex> Aber Sie sagen Ceph\u2026 ist er wirklich so gut?
\nBeitrag #2<\/a><\/noindex> Ceph. Anatomie einer Katastrophe
\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Er ist Ihnen kein dRook | ProHoster","description":"Angesichts der wachsenden Beliebtheit von Rook m\u00f6chten wir \u00fcber seine Fallstricke und die Probleme sprechen, die auf Sie zukommen. Zu meiner Person: Erfahrung in der Verwaltung von Ceph seit der Version Hammer, Gr\u00fcnder der Community.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}