{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Er ist kein dRook f\u00fcr Sie.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Angesichts der zunehmenden Beliebtheit von Rook m\u00f6chten wir \u00fcber die Fallstricke und Probleme sprechen, die Sie auf Ihrem Weg erwarten werden.<\/p>\n

\u00dcber mich: Erfahrung in der Ceph-Administration seit Version Hammer, Gr\u00fcnder der Community t.me\/ceph_ru<\/a><\/noindex> auf Telegram.<\/p>\n

Um nicht unbegr\u00fcndet zu sein, werde ich auf die anerkannten Habr-Posts (laut Ranking) zu Problemen mit Ceph verweisen. Mit den meisten dieser Probleme habe ich ebenfalls Erfahrung. Die Links zu den verwendeten Materialen finden Sie am Ende des Beitrags.<\/p>\n

Im Beitrag \u00fcber Rook erw\u00e4hnen wir Ceph nicht ohne Grund \u2013 Rook ist im Grunde genommen Ceph, das in Kubernetes verpackt ist, und erbt somit all seine Probleme. Lassen Sie uns mit den Problemen von Ceph beginnen.
\n<\/a><\/noindex><\/p>\n

Vereinfachung der Clusterverwaltung<\/h3>\n

\nEiner der Vorteile von Rook ist die bequeme Verwaltung von Ceph \u00fcber Kubernetes.<\/p>\n

Allerdings enth\u00e4lt Ceph \u00fcber 1000 Konfigurationsparameter, w\u00e4hrend wir \u00fcber Rook nur einen kleineren Teil von ihnen anpassen k\u00f6nnen.<\/p>\n

Beispiel in Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook wird als einfacher Weg positioniert, um Ceph zu installieren und zu aktualisieren.<\/b>
\nEs gibt keine Probleme bei der Installation von Ceph ohne Rook \u2013 ein Ansible-Playbook l\u00e4sst sich in 30 Minuten schreiben, doch beim Aktualisieren gibt es massenhaft Probleme. <\/p>\n

Zitat aus dem Krok-Beitrag<\/i><\/p>\n

Beispiel: Fehlfunktion von crush tunables nach der Aktualisierung von Hummer auf Jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Doch selbst innerhalb von Minor-Versionen k\u00f6nnen Probleme auftreten.<\/p>\n

Beispiel: Das Update auf 12.2.6 versetzt den Cluster in den Zustand health err und verursacht einen m\u00f6glicherweise fehlerhaften PG.
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Nicht aktualisieren, warten und testen? Aber wir nutzen Rook auch wegen der Komfortabel f\u00fcr Updates.<\/p>\n

Die Herausforderungen der Disaster Recovery im Cluster mit Rook. <\/h3>\n

\nBeispiel: Ein OSD f\u00e4llt mit einer Vielzahl von Fehlern aus. Sie vermuten, dass das Problem in einer der Konfigurationseinstellungen liegt, m\u00f6chten die Konfiguration f\u00fcr einen bestimmten Daemon \u00e4ndern, k\u00f6nnen das aber nicht, weil Sie Kubernetes und DaemonSet verwenden.<\/p>\n

Es gibt keine Alternative. ceph tell osd.Num injectargs funktioniert nicht \u2013 das OSD ist schlie\u00dflich ausgefallen.<\/p>\n

Probleme beim Debugging.<\/h3>\n

\nF\u00fcr einige Einstellungen und Leistungstests ist es notwendig, direkt mit dem OSD-Daemon-Socket zu verbinden. Im Fall von Rook m\u00fcssen Sie zun\u00e4chst den entsprechenden Container finden, dann in diesen eintreten, sich \u00fcber das fehlende Debugging-Tool \u00e4rgern und sehr entt\u00e4uscht sein.<\/p>\n

Herausforderungen beim sequentiellen Hochfahren von OSD.<\/h3>\n

\nBeispiel: Ein OSD f\u00e4llt aufgrund von OOM aus, es beginnt ein Rebalancing, und danach fallen die n\u00e4chsten aus.<\/p>\n

L\u00f6sung: Heben Sie die OSD einzeln an, warten Sie, bis diese vollst\u00e4ndig im Cluster aktiviert ist, und heben Sie dann die n\u00e4chsten an. (Mehr dazu im Bericht Ceph. Anatomie einer Katastrophe).<\/p>\n

Bei Baremetal-Installationen geschieht dies einfach manuell. Bei Rook und einer OSD pro Node gibt es keine gr\u00f6\u00dferen Probleme, Probleme beim nacheinander Anheben treten auf, wenn OSD > 1 pro Node vorhanden ist. <\/p>\n

Nat\u00fcrlich sind diese Probleme l\u00f6sbar, aber wir nutzen Rook zur Vereinfachung und erhalten dennoch eine Komplikation.<\/p>\n

Komplexit\u00e4t bei der Festlegung von Limits f\u00fcr Ceph-Demonen.<\/h3>\n

\nF\u00fcr Baremetal-Installationen von Ceph ist es relativ einfach, die erforderlichen Ressourcen f\u00fcr den Cluster zu berechnen \u2014 es gibt Formeln und Studien dazu. Bei schwachen CPUs m\u00fcssen Sie dennoch eine Reihe von Leistungstests durchf\u00fchren und verstehen, was Numa ist, aber das ist immer noch einfacher als bei Rook.<\/p>\n

Im Falle von Rook kommt neben den berechneten Speicherlimits auch die Frage nach der Festlegung des CPU-Limits auf.<\/p>\n

Hier m\u00fcssen Sie sich intensiver mit Leistungstests besch\u00e4ftigen. Bei zu niedrigen Limits erhalten Sie einen langsamen Cluster, und bei unbegrenzten Limits werden Sie eine aktive CPU-Nutzung beim Rebalancing feststellen, was sich negativ auf Ihre Anwendungen in Kubernetes auswirken wird.<\/p>\n

Probleme mit der Netzwerkintegration v1<\/h3>\n

\nF\u00fcr Ceph wird empfohlen, ein 2x10 Gbit Netzwerk zu verwenden. Eines f\u00fcr den Client-Verkehr, ein anderes f\u00fcr die administrativen Aufgaben von Ceph (Rebalancing). Wenn Sie Ceph auf Baremetal betreiben, l\u00e4sst sich diese Trennung leicht einrichten. Bei der Verwendung von Rook k\u00f6nnte diese Netztrennung jedoch Probleme verursachen, da nicht jeder Cluster-Konfigurationsansatz zwei verschiedene Netzwerke f\u00fcr ein Pod unterst\u00fctzt.<\/p>\n

Probleme mit der Netzwerkintegration v2<\/h3>\n

\nWenn Sie sich entscheiden, die Netzwerke nicht zu trennen, wird der Ceph-Verkehr beim Rebalancing die gesamte Bandbreite in Anspruch nehmen und Ihre Anwendungen in Kubernetes werden verlangsamt oder ausfallen. Sie k\u00f6nnen die Geschwindigkeit des Ceph-Rebalancings reduzieren, doch dadurch erh\u00f6ht sich das Risiko, dass der zweite Knoten aufgrund von Festplattenschwierigkeiten oder OOM (Out of Memory) aus dem Cluster ausf\u00e4llt, was dazu f\u00fchrt, dass das Cluster nur noch im Lese-Modus arbeitet.<\/p>\n

Langes Rebalancing \u2014 lange Verz\u00f6gerungen bei Anwendungen<\/h3>\n

\nZitat aus dem Ceph-Post. Anatomie einer Katastrophe.<\/i><\/p>\n

Leistung des Testclusters:<\/p>\n

Ein Schreibvorgang von 4 KByte ben\u00f6tigt 1 ms, mit einer Leistung von 1000 Operationen\/Sekunde in einem Thread.<\/p>\n

Ein Vorgang von 4 MByte (Objektgr\u00f6\u00dfe) ben\u00f6tigt 22 ms, mit einer Leistung von 45 Operationen\/Sekunde.<\/p>\n

Wenn also eine von drei Dom\u00e4nen ausf\u00e4llt, befindet sich der Cluster eine Zeit lang im degradierten Zustand. In diesem Fall werden die hei\u00dfen Objekte auf verschiedene Versionen verteilt, und die H\u00e4lfte der Schreiboperationen wird durch ein erzwungenes Wiederherstellen eingeleitet.<\/p>\n

Die Zeit f\u00fcr die erzwungene Wiederherstellung wird ungef\u00e4hr berechnet \u2013 es handelt sich um die Schreiboperationen f\u00fcr das degradierte Objekt.<\/p>\n

Zuerst lesen wir 4 MB in 22 ms, schreiben ebenfalls 22 ms, und dann schreiben wir in 1 ms 4 KB tats\u00e4chlicher Daten. Insgesamt ben\u00f6tigen wir 45 ms f\u00fcr eine Schreiboperation in ein degradiertes Objekt auf SSD, w\u00e4hrend die Normalleistung bei 1 ms lag \u2013 ein Leistungsabfall von 45-fach.<\/p>\n

Je mehr wir von degradierenden Objekten haben, desto alarmierender wird die Situation.<\/p><\/blockquote>\n

Die Geschwindigkeit des Rebalancings ist entscheidend f\u00fcr die ordnungsgem\u00e4\u00dfe Funktion des Clusters.<\/p>\n

Spezifische Servereinstellungen f\u00fcr Ceph<\/h3>\n

\nCeph ben\u00f6tigt oft spezifisches Tuning des Hosts. <\/p>\n

Beispiel: sysctl-Einstellungen und JumboFrames; einige dieser Einstellungen k\u00f6nnen sich negativ auf Ihren Payload auswirken.<\/p>\n

Die tats\u00e4chliche Notwendigkeit von Rook bleibt fraglich.<\/h3>\n

\nWenn Sie in der Cloud sind, haben Sie Speicherplatz von Ihrem Cloud-Anbieter, was deutlich bequemer ist. <\/p>\n

Wenn Sie auf Ihren eigenen Servern sind, ist die Verwaltung von Ceph ohne Kubernetes einfacher. <\/p>\n

Mieten Sie Server bei einem preiswerten Anbieter? Dann erwarten Sie viele Herausforderungen mit dem Netzwerk, einschlie\u00dflich Latenz und Durchsatz, die sich eindeutig negativ auf Ceph auswirken.<\/p>\n

Insgesamt:<\/b> Die Implementierung von Kubernetes und die Einf\u00fchrung von Speicher sind unterschiedliche Aufgaben mit unterschiedlichen Anforderungen und L\u00f6sungsans\u00e4tzen. Diese beiden zu vermischen, bedeutet, m\u00f6glicherweise einen gef\u00e4hrlichen Kompromiss einzugehen. Es wird sehr schwierig sein, diese L\u00f6sungen bereits in der Entwurfsphase zu kombinieren, ganz zu schweigen von der Betriebsphase.<\/p>\n

Literaturverzeichnis:<\/p>\n

Beitrag #1<\/a><\/noindex> Sie sprechen von Ceph... ist es wirklich so gut?
\nBeitrag #2<\/a><\/noindex> Ceph. Anatomie einer Katastrophe
\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Er ist nicht dRook | ProHoster","description":"Im Hinblick auf die wachsende Beliebtheit von Rook m\u00f6chte ich \u00fcber seine Fallstricke sprechen und \u00fcber die Probleme, die Sie auf Ihrem Weg erwarten. Zu meiner Person: Erfahrung in der Verwaltung von Ceph seit Version Hammer, Gr\u00fcnder der Community t.me\/ceph_ru auf Telegram. Um glaubw\u00fcrdig zu sein, werde ich mich auf anerkannte Beitr\u00e4ge in Habr beziehen (laut Ranking) \u00fcber Probleme mit Ceph. Mit den meisten der Probleme bei","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}