{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Hij is geen dRook voor jou","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Met het toenemende gebruik van Rook willen we het hebben over de verborgen complicaties en problemen die u onderweg kunt tegenkomen.<\/p>\n

Over mezelf: Ervaring met het beheren van Ceph sinds versie Hammer, oprichter van de community. t.me\/ceph_ru<\/a><\/noindex> op Telegram.<\/p>\n

Om niet zomaar te praten, zal ik verwijzen naar de goedgekeurde Hubram-berichten (volgens de rating) over problemen met Ceph. De meeste problemen in deze berichten ben ik ook tegengekomen. Links naar het gebruikte materiaal aan het einde van het bericht.<\/p>\n

In het bericht over Rook vermelden we Ceph niet zomaar \u2014 Rook is in wezen Ceph verpakt in Kubernetes, wat betekent dat het al zijn problemen overneemt. Laten we beginnen met de problemen met Ceph.
\n<\/a><\/noindex><\/p>\n

Vereenvoudiging van clusterbeheer<\/h3>\n

\nEen van de voordelen van Rook is het gebruiksgemak van Ceph via Kubernetes.<\/p>\n

Ceph bevat echter meer dan 1000 parameters voor configuratie, terwijl we via Rook slechts een kleiner deel ervan kunnen aanpassen.<\/p>\n

Voorbeeld in Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook wordt gepositioneerd als een handige manier om Ceph te installeren en bij te werken.<\/b>
\nEr zijn geen problemen met het installeren van Ceph zonder Rook \u2014 een Ansible-playbook kan binnen 30 minuten worden geschreven, maar er zijn veel problemen bij het bijwerken. <\/p>\n

Citaat uit een bericht van Krok<\/i><\/p>\n

Voorbeeld: onjuiste werking van crush-tunables na de update van Hammer naar Jewel.<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Zelfs binnen de minor versies kunnen er problemen optreden.<\/p>\n

Voorbeeld: Update 12.2.6 die de cluster in een health err-status brengt en conditioneel corrupte PG's.
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Niet updaten, wachten en testen? Maar we gebruiken Rook toch ook voor het gemak van updates.<\/p>\n

Complexiteit van disaster recovery in de cluster met Rook. <\/h3>\n

\nVoorbeeld: OSD valt uit met fouten. U vermoedt dat het probleem in een van de configuratieparameters ligt en wilt de configuratie voor een specifieke daemon wijzigen, maar het kan niet omdat u Kubernetes en DaemonSet heeft.<\/p>\n

Er is geen alternatief. ceph tell osd.Num injectargs werkt niet \u2014 de OSD ligt immers plat.<\/p>\n

Complexiteit van debugging<\/h3>\n

\nVoor sommige instellingen en prestatietests is het nodig om rechtstreeks verbinding te maken met de socket van de OSD-daemon. In het geval van Rook moet u eerst de juiste container vinden, daar naar binnen gaan, het ontbrekende debuggereedschap ontdekken en erg teleurgesteld zijn.<\/p>\n

Complexiteit van het geleidelijk opbouwen van OSD's.<\/h3>\n

\nVoorbeeld: OSD valt uit door OOM, er begint een herbalancering en daarna vallen de volgende.<\/p>\n

Oplossing: Verhoog OSD \u00e9\u00e9n voor \u00e9\u00e9n, wacht tot deze volledig in het cluster is opgenomen en verhoog de volgende. (Meer details in het rapport Ceph. Anatomie van een catastrofe).<\/p>\n

In het geval van baremetal-installaties gebeurt dit eenvoudig handmatig; in het geval van Rook en \u00e9\u00e9n OSD per node zijn er geen grote problemen, maar problemen met het sequentieel opstarten zullen ontstaan als OSD > 1 op een node. <\/p>\n

Natuurlijk zijn ze oplosbaar, maar we brengen Rook voor vereenvoudiging en krijgen complicaties.<\/p>\n

De moeilijkheid om limieten voor Ceph-demonen te bepalen.<\/h3>\n

\nVoor baremetal-installatie van Ceph is het relatief eenvoudig om de benodigde middelen voor het cluster te berekenen \u2014 er zijn formules en er zijn onderzoeken. Bij het gebruik van zwakke CPU's moet je echter toch een reeks prestatietests uitvoeren, leren wat Numa is, maar dat is nog steeds eenvoudiger dan in Rook.<\/p>\n

In het geval van Rook moet je naast de te berekenen geheugengrenzen ook een CPU-limiet instellen.<\/p>\n

En hier moet je hard werken aan prestatietests. Bij te lage limieten krijg je een langzamer cluster, bij het instellen van unlim krijg je actief CPU-gebruik tijdens het rebalanceerproces, wat een negatieve invloed zal hebben op je applicaties in Kubernetes.<\/p>\n

Netwerkproblemen v1<\/h3>\n

\nVoor Ceph wordt aangeraden een 2x10Gb-netwerk te gebruiken. E\u00e9n voor klantverkeer, de ander voor de operationele behoeften van Ceph (rebalance). Als je met Ceph op baremetal werkt, is deze scheiding eenvoudig in te stellen; als je met Rook werkt, zal het scheiden van netwerken problemen voor je veroorzaken, aangezien niet elke clusterconfiguratie het toestaat om twee verschillende netwerken aan een pod te leveren.<\/p>\n

Netwerkproblemen v2<\/h3>\n

\nAls je besluit netwerken niet te scheiden, dan zal tijdens het rebalance de Ceph-verkeer de gehele bandbreedte vullen en zullen je applicaties in Kubernetes traag zijn of crashen. Je kunt de snelheid van rebalance van Ceph verlagen, maar dan loop je het risico dat de tweede node uit het cluster valt vanwege schijfproblemen of OOM, en dan heb je gegarandeerd read-only op het cluster.<\/p>\n

Langdurige rebalance \u2014 langdurige vertragingen van applicaties.<\/h3>\n

\nCitaat uit het rapport Ceph. Anatomie van een catastrofe.<\/i><\/p>\n

Prestaties van het testcluster:<\/p>\n

Een schrijfoperatie van 4 KB duurt 1 ms, met een doorvoersnelheid van 1000 bewerkingen\/seconde in \u00e9\u00e9n thread.<\/p>\n

Een operatie van 4 MB (objectgrootte) duurt 22 ms, met een doorvoersnelheid van 45 bewerkingen\/seconde.<\/p>\n

Daarom, wanneer \u00e9\u00e9n van de drie domeinen uitvalt, bevindt het cluster zich een tijdje in een gedegradeerde staat en zullen de helft van de actieve objecten zich over verschillende versies verspreiden, waardoor de helft van de schrijfbewerkingen zal beginnen met een geforceerd herstel.<\/p>\n

We berekenen de tijd voor geforceerd herstel ongeveer - schrijfbewerkingen naar een gedegradeerd object.<\/p>\n

Eerst lezen we 4 MB in 22 ms, schrijven we 22 ms, en daarna schrijven we 1 ms voor 4 KB eigen gegevens. In totaal kost \u00e9\u00e9n schrijfbewerking naar een gedegradeerd object op SSD 45 ms, terwijl de standaardprestatie 1 ms was - een prestatieverlies van 45 keer.<\/p>\n

Hoe hoger ons percentage gedegradeerde objecten, hoe ernstiger de situatie wordt.<\/p><\/blockquote>\n

Het blijkt dat de snelheid van herbalancering cruciaal is voor de correcte werking van het cluster.<\/p>\n

Specifieke serverinstellingen voor Ceph<\/h3>\n

\nCeph vereist soms specifieke tuning van de host. <\/p>\n

Bijvoorbeeld: sysctl-instellingen en JumboFrame, sommige van deze instellingen kunnen een negatieve invloed hebben op uw payload.<\/p>\n

De werkelijke noodzaak van Rook blijft ter discussie.<\/h3>\n

\nAls je in de cloud bent, heb je opslag van je cloudprovider, wat veel handiger is. <\/p>\n

Als je op je eigen servers bent, is het beheer van Ceph eenvoudiger zonder Kubernetes. <\/p>\n

Huur je servers bij een low-cost hostingprovider? Dan staat je veel plezier te wachten met het netwerk, de latentie en de bandbreedte, wat duidelijk een negatieve invloed heeft op Ceph.<\/p>\n

Kortom:<\/b> De implementatie van Kubernetes en de implementatie van opslag zijn verschillende taken met verschillende invoers en verschillende oplossingsvarianten - deze mixen betekent een mogelijk gevaarlijke trade-off ten gunste van de \u00e9\u00e9n of de ander. Het combineren van deze oplossingen zal zelfs in het ontwerpfase zeer lastig zijn, en er is ook nog een exploitatieperiode.<\/p>\n

Lijst van gebruikte literatuur:<\/p>\n

Post #1<\/a><\/noindex> Maar u zegt Ceph\u2026 is het echt zo goed?
\nPost #2<\/a><\/noindex> Ceph. Anatomie van een ramp
\n
Bron: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hij is geen dRook voor jou | ProHoster","description":"Met de toenemende populariteit van Rook wil ik het hebben over de valkuilen en problemen die u onderweg kunt tegenkomen. Over mezelf: Ervaring met Ceph-beheer sinds versie hammer, oprichter van de community.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}