{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Han er ikkje din dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Med den \u00f8kende populariteten til Rook \u00f8nsker jeg \u00e5 snakke om fallgruvene og problemene som venter deg p\u00e5 veien.<\/p>\n

Om meg: Erfaring med administrasjon av Ceph siden versjon hammer, grunnlegger av fellesskapet. t.me\/ceph_no<\/a><\/noindex> i Telegram.<\/p>\n

For \u00e5 ikke v\u00e6re ordknapp vil jeg referere til vedtatte Habr (if\u00f8lge rangeringen) innlegg om problemer med Ceph. Jeg har ogs\u00e5 st\u00f8tt p\u00e5 de fleste problemene som er omtalt i disse innleggene. Henvisninger til brukt materiale kommer p\u00e5 slutten av innlegget.<\/p>\n

I innlegget om Rook nevner vi ikke Ceph uten grunn \u2014 Rook er i bunn og grunn Ceph pakket inn i Kubernetes og arver derfor alle problemene det har. La oss begynne med Cephs problemer.
\n<\/a><\/noindex><\/p>\n

Forenkling av klusteradministrasjon.<\/h3>\n

\nEn av fordelene med Rook er muligheten for \u00e5 administrere Ceph enkelt gjennom Kubernetes.<\/p>\n

Imidlertid inneholder Ceph mer enn 1000 parametere for konfigurasjon, mens vi gjennom Rook bare kan endre en mindre del av dem.<\/p>\n

Eksempel p\u00e5 Luminous.
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook er posisjonert som en enkel m\u00e5te \u00e5 installere og oppdatere Ceph p\u00e5.<\/b>
\nDet er ingen problemer med \u00e5 installere Ceph uten Rook \u2014 en Ansible playbook kan skrives p\u00e5 30 minutter, men det er mange problemer med oppdateringer. <\/p>\n

Sitat fra Krok-innlegget.<\/i><\/p>\n

Eksempel: feilaktig funksjon av crush tunables etter oppdatering fra Hummer til Jewel.<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Men selv innenfor mindre versjoner kan det oppst\u00e5 problemer.<\/p>\n

Eksempel: Oppdatering 12.2.6 som f\u00f8rer klyngen til en tilstand med health err og betinget \u00f8delagte PG.
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Ikke oppdatere, vent og test? Men vi bruker vel Rook ogs\u00e5 for bekvemmeligheten ved oppdateringer.<\/p>\n

Vanskeligheter med katastrofegjenoppretting i Rook. <\/h3>\n

\nEksempel: OSD krasjer med feil som fyller utgangen. Du mistenker at problemet ligger i ett av parameterne i konfigurasjonen, \u00f8nsker \u00e5 endre konfigurasjonen for en bestemt daemon, men kan ikke fordi du har Kubernetes og DaemonSet.<\/p>\n

Det finnes ingen alternativ. Ceph tell osd.Num injectargs fungerer ikke \u2014 OSD ligger nede.<\/p>\n

Vansker med debugging.<\/h3>\n

\nFor noen innstillinger og ytelsestester er det n\u00f8dvendig \u00e5 koble til selve sokkelen til OSD-daemonen. I Rook m\u00e5 du f\u00f8rst finne den riktige containeren, deretter g\u00e5 inn i den, oppdage at n\u00f8dvendig debug-verkt\u00f8y mangler og bli veldig skuffet.<\/p>\n

Vansker med sekvensiell oppstart av OSD.<\/h3>\n

\nEksempel: OSD krasjer p\u00e5 OOM, rebalansering begynner, deretter krasjer neste.<\/p>\n

L\u00f8sning: Hev OSD \u00e9n ad gangen, vent til den er fullt inkludert i klyngen, og deretter heve de neste. (Mer informasjon i rapporten Ceph. Katastrofeanatomi).<\/p>\n

I tilfelle av baremetal-installasjoner gj\u00f8r man dette enkelt manuelt, mens for Rook og \u00e9n OSD per node er det ikke store problemer; problemer med sekvensiell heving vil oppst\u00e5 hvis OSD > 1 per node. <\/p>\n

Selvf\u00f8lgelig er de l\u00f8selige, men vi bruker Rook for forenkling, og ender opp med \u00e5 komplisere det.<\/p>\n

Kompleksiteten ved \u00e5 finne passende grenser for ceph-demoner.<\/h3>\n

\nFor baremetal-installasjoner er det ganske enkelt \u00e5 beregne de n\u00f8dvendige ressursene for klyngen \u2013 formler og forskning finnes. Ved bruk av svake CPU-er vil du fortsatt m\u00e5tte gjennomf\u00f8re en rekke ytelsestester, forst\u00e5 hva Numa er, men det er fortsatt enklere enn i Rook.<\/p>\n

I tilfelle av Rook vil du i tillegg til minnegrensene som kan beregnes, m\u00f8te sp\u00f8rsm\u00e5let om CPU-grenser.<\/p>\n

Og da m\u00e5 du jobbe med ytelsestester. Ved \u00e5 sette grensene for lavt, f\u00e5r du en treg klynge; ved \u00e5 sette dem til ubegrenset f\u00e5r du aktiv CPU-bruk under rebalansering, noe som vil p\u00e5virke applikasjonene dine i kubernetes negativt.<\/p>\n

Problemer med nettverksinteraksjon v1.<\/h3>\n

\nFor ceph anbefales det \u00e5 bruke 2x10gb nettverk. Ett for klienttrafikk, det andre for cephs administrative behov (rebalance). Hvis du kj\u00f8rer ceph p\u00e5 baremetal, kan denne delingen enkelt settes opp; dersom du bruker Rook, vil deling av nettverk skape problemer, siden ikke hver klyngekonfigurasjon tillater at to forskjellige nettverk brukes i pod.<\/p>\n

Problemer med nettverksinteraksjon v2.<\/h3>\n

\nHvis du velger \u00e5 ikke dele nettverk, vil ceph-trafikken under rebalansering fylle hele kanalen, og applikasjonene dine i kubernetes vil bli tregere eller krasje. Det er mulig \u00e5 redusere rebalancehastigheten til ceph, men da risikerer du at den andre noden faller ut av klyngen p\u00e5 grunn av disker eller OOM, og da har du garanti for read-only p\u00e5 klyngen.<\/p>\n

Lang rebalansering \u2013 lange nedetider for applikasjonene.<\/h3>\n

\nSitat fra innlegget Ceph. Katastrofeanatomi.<\/i><\/p>\n

Ytelsen til testklyngen:<\/p>\n

En skriving p\u00e5 4 KByte tar 1 ms, ytelse 1000 operasjoner\/sekund i ett spor.<\/p>\n

En operasjon p\u00e5 4 MByte (objektst\u00f8rrelse) tar 22 ms, ytelse 45 operasjoner\/sekund.<\/p>\n

Dermed, n\u00e5r \u00e9n av tre domener svikter, er klyngen i en degredert tilstand i en periode, og halvparten av de varme objektene sprer seg over forskjellige versjoner, vil halvparten av skriveoperasjonene m\u00e5tte begynne med en tvungen gjenoppretting.<\/p>\n

Tiden for tvungen gjenoppretting beregner vi omtrent \u2014 skriveoperasjoner til et degredert objekt.<\/p>\n

F\u00f8rst leser vi 4 MB p\u00e5 22 ms, skriver i 22 ms, og deretter skriver vi 4 KB med faktiske data p\u00e5 1 ms. Totalt er det 45 ms for \u00e9n skriveoperasjon til et degredert objekt p\u00e5 SSD, n\u00e5r standardytelsen v\u00e5r var 1 ms \u2014 en ytelsesreduksjon p\u00e5 45 ganger.<\/p>\n

Jo h\u00f8yere prosentandel av degredere objekter vi har, desto verre blir det.<\/p><\/blockquote>\n

Det viser seg at hastigheten p\u00e5 rebalansering er kritisk viktig for korrekt drift av klyngen.<\/p>\n

Spesifikke innstillinger for servere for Ceph<\/h3>\n

\nCeph kan trenge spesifikk tuning av verten. <\/p>\n

Eksempel: sysctl-innstillinger og samme JumboFrame, noen av disse innstillingene kan ha en negativ innvirkning p\u00e5 payloadet ditt.<\/p>\n

Den reelle n\u00f8dvendigheten av Rook er fortsatt et sp\u00f8rsm\u00e5l.<\/h3>\n

\nHvis du er i skyen, har du lagring fra din skyleverand\u00f8r, noe som er mye mer praktisk. <\/p>\n

Hvis du er p\u00e5 dine egne servere, vil administrasjon av Ceph v\u00e6re mer praktisk uten Kubernetes. <\/p>\n

Leier du servere fra en slags lavpris hosting? Da venter det mye moro med nettverk, dets forsinkelser og b\u00e5ndbredde, noe som \u00e5penbart p\u00e5virker Ceph negativt.<\/p>\n

Totalt:<\/b> Implementering av Kubernetes og implementering av lagring er forskjellige oppgaver med forskjellige inngangsverdier og forskjellige l\u00f8sningsalternativer \u2014 \u00e5 blande dem betyr \u00e5 gj\u00f8re en potensielt farlig trade-off til fordel for den ene eller den andre. \u00c5 kombinere disse l\u00f8sningene vil v\u00e6re veldig vanskelig selv p\u00e5 designfasen, og det er fortsatt driftsperioden.<\/p>\n

Liste over brukt litteratur:<\/p>\n

Innlegg #1<\/a><\/noindex> Men sier du Ceph\u2026 er han s\u00e5 bra?
\nInnlegg #2<\/a><\/noindex> Ceph. Katastrofens anatomi
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Han er ikke din dRook | ProHoster","description":"Med Rooks \u00f8kende popularitet \u00f8nsker jeg \u00e5 snakke om hans skjulte problemer og utfordringer som venter deg p\u00e5 veien. Om meg: Erfaring med administrasjon av Ceph siden versjon hammer, grunnlegger av fellesskapet","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}