{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Han \u00e4r inte din dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Med den \u00f6kande populariteten av Rook \u00e4r det v\u00e4rt att diskutera dess fallgropar och problem som kan v\u00e4ntar p\u00e5 v\u00e4gen.<\/p>\n

Om mig: Erfarenhet av att administrera ceph sedan versionen hammer, grundare av communityn t.me\/ceph_ru<\/a><\/noindex> p\u00e5 Telegram.<\/p>\n

F\u00f6r att inte vara bara p\u00e5st\u00e5enden kommer jag att referera till v\u00e4l accepterade inl\u00e4gg p\u00e5 Habr (enligt betyg) om problem med ceph. Jag har ocks\u00e5 st\u00f6tt p\u00e5 de flesta av problemen i dessa inl\u00e4gg. L\u00e4nkar till materialet i slutet av inl\u00e4gget.<\/p>\n

I inl\u00e4gget om Rook n\u00e4mner vi ceph av en anledning \u2014 Rook \u00e4r i grunden ceph insvept i kubernetes, vilket inneb\u00e4r att det \u00e4rver alla dess problem. Vi b\u00f6rjar med problemen i ceph.
\n<\/a><\/noindex><\/p>\n

F\u00f6renkling av klusterhantering<\/h3>\n

\nEn av f\u00f6rdelarna med Rook \u00e4r enkelheten att hantera ceph genom kubernetes.<\/p>\n

Men ceph har mer \u00e4n 1000 konfigurationsalternativ, medan vi genom Rook endast kan \u00e4ndra en mindre del av dem.<\/p>\n

Exempel p\u00e5 Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook positionerar sig som ett bekv\u00e4mt s\u00e4tt att installera och uppdatera ceph<\/b>
\nDet finns inga problem med att installera ceph utan Rook \u2014 en ansible playbook kan skrivas p\u00e5 30 minuter, men problemet med att uppdatera \u00e4r stort. <\/p>\n

Citat fr\u00e5n Krok-inl\u00e4gget<\/i><\/p>\n

Exempel: Felaktig funktion av crush tunables efter uppdatering fr\u00e5n hummer till jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Men \u00e4ven inom minorversioner kan det uppst\u00e5 problem.<\/p>\n

Exempel: Uppdatering 12.2.6 som s\u00e4tter klustret i tillst\u00e5ndet health err och f\u00f6rmodligen skadad PG
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Skulle vi inte uppdatera, v\u00e4nta och testa? Men vi anv\u00e4nder ju Rook f\u00f6r bekv\u00e4mligheten med uppdateringar ocks\u00e5.<\/p>\n

Sv\u00e5righeter med katastrof\u00e5terst\u00e4llning av klustret i Rook <\/h3>\n

\nExempel: OSD kraschar och spottar fel under processen. Du misst\u00e4nker att problemet ligger i n\u00e5got av parametrarna i konfigurationen, vill \u00e4ndra konfigurationen f\u00f6r en specifik demon, men kan inte eftersom du har kubernetes och DaemonSet.<\/p>\n

Det finns inget alternativ. ceph tell osd.Num injectargs fungerar inte \u2014 OSD \u00e4r nere.<\/p>\n

Sv\u00e5righeter med debuggning<\/h3>\n

\nF\u00f6r vissa inst\u00e4llningar och prestandatest m\u00e5ste man ansluta direkt till OSD-demonens socket. I Rook m\u00e5ste man f\u00f6rst hitta r\u00e4tt container, sedan g\u00e5 in i den, uppt\u00e4cka att den saknar debug-verktyg och bli mycket besviken.<\/p>\n

Sv\u00e5righeter med successiv start av OSD<\/h3>\n

\nExempel: OSD kraschar p\u00e5 OOM, ombalanseringen b\u00f6rjar, och sedan kraschar n\u00e4sta.<\/p>\n

L\u00f6sning: H\u00f6j OSD en och en, v\u00e4nta tills den \u00e4r helt ansluten till klustret och lyft n\u00e4sta. (Mer i rapporten Ceph. Katastrofans anatomi).<\/p>\n

Vid baremetal-installation g\u00f6rs detta enkelt f\u00f6r hand. Vid Rook och en OSD per nod finns det inga st\u00f6rre problem, problemet med sekventiell upplysning uppst\u00e5r om OSD > 1 per nod. <\/p>\n

Sj\u00e4lvklart \u00e4r de l\u00f6sbara, men vi str\u00e4var ju efter att f\u00f6renkla med Rook, inte komplicera.<\/p>\n

Sv\u00e5righeter med att st\u00e4lla in begr\u00e4nsningar f\u00f6r Ceph-demoner.<\/h3>\n

\nF\u00f6r baremetal-installation \u00e4r det ganska l\u00e4tt att ber\u00e4kna n\u00f6dv\u00e4ndiga resurser f\u00f6r klustret \u2014 formler och forskning finns. Vid anv\u00e4ndning av svaga CPU:er m\u00e5ste du \u00e4nd\u00e5 g\u00f6ra en m\u00e4ngd prestandatester, f\u00f6rst\u00e5 vad Numa \u00e4r, men det \u00e4r fortfarande enklare \u00e4n med Rook.<\/p>\n

I fallet med Rook, f\u00f6rutom minnesbegr\u00e4nsningarna som g\u00e5r att ber\u00e4kna, uppst\u00e5r fr\u00e5gan om att st\u00e4lla in CPU-begr\u00e4nsningar.<\/p>\n

Och h\u00e4r m\u00e5ste du k\u00e4mpa med prestandatester. Om du s\u00e4tter f\u00f6r l\u00e5ga begr\u00e4nsningar f\u00e5r du en l\u00e5ngsam kluster, om du s\u00e4tter unlimit f\u00e5r du aktiv CPU-anv\u00e4ndning vid ombalansering, vilket kommer att p\u00e5verka dina applikationer i Kubernetes negativt.<\/p>\n

Problem med n\u00e4tverksinteraktion v1.<\/h3>\n

\nF\u00f6r Ceph rekommenderas att anv\u00e4nda ett 2x10Gb-n\u00e4tverk. Ett f\u00f6r klienttrafik, det andra f\u00f6r Ceph:s interna behov (ombalans). Om du har Ceph p\u00e5 baremetal \u00e4r det l\u00e4tt att konfigurera denna uppdelning, men om du anv\u00e4nder Rook kan n\u00e4tverksuppdelningen orsaka problem, eftersom inte varje klusterkonfiguration till\u00e5ter att skicka olika n\u00e4tverk till en pod.<\/p>\n

Problem med n\u00e4tverksinteraktion v2.<\/h3>\n

\nOm du v\u00e4ljer att inte dela n\u00e4tverken kommer Ceph:s trafik att blockera hela kanalen under ombalansering, och dina applikationer i Kubernetes kommer att bromsa eller krascha. Du kan minska hastigheten p\u00e5 Ceph:s ombalansering, men d\u00e5 riskerar du att en andra nod faller ur klustret p\u00e5 grund av diskar eller OOM, och d\u00e4r blir det garanterad read-only f\u00f6r klustret.<\/p>\n

L\u00e5ngsam ombalansering \u2014 l\u00e5ngsamma bromsar i applikationerna.<\/h3>\n

\nCitat fr\u00e5n inl\u00e4gget Ceph. Katastrofans anatomi.<\/i><\/p>\n

Prestanda f\u00f6r testklustret:<\/p>\n

Skrivoperationen p\u00e5 4 KB tar 1 ms, prestanda 1000 operationer\/sekund i 1 tr\u00e5d.<\/p>\n

Operationen p\u00e5 4 MB (objektstorlek) tar 22 ms, prestanda 45 operationer\/sekund.<\/p>\n

D\u00e4rf\u00f6r, n\u00e4r en av tre dom\u00e4ner misslyckas, befinner sig klustret en tid i ett f\u00f6rs\u00e4mrat tillst\u00e5nd, och h\u00e4lften av de aktiva objekten sprids \u00f6ver olika versioner, kommer h\u00e4lften av skrivoperationerna att b\u00f6rja med en tvingad \u00e5terst\u00e4llning.<\/p>\n

Tiden f\u00f6r tvingad \u00e5terst\u00e4llning uppskattas ungef\u00e4r \u2014 skrivoperationer i det f\u00f6rs\u00e4mrade objektet.<\/p>\n

F\u00f6rst l\u00e4ser vi 4 MB p\u00e5 22 ms, skriver 22 ms, och sedan skriver vi 4 KB egna data p\u00e5 1 ms. Totalt tar det 45 ms f\u00f6r en skrivoperation i det f\u00f6rs\u00e4mrade objektet p\u00e5 SSD, medan den normala prestandan var 1 ms \u2014 en prestandaf\u00f6rlust p\u00e5 45 g\u00e5nger.<\/p>\n

Ju h\u00f6gre procentandel av f\u00f6rs\u00e4mrade objekt, desto mer skr\u00e4mmande blir det.<\/p><\/blockquote>\n

Det visar sig att hastigheten p\u00e5 ombalansering \u00e4r kritiskt viktig f\u00f6r klustrets korrekta funktion.<\/p>\n

Specifika serverinst\u00e4llningar f\u00f6r ceph<\/h3>\n

\nceph kan beh\u00f6va specifik host-tuning. <\/p>\n

Exempel: sysctl-inst\u00e4llningar och samma JumboFrame, vissa av dessa inst\u00e4llningar kan negativt p\u00e5verka din payload.<\/p>\n

Det verkliga behovet av Rook kvarst\u00e5r en fr\u00e5ga<\/h3>\n

\nOm du \u00e4r i molnet har du lagring fr\u00e5n din molnleverant\u00f6r, vilket \u00e4r mycket bekv\u00e4mare. <\/p>\n

Om du \u00e4r p\u00e5 dina egna servrar kommer hanteringen av ceph att vara enklare utan kubernetes. <\/p>\n

Hyra servrar p\u00e5 n\u00e5gon l\u00e5gprishosting? D\u00e5 v\u00e4ntar dig mycket roligt med n\u00e4tverket, dess latens och bandbredd, vilket uppenbart negativt p\u00e5verkar ceph.<\/p>\n

Totalt:<\/b> Implementering av kubernetes och implementering av lagring \u00e4r olika uppgifter med olika ing\u00e5ngar och olika l\u00f6sningar \u2014 att blanda dem inneb\u00e4r att g\u00f6ra en potentiellt farlig trade-off till f\u00f6rm\u00e5n f\u00f6r den ena eller den andra. Att kombinera dessa l\u00f6sningar kommer att bli mycket sv\u00e5rt \u00e4ven under designfasen, och det finns fortfarande en driftsperiod.<\/p>\n

Lista \u00f6ver referenser:<\/p>\n

Inl\u00e4gg #1<\/a><\/noindex> Men ni pratar om Ceph\u2026 \u00e4r den verkligen s\u00e5 bra?
\nInl\u00e4gg #2<\/a><\/noindex> Ceph. Katastrofens anatomi
\n
K\u00e4lla: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Han \u00e4r inte din dRook | ProHoster","description":"Med tanke p\u00e5 den \u00f6kande populariteten f\u00f6r Rook vill jag prata om dess fallgropar och problem som v\u00e4ntar dig p\u00e5 v\u00e4gen. Om mig: erfarenhet av ceph-administration sedan version hammer, grundare av gemenskapen.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}