{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"On vam ne dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Glede na nara\u0161\u010dajo\u010do priljubljenost Rook bi radi spregovorili o njegovih skritih te\u017eavah in izzivih, s katerimi se boste sre\u010dali na svoji poti.<\/p>\n

O sebi: Izku\u0161nje z upravljanjem ceph od razli\u010dice hammer, ustanovitelj skupnosti t.me\/ceph_ru<\/a><\/noindex> v telegramu.<\/p>\n

Da ne bi bil nedosleden, se bom skliceval na sprejete objave na Habr (sodna po oceni) o te\u017eavah s ceph. S \u0161tevilnimi te\u017eavami, omenjenimi v teh objavah, sem se tudi sam sre\u010dal. Povezave na uporabljene materiale na koncu objave.<\/p>\n

V objavi o Rooku omenjamo ceph ne brez razloga \u2014 Rook je v bistvu ceph zavit v kubernetes, kar pomeni, da podeduje vse njegove te\u017eave. Za\u010dnimo s te\u017eavami ceph.
\n<\/a><\/noindex><\/p>\n

Poenostavitev upravljanja s klasterjem<\/h3>\n

\nEna od prednosti Rooka je enostavno upravljanje ceph preko kubernetes.<\/p>\n

Vendar ceph vsebuje ve\u010d kot 1000 nastavitev, medtem ko jih preko rooka lahko spremenimo le manj\u0161i del.<\/p>\n

Primer na Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook se predstavlja kot enostaven na\u010din za namestitev in posodobitev ceph.<\/b>
\nPri namestitvi ceph brez Rooka ni te\u017eav \u2014 ansible playbook napi\u0161ete v 30 minutah, a pri posodobitvi je te\u017eav na pretek. <\/p>\n

Citat iz objave Krok<\/i><\/p>\n

Primer: nepravilno delovanje crush tunables po posodobitvi s hummer na jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Toda tudi znotraj manj\u0161ih razli\u010dic se pojavljajo te\u017eave.<\/p>\n

Primer: Posodobitev 12.2.6 privede klaster v stanje health err in pogojno po\u0161kodovan PG
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Ne posodabljati, \u010dakati in testirati? Toda Rook uporabljamo tudi zaradi enostavnosti posodobitev.<\/p>\n

Te\u017eavnost disaster recovery klasterja v Rooku <\/h3>\n

\nPrimer: OSD se sesuje in proizvaja napake. Sumite, da je te\u017eava v eni od nastavitev v konfiguraciji, \u017eelite spremeniti konfiguracijo za dolo\u010den daemon, vendar ne morete, ker imate kubernetes in DaemonSet.<\/p>\n

Alternativa ni. ceph tell osd.Num injectargs ne deluje \u2014 OSD je \u017ee sesut.<\/p>\n

Te\u017eavnost debugiranja<\/h3>\n

\nZa nekatere nastavitve in teste zmogljivosti je treba neposredno dostopati do vti\u010dnice osd daemona. V primeru Rooka je najprej treba najti pravi container, nato se vanj vstopiti, odkriti manjkajo\u010de orodje za debugiranje in postati zelo razo\u010daran.<\/p>\n

Te\u017eavnost postopnega vzpostavljanja OSD<\/h3>\n

\nPrimer: OSD se sesuje zaradi OOM, za\u010dne se rebalance, nato pa padejo naslednji.<\/p>\n

Re\u0161itev: Aktivirajte OSD eno za drugim, po\u010dakajte, da se popolnoma priklju\u010di na klaster, in nato aktivirajte naslednje. (Ve\u010d v poro\u010dilu Ceph. Anatomija katastrofe).<\/p>\n

Pri baremetal namestitvi se to preprosto izvede ro\u010dno, pri Rook in eni OSD na vozli\u0161\u010du ni posebnih te\u017eav, te\u017eave s zaporednim aktiviranjem pa se pojavijo, \u010de je OSD > 1 na vozli\u0161\u010de. <\/p>\n

Seveda so re\u0161ljive, vendar pa prina\u0161amo Rook za poenostavitev, a prejemamo zaplete.<\/p>\n

Zahtevnost dolo\u010danja omejitev za ceph demone<\/h3>\n

\nZa baremetal namestitev ceph je dovolj enostavno izra\u010dunati potrebne vire za klaster \u2014 formule so na voljo in raziskave so opravljene. Pri uporabi \u0161ibkih CPU-jev boste kljub temu morali izvesti vrsto testov zmogljivosti, spoznati, kaj je Numa, a to je vseeno bolj preprosto kot pri Rook.<\/p>\n

Pri Rook se poleg omejitev pomnilnika, ki jih lahko izra\u010dunate, pojavi vpra\u0161anje postavitve omejitve CPU.<\/p>\n

In tu boste morali delati na testih zmogljivosti. Pri zni\u017eanju omejitev boste dobili po\u010dasen klaster, pri nastavitvi unlim pa bo pri prebalansiranju pri\u0161lo do aktivnega u\u017eivanja CPU, kar bo slabo vplivalo na va\u0161e aplikacije v kubernetes.<\/p>\n

Te\u017eave z omre\u017enim delovanjem v1<\/h3>\n

\nZa ceph se priporo\u010da uporaba 2x10gb omre\u017eja. Enega za odjemalski promet, drugega za slu\u017ebene potrebe ceph (prebalans). \u010ce uporabljate ceph na baremetal, je ta lo\u010ditev enostavna za nastavitev, \u010de pa delate z Rook, boste imeli te\u017eave z lo\u010denjem omre\u017eij, ker ne vsak konfiguracija klasterja omogo\u010da predlo\u017eitev dveh razli\u010dnih omre\u017eij v pod.<\/p>\n

Te\u017eave z omre\u017enim delovanjem v2<\/h3>\n

\n\u010ce se odlo\u010dite, da ne boste lo\u010devali omre\u017eij, bo prebalansiran promet ceph zapolnil celoten kanal in va\u0161e aplikacije v kubernetes bodo upo\u010dasnjene ali pa bodo padle. Hitrost prebalansiranja ceph lahko zmanj\u0161ate, toda s tem tvegate dolgotrajno prebalansiranje, kar pove\u010duje tveganje, da druga vozli\u0161\u010da izpadejo iz klasterja zaradi diskov ali OOM, kjer je \u017ee zagotovljen read-only dostop do klasterja.<\/p>\n

Dolgotrajno prebalansiranje \u2014 dolge upo\u010dasnitve aplikacij<\/h3>\n

\nCitat iz objave Ceph. Anatomija katastrofe.<\/i><\/p>\n

Zmogljivost testnega klasterja:<\/p>\n

Operacija zapisa velikosti 4 Kb traja 1 ms, zmogljivost 1000 operacij\/sekundo v 1 kon\u010dni to\u010dki.<\/p>\n

Operacija velikosti 4 Mb (velikost objekta) traja 22 ms, zmogljivost 45 operacij\/sekundo.<\/p>\n

Zato, ko eden od treh domenov odpove, se je klaster nekaj \u010dasa v degradiranem stanju, in polovica vro\u010dih objektov se razporedi po razli\u010dnih razli\u010dicah, kar pomeni, da se polovica zapisovalnih operacij za\u010dne s prisilnim obnovitvijo.<\/p>\n

\u010cas prisilne obnovitve ocenjujemo pribli\u017eno \u2014 zapisovalne operacije v degradiranem objektu.<\/p>\n

Najprej preberemo 4 MB v 22 ms, zapi\u0161emo 22 ms, in nato 1 ms pi\u0161emo 4 kB dejanskih podatkov. Skupaj 45 ms za eno zapisovalno operacijo v degradiranem objektu na SSD-ju, ko je bila na\u0161a obi\u010dajna zmogljivost 1 ms \u2014 padec zmogljivosti za 45-krat.<\/p>\n

Ve\u010d kot imamo dele\u017e degradiranih objektov, slab\u0161e postaja.<\/p><\/blockquote>\n

Izkazalo se je, da je hitrost rebalance kriti\u010dno pomembna za pravilno delovanje klustra.<\/p>\n

Specifi\u010dne nastavitve stre\u017enikov za ceph<\/h3>\n

\nCeph potrebuje specifi\u010dno tuning gostitelja. <\/p>\n

Primer: nastavitve sysctl in JumboFrame, nekatere od teh nastavitev lahko negativno vplivajo na va\u0161 payload.<\/p>\n

Pravi razlog za Rook ostaja vpra\u0161ljiv<\/h3>\n

\n\u010ce ste v oblaku, imate skladi\u0161\u010de od va\u0161ega obla\u010dnega ponudnika, kar je precej bolj priro\u010dno. <\/p>\n

\u010ce ste na svojih stre\u017enikih, bo upravljanje ceph la\u017eje brez kubernetes. <\/p>\n

Ali najemate stre\u017enike pri kak\u0161nem low cost hostingu? Potem vas \u010daka veliko zabave z omre\u017ejem, njegovimi zakasnitvami in propustnostjo, kar zagotovo negativno vpliva na ceph.<\/p>\n

Skupaj:<\/b> Vpeljava kuberentes in vpeljava shranjevanja sta razli\u010dni nalogi z razli\u010dnimi predpostavkami in razli\u010dnimi mo\u017enostmi re\u0161itev \u2014 me\u0161anje le-teh pomeni morebiten nevaren trade-off v prid enega ali drugega. Zdru\u017eevanje teh re\u0161itev bo zelo te\u017eko, celo v fazi na\u010drtovanja, poleg tega pa je tu \u0161e obdobje delovanja.<\/p>\n

Seznam uporabljene literature:<\/p>\n

Objava #1<\/a><\/noindex> Vi pa govorite Ceph\u2026 ali je res tako dober?
\nObjava #2<\/a><\/noindex> Ceph. Anatomija katastrofe
\n
Izvor: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47On vam ne dRook | ProHoster","description":"Glede na nara\u0161\u010dajo\u010do priljubljenost Rooka se \u017eelim pogovoriti o njegovih podvodnih kamenih in te\u017eavah, ki vas \u010dakajo na poti. O sebi: Izku\u0161nje upravljanja ceph od razli\u010dice hammer, ustanovitelj skupnosti","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}