{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"On nie jest dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

W zwi\u0105zku z rosn\u0105c\u0105 popularno\u015bci\u0105 Rook warto poruszy\u0107 jego pu\u0142apki i problemy, kt\u00f3re mog\u0105 na Ciebie czeka\u0107.<\/p>\n

O mnie: Do\u015bwiadczenie w administrowaniu ceph od wersji hammer, za\u0142o\u017cyciel spo\u0142eczno\u015bci. t.me\/ceph_ru<\/a><\/noindex> w Telegramie.<\/p>\n

Aby nie by\u0107 go\u0142os\u0142ownym, b\u0119d\u0119 si\u0119 odwo\u0142ywa\u0107 do uznanych post\u00f3w na Habrze (s\u0105dz\u0105c po ocenie) dotycz\u0105cych problem\u00f3w z ceph. Z wi\u0119kszo\u015bci\u0105 problem\u00f3w poruszanych w tych postach r\u00f3wnie\u017c si\u0119 spotka\u0142em. Linki do wykorzystanego materia\u0142u na ko\u0144cu posta.<\/p>\n

W po\u015bcie o Rook wspominamy ceph nieprzypadkowo \u2014 Rook w zasadzie to ceph zamkni\u0119ty w Kubernetesie, a wi\u0119c dziedziczy wszystkie jego problemy. Z problemami ceph zaczniemy.
\n<\/a><\/noindex><\/p>\n

Uproszczenie zarz\u0105dzania klastrem.<\/h3>\n

\nJedn\u0105 z zalet Rook jest wygodne zarz\u0105dzanie ceph przez Kubernetes.<\/p>\n

Jednak ceph zawiera ponad 1000 parametr\u00f3w do konfiguracji, a przez Rook mo\u017cemy zmienia\u0107 tylko mniejsz\u0105 ich cz\u0119\u015b\u0107.<\/p>\n

Przyk\u0142ad na Luminous.
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook jest pozycjonowany jako wygodny spos\u00f3b instalacji i aktualizacji ceph.<\/b>
\nZ instalacj\u0105 ceph bez Rook nie ma problem\u00f3w \u2014 playbook Ansible pisze si\u0119 w 30 minut, a z aktualizacjami pojawia si\u0119 wiele problem\u00f3w. <\/p>\n

Cytat z posta Krok.<\/i><\/p>\n

Przyk\u0142ad: nieprawid\u0142owe dzia\u0142anie crush tunables po aktualizacji z hummer do jewel.<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \"straw_calc_version\": 1,
\n \"allowed_bucket_algs\": 22,
\n \"profile\": \"unknown\",
\n \"optimal_tunables\": 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Jednak nawet w ramach wersji mniejszych wyst\u0119puj\u0105 problemy.<\/p>\n

Przyk\u0142ad: aktualizacja 12.2.6 prowadz\u0105ca klaster do stanu health err i warunkowo uszkodzonego PG.
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Nie aktualizowa\u0107, czeka\u0107 i testowa\u0107? Ale chyba u\u017cywamy Rook w\u0142a\u015bnie dla wygody aktualizacji.<\/p>\n

Trudno\u015bci w odzyskiwaniu klastr\u00f3w w przypadku awarii w Rook. <\/h3>\n

\nPrzyk\u0142ad: OSD awaria, generuj\u0105c b\u0142\u0119dy. Podejrzewasz, \u017ce problem jest w jednym z parametr\u00f3w konfiguracji, chcesz zmieni\u0107 ustawienia dla konkretnego demona, ale nie mo\u017cesz, poniewa\u017c masz Kubernetes i DaemonSet.<\/p>\n

Nie ma alternatywy. ceph tell osd.Num injectargs nie dzia\u0142a \u2014 OSD le\u017cy.<\/p>\n

Trudno\u015b\u0107 w debugowaniu.<\/h3>\n

\nDla niekt\u00f3rych ustawie\u0144 i test\u00f3w wydajno\u015bciowych konieczne jest bezpo\u015brednie pod\u0142\u0105czenie si\u0119 do gniazda demona osd. W przypadku Rook nale\u017cy najpierw znale\u017a\u0107 odpowiedni kontener, a nast\u0119pnie do niego wej\u015b\u0107, odkry\u0107 brakuj\u0105ce narz\u0119dzia do debugowania i bardzo si\u0119 rozczarowa\u0107.<\/p>\n

Trudno\u015b\u0107 w sekwencyjnej aktywacji OSD.<\/h3>\n

\nPrzyk\u0142ad: OSD awaria z powodu OOM, nast\u0119puje rebalance, a po tym wyst\u0119puj\u0105 kolejne awarie.<\/p>\n

Rozwi\u0105zanie: Podno\u015b OSD po jednym, czekaj\u0105c na pe\u0142ne w\u0142\u0105czenie do klastra przed podniesieniem nast\u0119pnego. (Szczeg\u00f3\u0142y w raporcie Ceph. Anatomia katastrofy).<\/p>\n

W przypadku instalacji baremetal to robi si\u0119 po prostu r\u0119cznie, w przypadku Rook i jednej OSD na w\u0119\u017ale nie ma wi\u0119kszych problem\u00f3w, ale problemy z kolejno\u015bci\u0105 podnoszenia wyst\u0105pi\u0105, je\u015bli OSD > 1 na w\u0119ze\u0142. <\/p>\n

Oczywi\u015bcie, s\u0105 one do rozwi\u0105zania, ale przecie\u017c wprowadzamy Rook dla uproszczenia, a otrzymujemy komplikacje.<\/p>\n

Trudno\u015bci z doborem limit\u00f3w dla demon\u00f3w ceph.<\/h3>\n

\nDla instalacji baremetal w ceph do\u015b\u0107 \u0142atwo obliczy\u0107 wymagane zasoby na klaster \u2014 s\u0105 formu\u0142y i badania. Przy u\u017cyciu s\u0142abych CPU wci\u0105\u017c b\u0119dziesz musia\u0142 przeprowadzi\u0107 szereg test\u00f3w wydajno\u015bci, dowiedzie\u0107 si\u0119, czym jest Numa, ale to wci\u0105\u017c jest prostsze ni\u017c w Rook.<\/p>\n

W przypadku Rook opr\u00f3cz limit\u00f3w pami\u0119ci, kt\u00f3re mo\u017cna obliczy\u0107, pojawia si\u0119 pytanie o ustalenie limitu CPU.<\/p>\n

I tu b\u0119dziesz musia\u0142 si\u0119 napracowa\u0107 nad testami wydajno\u015bci. W przypadku zani\u017cenia limit\u00f3w otrzymasz wolny klaster, przy ustawieniu unlim b\u0119dziesz mia\u0142 aktywne wykorzystanie CPU podczas rebalance, co \u017ale wp\u0142ynie na Twoje aplikacje w kubernetes.<\/p>\n

Problemy z interakcj\u0105 sieciow\u0105 v1.<\/h3>\n

\nDla ceph zaleca si\u0119 u\u017cycie sieci 2x10 gb. Jedna dla ruchu klienckiego, druga dla potrzeb serwisowych ceph (rebalance). Je\u015bli dzia\u0142asz z ceph na baremetal, to podzia\u0142 jest \u0142atwy do skonfigurowania, ale dzia\u0142aj\u0105c z Rook, podzia\u0142 sieci sprawi Ci problemy, poniewa\u017c nie ka\u017cda konfiguracja klastra pozwala na przypisanie do podu dw\u00f3ch r\u00f3\u017cnych sieci.<\/p>\n

Problemy z interakcj\u0105 sieciow\u0105 v2.<\/h3>\n

\nJe\u015bli zrezygnujesz z podzia\u0142u sieci, podczas rebalance ruch ceph zablokuje ca\u0142y kana\u0142 i Twoje aplikacje w kubernetes b\u0119d\u0105 dzia\u0142a\u0107 wolno lub si\u0119 zawiesz\u0105. Mo\u017cna zmniejszy\u0107 pr\u0119dko\u015b\u0107 rebalance ceph, ale wtedy ryzykujesz d\u0142ugi rebalance, co zwi\u0119ksza ryzyko wykluczenia drugiego w\u0119z\u0142a z klastra z powodu dysk\u00f3w lub OOM, a wtedy masz ju\u017c gwarantowane tylko do odczytu na klastrze.<\/p>\n

D\u0142ugi rebalance \u2014 d\u0142ugie spowolnienie aplikacji.<\/h3>\n

\nCytat z posta Ceph. Anatomia katastrofy.<\/i><\/p>\n

Wydajno\u015b\u0107 testowego klastra:<\/p>\n

Operacja zapisu o wielko\u015bci 4 Kb zajmuje 1 ms, wydajno\u015b\u0107 1000 operacji\/sekund\u0119 w 1 w\u0105tku.<\/p>\n

Operacja o wielko\u015bci 4 Mb (wielko\u015b\u0107 obiektu) zajmuje 22 ms, wydajno\u015b\u0107 45 operacji\/sekund\u0119.<\/p>\n

W zwi\u0105zku z tym, gdy jeden z trzech domen zawiedzie, klaster przez pewien czas znajduje si\u0119 w stanie degradacji, a po\u0142owa gor\u0105cych obiekt\u00f3w rozprzestrzenia si\u0119 po r\u00f3\u017cnych wersjach, niekt\u00f3re operacje zapisu b\u0119d\u0105 zaczyna\u0107 si\u0119 od wymuszonego przywracania.<\/p>\n

Czas wymuszonego przywracania obliczamy w przybli\u017ceniu \u2014 operacje zapisu w obiekcie w degradacji.<\/p>\n

Najpierw odczytujemy 4 MB w ci\u0105gu 22 ms, zapisujemy przez 22 ms, a nast\u0119pnie 1 ms zajmuje zapisanie 4 KB konkretnego zestawu danych. \u0141\u0105cznie trwa to 45 ms na jedn\u0105 operacj\u0119 zapisu w obiekcie w degradacji na SSD, podczas gdy normalna wydajno\u015b\u0107 wynosi\u0142a 1 ms \u2014 spadek wydajno\u015bci o 45 razy.<\/p>\n

Im wi\u0119kszy procent obiekt\u00f3w w degradacji, tym sytuacja staje si\u0119 gorsza.<\/p><\/blockquote>\n

Okazuje si\u0119, \u017ce pr\u0119dko\u015b\u0107 rebalance'u jest krytycznie wa\u017cna dla prawid\u0142owego dzia\u0142ania klastra.<\/p>\n

Specyficzne ustawienia serwer\u00f3w dla Ceph<\/h3>\n

\nCeph cz\u0119sto wymaga specyficznego tuningu hosta. <\/p>\n

Przyk\u0142ad: ustawienia sysctl i JumboFrame; niekt\u00f3re z tych ustawie\u0144 mog\u0105 negatywnie wp\u0142ywa\u0107 na Twoje obci\u0105\u017cenie.<\/p>\n

Prawdziwa potrzeba Rook pozostaje pod znakiem zapytania.<\/h3>\n

\nJe\u015bli jeste\u015b w chmurze, masz magazyn od swojego dostawcy chmurowego, co jest znacznie wygodniejsze. <\/p>\n

Je\u015bli korzystasz z w\u0142asnych serwer\u00f3w, zarz\u0105dzanie Ceph b\u0119dzie \u0142atwiejsze bez Kubernetes. <\/p>\n

Czy wynajmujesz serwery w jakim\u015b niedrogim hostingu? W takim razie czeka ci\u0119 wiele zabawnych sytuacji z sieci\u0105, jej op\u00f3\u017anieniami i przepustowo\u015bci\u0105, co wyra\u017anie negatywnie wp\u0142ywa na Ceph.<\/p>\n

Podsumowuj\u0105c:<\/b> Wdro\u017cenie Kubernetes i wdro\u017cenie magazynu to r\u00f3\u017cne zadania z r\u00f3\u017cnymi wymaganiami i r\u00f3\u017cnymi opcjami rozwi\u0105za\u0144 \u2014 ich mieszanie to ryzykowny trade-off na rzecz tego czy innego. Po\u0142\u0105czenie tych rozwi\u0105za\u0144 b\u0119dzie bardzo trudne nawet na etapie projektowania, a co dopiero w okresie eksploatacji.<\/p>\n

Lista wykorzystanej literatury:<\/p>\n

Post #1<\/a><\/noindex> A wy m\u00f3wicie Ceph\u2026 czy naprawd\u0119 jest tak dobry?
\nPost #2<\/a><\/noindex> Ceph. Anatomia katastrofy.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47On nie jest dRook | ProHoster","description":"W zwi\u0105zku z rosn\u0105c\u0105 popularno\u015bci\u0105 Rook chcia\u0142bym porozmawia\u0107 o jego pu\u0142apkach i problemach, kt\u00f3re czekaj\u0105 na ciebie na tej drodze. O mnie: Do\u015bwiadczenie w zarz\u0105dzaniu Ceph od wersji Hammer, za\u0142o\u017cyciel spo\u0142eczno\u015bci.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}