{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Ele n\u00e3o \u00e9 seu Rook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Com a crescente popularidade do Rook, gostaria de discutir suas armadilhas e problemas que voc\u00ea encontrar\u00e1 pelo caminho.<\/p>\n

Sobre mim: Experi\u00eancia na administra\u00e7\u00e3o de ceph desde a vers\u00e3o hammer, fundador da comunidade t.me\/ceph_pt<\/a><\/noindex> no Telegram.<\/p>\n

Para n\u00e3o ficar s\u00f3 na palavra, me referirei a posts aceitos no Habr (segundo a classifica\u00e7\u00e3o) sobre problemas com ceph. Enfrentei a maioria dos problemas mencionados nesses posts. Links para o material utilizado no final do post.<\/p>\n

No post sobre Rook, mencionamos ceph n\u00e3o apenas por acaso \u2014 o Rook, na verdade, \u00e9 o ceph envolto no kubernetes, o que significa que herda todos os seus problemas. Vamos come\u00e7ar com os problemas do ceph.
\n<\/a><\/noindex><\/p>\n

Simplifica\u00e7\u00e3o da gest\u00e3o do cluster<\/h3>\n

\nUma das vantagens do Rook \u00e9 o gerenciamento conveniente do ceph atrav\u00e9s do kubernetes.<\/p>\n

No entanto, o ceph possui mais de 1000 par\u00e2metros de configura\u00e7\u00e3o, enquanto atrav\u00e9s do Rook podemos ajustar apenas uma parte menor deles.<\/p>\n

Exemplo no Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

O Rook se posiciona como uma maneira conveniente de instalar e atualizar o ceph<\/b>
\nCom a instala\u00e7\u00e3o do ceph sem o Rook, n\u00e3o h\u00e1 problemas \u2014 o playbook do ansible \u00e9 escrito em 30 minutos, mas com a atualiza\u00e7\u00e3o, h\u00e1 muitos problemas. <\/p>\n

Cita\u00e7\u00e3o do post do Krok<\/i><\/p>\n

Exemplo: funcionamento incorreto das tunas do crush ap\u00f3s a atualiza\u00e7\u00e3o de hammer para jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Mas mesmo dentro das vers\u00f5es menores, problemas podem ocorrer.<\/p>\n

Exemplo: Atualiza\u00e7\u00e3o 12.2.6 que resulta o cluster em estado de health err e PG condicionalmente corrompido
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

N\u00e3o atualizar, esperar e testar? Mas estamos usando o Rook tamb\u00e9m pela conveni\u00eancia das atualiza\u00e7\u00f5es.<\/p>\n

Dificuldade de recupera\u00e7\u00e3o de desastre do cluster no Rook <\/h3>\n

\nExemplo: OSD falha enchendo de erros por conta pr\u00f3pria. Voc\u00ea suspeita que o problema est\u00e1 em um dos par\u00e2metros da configura\u00e7\u00e3o, quer alterar a configura\u00e7\u00e3o para um dem\u00f4nio espec\u00edfico, mas n\u00e3o pode, pois voc\u00ea tem kubernetes e DaemonSet.<\/p>\n

N\u00e3o h\u00e1 alternativa. ceph tell osd.Num injectargs n\u00e3o funciona \u2014 OSD est\u00e1 inativo.<\/p>\n

Dificuldade de depura\u00e7\u00e3o<\/h3>\n

\nPara algumas configura\u00e7\u00f5es e testes de desempenho, \u00e9 necess\u00e1rio se conectar diretamente ao soquete do dem\u00f4nio osd. No caso do Rook, \u00e9 preciso primeiro encontrar o cont\u00eainer adequado, depois entrar nele, descobrir a aus\u00eancia de ferramentas de depura\u00e7\u00e3o e se frustrar bastante.<\/p>\n

Dificuldade de eleva\u00e7\u00e3o sequencial do OSD<\/h3>\n

\nExemplo: OSD falha por OOM, come\u00e7a o re-balanceamento, e em seguida os pr\u00f3ximos falham.<\/p>\n

Solu\u00e7\u00e3o: Levantar OSD um por um, aguardando a completa inclus\u00e3o no cluster antes de levantar os seguintes. (Mais detalhes no relat\u00f3rio Ceph. Anatomia do desastre).<\/p>\n

No caso de instala\u00e7\u00e3o baremetal, isso \u00e9 feito facilmente \u00e0 m\u00e3o; no caso de Rook e uma OSD por n\u00f3, n\u00e3o h\u00e1 grandes problemas, os problemas no levantamento sequencial surgir\u00e3o se OSD > 1 por n\u00f3. <\/p>\n

Claro, eles s\u00e3o solucion\u00e1veis, mas estamos utilizando Rook para simplificar, e acabamos complicando.<\/p>\n

Dificuldade em definir limites para os dem\u00f4nios do ceph<\/h3>\n

\nPara a instala\u00e7\u00e3o baremetal do ceph, \u00e9 f\u00e1cil calcular os recursos necess\u00e1rios para o cluster \u2014 existem f\u00f3rmulas e pesquisas. Ao usar CPUs fracas, voc\u00ea ainda ter\u00e1 que fazer uma s\u00e9rie de testes de desempenho, entender o que \u00e9 Numa, mas isso ainda \u00e9 mais simples do que no Rook.<\/p>\n

No caso do Rook, al\u00e9m dos limites de mem\u00f3ria que podem ser calculados, surge a quest\u00e3o de definir o limite de CPU.<\/p>\n

E aqui voc\u00ea ter\u00e1 que se esfor\u00e7ar com os testes de desempenho. Se os limites forem muito baixos, voc\u00ea ter\u00e1 um cluster lento; se forem ilimitados, haver\u00e1 um uso ativo da CPU durante o rebalanceamento, o que afetar\u00e1 negativamente suas aplica\u00e7\u00f5es no kubernetes.<\/p>\n

Problemas de intera\u00e7\u00e3o de rede v1<\/h3>\n

\nPara o ceph, recomenda-se usar uma rede de 2x10gb. Uma para tr\u00e1fego de cliente, outra para necessidades operacionais do ceph (rebalanceamento). Se voc\u00ea estiver usando ceph em baremetal, essa separa\u00e7\u00e3o \u00e9 f\u00e1cil de configurar; se estiver usando Rook, a separa\u00e7\u00e3o de redes pode causar problemas, uma vez que nem toda configura\u00e7\u00e3o de cluster permite fornecer duas redes diferentes para o pod.<\/p>\n

Problemas de intera\u00e7\u00e3o de rede v2<\/h3>\n

\nSe voc\u00ea optar por n\u00e3o separar as redes, durante o rebalanceamento o tr\u00e1fego do ceph congestionar\u00e1 todo o canal e suas aplica\u00e7\u00f5es no kubernetes come\u00e7ar\u00e3o a desacelerar ou poder\u00e3o falhar. \u00c9 poss\u00edvel diminuir a velocidade do rebalanceamento do ceph, mas ent\u00e3o, devido ao longo rebalanceamento, voc\u00ea ter\u00e1 um risco aumentado de que o segundo n\u00f3 saia do cluster devido a problemas de disco ou OOM, e ent\u00e3o haver\u00e1 garantia de leitura somente no cluster.<\/p>\n

Longo rebalanceamento \u2014 longas lentid\u00f5es nas aplica\u00e7\u00f5es<\/h3>\n

\nCita\u00e7\u00e3o do post Ceph. Anatomia do desastre.<\/i><\/p>\n

Desempenho do cluster de teste:<\/p>\n

Uma opera\u00e7\u00e3o de grava\u00e7\u00e3o de 4 Kbytes leva 1 ms, com uma taxa de 1000 opera\u00e7\u00f5es\/segundo em 1 thread.<\/p>\n

Uma opera\u00e7\u00e3o de 4 Mbytes (tamanho do objeto) leva 22 ms, com uma taxa de 45 opera\u00e7\u00f5es\/segundo.<\/p>\n

Assim, quando um dos tr\u00eas dom\u00ednios falha, o cluster fica em um estado degradado por algum tempo, e metade dos objetos quentes se espalha por diferentes vers\u00f5es, ent\u00e3o metade das opera\u00e7\u00f5es de grava\u00e7\u00e3o come\u00e7ar\u00e1 com a recupera\u00e7\u00e3o for\u00e7ada.<\/p>\n

Calcamos o tempo da recupera\u00e7\u00e3o for\u00e7ada de forma aproximada \u2014 opera\u00e7\u00f5es de grava\u00e7\u00e3o no objeto degradado.<\/p>\n

Primeiro, lemos 4 MB em 22 ms, escrevemos em 22 ms, e ent\u00e3o em 1 ms escrevemos 4 KB de dados propriamente ditos. No total, somamos 45 ms em uma opera\u00e7\u00e3o de grava\u00e7\u00e3o no objeto degradado em SSD, quando nosso desempenho normal era de 1 ms \u2014 uma queda de desempenho de 45 vezes.<\/p>\n

Quanto maior a porcentagem de objetos degradados, pior a situa\u00e7\u00e3o se torna.<\/p><\/blockquote>\n

Portanto, a velocidade de reequil\u00edbrio \u00e9 criticamente importante para o funcionamento correto do cluster.<\/p>\n

Configura\u00e7\u00f5es espec\u00edficas de servidores para ceph<\/h3>\n

\nO ceph muitas vezes requer um ajuste espec\u00edfico do host. <\/p>\n

Exemplo: configura\u00e7\u00f5es sysctl e o mesmo JumboFrame, algumas dessas configura\u00e7\u00f5es podem impactar negativamente seu payload.<\/p>\n

A real necessidade do Rook ainda \u00e9 question\u00e1vel.<\/h3>\n

\nSe voc\u00ea est\u00e1 na nuvem, tem armazenamento do seu provedor de nuvem, o que \u00e9 muito mais conveniente. <\/p>\n

Se voc\u00ea est\u00e1 em seus pr\u00f3prios servidores, a gest\u00e3o do ceph ser\u00e1 mais conveniente sem o Kubernetes. <\/p>\n

Voc\u00ea aluga servidores em algum provedor de hospedagem de baixo custo? Ent\u00e3o voc\u00ea encontrar\u00e1 muitas dificuldades com a rede, suas lat\u00eancias e largura de banda, o que afeta negativamente o ceph.<\/p>\n

No total:<\/b> A implementa\u00e7\u00e3o do Kubernetes e a implementa\u00e7\u00e3o do armazenamento s\u00e3o tarefas diferentes com diferentes vari\u00e1veis e diferentes op\u00e7\u00f5es de solu\u00e7\u00e3o - mistur\u00e1-las significa fazer um trade-off potencialmente perigoso em favor de uma ou outra. Juntar essas solu\u00e7\u00f5es ser\u00e1 muito dif\u00edcil mesmo na fase de design, e ainda h\u00e1 o per\u00edodo de opera\u00e7\u00e3o.<\/p>\n

Lista de refer\u00eancias utilizadas:<\/p>\n

Post #1<\/a><\/noindex> Mas voc\u00eas falam do Ceph... ele \u00e9 realmente t\u00e3o bom?
\nPost #2<\/a><\/noindex> Ceph. Anatomia de uma cat\u00e1strofe
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Ele n\u00e3o \u00e9 seu dRook | ProHoster","description":"Devido \u00e0 crescente popularidade do Rook, vamos discutir suas armadilhas e problemas que voc\u00ea encontrar\u00e1 pelo caminho. Sobre mim: Experi\u00eancia na administra\u00e7\u00e3o do ceph desde a vers\u00e3o hammer, fundador da comunidade","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}