{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"\u00c9l no es tu dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dada la creciente popularidad de Rook, vale la pena hablar sobre sus puntos problem\u00e1ticos y las dificultades que pueden surgir en el camino.<\/p>\n

Sobre m\u00ed: Experiencia en la administraci\u00f3n de Ceph desde la versi\u00f3n Hammer, fundador de la comunidad. t.me\/ceph_ru<\/a><\/noindex> en Telegram.<\/p>\n

Para no ser solo palabras vac\u00edas, me referir\u00e9 a las publicaciones aceptadas por Habr (seg\u00fan la calificaci\u00f3n) sobre los problemas con Ceph. Tambi\u00e9n me he encontrado con la mayor\u00eda de estos problemas. Las referencias al material utilizado est\u00e1n al final del post.<\/p>\n

En la publicaci\u00f3n sobre Rook mencionamos Ceph no sin motivo: Rook es, en esencia, Ceph envuelto en Kubernetes, lo que significa que hereda todos sus problemas. Comencemos con los problemas de Ceph.
\n<\/a><\/noindex><\/p>\n

Simplificaci\u00f3n de la gesti\u00f3n del cl\u00faster.<\/h3>\n

\nUna de las ventajas de Rook es la conveniencia de gestionar Ceph a trav\u00e9s de Kubernetes.<\/p>\n

Sin embargo, Ceph contiene m\u00e1s de 1000 par\u00e1metros de configuraci\u00f3n, mientras que a trav\u00e9s de Rook solo podemos modificar una parte menor de ellos.<\/p>\n

Ejemplo en Luminous.
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook se posiciona como una forma conveniente de instalar y actualizar Ceph.<\/b>
\nNo hay problemas para instalar Ceph sin Rook: un playbook de Ansible se puede escribir en 30 minutos, pero hay muchos problemas con la actualizaci\u00f3n. <\/p>\n

Cita de la publicaci\u00f3n de Krok.<\/i><\/p>\n

Ejemplo: comportamiento incorrecto de los tunables de Crush despu\u00e9s de actualizar de Hammer a Jewel.<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \"straw_calc_version\": 1,
\n \"allowed_bucket_algs\": 22,
\n \"profile\": \"unknown\",
\n \"optimal_tunables\": 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Pero incluso dentro de versiones menores pueden surgir problemas.<\/p>\n

Ejemplo: La actualizaci\u00f3n 12.2.6 provoca que el cl\u00faster est\u00e9 en estado de health err y PG supuestamente da\u00f1ado.
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

\u00bfNo actualizar, esperar y probar? Pero supuestamente estamos utilizando Rook por la conveniencia de las actualizaciones tambi\u00e9n.<\/p>\n

Dificultades en la recuperaci\u00f3n ante desastres del cl\u00faster en Rook. <\/h3>\n

\nEjemplo: OSD falla arrojando errores, sospechas que el problema est\u00e1 en uno de los par\u00e1metros de configuraci\u00f3n, quieres cambiar la configuraci\u00f3n para un demonio espec\u00edfico, pero no puedes, porque tienes Kubernetes y un DaemonSet.<\/p>\n

No hay alternativa. ceph tell osd.Num injectargs no funciona: el OSD est\u00e1 ca\u00eddo.<\/p>\n

Dificultades en la depuraci\u00f3n.<\/h3>\n

\nPara algunas configuraciones y pruebas de rendimiento, es necesario conectarse directamente al socket del demonio OSD. En el caso de Rook, primero debes encontrar el contenedor correcto, luego entrar en \u00e9l, descubrir la falta de herramientas de depuraci\u00f3n y decepcionarte enormemente.<\/p>\n

Dificultades en el levantamiento secuencial del OSD.<\/h3>\n

\nEjemplo: OSD cae por OOM, comienza la reequilibraci\u00f3n, y despu\u00e9s caen los siguientes.<\/p>\n

Soluci\u00f3n: Levantar OSD uno por uno, esperar a que se incluya completamente en el cl\u00faster y luego levantar los siguientes. (M\u00e1s detalles en el informe Ceph. Anatom\u00eda de los desastres).<\/p>\n

En el caso de las instalaciones baremetal, esto se hace f\u00e1cilmente a mano; en el caso de Rook y con un OSD por nodo, no hay problemas especiales, pero surgir\u00e1n problemas al levantar OSDs de forma secuencial si hay m\u00e1s de 1 OSD por nodo. <\/p>\n

Por supuesto, son solucionables, pero estamos llevando Rook para simplificar, y terminamos complicando las cosas.<\/p>\n

Complejidad para establecer l\u00edmites para los demonios ceph.<\/h3>\n

\nPara la instalaci\u00f3n baremetal de ceph, es bastante f\u00e1cil calcular los recursos necesarios para el cl\u00faster; hay f\u00f3rmulas y estudios disponibles. Al utilizar CPUs d\u00e9biles, a\u00fan tendr\u00e1 que realizar una serie de pruebas de rendimiento, conocer qu\u00e9 es Numa, pero aun as\u00ed, es m\u00e1s sencillo que en Rook.<\/p>\n

En el caso de Rook, adem\u00e1s de los l\u00edmites de memoria que se pueden calcular, surge la cuesti\u00f3n de establecer un l\u00edmite de CPU.<\/p>\n

Y aqu\u00ed tendr\u00e1 que esforzarse con las pruebas de rendimiento. Si establece l\u00edmites demasiado bajos, obtendr\u00e1 un cl\u00faster lento; si establece un l\u00edmite ilimitado, obtendr\u00e1 un uso activo de CPU durante el rebalanceo, lo que afectar\u00e1 negativamente a sus aplicaciones en kubernetes.<\/p>\n

Problemas de interacci\u00f3n de red v1.<\/h3>\n

\nSe recomienda utilizar una red de 2x10 Gb para ceph. Una para el tr\u00e1fico del cliente y otra para las necesidades operativas de ceph (rebalanceo). Si est\u00e1 utilizando ceph en baremetal, esta separaci\u00f3n se configura f\u00e1cilmente; si est\u00e1 utilizando Rook, dividir las redes le generar\u00e1 problemas, ya que no todos los configuraciones de cl\u00faster permiten presentar dos redes diferentes a un pod.<\/p>\n

Problemas de interacci\u00f3n de red v2.<\/h3>\n

\nSi decides no separar las redes, durante el rebalanceo el tr\u00e1fico de ceph saturar\u00e1 todo el canal y tus aplicaciones en kubernetes se ralentizar\u00e1n o se caer\u00e1n. Puedes reducir la velocidad de rebalanceo de ceph, pero entonces, debido al prolongado rebalanceo, obtienes un mayor riesgo de que el segundo nodo se salga del cl\u00faster por discos o OOM, y ah\u00ed ya tendr\u00e1s un modo garantizado de solo lectura en el cl\u00faster.<\/p>\n

Un rebalanceo prolongado significa un largo tiempo de espera para las aplicaciones.<\/h3>\n

\nCita del post Ceph. Anatom\u00eda de los desastres.<\/i><\/p>\n

Rendimiento del cl\u00faster de prueba:<\/p>\n

Una operaci\u00f3n de escritura de 4 KB toma 1 ms, con un rendimiento de 1000 operaciones\/segundo en 1 hilo.<\/p>\n

Una operaci\u00f3n de 4 MB (tama\u00f1o del objeto) toma 22 ms, con un rendimiento de 45 operaciones\/segundo.<\/p>\n

Por lo tanto, cuando falla un dominio de tres, el cl\u00faster se encuentra en un estado degradado durante un tiempo, y la mitad de los objetos calientes se dispersa entre diferentes versiones, lo que significa que la mitad de las operaciones de escritura comenzar\u00e1 con una recuperaci\u00f3n forzada.<\/p>\n

El tiempo de recuperaci\u00f3n forzada se calcula aproximadamente: operaciones de escritura en un objeto degradado.<\/p>\n

Primero leemos 4 MB en 22 ms, escribimos 22 ms, y luego en 1 ms escribimos 4 Kb de datos propios. En total, sumamos 45 ms en una operaci\u00f3n de escritura en un objeto degradado en SSD, cuando el rendimiento est\u00e1ndar era de 1 ms; una ca\u00edda del rendimiento de 45 veces.<\/p>\n

Cuanto mayor sea nuestro porcentaje de objetos degradados, m\u00e1s aterrador se vuelve todo.<\/p><\/blockquote>\n

As\u00ed que la velocidad de reequilibrio es cr\u00edticamente importante para el correcto funcionamiento del cl\u00faster.<\/p>\n

Configuraciones espec\u00edficas de servidores para ceph<\/h3>\n

\nceph a veces necesita un ajuste espec\u00edfico del host. <\/p>\n

Ejemplo: configuraciones de sysctl y JumboFrame, algunas de estas configuraciones pueden afectar negativamente a tu carga \u00fatil.<\/p>\n

La necesidad real de Rook sigue siendo cuestionable<\/h3>\n

\nSi est\u00e1s en la nube, tienes almacenamiento de tu proveedor de nube, lo cual es mucho m\u00e1s conveniente. <\/p>\n

Si est\u00e1s en tus propios servidores, la gesti\u00f3n de ceph ser\u00e1 m\u00e1s c\u00f3moda sin kubernetes. <\/p>\n

\u00bfAlquilas servidores en alg\u00fan hosting de bajo costo? Entonces te espera mucha diversi\u00f3n con la red, sus latencias y ancho de banda, lo que afecta negativamente a ceph.<\/p>\n

Total:<\/b> La implementaci\u00f3n de kubernetes y la implementaci\u00f3n de almacenamiento son tareas diferentes con diferentes par\u00e1metros y diferentes opciones de soluciones; mezclarlas es hacer una posible compensaci\u00f3n peligrosa en favor de uno u otro. Combinar estas soluciones ser\u00e1 muy complicado incluso en la etapa de dise\u00f1o, y a\u00fan hay un per\u00edodo de explotaci\u00f3n.<\/p>\n

Lista de literatura utilizada:<\/p>\n

Post #1<\/a><\/noindex> Pero ustedes dicen Ceph... \u00bfes tan bueno?
\nPost #2<\/a><\/noindex> Ceph. Anatom\u00eda de un desastre
\n
Fuente: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47 No es para usted dRook | ProHoster","description":"Con la creciente popularidad de Rook, vale la pena hablar sobre sus trampas y problemas que te esperan en el camino. Sobre m\u00ed: experiencia en administraci\u00f3n de ceph desde la versi\u00f3n hammer, fundador de la comunidad.","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}