{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Il ne vous dRook pas","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Avec la popularit\u00e9 croissante de Rook, il est bon de discuter de ses sous-marins et des probl\u00e8mes qui vous attendent sur le chemin.<\/p>\n

\u00c0 propos de moi : exp\u00e9rience en administration de ceph depuis la version hammer, fondateur de la communaut\u00e9 t.me\/ceph_fr<\/a><\/noindex> sur telegram.<\/p>\n

Pour ne pas \u00eatre un simple bavard, je me r\u00e9f\u00e9rerai aux articles reconnus sur Habr (selon le classement) concernant les probl\u00e8mes avec ceph. J'ai \u00e9galement rencontr\u00e9 la plupart de ces probl\u00e8mes. Les liens vers le mat\u00e9riel utilis\u00e9 sont \u00e0 la fin de l'article.<\/p>\n

Dans l'article sur Rook, nous mentionnons ceph, non pas par hasard - Rook est en fait ceph envelopp\u00e9 dans kubernetes, ce qui signifie qu'il h\u00e9rite de tous ses probl\u00e8mes. Commen\u00e7ons par les probl\u00e8mes de ceph.
\n<\/a><\/noindex><\/p>\n

Simplification de la gestion de cluster<\/h3>\n

\nUn des avantages de Rook est la commodit\u00e9 de la gestion de ceph via kubernetes.<\/p>\n

Cependant, ceph comprend plus de 1000 param\u00e8tres de configuration, tandis que via rook, nous ne pouvons en modifier qu'une petite partie.<\/p>\n

Exemple sur Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook se positionne comme un moyen pratique d'installer et de mettre \u00e0 jour ceph.<\/b>
\nIl n'y a aucun probl\u00e8me avec l'installation de ceph sans Rook - un playbook ansible peut \u00eatre \u00e9crit en 30 minutes, mais il y a de nombreux probl\u00e8mes avec les mises \u00e0 jour. <\/p>\n

Citation d'un post de Krok<\/i><\/p>\n

Exemple : comportement incorrect de crush tunables apr\u00e8s la mise \u00e0 jour de hummer \u00e0 jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \u00abstraw_calc_version\u00bb: 1,
\n \u00aballowed_bucket_algs\u00bb: 22,
\n \u00abprofile\u00bb: \u00abunknown\u00bb,
\n \u00aboptimal_tunables\u00bb: 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Mais m\u00eame dans le cadre de versions mineures, il peut y avoir des probl\u00e8mes.<\/p>\n

Exemple : mise \u00e0 jour 12.2.6 conduisant le cluster dans un \u00e9tat de sant\u00e9 err et un PG conditionnellement corrompu
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Ne pas mettre \u00e0 jour, attendre et tester ? Mais nous utilisons Rook principalement pour faciliter les mises \u00e0 jour aussi.<\/p>\n

Complexit\u00e9 de la r\u00e9cup\u00e9ration apr\u00e8s sinistre du cluster dans Rook <\/h3>\n

\nExemple : OSD tombe en produisant des erreurs. Vous soup\u00e7onnez qu'il y a un probl\u00e8me avec l'un des param\u00e8tres du config, vous souhaitez changer le config pour un d\u00e9mon sp\u00e9cifique, mais vous ne pouvez pas, car vous \u00eates sur kubernetes et DaemonSet.<\/p>\n

Il n'y a pas d'alternative. ceph tell osd.Num injectargs ne fonctionne pas - OSD est tomb\u00e9.<\/p>\n

Complexit\u00e9 du d\u00e9bogage<\/h3>\n

\nPour certains r\u00e9glages et tests de performances, il est n\u00e9cessaire de se connecter directement au socket du d\u00e9mon osd. Dans le cas de Rook, il faut d'abord trouver le conteneur n\u00e9cessaire, ensuite y entrer, d\u00e9couvrir l'absence d'outils de d\u00e9bogage et tr\u00e8s d\u00e9chanter.<\/p>\n

Complexit\u00e9 de mont\u00e9e successive d'OSD<\/h3>\n

\nExemple : OSD tombe \u00e0 cause d'une OOM, le r\u00e9\u00e9quilibrage commence, puis les suivants tombent.<\/p>\n

Solution : \u00c9lever l'OSD un par un, en attendant qu'il soit compl\u00e8tement int\u00e9gr\u00e9 au cluster avant de faire monter les suivants. (Pour plus de d\u00e9tails, voir le rapport Ceph. Anatomie des catastrophes).<\/p>\n

Dans le cas d'installations baremetal, cela se fait simplement \u00e0 la main ; dans le cas de Rook avec une OSD par n\u0153ud, il n'y a pas de probl\u00e8mes particuliers, mais des probl\u00e8mes de mont\u00e9e s\u00e9quentielle se posent si OSD > 1 par n\u0153ud. <\/p>\n

Bien s\u00fbr, ces probl\u00e8mes sont r\u00e9solvables, mais nous utilisons Rook pour simplifier, et nous avons en fait une complexit\u00e9 accrue.<\/p>\n

La complexit\u00e9 de la d\u00e9finition des limites pour les d\u00e9mons ceph<\/h3>\n

\nPour une installation baremetal, il est assez facile de calculer les ressources n\u00e9cessaires pour le cluster \u2014 des formules et des \u00e9tudes existent. Si vous utilisez des CPU faibles, vous devrez tout de m\u00eame effectuer une s\u00e9rie de tests de performance, d\u00e9couvrir ce qu'est Numa, mais c'est tout de m\u00eame plus simple que dans Rook.<\/p>\n

Dans le cas de Rook, en plus des limites de m\u00e9moire qui peuvent \u00eatre calcul\u00e9es, la question de la d\u00e9finition de la limite CPU se pose.<\/p>\n

Vous devrez vous donner du mal pour les tests de performance. En cas de valeurs limites trop basses, vous obtiendrez un cluster lent, et si vous d\u00e9finissez unlim, vous obtiendrez une utilisation active du CPU lors du r\u00e9\u00e9quilibrage, ce qui aura un impact n\u00e9gatif sur vos applications dans Kubernetes.<\/p>\n

Probl\u00e8mes d'interaction r\u00e9seau v1<\/h3>\n

\nPour ceph, il est recommand\u00e9 d'utiliser un r\u00e9seau 2x10 Gb. Un pour le trafic client et l'autre pour les besoins op\u00e9rationnels de ceph (r\u00e9\u00e9quilibrage). Si vous utilisez ceph sur baremetal, cette s\u00e9paration est facile \u00e0 configurer ; si vous utilisez Rook, la s\u00e9paration par r\u00e9seaux vous posera des probl\u00e8mes, car tous les configurations de cluster ne permettent pas d'attribuer deux r\u00e9seaux diff\u00e9rents \u00e0 un pod.<\/p>\n

Probl\u00e8mes d'interaction r\u00e9seau v2<\/h3>\n

\nSi vous refusez de s\u00e9parer les r\u00e9seaux, le trafic de r\u00e9\u00e9quilibrage de ceph saturera toute la bande passante et vos applications dans Kubernetes seront ralenties ou tomberont. Vous pouvez r\u00e9duire la vitesse de r\u00e9\u00e9quilibrage de ceph, mais ce faisant, vous prenez le risque accru qu'un deuxi\u00e8me n\u0153ud tombe du cluster pour des raisons de disques ou OOM, entra\u00eenant alors un \u00e9tat garanti de lecture seule pour le cluster.<\/p>\n

R\u00e9\u00e9quilibrage prolong\u00e9 \u2014 longues lenteurs des applications<\/h3>\n

\nCitation du post Ceph. Anatomie des catastrophes.<\/i><\/p>\n

Performance du cluster de test :<\/p>\n

Une op\u00e9ration d'\u00e9criture de 4 Ko prend 1 ms, avec une performance de 1000 op\u00e9rations\/seconde dans un thread.<\/p>\n

Une op\u00e9ration de 4 Mo (taille de l'objet) prend 22 ms, avec une performance de 45 op\u00e9rations\/seconde.<\/p>\n

Ainsi, lorsque un domaine sur trois \u00e9choue, le cluster se trouve pendant un certain temps dans un \u00e9tat d\u00e9grad\u00e9, et la moiti\u00e9 des objets chauds se r\u00e9partit entre diff\u00e9rentes versions, ce qui entra\u00eene que la moiti\u00e9 des op\u00e9rations d'\u00e9criture commence par une r\u00e9cup\u00e9ration forc\u00e9e.<\/p>\n

Le temps de r\u00e9cup\u00e9ration forc\u00e9e est estim\u00e9 \u2014 les op\u00e9rations d'\u00e9criture sur un objet d\u00e9grad\u00e9.<\/p>\n

D'abord, nous lisons 4 Mo en 22 ms, nous \u00e9crivons en 22 ms, puis nous \u00e9crivons 4 Ko de donn\u00e9es en 1 ms. Au total, cela fait 45 ms pour une op\u00e9ration d'\u00e9criture sur un objet d\u00e9grad\u00e9 sur SSD, alors que notre performance normale \u00e9tait de 1 ms \u2014 une chute de performance de 45 fois.<\/p>\n

Plus nous avons de pourcentage d'objets d\u00e9grad\u00e9s, plus la situation devient pr\u00e9occupante.<\/p><\/blockquote>\n

Il s'av\u00e8re que la vitesse de r\u00e9\u00e9quilibrage est critique pour le bon fonctionnement du cluster.<\/p>\n

Param\u00e8tres sp\u00e9cifiques des serveurs pour ceph<\/h3>\n

\nCeph peut n\u00e9cessiter un r\u00e9glage sp\u00e9cifique de l'h\u00f4te. <\/p>\n

Exemple : r\u00e9glages sysctl et JumboFrame, certains de ces r\u00e9glages peuvent avoir des effets n\u00e9gatifs sur votre charge.<\/p>\n

La n\u00e9cessit\u00e9 r\u00e9elle de Rook reste \u00e0 questionner.<\/h3>\n

\nSi vous \u00eates dans le cloud, vous disposez d'un stockage de votre fournisseur de cloud, ce qui est beaucoup plus pratique. <\/p>\n

Si vous \u00eates sur vos propres serveurs, la gestion de ceph sera plus facile sans Kubernetes. <\/p>\n

Vous louez des serveurs dans un h\u00e9bergement low cost ? Vous allez avoir beaucoup de plaisir avec le r\u00e9seau, ses latences et sa bande passante, ce qui influence clairement ceph de mani\u00e8re n\u00e9gative.<\/p>\n

Total :<\/b> L'impl\u00e9mentation de Kubernetes et l'impl\u00e9mentation du stockage sont des t\u00e2ches diff\u00e9rentes avec des consid\u00e9rations diff\u00e9rentes et des solutions vari\u00e9es \u2014 les m\u00e9langer signifie faire un trade-off potentiellement dangereux pour l'un ou l'autre. Combiner ces solutions sera tr\u00e8s difficile m\u00eame \u00e0 l'\u00e9tape de conception, et il reste encore la p\u00e9riode d'exploitation.<\/p>\n

Liste des r\u00e9f\u00e9rences utilis\u00e9es :<\/p>\n

Post #1<\/a><\/noindex> Mais vous parlez de Ceph\u2026 est-il si bon ?
\nPost #2<\/a><\/noindex> Ceph. Anatomie d'une catastrophe
\n
Source : habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Il ne vous doit rien dRook | ProHoster","description":"Avec la popularit\u00e9 croissante de Rook, j'aimerais parler des pi\u00e8ges et des probl\u00e8mes qui vous attendent en cours de route. \u00c0 propos de moi : exp\u00e9rience en administration ceph depuis la version hammer, fondateur de la communaut\u00e9.","canonical_url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"fr_FR","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438","og:url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}