{"id":33803,"date":"2019-10-31T21:54:45","date_gmt":"2019-10-31T18:54:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/on-vam-ne-drook\/"},"modified":"2019-10-31T21:54:45","modified_gmt":"2019-10-31T18:54:45","slug":"on-vam-ne-drook","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/on-vam-ne-drook","title":{"rendered":"Non ti serve dRook","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Con il crescente interesse per Rook, vogliamo discutere delle sue problematiche e difficolt\u00e0 che potreste incontrare lungo il cammino.<\/p>\n

Chi sono: Esperienza nella gestione di Ceph dalla versione Hammer, fondatore della community t.me\/ceph_ru<\/a><\/noindex> su Telegram.<\/p>\n

Per non essere vago, far\u00f2 riferimento ai post accettati da Habr (secondo il punteggio) riguardo ai problemi con Ceph. Ho incontrato anche la maggior parte di questi problemi. I collegamenti ai materiali utilizzati sono alla fine del post.<\/p>\n

Nel post su Rook menzioniamo Ceph non casualmente: Rook \u00e8 fondamentalmente Ceph avvolto in Kubernetes, pertanto eredita tutti i suoi problemi. Iniziamo con i problemi di Ceph.
\n<\/a><\/noindex><\/p>\n

Semplificazione della gestione del cluster<\/h3>\n

\nUno dei vantaggi di Rook \u00e8 la comodit\u00e0 di gestione di Ceph tramite Kubernetes.<\/p>\n

Tuttavia, Ceph contiene oltre 1000 parametri di configurazione, mentre tramite Rook possiamo modificare solo una parte di essi.<\/p>\n

Esempio su Luminous
\n> ceph daemon mon.a config show | wc -l
\n1401<\/p><\/blockquote>\n

Rook si presenta come un modo semplice per installare e aggiornare Ceph<\/b>
\nCon l'installazione di Ceph senza Rook non ci sono problemi: un playbook Ansible si scrive in 30 minuti, mentre per l'aggiornamento ci sono molte problematiche. <\/p>\n

Citazione dal post di Krok<\/i><\/p>\n

Esempio: comportamento errato delle tunabilit\u00e0 CRUSH dopo l'aggiornamento da Hammer a Jewel<\/p>\n

> ceph osd crush show-tunables
\n{
\n\u2026
\n \"straw_calc_version\": 1,
\n \"allowed_bucket_algs\": 22,
\n \"profile\": \"unknown\",
\n \"optimal_tunables\": 0,
\n\u2026
\n}<\/p><\/blockquote>\n

Ma anche all'interno delle versioni minori ci possono essere problemi.<\/p>\n

Esempio: Aggiornamento 12.2.6 che porta il cluster in uno stato health err e PG potenzialmente danneggiato
\nceph.com\/releases\/v12-2-8-released<\/a><\/noindex><\/p>\n

Non aggiornarsi, aspettare e testare? Ma lo utilizziamo Rook anche per semplificare gli aggiornamenti.<\/p>\n

Difficolt\u00e0 nel disaster recovery del cluster in Rook <\/h3>\n

\nEsempio: OSD si arresta con errori. Suspect che il problema sia in uno dei parametri nel file di configurazione, desideri cambiare la configurazione per un demone specifico, ma non puoi, perch\u00e9 hai Kubernetes e DaemonSet.<\/p>\n

Non c'\u00e8 alternativa. ceph tell osd.Num injectargs non funziona: l'OSD \u00e8 down.<\/p>\n

Difficolt\u00e0 nel debug<\/h3>\n

\nPer alcune impostazioni e test di prestazioni \u00e8 necessario accedere direttamente al socket del demone OSD. Nel caso di Rook, devi prima trovare il contenitore giusto, poi accedervi, scoprire che il tooling per il debug \u00e8 assente e rimanere molto deluso.<\/p>\n

Difficolt\u00e0 nel sollevamento sequenziale degli OSD<\/h3>\n

\nEsempio: OSD si arresta per OOM, inizia il bilanciamento, dopo di che si bloccano i successivi.<\/p>\n

Soluzione: Sollevare un OSD alla volta, aspettare che sia completamente attivato nel cluster e sollevare i successivi. (Maggiore dettaglio nel report Ceph. Anatomia di un disastro).<\/p>\n

Nel caso di installazioni bare metal, questo \u00e8 semplice da fare manualmente; nel caso di Rook e un OSD per nodo, non ci sono particolari problemi; i problemi si presenteranno se OSD > 1 per nodo. <\/p>\n

Certo, sono risolvibili, ma stiamo portando Rook per semplificare, e invece ci ritroviamo con complicazioni.<\/p>\n

Difficolt\u00e0 nel determinare i limiti per i demoni Ceph<\/h3>\n

\nPer le installazioni bare metal, \u00e8 relativamente semplice calcolare le risorse necessarie per il cluster \u2014 ci sono formule e ricerche a riguardo. Tuttavia, utilizzando CPU deboli, dovrai comunque condurre vari test di prestazioni e comprendere cos'\u00e8 Numa; ma \u00e8 comunque pi\u00f9 semplice rispetto a Rook.<\/p>\n

Nel caso di Rook, oltre ai limiti di memoria, che possono essere calcolati, sorge la questione della definizione del limite CPU.<\/p>\n

E l\u00ec dovrai faticare con i test di prestazioni. Se imposti limiti troppo bassi ottieni un cluster lento, mentre se imposti limiti illimitati, avrai un utilizzo attivo della CPU durante il bilanciamento, il che influir\u00e0 negativamente sulle tue applicazioni in Kubernetes.<\/p>\n

Problemi di interazione di rete v1<\/h3>\n

\nPer Ceph si consiglia di utilizzare una rete di 2x10Gb. Una per il traffico dei clienti e l'altra per le esigenze di Ceph (bilanciamento). Se stai eseguendo Ceph su bare metal, questa separazione \u00e8 facile da configurare; se stai usando Rook, la separazione delle reti ti causer\u00e0 problemi poich\u00e9 non tutti i cluster supportano la connessione di due diverse reti ai pod.<\/p>\n

Problemi di interazione di rete v2<\/h3>\n

\nSe decidi di non separare le reti, durante il bilanciamento il traffico Ceph saturer\u00e0 l'intero canale e le tue applicazioni in Kubernetes inizieranno a rallentare o potrebbero bloccarsi. Puoi ridurre la velocit\u00e0 di bilanciamento di Ceph, ma cos\u00ec facendo, con un bilanciamento prolungato, aumenta il rischio che il secondo nodo esca dal cluster a causa dei dischi o OOM, e l\u00ec avrai un cluster in modalit\u00e0 di sola lettura garantita.<\/p>\n

Bilanciamento lungo \u2014 placcaggio lento delle applicazioni<\/h3>\n

\nCitazione dal post Ceph. Anatomia di un disastro.<\/i><\/p>\n

Prestazioni del cluster di test:<\/p>\n

Un'operazione di scrittura di 4 KB richiede 1 ms, con una prestazione di 1000 operazioni al secondo in 1 thread.<\/p>\n

Un'operazione di 4 MB (dimensione dell'oggetto) richiede 22 ms, con una prestazione di 45 operazioni al secondo.<\/p>\n

Di conseguenza, quando un dominio su tre fallisce, il cluster si trova temporaneamente in uno stato degradato, e met\u00e0 degli oggetti caldi si distribuisce su diverse versioni, quindi met\u00e0 delle operazioni di scrittura inizier\u00e0 con un ripristino forzato.<\/p>\n

Il tempo di ripristino forzato viene calcolato approssimativamente - operazioni di scrittura su oggetti degradati.<\/p>\n

Inizialmente leggiamo 4 MB in 22 ms, scriviamo 22 ms, e poi in 1 ms scriviamo 4 KB di dati veri e propri. In totale, ci vogliono 45 ms per un'operazione di scrittura su un oggetto degradato su SSD, mentre la performance standard era di 1 ms - un calo delle prestazioni di 45 volte.<\/p>\n

Maggiore \u00e8 la percentuale di oggetti degradati, peggiore diventa la situazione.<\/p><\/blockquote>\n

Quindi, la velocit\u00e0 di bilanciamento \u00e8 critica per il corretto funzionamento del cluster.<\/p>\n

Impostazioni specifiche del server per ceph<\/h3>\n

\nCeph richiede un tuning specifico dell'host. <\/p>\n

Esempio: impostazioni sysctl e JumboFrame, alcune di queste impostazioni possono avere un impatto negativo sul tuo payload.<\/p>\n

La reale necessit\u00e0 di Rook rimane in discussione<\/h3>\n

\nSe sei nel cloud hai uno storage dal tuo fornitore cloud, che \u00e8 molto pi\u00f9 conveniente. <\/p>\n

Se sei sui tuoi server, gestire ceph sar\u00e0 pi\u00f9 comodo senza Kubernetes. <\/p>\n

Affitti server in qualche hosting a basso costo? Allora ti aspetta molto divertimento con la rete, i suoi ritardi e la larghezza di banda, che influisce negativamente su ceph.<\/p>\n

In totale:<\/b> L'implementazione di Kubernetes e l'implementazione dello storage sono compiti diversi con diverse premesse e diverse soluzioni - mescolarli significa fare un potenziale trade-off rischioso a favore di uno o dell'altro. Combinare queste soluzioni sar\u00e0 molto difficile anche nella fase di progettazione, e c'\u00e8 anche il periodo di sfruttamento.<\/p>\n

Elenco delle fonti utilizzate:<\/p>\n

Post #1<\/a><\/noindex> Ma tu dici Ceph\u2026 \u00e8 davvero cos\u00ec buono?
\nPost #2<\/a><\/noindex> Ceph. Anatomia di un disastro
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33803","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Non \u00e8 dRook | ProHoster","description":"Con la crescente popolarit\u00e0 di Rook, voglio parlare delle sue insidie e dei problemi che ti aspettano lungo il cammino. Di me: Esperienza nella gestione di ceph dalla versione hammer, fondatore della comunit\u00e0 t.me\/ceph_ru su Telegram. Per non essere infondato, far\u00f2 riferimento ai post accettati su Habr (in base alla classifica) riguardanti i problemi con ceph. Con la maggior parte dei problemi in","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/on-vam-ne-drook","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043d \u0432\u0430\u043c \u043d\u0435 \u0434Rook | ProHoster","og:description":"\u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0449\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c\u044e Rook \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0435\u0433\u043e \u043f\u043e\u0434\u0432\u043e\u0434\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u044f\u0445 \u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0436\u0434\u0443\u0442 \u0432\u0430\u0441 \u043d\u0430 \u043f\u0443\u0442\u0438. \u041e \u0441\u0435\u0431\u0435: \u041e\u043f\u044b\u0442 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ceph \u0441 \u0432\u0435\u0440\u0441\u0438\u0438 hammer, \u043e\u0441\u043d\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 t.me\/ceph_ru \u0432 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c. \u0414\u0430\u0431\u044b \u043d\u0435 \u0431\u044b\u0442\u044c \u0433\u043e\u043b\u043e\u0441\u043b\u043e\u0432\u043d\u044b\u043c \u044f \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0445\u0430\u0431\u0440\u043e\u043c (\u0441\u0443\u0434\u044f \u043f\u043e \u0440\u0435\u0439\u0442\u0438\u043d\u0433\u0443) \u043f\u043e\u0441\u0442\u044b \u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0445 \u0441 ceph. \u0421 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0432","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/on-vam-ne-drook","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:54:45+00:00","article:modified_time":"2019-10-31T18:54:45+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33803","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:46:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:33:24","updated":"2026-01-21 16:46:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33803","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=33803"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33803\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=33803"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=33803"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=33803"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}