{"id":77266,"date":"2020-04-09T13:42:08","date_gmt":"2020-04-09T11:42:08","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah"},"modified":"2020-04-09T13:42:08","modified_gmt":"2020-04-09T11:42:08","slug":"tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah","title":{"rendered":"Tipps und Tricks im Umgang mit Ceph in stark beanspruchten Projekten","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Tipps &amp; Tricks bei der Arbeit mit Ceph in stark ausgelasteten Projekten\" src=\"\/wp-content\/uploads\/2020\/04\/1d60f91e55b20a5dc4346bd8087bc11e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Verwendung von Ceph als Netzwerkspeicher in Projekten mit unterschiedlicher Auslastung kann uns vor verschiedene Herausforderungen stellen, die auf den ersten Blick nicht einfach oder trivial erscheinen. Zum Beispiel:<\/p>\n<ul>\n<li> Migration von Daten aus dem alten Ceph in ein neues mit teilweisem Einsatz der vorherigen Server im neuen Cluster;<\/li>\n<li> L\u00f6sung des Problems der Verteilung des Speicherplatzes in Ceph.<\/li>\n<\/ul>\n<p>\nWenn wir uns solchen Aufgaben stellen, sehen wir uns der Notwendigkeit gegen\u00fcber, OSD korrekt zu entfernen, ohne Daten zu verlieren, was besonders bei gro\u00dfen Datenmengen von Bedeutung ist. Genau darum wird es in diesem Artikel gehen.<\/p>\n<p>Die im Folgenden beschriebenen Methoden sind f\u00fcr alle Ceph-Versionen relevant. Dar\u00fcber hinaus werden wir ber\u00fccksichtigen, dass in Ceph eine gro\u00dfe Datenmenge gespeichert werden kann: Um Datenverluste und andere Probleme zu vermeiden, werden einige Aktionen in mehrere unterteilt.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Einf\u00fchrung in OSD<\/h3>\n<p>\nDa zwei der drei betrachteten Rezepte OSD gewidmet sind (<noindex><a rel=\"nofollow\" href=\"https:\/\/docs.ceph.com\/docs\/master\/man\/8\/ceph-osd\/\">Object Storage Daemon<\/a><\/noindex>), werden wir, bevor wir in den praktischen Teil eintauchen, kurz darauf eingehen, was das \u00fcberhaupt in Ceph ist und warum es so wichtig ist.<\/p>\n<p>Zun\u00e4chst sei gesagt, dass der gesamte Ceph-Cluster aus vielen OSD besteht. Je mehr es gibt, desto mehr freier Speicherplatz ist in Ceph verf\u00fcgbar. Daraus l\u00e4sst sich leicht ableiten, <b>die Hauptfunktion von OSD<\/b>: es speichert die Datenobjekte von Ceph auf den Dateisystemen aller Clusterknoten und stellt Netzwerkzugang zu ihnen bereit (zum Lesen, Schreiben und f\u00fcr andere Anfragen).<\/p>\n<p>Auf derselben Ebene werden die Replikationsparameter festgelegt, indem Objekte zwischen verschiedenen OSD kopiert werden. Hier k\u00f6nnen auch verschiedene Probleme auftreten, deren L\u00f6sungen im Folgenden beschrieben werden.<\/p>\n<h2>Fall \u21161. Sicheres Entfernen von OSD aus dem Ceph-Cluster ohne Datenverlust<\/h2>\n<p>\nDie Notwendigkeit, OSD zu entfernen, kann durch die Deaktivierung eines Servers im Cluster entstehen \u2013 zum Beispiel, um ihn durch einen anderen Server zu ersetzen \u2013, was bei uns der Grund f\u00fcr das Schreiben dieses Artikels war. Daher ist das Endziel der Manipulationen, alle OSD und Monitore auf diesem Server zu entfernen, damit dieser abgeschaltet werden kann.<\/p>\n<p>Zur Erleichterung und um eine Situation zu vermeiden, in der wir bei der Ausf\u00fchrung der Befehle einen Fehler bei der Angabe des gew\u00fcnschten OSD machen, definieren wir eine separate Variable, deren Wert die Nummer des zu entfernenden OSD sein wird. Nennen wir sie <code>${ID}<\/code> \u2014 hier und im Folgenden ersetzt eine solche Variable die Nummer des OSD, mit dem wir arbeiten.<\/p>\n<p>Werfen wir einen Blick auf den Zustand vor Beginn der Arbeiten:<\/p>\n<pre><code class=\"bash\">root@hv-1 ~ # ceph osd tree\nID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF\n-1       0.46857 root default\n-3       0.15619      host hv-1\n-5       0.15619      host hv-2\n 1   ssd 0.15619      osd.1     up     1.00000  1.00000\n-7       0.15619      host hv-3\n 2   ssd 0.15619      osd.2     up     1.00000  1.00000<\/code><\/pre>\n<p>\nUm die L\u00f6schung des OSD einzuleiten, ist es erforderlich, dies schrittweise durchzuf\u00fchren. <code>Neuweitung<\/code> bis auf null. Dadurch reduzieren wir die Menge an Daten im OSD, indem wir sie auf andere OSDs balancieren. Dazu sind folgende Befehle erforderlich:<\/p>\n<pre><code class=\"bash\">ceph osd reweight osd.${ID} 0.98\nceph osd reweight osd.${ID} 0.88\nceph osd reweight osd.${ID} 0.78<\/code><\/pre>\n<p>\n\u2026 und so weiter bis null.<\/p>\n<p><b>Eine schrittweise Balancierung ist notwendig<\/b>, um Datenverluste zu vermeiden. Dies ist besonders wichtig, wenn sich im OSD eine gro\u00dfe Menge an Daten befindet. Um sicherzustellen, dass nach der Ausf\u00fchrung der Befehle <code>Neuweitung<\/code> alles erfolgreich war, kann man <code>ceph -s<\/code> oder in einem separaten Terminalfenster <code>ceph -w<\/code> ausf\u00fchren, um die \u00c4nderungen in Echtzeit zu verfolgen.<\/p>\n<p>Sobald das OSD \"entleert\" ist, kann mit dem Standardverfahren zur L\u00f6schung fortgefahren werden. Dazu versetzen wir das entsprechende OSD in den Zustand <code>down<\/code>:<\/p>\n<pre><code class=\"bash\">ceph osd down osd.${ID}<\/code><\/pre>\n<p>\n\u201eHolen\u201c wir das OSD aus dem Cluster:<\/p>\n<pre><code class=\"bash\">ceph osd out osd.${ID}<\/code><\/pre>\n<p>\nWir stoppen den OSD-Dienst und demontieren seine Partition im FS:<\/p>\n<pre><code class=\"bash\">systemctl stop ceph-osd@${ID}\numount \/var\/lib\/ceph\/osd\/ceph-${ID}<\/code><\/pre>\n<p>\nWir entfernen das OSD aus <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.ceph.com\/docs\/nautilus\/rados\/operations\/crush-map\/\">CRUSH-Karte<\/a><\/noindex>:<\/p>\n<pre><code class=\"bash\">ceph osd crush remove osd.${ID}<\/code><\/pre>\n<p>\nWir l\u00f6schen den OSD-Benutzer:<\/p>\n<pre><code class=\"bash\">ceph auth del osd.${ID}<\/code><\/pre>\n<p>\nUnd schlie\u00dflich l\u00f6schen wir das OSD selbst:<\/p>\n<pre><code class=\"bash\">ceph osd rm osd.${ID}<\/code><\/pre>\n<p>\n<b>Hinweis<\/b>: wenn Sie eine Ceph Luminous-Version oder h\u00f6her verwenden, k\u00f6nnen die oben beschriebenen Schritte zur L\u00f6schung des OSD auf zwei Befehle reduziert werden:<\/p>\n<pre><code class=\"bash\">ceph osd out osd.${ID}\nceph osd purge osd.${ID}\n<\/code><\/pre>\n<p>\nWenn nach der Ausf\u00fchrung der oben genannten Befehle der Befehl <code>ceph osd tree<\/code>, ausgef\u00fchrt wird, sollte sichtbar sein, dass auf dem Server, auf dem die Arbeiten durchgef\u00fchrt wurden, keine OSD mehr vorhanden ist, f\u00fcr die die oben genannten Operationen durchgef\u00fchrt wurden:<\/p>\n<pre><code class=\"bash\">root@hv-1 ~ # ceph osd tree\nID CLASS WEIGHT  TYPE NAME     STATUS REWEIGHT PRI-AFF\n-1       0.46857      root default\n-3       0.15619      host hv-1\n-5       0.15619      host hv-2\n-7       0.15619      host hv-3\n 2   ssd 0.15619      osd.2    up     1.00000  1.00000<\/code><\/pre>\n<p>\nEs sei darauf hingewiesen, dass der Zustand des Ceph-Clusters in <code>HEALTH_WARN<\/code>, \u00fcbergeht und wir auch eine Verringerung der Anzahl der OSD und des verf\u00fcgbaren Speicherplatzes sehen werden. <\/p>\n<p>Im Folgenden werden die Schritte beschrieben, die erforderlich sind, wenn Sie den Server vollst\u00e4ndig stoppen und ihn entsprechend aus Ceph entfernen m\u00f6chten. In diesem Fall ist es wichtig zu beachten, dass <b>alle OSDs<\/b> auf diesem Server vor dem Herunterfahren des Servers entfernt werden m\u00fcssen.<\/p>\n<p>Wenn auf diesem Server keine OSDs mehr vorhanden sind, m\u00fcssen nach deren L\u00f6schung der OSD-Server <code>hv-2<\/code>, aus der OSD-Karte entfernt werden, indem der folgende Befehl ausgef\u00fchrt wird:<\/p>\n<pre><code class=\"bash\">ceph osd crush rm hv-2<\/code><\/pre>\n<p>\nL\u00f6schen <code>mon<\/code> vom Server <code>hv-2<\/code>, indem Sie den folgenden Befehl auf einem anderen Server ausf\u00fchren (d.h. in diesem Fall auf der <code>hv-1<\/code>):<\/p>\n<pre><code class=\"bash\">ceph-deploy mon destroy hv-2<\/code><\/pre>\n<p>\nDanach kann der Server gestoppt werden und es k\u00f6nnen die n\u00e4chsten Schritte (wie das erneute Bereitstellen usw.) durchgef\u00fchrt werden.<\/p>\n<h2>Fall Nr. 2. Verteilung des Speicherplatzes in einem bereits erstellten Ceph-Cluster<\/h2>\n<p>\nDie zweite Geschichte beginne ich mit einer Einf\u00fchrung \u00fcber PG (<noindex><a rel=\"nofollow\" href=\"https:\/\/docs.ceph.com\/docs\/mimic\/rados\/operations\/placement-groups\/\">Placement Groups<\/a><\/noindex>). Die Hauptfunktion von PG in Ceph besteht haupts\u00e4chlich darin, Ceph-Objekte zu aggregieren und anschlie\u00dfend in OSD zu replizieren. Die Formel, mit der die erforderliche Anzahl von PG berechnet werden kann, finden Sie in der <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.ceph.com\/docs\/mimic\/rados\/operations\/placement-groups\/#choosing-the-number-of-placement-groups\">entsprechenden Abschnitt<\/a><\/noindex> Ceph-Dokumentation. Dort wird auch dieses Thema anhand konkreter Beispiele behandelt.<\/p>\n<p>Eine der h\u00e4ufigsten Probleme beim Betrieb von Ceph ist also die unausgewogene Anzahl von OSD und PG zwischen den Pools in Ceph.<\/p>\n<p>Erstens kann dies zu einer Situation f\u00fchren, in der eine zu gro\u00dfe Anzahl von PG in einem kleinen Pool angegeben wird, was im Grunde genommen eine ineffiziente Nutzung des Speicherplatzes im Cluster darstellt. Zweitens ergibt sich in der Praxis ein ernsthafteres Problem: eine Daten\u00fcberlastung in einem der OSD. Dies f\u00fchrt dazu, dass der Cluster zuerst in einen Zustand <code>HEALTH_WARN<\/code>, und dann in einen <code>HEALTH_ERR<\/code>. Der Grund daf\u00fcr ist, dass Ceph bei der Berechnung des verf\u00fcgbaren Speicherplatzes (dies kann man \u00fcber <code>MAX AVAIL<\/code> in der Ausgabe des Befehls <code>ceph df<\/code> f\u00fcr jeden Pool einzeln) auf das Volumen der verf\u00fcgbaren Daten in OSD angewiesen ist. Wenn in einem OSD nicht gen\u00fcgend Platz vorhanden ist, k\u00f6nnen keine weiteren Daten geschrieben werden, bis die Daten ordnungsgem\u00e4\u00df auf alle OSD verteilt sind.<\/p>\n<p>Es ist anzumerken, dass diese Probleme <b>in der Regel w\u00e4hrend der Konfiguration des Ceph-Clusters gel\u00f6st werden<\/b>. Ein Werkzeug, das Sie nutzen k\u00f6nnen, ist <noindex><a rel=\"nofollow\" href=\"http:\/\/blog.easter-eggs.org\/index.php\/post\/2013\/09\/27\/%5BLibvirt%5D-Migrating-from-on-disk-raw-images-to-RBD-storage\">Ceph PGCalc<\/a><\/noindex>. Damit kann die erforderliche Anzahl von PG anschaulich berechnet werden. Dennoch sollte es auch in Situationen in Anspruch genommen werden, in denen der Ceph-Cluster <i>bereits<\/i> falsch konfiguriert ist. Hier ist zu beachten, dass Sie wahrscheinlich die Anzahl der PG reduzieren m\u00fcssen, um Korrekturen vorzunehmen, und diese M\u00f6glichkeit steht in \u00e4lteren Versionen von Ceph (sie ist erst seit Version <noindex><a rel=\"nofollow\" href=\"https:\/\/ceph.com\/rados\/new-in-nautilus-pg-merging-and-autotuning\/\">Nautilus<\/a><\/noindex>).<\/p>\n<p>verf\u00fcgbar) nicht zur Verf\u00fcgung. <code>HEALTH_WARN<\/code> Stellen wir uns folgendes Szenario vor: der Cluster hat den Status <code>wegen Platzmangel in einem der OSD endet. Dies wird durch die Fehlermeldung angezeigt<\/code>HEALTH_WARN: 1 near full osd<\/p>\n<p>Zun\u00e4chst m\u00fcssen die vorhandenen Daten auf die restlichen OSD verteilt werden. Eine \u00e4hnliche Operation haben wir bereits im ersten Fall durchgef\u00fchrt, als wir den Knoten \"entw\u00e4ssert\" haben - mit dem einzigen Unterschied, dass wir nun eine geringf\u00fcgige Reduzierung vornehmen m\u00fcssen. <code>Neuweitung<\/code>. Zum Beispiel bis 0.95:<\/p>\n<pre><code class=\"bash\">ceph osd reweight osd.${ID} 0.95<\/code><\/pre>\n<p>\nDamit wird Speicherplatz im OSD freigegeben und der Fehler in ceph health behoben. Wie bereits erw\u00e4hnt, tritt dieses Problem haupts\u00e4chlich aufgrund einer fehlerhaften Konfiguration von Ceph in den fr\u00fchen Phasen auf: Es ist sehr wichtig, eine Rekonfiguration vorzunehmen, um zuk\u00fcnftige Probleme zu vermeiden.<\/p>\n<p>In unserem speziellen Fall lag das Problem an:<\/p>\n<ul>\n<li> einem zu hohen Wert von <code>replication_count<\/code> in einem der Pools,<\/li>\n<li> einer zu hohen Anzahl von PGs in einem Pool und zu wenigen in einem anderen. <\/li>\n<\/ul>\n<p>\nWir nutzen den bereits erw\u00e4hnten Rechner. Dort wird anschaulich gezeigt, was eingegeben werden muss, und im Grunde gibt es nichts Schwieriges. Nachdem wir die erforderlichen Parameter eingegeben haben, erhalten wir die folgenden Empfehlungen:<\/p>\n<p><i><b>Hinweis<\/b>: Wenn Sie einen Ceph-Cluster von Grund auf neu einrichten, wird eine weitere n\u00fctzliche Funktion des Rechners die Generierung von Befehlen sein, die Pools mit den in der Tabelle angegebenen Parametern von Grund auf neu erstellen.<\/i><\/p>\n<p>Zur Orientierung hilft die letzte Spalte - <i>Suggested PG Count<\/i>. In unserem Fall ist auch die zweite Spalte n\u00fctzlich, in der der Replikationsparameter angegeben ist, da wir beschlossen haben, den Replikationsfaktor zu \u00e4ndern.<\/p>\n<p>Zun\u00e4chst m\u00fcssen wir die Replikationsparameter \u00e4ndern - das sollte an erster Stelle erfolgen, denn durch die Verringerung des Faktors werden wir Speicherplatz freigeben. W\u00e4hrend der Ausf\u00fchrung des Befehls k\u00f6nnen wir beobachten, dass der verf\u00fcgbare Speicherplatz zunimmt:<\/p>\n<pre><code class=\"bash\">ceph osd pool $pool_name set $replication_size<\/code><\/pre>\n<p>\nUnd nach Abschluss \u00e4ndern wir die Werte der Parameter <code>pg_num<\/code> und <code>pgp_num<\/code> folgenderma\u00dfen ausf\u00fchren:<\/p>\n<pre><code class=\"bash\">ceph osd pool set $pool_name pg_num $pg_number\nceph osd pool set $pool_name pgp_num $pg_number<\/code><\/pre>\n<p>\n<b>Wichtig<\/b>: Wir m\u00fcssen in jedem Pool der Reihe nach die Anzahl der PGs \u00e4ndern und die Werte in anderen Pools nicht \u00e4ndern, bis die Warnungen verschwunden sind <i>\"Degraded data redundancy\"<\/i> und <i>\"n-number of pgs degraded\"<\/i>.<\/p>\n<p>\u00dcber die Ausgaben der Befehle kann auch \u00fcberpr\u00fcft werden, ob alles erfolgreich war <code>ceph health detail<\/code> und <code>ceph -s<\/code>.<\/p>\n<h2>Fall Nr. 3. Migration einer virtuellen Maschine von LVM zu Ceph RBD<\/h2>\n<p>\nIn Situationen, in denen virtuelle Maschinen auf gemieteten Bare-Metal-Servern verwendet werden, stellt sich oft die Frage nach fehlertoleranten Speicherm\u00f6glichkeiten. Zudem ist es w\u00fcnschenswert, dass gen\u00fcgend Platz in diesem Speicher vorhanden ist... Eine andere verbreitete Situation: Es gibt eine virtuelle Maschine mit lokalem Speicher auf dem Server, und der Speicherplatz muss erweitert werden, aber es gibt keinen verf\u00fcgbaren Platz, da auf dem Server kein freier Speicher mehr vorhanden ist.<\/p>\n<p>Das Problem kann auf verschiedene Weise gel\u00f6st werden \u2013 beispielsweise durch Migration auf einen anderen Server (sofern vorhanden) oder durch Hinzuf\u00fcgen neuer Festplatten zu dem Server. Aber nicht immer l\u00e4sst sich dies umsetzen, weshalb die Migration von LVM zu Ceph eine ausgezeichnete L\u00f6sung f\u00fcr dieses Problem sein kann. Wenn wir diese Option w\u00e4hlen, erleichtern wir auch den weiteren Migrationsprozess zwischen den Servern, da das lokale Speicher aus einem Hypervisor nicht auf einen anderen verschoben werden muss. Der einzige Haken \u2013 die VM muss f\u00fcr die Dauer der Arbeiten angehalten werden.<\/p>\n<p>Als n\u00e4chstes Rezept wird <noindex><a rel=\"nofollow\" href=\"http:\/\/blog.easter-eggs.org\/index.php\/post\/2013\/09\/27\/%5BLibvirt%5D-Migrating-from-on-disk-raw-images-to-RBD-storage\">ein Artikel aus diesem Blog<\/a><\/noindex>, dessen Anleitungen in der Praxis erprobt wurden. \u00dcbrigens, <b>wird dort auch ein Verfahren zur unkomplizierten Migration beschrieben,<\/b>das jedoch in unserem Fall einfach nicht ben\u00f6tigt wurde, weshalb wir es nicht \u00fcberpr\u00fcft haben. Sollte dies jedoch entscheidend f\u00fcr Ihr Projekt sein \u2013 freuen wir uns \u00fcber R\u00fcckmeldungen in den Kommentaren.<\/p>\n<p>Lassen Sie uns mit dem praktischen Teil beginnen. In diesem Beispiel verwenden wir virsh und \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e libvirt. Stellen Sie zun\u00e4chst sicher, dass der Ceph-Pool, in den die Daten migriert werden, mit libvirt verbunden ist:<\/p>\n<pre><code class=\"bash\">virsh pool-dumpxml $ceph_pool<\/code><\/pre>\n<p>\nIn der Beschreibung des Pools sollten die Verbindungsdaten zu Ceph mit den Anmeldedaten enthalten sein. <\/p>\n<p>Der n\u00e4chste Schritt besteht darin, dass das LVM-Image in Ceph RBD konvertiert wird. Die Dauer h\u00e4ngt in erster Linie von der Gr\u00f6\u00dfe des Images ab:<\/p>\n<pre><code class=\"bash\">qemu-img convert -p -O rbd \/dev\/main\/$vm_image_name rbd:$ceph_pool\/$vm_image_name<\/code><\/pre>\n<p>\nNach der Konvertierung bleibt das LVM-Image erhalten, das n\u00fctzlich sein wird, falls die Migration der VM in RBD nicht m\u00f6glich ist und \u00c4nderungen zur\u00fcckgesetzt werden m\u00fcssen. Zudem \u2013 um \u00c4nderungen schnell zur\u00fcckzusetzen \u2013 erstellen wir ein Backup der Konfigurationsdatei der virtuellen Maschine:<\/p>\n<pre><code class=\"bash\">virsh dumpxml $vm_name &gt; $vm_name.xml\ncp $vm_name.xml $vm_name_backup.xml<\/code><\/pre>\n<p>\n\u2026 und bearbeiten das Original (<code>vm_name.xml<\/code>). Wir suchen den Block mit der Beschreibung der Festplatte (beginnt mit der Zeile <code>&lt;disk type='file' device='disk'&gt;<\/code> und endet mit <code>&lt;\/disk&gt;<\/code>) und bringen ihn in folgende Form:<\/p>\n<pre><code class=\"xml\"><address \/><\/code><\/pre>\n<p>\nBetrachten wir einige Details:<\/p>\n<ol>\n<li> Im Protokoll <code>source<\/code> wird die Adresse des Speichers in Ceph RBD angegeben (dies ist die Adresse mit dem Namen des Ceph-Pools und des RBD-Images, das in der ersten Phase festgelegt wurde).<\/li>\n<li> Im Block <code>secret<\/code> Der Typ <code>ceph<\/code>, sowie die UUID des Secrets zur Verbindung werden angegeben. Ihre UUID kann mit dem Befehl <code>virsh secret-list<\/code>.<\/li>\n<li> Im Block <code>host<\/code> die Adressen der Ceph-Monitore angegeben.<\/li>\n<\/ol>\n<p>\nNach der Bearbeitung der Konfigurationsdatei und dem Abschluss der Umwandlung von LVM in RBD kann die ge\u00e4nderte Konfigurationsdatei angewendet und die virtuelle Maschine gestartet werden:<\/p>\n<pre><code class=\"bash\">virsh define $vm_name.xml\nvirsh start $vm_name<\/code><\/pre>\n<p>\nEs ist an der Zeit zu \u00fcberpr\u00fcfen, ob die virtuelle Maschine korrekt gestartet wurde: dies kann man beispielsweise herausfinden, indem man sich \u00fcber SSH oder \u00fcber <code>virsh<\/code>. <\/p>\n<p>Wenn die virtuelle Maschine korrekt l\u00e4uft und Sie keine weiteren Probleme festgestellt haben, k\u00f6nnen Sie das nicht mehr verwendete LVM-Image l\u00f6schen:<\/p>\n<pre><code class=\"bash\">lvremove main\/$vm_image_name<\/code><\/pre>\n<p><\/p>\n<h2>Fazit<\/h2>\n<p>\nAlle beschriebenen F\u00e4lle haben wir in der Praxis erlebt \u2013 wir hoffen, dass die Anleitungen auch anderen Administratoren helfen, \u00e4hnliche Probleme zu l\u00f6sen. Wenn Sie Anmerkungen oder andere \u00e4hnliche Erfahrungen mit der Nutzung von Ceph haben, w\u00fcrden wir uns freuen, diese in den Kommentaren zu sehen!<\/p>\n<h2>P.S.<\/h2>\n<p>\nLesen Sie auch in unserem Blog:<\/p>\n<ul>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/477680\/\">Unsere H\u00e4nde sind nicht zum Stillstand da: Wiederherstellung des Rook-Clusters in K8s<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/451818\/\">Rook oder nicht Rook \u2014 das ist hier die Frage<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/348044\/\">Rook \u2013 ein \u201eselbstverwaltendes\u201c Datenspeicher f\u00fcr Kubernetes<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/329666\/\">Wir erstellen ein dauerhaftes Speicher-Backend mit Provisioning in Kubernetes basierend auf Ceph<\/a><\/noindex>\u00bb.<\/li>\n<\/ul>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/495870\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Ceph \u043a\u0430\u043a \u0441\u0435\u0442\u0435\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u043d\u0435 \u043a\u0430\u0436\u0443\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0438\u043b\u0438 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440: \u043c\u0438\u0433\u0440\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0441\u0442\u0430\u0440\u043e\u0433\u043e Ceph \u0432 \u043d\u043e\u0432\u044b\u0439 \u0441 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u0432 \u0432 \u043d\u043e\u0432\u043e\u043c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435; \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043a\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0432 Ceph. \u0420\u0430\u0437\u0431\u0438\u0440\u0430\u044f\u0441\u044c \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438, \u043c\u044b \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0441 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":77267,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-77266","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Ceph \u043a\u0430\u043a \u0441\u0435\u0442\u0435\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47Tips &amp; tricks \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Ceph \u0432 \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Ceph \u043a\u0430\u043a \u0441\u0435\u0442\u0435\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-04-09T11:42:08+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-04-09T11:42:08+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Tipps &amp; Tricks f\u00fcr die Arbeit mit Ceph in stark ausgelasteten Projekten | ProHoster","description":"Ceph als Netzwerk-Speicher verwenden.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Tips &amp; tricks \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 Ceph \u0432 \u043d\u0430\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u0445 | ProHoster","og:description":"\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f Ceph \u043a\u0430\u043a \u0441\u0435\u0442\u0435\u0432\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0432.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/tips-tricks-v-rabote-s-ceph-v-nagruzhennyh-proektah","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-04-09T11:42:08+00:00","article:modified_time":"2020-04-09T11:42:08+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"77266","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:20:51","updated":"2022-10-02 10:23:09","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/77266","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=77266"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/77266\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/77267"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=77266"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=77266"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=77266"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}