{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Backup-Speicher f\u00fcr Tausende von virtuellen Maschinen mit kostenlosen Tools","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Backup-Speicher<\/p>\n

<\/p>\n

Hallo, k\u00fcrzlich stie\u00df ich auf eine interessante Aufgabe, einen Speicher f\u00fcr die Sicherung einer gro\u00dfen Anzahl von Blockger\u00e4ten einzurichten.<\/p>\n

<\/p>\n

Jede Woche f\u00fchren wir ein Backup aller virtuellen Maschinen in unserer Cloud durch. Daher muss man in der Lage sein, Tausende von Sicherungen zu verwalten und dies so schnell und effektiv wie m\u00f6glich zu tun.<\/p>\n

<\/p>\n

Leider sind die Standardkonfigurationen RAID5<\/strong>, RAID6<\/strong> in diesem Fall nicht geeignet, da der Wiederherstellungsprozess auf so gro\u00dfen Festplatten wie unseren qu\u00e4lend lange dauern w\u00fcrde und wahrscheinlich niemals abgeschlossen wird.<\/p>\n

<\/p>\n

Schauen wir uns an, welche Alternativen es gibt:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2014 Analog zu RAID5, RAID6, aber mit einem konfigurierbaren Parit\u00e4tslevel. Dabei wird das Backup nicht blockweise, sondern f\u00fcr jedes Objekt einzeln durchgef\u00fchrt. Der einfachste Weg, Erasure Coding auszuprobieren, ist die Bereitstellung von minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2014 das ist derzeit noch nicht ver\u00f6ffentlichte Funktion von ZFS. Im Gegensatz zu RAIDZ hat DRAID einen verteilten Parit\u00e4tsblock und nutzt bei der Wiederherstellung sofort alle Festplatten des Arrays, wodurch es besser mit Festplattenausf\u00e4llen umgeht und schneller nach einem Ausfall wiederhergestellt wird. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Backup-Speicher<\/p>\n

<\/p>\n

\"Backup-Speicher<\/p>\n

Zur Verf\u00fcgung steht ein Server Fujitsu Primergy RX300 S7<\/strong> mit einem Prozessor Intel Xeon CPU E5-2650L 0 @ 1.80GHz<\/strong>, neun RAM-Riegel Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9)<\/strong>, einem Festplattenschrank Supermicro SuperChassis 847E26-RJBOD1<\/strong>, verbunden \u00fcber Dual LSI SAS2X36 Expander<\/strong> und 45 Festplatten Seagate ST6000NM0115-1YZ110<\/strong> nach jeweils 6TB.<\/strong> Bevor wir eine Entscheidung treffen, m\u00fcssen wir zun\u00e4chst alles gr\u00fcndlich testen.<\/p>\n

<\/p>\n

Zu diesem Zweck habe ich mich vorbereitet und verschiedene Konfigurationen getestet. Daf\u00fcr verwendete ich minio, das als S3-Backend fungierte, und startete es in verschiedenen Modi mit unterschiedlichen Zielsetzungen.<\/p>\n

<\/p>\n

Mainly wurde der minio-Fall in Erasure Coding vs. Software-RAID mit der gleichen Anzahl an Festplatten und Parit\u00e4tsfestplatten getestet, also RAID6, RAIDZ2 und DRAID2.<\/p>\n

<\/p>\n

Zur Information: Wenn Sie minio mit nur einem Ziel starten, l\u00e4uft minio im S3-Gateway-Modus und gibt Ihr lokales Dateisystem als S3-Speicher aus. Wenn Sie minio jedoch mit mehreren Zielen starten, wird automatisch der Erasure-Coding-Modus aktiviert, der die Daten zwischen Ihren Zielen verteilt und Redundanz bietet.<\/p>\n

<\/p>\n

Zur Information: Wenn Sie minio mit nur einem Ziel starten, funktioniert minio im S3-Gateway-Modus und gibt Ihr lokales Dateisystem als S3-Speicher aus. Wenn Sie jedoch minio mit mehreren Zielen starten, wird automatisch der Erasure Coding-Modus aktiviert, der die Daten auf Ihre Ziele verteilt und Redundanz bereitstellt.<\/p>\n

Standardm\u00e4\u00dfig teilt minio die Ziele in Gruppen von 16 Festplatten auf, wobei jede Gruppe 2 Parity hat. Das bedeutet, dass gleichzeitig zwei Festplatten ausfallen k\u00f6nnen, ohne Datenverlust.<\/p><\/blockquote>\n

F\u00fcr die Leistungstests habe ich 16 Festplatten mit jeweils 6 TB verwendet und kleine Objekte mit einer Gr\u00f6\u00dfe von 1 MB darauf geschrieben. Dies beschreibt unsere zuk\u00fcnftige Last so genau wie m\u00f6glich, da alle modernen Backup-Tools Daten in Bl\u00f6cke von mehreren Megabyte aufteilen und sie auf diese Weise schreiben.<\/p>\n

<\/p>\n

F\u00fcr die Durchf\u00fchrung des Benchmarks wurde das Tool s3bench verwendet, das auf einem Remote-Server ausgef\u00fchrt wird und minio zigtausende solcher Objekte in hunderten von Streams sendet. Anschlie\u00dfend versucht es auf dieselbe Weise, diese zur\u00fcck anzufordern.<\/p>\n

<\/p>\n

Die Ergebnisse des Benchmarks sind in der folgenden Tabelle aufgef\u00fchrt:<\/p>\n

<\/p>\n

\"Backup-Speicher<\/p>\n

<\/p>\n

Wie wir sehen, arbeitet minio im Modus des eigenen Erasure Coding deutlich schlechter beim Schreiben als minio, das auf einem Software-RAID6, RAIDZ2 und DRAID2 in derselben Konfiguration l\u00e4uft.<\/p>\n

<\/p>\n

Separat wurde ich gebeten<\/a><\/noindex> minio auf ext4 vs XFS zu testen. Erstaunlicherweise stellte sich heraus, dass XFS f\u00fcr meine Art von Last deutlich langsamer war als ext4.<\/p>\n

<\/p>\n

In der ersten Testserie zeigte Mdadm eine \u00dcberlegenheit gegen\u00fcber ZFS, doch sp\u00e4ter gmelikov<\/a><\/noindex> hatte den Hinweis gegeben<\/a><\/noindex>, dass die Leistung von ZFS durch die Installation der folgenden Optionen verbessert werden kann:<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
und danach waren die Tests mit ZFS deutlich besser.<\/p>\n
<\/p>\n
Au\u00dferdem kann man feststellen, dass DRAID keinen nennenswerten Leistungsvorteil gegen\u00fcber RAIDZ bietet, theoretisch jedoch sicherer sein sollte.<\/p>\n
<\/p>\n
In den letzten beiden Tests habe ich auch versucht, die Metadaten (special) und ZIL (log) auf ein Spiegel-SSD auszulagern. Die Auslagerung der Metadaten brachte jedoch keinen nennenswerten Geschwindigkeitsvorteil beim Schreiben, und bei der Auslagerung von ZIL kamen meine SSDSC2KI128G8<\/a><\/noindex> an ihre Grenzen mit 100% Auslastung, sodass ich diesen Test als gescheitert betrachte. Ich schlie\u00dfe nicht aus, dass, wenn ich schnellere SSDs gehabt h\u00e4tte, dies meine Ergebnisse erheblich verbessert h\u00e4tten, leider hatte ich diese jedoch nicht.<\/p>\n
<\/p>\n
Schlie\u00dflich habe ich beschlossen, beim DRAID zu bleiben, und trotz seines Beta-Status ist es die schnellste und effektivste L\u00f6sung f\u00fcr unsere Anforderungen.<\/p>\n
<\/p>\n
Ich habe ein einfaches DRAID2 mit drei Gruppen und zwei verteilten Spares erstellt:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Gut, das Storage-System haben wir gekl\u00e4rt; jetzt geht es darum, womit wir das Backup machen. Hier m\u00f6chte ich sofort von drei L\u00f6sungen sprechen, die ich ausprobieren konnte:<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 ein Fork Backy2<\/a><\/noindex>, eine spezialisierte L\u00f6sung f\u00fcr das Backup von Blockger\u00e4ten, die eng mit Ceph integriert ist. Sie kann Differenzen zwischen Snapshots abrufen und daraus inkrementelle Backups erstellen. Sie unterst\u00fctzt eine Vielzahl von Speicher-Backends, darunter sowohl lokale als auch S3-L\u00f6sungen. Erfordert eine separate Datenbank zur Speicherung der Hash-Tabellen f\u00fcr die Deduplizierung. Zu den Nachteilen geh\u00f6rt, dass sie in Python geschrieben ist und eine etwas tr\u00e4ge CLI hat.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 ein Fork Attic<\/a><\/noindex>, seit langem ein bekanntes und bew\u00e4hrtes Werkzeug f\u00fcr die Datensicherung, kann Daten sichern und sie gut deduplizieren. Kann Backups sowohl lokal als auch auf einem entfernten Server \u00fcber SCP speichern. Kann Blockger\u00e4te sichern, wenn es mit dem Flag --special<\/code>, Nachteile: W\u00e4hrend der Erstellung eines Backups wird das Repository vollst\u00e4ndig blockiert, daher wird empfohlen, f\u00fcr jede virtuelle Maschine ein separates Repository zu erstellen. Das ist grunds\u00e4tzlich kein Problem, da sie sehr einfach erstellt werden k\u00f6nnen.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 ein aktiv entwickeltes Projekt, in Go geschrieben, ziemlich schnell und unterst\u00fctzt eine gro\u00dfe Anzahl von Speicher-Backends, darunter sowohl lokale Speicher als auch SCP, S3 und viele mehr. Besonders hervorzuheben ist, dass es einen speziell entwickelten rest-server<\/a><\/noindex> f\u00fcr Restic gibt, der es erm\u00f6glicht, das Repository am schnellsten f\u00fcr den Remote-Einsatz zu exportieren. Von all den oben genannten hat mir dieses am besten gefallen. Kann von stdin sichern. Hat kaum nennenswerte Nachteile, hat aber einige Besonderheiten:<\/p>\n
<\/p>\n