{"id":83100,"date":"2020-05-28T13:42:10","date_gmt":"2020-05-28T11:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami"},"modified":"2020-05-28T13:42:10","modified_gmt":"2020-05-28T11:42:10","slug":"bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/bekap-hranilishhe-dlya-tysyach-virtualnyh-mashin-svobodnymi-instrumentami","title":{"rendered":"Backup-Speicher f\u00fcr Tausende von virtuellen Maschinen mit freien Tools","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Backup-Speicher<\/p>\n

<\/p>\n

Hallo, neulich stie\u00df ich auf eine interessante Aufgabe: einen Speicher f\u00fcr die Sicherung einer gro\u00dfen Anzahl von Blockger\u00e4ten einzurichten.<\/p>\n

<\/p>\n

Jede Woche f\u00fchren wir Backups aller virtuellen Maschinen in unserer Cloud durch. Daher ist es wichtig, mit tausenden von Backups umzugehen und dies so schnell und effizient wie m\u00f6glich zu tun.<\/p>\n

<\/p>\n

Leider sind die Standardkonfigurationen RAID5<\/strong>, RAID6<\/strong> in diesem Fall nicht geeignet, da der Wiederherstellungsprozess auf so gro\u00dfen Festplatten wie unseren qu\u00e4lend lange dauern w\u00fcrde und wahrscheinlich niemals abgeschlossen sein w\u00fcrde.<\/p>\n

<\/p>\n

Lassen Sie uns die Alternativen betrachten:<\/p>\n

<\/p>\n

Erasure Coding<\/a><\/noindex><\/strong> \u2013 Entspricht RAID5 und RAID6, jedoch mit anpassbarem Parit\u00e4tslevel. Hierbei erfolgt die Sicherung nicht blockweise, sondern f\u00fcr jedes Objekt einzeln. Der einfachste Weg, Erasure Coding auszuprobieren, ist die Einrichtung von minio<\/a><\/noindex>.<\/p>\n

<\/p>\n

DRAID<\/a><\/noindex><\/strong> \u2013 Dies ist derzeit eine noch nicht ver\u00f6ffentlichte Funktion von ZFS. Im Gegensatz zu RAIDZ verf\u00fcgt DRAID \u00fcber einen verteilten Parit\u00e4tsblock und nutzt beim Wiederherstellungsprozess sofort alle Festplatten im Array, wodurch es besser mit Festplattenausf\u00e4llen umgeht und schneller nach einem Fehler wiederhergestellt wird. <\/p>\n

<\/a><\/noindex><\/p>\n

\"Backup-Speicher<\/p>\n

<\/p>\n

\"Backup-Speicher<\/p>\n

Wir haben einen Server zur Verf\u00fcgung: Fujitsu Primergy RX300 S7<\/strong> mit einem Prozessor Intel Xeon CPU E5-2650L 0 @ 1,80 GHz<\/strong>, neun Speichermodulen Samsung DDR3-1333 8Gb PC3L-10600R ECC Registered (M393B1K70DH0-YH9)<\/strong>, Festplattenschrank Supermicro SuperChassis 847E26-RJBOD1<\/strong>, verbunden \u00fcber Dual LSI SAS2X36 Expander<\/strong> und 45 Festplatten Seagate ST6000NM0115-1YZ110<\/strong> zum 6 TB<\/strong> jedes.<\/p>\n

<\/p>\n

Bevor wir eine Entscheidung treffen, m\u00fcssen wir alles ordnungsgem\u00e4\u00df testen.<\/p>\n

<\/p>\n

Daf\u00fcr habe ich verschiedene Konfigurationen vorbereitet und Tests durchgef\u00fchrt. Ich habe minio verwendet, das als S3-Backend fungiert und es in verschiedenen Modi mit unterschiedlichen Zielen betrieben.<\/p>\n

<\/p>\n

Im Wesentlichen wurde der minio-Anwendungsfall im Erasure Coding gegen Software-RAID mit der gleichen Anzahl von Festplatten und Parit\u00e4tsfestplatten getestet, also: RAID6, RAIDZ2 und DRAID2.<\/p>\n

<\/p>\n

Zur Information: Wenn Sie minio mit nur einem Ziel ausf\u00fchren, funktioniert minio im S3-Gateway-Modus und bietet Ihr lokales Dateisystem als S3-Speicher an. Wenn Sie minio hingegen mit mehreren Zielen starten, wird automatisch der Erasure-Coding-Modus aktiviert, der die Daten zwischen Ihren Zielen verteilt und Redundanz bietet.<\/p>\n

Standardm\u00e4\u00dfig teilt MinIO die Zielplatten in Gruppen von 16 Festplatten auf, wobei jede Gruppe \u00fcber 2 Parit\u00e4tsplatten verf\u00fcgt. Das bedeutet, dass gleichzeitig bis zu zwei Festplatten ausfallen k\u00f6nnen, ohne dass Daten verloren gehen.<\/p><\/blockquote>\n

F\u00fcr Leistungstests verwendete ich 16 Festplatten mit jeweils 6 TB und schrieb kleine Objekte mit einer Gr\u00f6\u00dfe von 1 MB auf sie, was unsere zuk\u00fcnftige Last sehr genau widerspiegelte, da alle modernen Backup-Tools Daten in mehrere Megabyte gro\u00dfe Bl\u00f6cke unterteilen und sie auf diese Weise schreiben.<\/p>\n

<\/p>\n

F\u00fcr das Benchmarking wurde das Tool s3bench verwendet, das auf einem entfernten Server ausgef\u00fchrt wird und Zehntausende solcher Objekte in MinIO in Hunderten von Streams sendet. Anschlie\u00dfend wurde versucht, sie auf die gleiche Weise zur\u00fcckzuziehen.<\/p>\n

<\/p>\n

Die Ergebnisse des Benchmarks sind in der folgenden Tabelle dargestellt:<\/p>\n

<\/p>\n

\"Backup-Speicher<\/p>\n

<\/p>\n

Wie wir sehen, arbeitet MinIO im Modus der eigenen Erasure-Codierung beim Schreiben deutlich schlechter als MinIO, das auf einem Software-RAID6, RAIDZ2 und DRAID2 in derselben Konfiguration l\u00e4uft.<\/p>\n

<\/p>\n

Separat wurde ich gebeten,<\/a><\/noindex> MinIO auf ext4 gegen XFS zu testen. Erstaunlicherweise stellte sich heraus, dass XFS f\u00fcr meine Art der Belastung deutlich langsamer war als ext4.<\/p>\n

<\/p>\n

In der ersten Testreihe zeigte MDADM eine \u00dcberlegenheit gegen\u00fcber ZFS, aber sp\u00e4ter gmelikov<\/a><\/noindex> hat angedeutet<\/a><\/noindex>, dass die Leistung von ZFS durch die Festlegung der folgenden Optionen verbessert werden kann:<\/p>\n

<\/p>\n

xattr=sa atime=off recordsize=1M<\/code><\/pre>\n
<\/p>\n
und danach wurden die Tests mit ZFS deutlich besser.<\/p>\n
<\/p>\n
Es l\u00e4sst sich auch feststellen, dass DRAID im Vergleich zu RAIDZ keinen signifikanten Leistungsgewinn bringt, aber theoretisch viel sicherer sein sollte.<\/p>\n
<\/p>\n
In den letzten beiden Tests habe ich auch versucht, die Metadaten (special) und ZIL (log) auf ein Spiegel-SSD auszulagern. Das Auslagern der Metadaten brachte jedoch keinen nennenswerten Geschwindigkeitsvorteil beim Schreiben, und beim Auslagern des ZIL stie\u00dfen meine SSDSC2KI128G8<\/a><\/noindex> auf eine Wand mit 100 % Auslastung, sodass ich diesen Test als gescheitert betrachte. Ich schlie\u00dfe nicht aus, dass, wenn ich schnellere SSDs gehabt h\u00e4tte, dies meine Ergebnisse erheblich verbessert h\u00e4tte, aber leider hatte ich keine.<\/p>\n
<\/p>\n
Letztendlich habe ich mich entschieden, DRAID zu verwenden, und trotz seines Beta-Status ist es die schnellste und effektivste L\u00f6sung f\u00fcr unseren Anwendungsfall.<\/p>\n
<\/p>\n
Ich habe ein einfaches DRAID2 in einer Konfiguration mit drei Gruppen und zwei verteilten Spares erstellt:<\/p>\n
<\/p>\n
# zpool status data\n  pool: data\n state: ONLINE\n  scan: none requested\nconfig:\n\n    NAME                 STATE     READ WRITE CKSUM\n    data                 ONLINE       0     0     0\n      draid2:3g:2s-0     ONLINE       0     0     0\n        sdy              ONLINE       0     0     0\n        sdam             ONLINE       0     0     0\n        sdf              ONLINE       0     0     0\n        sdau             ONLINE       0     0     0\n        sdab             ONLINE       0     0     0\n        sdo              ONLINE       0     0     0\n        sdw              ONLINE       0     0     0\n        sdak             ONLINE       0     0     0\n        sdd              ONLINE       0     0     0\n        sdas             ONLINE       0     0     0\n        sdm              ONLINE       0     0     0\n        sdu              ONLINE       0     0     0\n        sdai             ONLINE       0     0     0\n        sdaq             ONLINE       0     0     0\n        sdk              ONLINE       0     0     0\n        sds              ONLINE       0     0     0\n        sdag             ONLINE       0     0     0\n        sdi              ONLINE       0     0     0\n        sdq              ONLINE       0     0     0\n        sdae             ONLINE       0     0     0\n        sdz              ONLINE       0     0     0\n        sdan             ONLINE       0     0     0\n        sdg              ONLINE       0     0     0\n        sdac             ONLINE       0     0     0\n        sdx              ONLINE       0     0     0\n        sdal             ONLINE       0     0     0\n        sde              ONLINE       0     0     0\n        sdat             ONLINE       0     0     0\n        sdaa             ONLINE       0     0     0\n        sdn              ONLINE       0     0     0\n        sdv              ONLINE       0     0     0\n        sdaj             ONLINE       0     0     0\n        sdc              ONLINE       0     0     0\n        sdar             ONLINE       0     0     0\n        sdl              ONLINE       0     0     0\n        sdt              ONLINE       0     0     0\n        sdah             ONLINE       0     0     0\n        sdap             ONLINE       0     0     0\n        sdj              ONLINE       0     0     0\n        sdr              ONLINE       0     0     0\n        sdaf             ONLINE       0     0     0\n        sdao             ONLINE       0     0     0\n        sdh              ONLINE       0     0     0\n        sdp              ONLINE       0     0     0\n        sdad             ONLINE       0     0     0\n    spares\n      s0-draid2:3g:2s-0  AVAIL   \n      s1-draid2:3g:2s-0  AVAIL   \n\nerrors: No known data errors<\/code><\/pre>\n
Gut, das Speicherproblem ist gel\u00f6st, nun zu den Backup-L\u00f6sungen. Hier m\u00f6chte ich drei L\u00f6sungen vorstellen, die ich ausprobieren konnte:<\/p>\n
<\/p>\n
Benji Backup<\/a><\/noindex><\/strong> \u2014 ein Fork Backy2<\/a><\/noindex>, eine spezialisierte L\u00f6sung f\u00fcr die Sicherung von Blockger\u00e4ten, die eng mit Ceph integriert ist. Sie kann Diffs zwischen Snapshots erfassen und daraus inkrementelle Backups erstellen. Unterst\u00fctzt eine Vielzahl von Speicherr\u00fcckend mit sowohl lokalem als auch S3-Speicher. Erfordert eine separate Datenbank zur Speicherung der Hash-Tabelle f\u00fcr die Deduplizierung. Nachteile: in Python geschrieben, hat ein wenig unresponsive CLI.<\/p>\n
<\/p>\n
Borg Backup<\/a><\/noindex><\/strong> \u2014 ein Fork Attic<\/a><\/noindex>, ein seit langem bekanntes und bew\u00e4hrtes Tool zur Datensicherung, das Daten sichern und gut deduplizieren kann. Es speichert Backups sowohl lokal als auch auf Remote-Servern \u00fcber SCP. Es kann Blockger\u00e4te backen, wenn es mit dem Flag --special<\/code>, betrieben wird. Nachteile: Bei der Erstellung eines Backups wird das Repository vollst\u00e4ndig gesperrt, weshalb es empfehlenswert ist, f\u00fcr jede virtuelle Maschine ein separates Repository zu erstellen. Das ist im Grunde kein Problem, da sie sehr einfach erstellt werden k\u00f6nnen.<\/p>\n
<\/p>\n
Restic<\/a><\/noindex><\/strong> \u2014 ein aktiv wachsendes Projekt, das in Go geschrieben ist, ausreichend schnell und unterst\u00fctzt eine Vielzahl von Backends zur Speicherung, darunter sowohl lokale Speicher als auch SCP, S3 und vieles mehr. Besonders erw\u00e4hnenswert ist der speziell entwickelte REST-Server<\/a><\/noindex> f\u00fcr Restic, der es erm\u00f6glicht, Speicher am schnellsten f\u00fcr die remote Nutzung zu exportieren. Von all den genannten hat mir dieser am besten gefallen. Er kann Backups aus stdin erstellen. Es gibt kaum nennenswerte Nachteile, aber einige Besonderheiten sind zu beachten:<\/p>\n
<\/p>\n