In diesem Artikel werden Backup-Tools verglichen, aber zunächst sollten Sie herausfinden, wie schnell und gut sie mit der Wiederherstellung von Daten aus Backups zurechtkommen.
Um den Vergleich zu erleichtern, ziehen wir die Wiederherstellung aus einem vollständigen Backup in Betracht, insbesondere da alle Kandidaten diese Betriebsart unterstützen. Der Einfachheit halber sind die Zahlen bereits gemittelt (das arithmetische Mittel mehrerer Durchläufe). Die Ergebnisse werden in einer Tabelle zusammengefasst, die auch Informationen zu den Funktionen enthält: Vorhandensein einer Weboberfläche, einfache Einrichtung und Bedienung, Automatisierungsfähigkeit, Vorhandensein verschiedener zusätzlicher Funktionen (z. B. Überprüfung der Datenintegrität). , usw. Die Diagramme zeigen die Auslastung des Servers, auf dem die Daten verwendet werden (nicht des Servers zum Speichern von Sicherungskopien).
Восстановление данных
rsync und tar werden seitdem als Referenzpunkt verwendet einfache Skripte zum Erstellen von Sicherungskopien.
Rsync bewältigte den Testdatensatz in 4 Minuten und 28 Sekunden
so eine Belastung
Beim Wiederherstellungsprozess ist eine Einschränkung des Festplattensubsystems des Backup-Speicherservers aufgetreten (Sägezahndiagramme). Sie können auch das Laden eines Kernels ohne Probleme deutlich erkennen (low iowait und softirq - keine Probleme mit der Festplatte bzw. dem Netzwerk). Da die anderen beiden Programme, nämlich rdiff-backup und rsnapshot, auf rsync basieren und auch reguläres rsync als Wiederherstellungstool anbieten, werden sie ungefähr das gleiche Lastprofil und die gleiche Backup-Wiederherstellungszeit haben.
Teer Habe es etwas schneller geschafft
2 Minuten und 43 Sekunden:
Die Gesamtsystemlast war durch den erhöhten Softirq im Durchschnitt um 20 % höher – die Overheadkosten beim Betrieb des Netzwerksubsystems stiegen.
Wird das Archiv weiter komprimiert, erhöht sich die Wiederherstellungszeit auf 3 Minuten 19 Sekunden.
bei einer solchen Belastung des Hauptservers (Auspacken auf der Seite des Hauptservers):
Der Dekomprimierungsprozess beansprucht beide Prozessorkerne, da zwei Prozesse ausgeführt werden. Im Allgemeinen ist dies das erwartete Ergebnis. Ein vergleichbares Ergebnis (3 Minuten und 20 Sekunden) wurde auch erzielt, wenn gzip auf der Serverseite mit Backups ausgeführt wurde; das Lastprofil auf dem Hauptserver war dem Ausführen von tar ohne den gzip-Kompressor sehr ähnlich (siehe vorherige Grafik).
В rdiff-Backup Sie können das letzte Backup, das Sie erstellt haben, mit normalem Rsync synchronisieren (die Ergebnisse werden ähnlich sein), aber ältere Backups müssen immer noch mit dem Programm rdiff-backup wiederhergestellt werden, das die Wiederherstellung in 17 Minuten und 17 Sekunden abgeschlossen hat, wie zu sehen ist
diese Ladung:
Möglicherweise war dies zumindest dazu gedacht, die Geschwindigkeit der Autoren zu begrenzen . Der Vorgang der Wiederherstellung einer Sicherungskopie selbst nimmt etwas weniger als die Hälfte eines Kerns in Anspruch, bei proportional vergleichbarer Leistung (d. h. 2-5 mal langsamer) über Festplatte und Netzwerk mit rsync.
Schnappschuss Für die Wiederherstellung wird die Verwendung von regulärem Rsync empfohlen, sodass die Ergebnisse ähnlich sind. Im Allgemeinen ist es so gekommen.
Rülpsen Ich habe die Aufgabe, ein Backup wiederherzustellen, in 7 Minuten und 2 Sekunden mit abgeschlossen
mit dieser Ladung:
Es funktionierte ziemlich schnell und ist zumindest viel praktischer als reines Rsync: Sie müssen sich keine Flags merken, eine einfache und intuitive CLI-Schnittstelle, integrierte Unterstützung für mehrere Kopien – obwohl es zweimal langsamer ist. Wenn Sie Daten aus der letzten von Ihnen erstellten Sicherung wiederherstellen müssen, können Sie mit einigen Einschränkungen rsync verwenden.
Das Programm zeigte ungefähr die gleiche Geschwindigkeit und Belastung Backup-PC Wenn Sie den Rsync-Übertragungsmodus aktivieren, wird die Sicherung bereitgestellt
7 Minuten und 42 Sekunden:
Im Datenübertragungsmodus kam BackupPC jedoch langsamer mit Teer zurecht: In 12 Minuten und 15 Sekunden war die Prozessorlast insgesamt geringer
eineinhalb Mal:
Duplicity ohne Verschlüsselung zeigte etwas bessere Ergebnisse und die Wiederherstellung eines Backups dauerte 10 Minuten und 58 Sekunden. Wenn Sie die Verschlüsselung mit gpg aktivieren, erhöht sich die Wiederherstellungszeit auf 15 Minuten und 3 Sekunden. Beim Erstellen eines Repositorys zum Speichern von Kopien können Sie außerdem die Archivgröße angeben, die beim Aufteilen des eingehenden Datenstroms verwendet wird. Im Allgemeinen gibt es bei herkömmlichen Festplatten, auch aufgrund des Single-Threaded-Betriebsmodus, keinen großen Unterschied. Bei Verwendung von Hybridspeicher kann es bei unterschiedlichen Blockgrößen erscheinen. Die Belastung des Hauptservers während der Wiederherstellung war wie folgt:
keine Verschlüsselung
mit Verschlüsselung
Duplicati zeigte eine vergleichbare Erholungsrate und schaffte es in 13 Minuten und 45 Sekunden. Es dauerte noch etwa 5 Minuten, die Richtigkeit der wiederhergestellten Daten zu überprüfen (insgesamt etwa 19 Minuten). Die Ladung war
ziemlich hoch:
Wenn die AES-Verschlüsselung intern aktiviert war, betrug die Wiederherstellungszeit 21 Minuten und 40 Sekunden, wobei die CPU-Auslastung während der Wiederherstellung maximal war (beide Kerne!). Bei der Datenüberprüfung war nur ein Thread aktiv, der einen Prozessorkern belegte. Die Überprüfung der Daten nach der Wiederherstellung dauerte ebenfalls 5 Minuten (insgesamt fast 27 Minuten).
Erlebe die Kraft effektiver Ergebnisse
Duplicati war bei der Wiederherstellung etwas schneller, wenn das externe GPG-Programm zur Verschlüsselung verwendet wurde, aber im Allgemeinen sind die Unterschiede zum vorherigen Modus minimal. Die Operationszeit betrug 16 Minuten und 30 Sekunden, die Datenüberprüfung dauerte 6 Minuten. Die Ladung war
solch:
AMANDA, mit Teer, schaffte es in 2 Minuten und 49 Sekunden, was im Prinzip dem normalen Teer sehr nahe kommt. Belastung des Systems grundsätzlich
dieselbe:
Beim Wiederherstellen eines Backups mit zbackup Folgende Ergebnisse wurden erzielt:
Verschlüsselung, LZMA-Komprimierung
Laufzeit 11 Minuten und 8 Sekunden
AES-Verschlüsselung, LZMA-Komprimierung
14 Laufzeit Minuten
AES-Verschlüsselung, LZO-Komprimierung
Laufzeit 6 Minuten, 19 Sekunden
Insgesamt nicht schlecht. Es hängt alles von der Geschwindigkeit des Prozessors auf dem Backup-Server ab, was deutlich an der Laufzeit des Programms mit verschiedenen Kompressoren zu erkennen ist. Auf der Seite des Backup-Servers wurde ein normaler Tar gestartet, sodass die Wiederherstellung im Vergleich damit dreimal langsamer ist. Es kann sich lohnen, den Betrieb im Multithread-Modus mit mehr als zwei Threads zu überprüfen.
BorgBackup Im unverschlüsselten Modus war es mit 2 Minuten und 45 Sekunden etwas langsamer als tar. Im Gegensatz zu tar war es jedoch möglich, das Repository zu deduplizieren. Es stellte sich heraus, dass die Ladung vorhanden war
nächstes:
Wenn Sie die Blake-basierte Verschlüsselung aktivieren, ist die Geschwindigkeit der Backup-Wiederherstellung etwas langsamer. Die Erholungszeit in diesem Modus beträgt 3 Minuten und 19 Sekunden, und die Last ist weg
so was:
Die AES-Verschlüsselung ist etwas langsamer, die Wiederherstellungszeit beträgt 3 Minuten 23 Sekunden, die Belastung ist besonders hoch
hat sich nicht geändert:
Da Borg im Multithread-Modus arbeiten kann, ist die Prozessorlast maximal und bei Aktivierung zusätzlicher Funktionen erhöht sich einfach die Betriebszeit. Anscheinend lohnt es sich, Multithreading auf ähnliche Weise wie zbackup zu erkunden.
Rest kam mit der Erholung etwas langsamer zurecht, die Einsatzzeit betrug 4 Minuten 28 Sekunden. Die Ladung sah aus wie
wie folgt:
Anscheinend funktioniert der Wiederherstellungsprozess in mehreren Threads, aber die Effizienz ist nicht so hoch wie die von BorgBackup, aber zeitlich vergleichbar mit normalem rsync.
Mit urBackup Die Wiederherstellung der Daten war in 8 Minuten und 19 Sekunden möglich, die Belastung war
solch:
Die Belastung ist immer noch nicht sehr hoch, sogar niedriger als die von Teer. An manchen Stellen kommt es zu Ausbrüchen, aber nicht mehr als die Belastung eines Kerns.
Auswahl und Begründung der Vergleichskriterien
Wie in einem der vorherigen Artikel erwähnt, muss das Backup-System die folgenden Kriterien erfüllen:
- Benutzerfreundlichkeit
- Universalismus
- Stabilität
- Schnell
Es lohnt sich, jeden Punkt einzeln genauer zu betrachten.
Einfache Bedienung
Am besten ist es, wenn es eine Schaltfläche „Alles gut machen“ gibt. Wenn Sie jedoch zu echten Programmen zurückkehren, ist es am bequemsten, ein bekanntes und standardmäßiges Funktionsprinzip zu verwenden.
Den meisten Benutzern geht es höchstwahrscheinlich besser, wenn sie sich nicht einen Haufen Schlüssel für CLI merken, eine Reihe verschiedener, oft undurchsichtiger Optionen über Web oder Tui konfigurieren oder Benachrichtigungen über fehlgeschlagene Vorgänge einrichten müssen. Dazu gehört auch die Möglichkeit, eine Backup-Lösung einfach in die bestehende Infrastruktur „einzupassen“ sowie die Automatisierung des Backup-Prozesses. Es besteht auch die Möglichkeit der Installation über einen Paketmanager oder in ein oder zwei Befehlen wie „Herunterladen und entpacken“. curl ссылка | sudo bash - eine aufwändige Methode, da geprüft werden muss, was über den Link ankommt.
Eine einfache Lösung der in Betracht gezogenen Kandidaten sind beispielsweise Burp, Rdiff-Backup und Restic, die über mnemonische Tasten für verschiedene Betriebsmodi verfügen. Etwas komplexer sind Borg und Duplizität. Am schwierigsten war AMANDA. Der Rest liegt hinsichtlich der Benutzerfreundlichkeit irgendwo im Mittelfeld. Wenn Sie auf jeden Fall mehr als 30 Sekunden benötigen, um die Bedienungsanleitung zu lesen, oder wenn Sie zu Google oder einer anderen Suchmaschine gehen und außerdem durch ein langes Hilfeblatt scrollen müssen, fällt Ihnen die Entscheidung auf die eine oder andere Weise schwer.
Einige der in Betracht gezogenen Kandidaten sind in der Lage, automatisch eine Nachricht per E-Mailjabber zu versenden, während andere auf konfigurierte Benachrichtigungen im System angewiesen sind. Darüber hinaus verfügen komplexe Lösungen meist über nicht ganz offensichtliche Alarmeinstellungen. In jedem Fall ist die Situation einfach, wenn das Backup-Programm einen Rückkehrcode ungleich Null erzeugt, der vom Systemdienst für periodische Aufgaben korrekt verstanden wird (eine Nachricht wird an den Systemadministrator oder direkt an die Überwachung gesendet). Wenn aber das Backup-System, das nicht auf einem Backup-Server läuft, nicht konfiguriert werden kann, ist die Komplexität ohnehin schon übertrieben. In jedem Fall ist es eine schlechte Praxis, Warnungen und andere Meldungen nur an die Weboberfläche oder an das Protokoll zu senden, da sie in den meisten Fällen ignoriert werden.
Was die Automatisierung betrifft, kann ein einfaches Programm Umgebungsvariablen lesen, die seinen Betriebsmodus festlegen, oder es verfügt über eine entwickelte CLI, die das Verhalten beispielsweise beim Arbeiten über eine Weboberfläche vollständig duplizieren kann. Hierzu zählen auch die Möglichkeit des Dauerbetriebs, die Verfügbarkeit von Erweiterungsmöglichkeiten etc.
Universalismus
Teilweise in Anlehnung an den vorherigen Unterabschnitt zur Automatisierung sollte es kein besonderes Problem darstellen, den Backup-Prozess in die bestehende Infrastruktur „einzupassen“.
Es ist erwähnenswert, dass die Verwendung nicht standardmäßiger Ports (mit Ausnahme der Webschnittstelle) für die Arbeit, die Implementierung der Verschlüsselung auf nicht standardmäßige Weise und der Datenaustausch über ein nicht standardmäßiges Protokoll Anzeichen dafür sind, dass dies nicht der Fall ist -universelle Lösung. Meistens haben sie alle Kandidaten auf die eine oder andere Weise aus dem offensichtlichen Grund: Einfachheit und Vielseitigkeit passen normalerweise nicht zusammen. Als Ausnahme - Rülpsen, es gibt noch andere.
Als Zeichen - die Fähigkeit, mit normalem SSH zu arbeiten.
Arbeitsgeschwindigkeit
Der umstrittenste und umstrittenste Punkt. Einerseits haben wir den Prozess gestartet, er funktionierte so schnell wie möglich und beeinträchtigte die Hauptaufgaben nicht. Andererseits kommt es während des Backup-Zeitraums zu einem Anstieg des Datenverkehrs und der Prozessorlast. Es ist auch erwähnenswert, dass die schnellsten Programme zum Erstellen von Kopien in der Regel die schlechtesten sind, was die für Benutzer wichtigen Funktionen betrifft. Nochmals: Wenn, um eine unglückliche Textdatei mit einer Größe von mehreren zehn Bytes mit einem Passwort zu erhalten, und dadurch die gesamten Servicekosten (ja, ja, ich verstehe, dass der Backup-Prozess hier meistens nicht schuld ist), und Sie müssen alle Dateien im Repository nacheinander erneut lesen oder das gesamte Archiv erweitern – das Backup-System ist nie schnell. Ein weiterer Punkt, der oft zum Stolperstein wird, ist die Geschwindigkeit, mit der ein Backup aus einem Archiv bereitgestellt wird. Hier gibt es einen klaren Vorteil für diejenigen, die Dateien ohne große Manipulation (z. B. rsync) einfach an den gewünschten Ort kopieren oder verschieben können, aber meistens muss das Problem auf organisatorischem Weg, empirisch, gelöst werden: durch Messung der Backup-Wiederherstellungszeit und die Nutzer offen darüber zu informieren.
Stabilität
Das ist so zu verstehen: Einerseits muss es möglich sein, die Sicherungskopie auf beliebige Weise wieder bereitzustellen, andererseits muss sie gegen verschiedene Probleme resistent sein: Netzwerkunterbrechung, Festplattenausfall, Löschung eines Teils der Kopie Repository.
Vergleich von Backup-Tools
Erstellungszeitpunkt kopieren
Wiederherstellungszeit kopieren
Einfache Installation
Einfache Einstellung
Einfache Verwendung
Einfache Automatisierung
Benötigen Sie einen Client-Server?
Überprüfung der Integrität des Repositorys
Differentialkopien
Arbeiten über Rohr
Universalismus
Autonomie
Repository-Transparenz
Шифрование
Kompression
Deduplizierung
Webschnittstelle
Bis zur Wolke füllen
Windows-Unterstützung
Markierung
Rsync
4m15s
4m28s
ja
Nein
Nein
Nein
ja
Nein
Nein
ja
Nein
ja
ja
Nein
Nein
Nein
Nein
Nein
ja
6
Teer
auch
3m12s
2m43s
ja
Nein
Nein
Nein
Nein
Nein
ja
ja
Nein
ja
Nein
Nein
Nein
Nein
Nein
Nein
ja
8,5
gzip
9m37s
3m19s
ja
Rdiff-Backup
16m26s
17m17s
ja
ja
ja
ja
ja
Nein
ja
Nein
ja
Nein
ja
Nein
ja
ja
ja
Nein
ja
11
Schnappschuss
4m19s
4m28s
ja
ja
ja
ja
Nein
Nein
ja
Nein
ja
Nein
ja
Nein
Nein
ja
ja
Nein
ja
12,5
Rülpsen
11m9s
7m2s
ja
Nein
ja
ja
ja
ja
ja
Nein
ja
ja
Nein
Nein
ja
Nein
ja
Nein
ja
10,5
Duplicity
keine Verschlüsselung
16m48s
10m58s
ja
ja
Nein
ja
Nein
ja
ja
Nein
Nein
ja
Nein
ja
ja
Nein
ja
Nein
ja
11
gpg
17m27s
15m3s
Duplicati
keine Verschlüsselung
20m28s
13m45s
Nein
ja
Nein
Nein
Nein
ja
ja
Nein
Nein
ja
Nein
ja
ja
ja
ja
ja
ja
11
Aes
29m41s
21m40s
gpg
26m19s
16m30s
zsicherung
keine Verschlüsselung
40m3s
11m8s
ja
ja
Nein
Nein
Nein
ja
ja
ja
Nein
ja
Nein
ja
ja
ja
Nein
Nein
Nein
10
Aes
42m0s
14m1s
aes+lzo
18m9s
6m19s
BorgBackup
keine Verschlüsselung
4m7s
2m45s
ja
ja
ja
ja
ja
ja
ja
ja
ja
ja
Nein
ja
ja
ja
ja
Nein
ja
16
Aes
4m58s
3m23s
blake2
4m39s
3m19s
Rest
5m38s
4m28s
ja
ja
ja
ja
Nein
ja
ja
ja
ja
ja
Nein
ja
Nein
ja
Nein
ja
ja
15,5
urBackup
8m21s
8m19s
ja
ja
ja
Nein
ja
Nein
ja
Nein
ja
ja
Nein
ja
ja
ja
ja
Nein
ja
12
Amandas
9m3s
2m49s
ja
Nein
Nein
ja
ja
ja
ja
Nein
ja
ja
ja
ja
ja
Nein
ja
ja
ja
13
Backup-PC
rsync
12m22s
7m42s
ja
Nein
ja
ja
ja
ja
ja
Nein
ja
Nein
Nein
ja
ja
Nein
ja
Nein
ja
10,5
Teer
12m34s
12m15s
Tabellenlegende:
- Grün, Betriebszeit weniger als fünf Minuten, oder Antwort „Ja“ (außer in der Spalte „Benötigen Sie einen Client-Server?“), 1 Punkt
- Gelb, Betriebszeit fünf bis zehn Minuten, 0.5 Punkte
- Rot, die Arbeitszeit beträgt mehr als zehn Minuten oder die Antwort lautet „Nein“ (außer in der Spalte „Benötigen Sie einen Client-Server?“), 0 Punkte
Laut der obigen Tabelle ist BorgBackup das einfachste, schnellste und gleichzeitig bequemste und leistungsstärkste Backup-Tool. Restic belegte den zweiten Platz, der Rest der berücksichtigten Kandidaten lag mit einem Abstand von ein bis zwei Punkten am Ende ungefähr gleichauf.
Ich danke allen, die die Serie bis zum Ende gelesen haben. Ich lade Sie ein, die Optionen zu besprechen und gegebenenfalls Ihre eigenen anzubieten. Im Verlauf der Diskussion kann die Tabelle erweitert werden.
Das Ergebnis der Serie wird der Abschlussartikel sein, in dem versucht wird, ein ideales, schnelles und benutzerfreundliches Backup-Tool zu entwickeln, mit dem Sie eine Kopie in kürzester Zeit zurückstellen können und gleichzeitig bequem und einfach sind zu konfigurieren und zu warten.
Ankündigung
Backup Teil 6: Vergleich von Backup-Tools
Backup Teil 7: Schlussfolgerungen
Source: habr.com