In unseren vorherigen Posts haben wir Anleitungen zur Einrichtung geteilt und auf Basis von Veeam. Heute möchten wir über das Backup mit Hilfe von Commvault berichten. Es wird keine Anleitung geben, dafür erzählen wir, was und wie bereits unsere Kunden sichern.
Die SAN-Systeme für Backups auf Basis von Commvault im Rechenzentrum OST-2.
Wie funktioniert das?
Commvault ist eine Plattform zur Sicherung von Anwendungen, Datenbanken, Dateisystemen, virtuellen Maschinen und physischen Servern. Die Quelldaten können dabei an jedem Standort sein: bei uns, beim Kunden, in einem anderen kommerziellen Rechenzentrum oder in der Cloud.
Der Kunde installiert auf die Backup-Objekte einen Agenten - iData Agent – und konfiguriert ihn gemäß den erforderlichen Backup-Richtlinien. Der iData Agent sammelt die benötigten Daten, komprimiert, dedupliziert, verschlüsselt und überträgt sie in das Backup-System von DataLine.
Proxy-Server gewährleisten die Konnektivität zwischen dem Kundennetzwerk und unserem Netzwerk sowie die Isolation der Kanäle, über die die Daten übertragen werden.
Auf der Seite von DataLine empfängt der iData Agent die Daten von Media Agent Server und sendet sie zur Speicherung an die SAN, Bandbibliotheken usw. All dies wird von CommServe. In unserer Konfiguration befindet sich der Hauptserver an dem Standort OST, der Backup-Server an dem Standort NORD.
Standardmäßig werden die Kundendaten an einem Standort gespeichert, aber es ist möglich, Backups gleichzeitig an zwei Standorten zu organisieren oder einen Zeitplan für die Übertragung von Backups an den zweiten Standort einzurichten. Diese Option wird „zusätzliche Kopie der Daten“ (auxiliary copy) genannt. Beispielsweise werden alle vollständigen Backups am Ende des Monats automatisch dupliziert oder zum zweiten Standort verschoben.
Das Funktionsschema des Commvault-Backup-Systems.
Das Backup-System funktioniert hauptsächlich auf Basis von VMware-Virtualisierung: Auf den virtuellen Maschinen sind die Server CommServe, Media Agent und Proxy-Server installiert. Wenn der Kunde unsere Hardware verwendet, werden die Backups auf dem SAN Huawei OceanStor 5500 V3 abgelegt. Für das Backup der Kundenspeichersysteme und die Speicherung der Backups auf Bandbibliotheken werden separate Media Agent auf physischen Servern verwendet.
Was ist für die Kunden wichtig?
Aus unserer Praxis stellen wir fest, dass Kunden, die Commvault für die Datensicherung wählen, auf folgende Punkte achten.
Konsole. Die Kunden möchten die Datensicherung selbst verwalten. In der Commvault-Konsole sind alle grundlegenden Funktionen verfügbar:
- Hinzufügen und Entfernen von Servern zur Datensicherung;
- Konfiguration des iData Agent;
- Erstellung und manuelles Starten von Jobs;
- Selbstständige Wiederherstellung von Sicherungskopien;
- Einrichtung von Benachrichtigungen über den Status von Sicherungsaufträgen;
- Zugriffseinschränkungen auf die Konsole je nach Rolle und Benutzergruppe.
Deduplication. Die Deduplication ermöglicht es, doppelte Datenblöcke während des Sicherungsprozesses zu finden und zu entfernen. Dadurch hilft sie, Speicherplatz auf dem Speichersystem zu sparen und die Menge der übertragenen Daten zu reduzieren, wodurch die Anforderungen an die Kanalgeschwindigkeit gesenkt werden. Ohne Deduplication würden die Sicherungskopien das Zwei- bis Dreifache des Volumens der Originaldaten belegen.
Im Fall von Commvault kann die Deduplication entweder auf der Client-Seite oder auf der Seite des Media Agent konfiguriert werden. Im ersten Fall werden nicht einzigartige Datenblöcke nicht einmal an den Media Agent Server übertragen. Im zweiten Fall wird der wiederkehrende Block verworfen und nicht auf dem Speichersystem aufgezeichnet.
Eine solche Blockdeduplication basiert auf Hash-Funktionen. Jedem Block wird ein Hash zugewiesen, der in einer Hash-Tabelle gespeichert wird, einer Art Datenbank (Deduplication Database, DDB). Bei der Datenübertragung wird der Hash in dieser Datenbank überprüft. Wenn ein solcher Hash bereits in der Datenbank vorhanden ist, wird der Block als nicht einzigartig markiert und nicht an den Media Agent Server übertragen (im ersten Fall) oder nicht auf dem Speichersystem aufgezeichnet (im zweiten).
Dank der Deduplication gelingt es uns, bis zu 78% des Speicherplatzes im Speichersystem zu sparen. Derzeit sind auf dem Speichersystem 166,4 TB gespeichert. Ohne Deduplication müssten wir 744 TB speichern.
Die Möglichkeit zur Trennung von Rechten. Bei Commvault gibt es die Möglichkeit, verschiedene Zugriffsrechte für die Verwaltung der Datensicherung festzulegen. Die sogenannten "Rollen" bestimmen, welche Aktionen dem Benutzer im Hinblick auf die Objekte der Datensicherung zustehen. Zum Beispiel könnten Entwickler nur einen Server mit einer Datenbank an einen bestimmten Ort wiederherstellen, während ein Administrator ein außerplanmäßiges Backup für denselben Server initiieren und neue Benutzer hinzufügen kann.
Verschlüsselung. Daten während der Sicherung über Commvault können auf folgende Weise verschlüsselt werden:
- auf der Seite des Client-Agenten: die Daten werden in diesem Fall bereits in verschlüsselter Form an das Sicherungssystem übertragen;
- auf der Seite des Media Agent;
- auf der Kanalebene: die Daten werden auf der Seite des Client-Agenten verschlüsselt und auf dem Media Agent Server entschlüsselt.
Verfügbare Verschlüsselungsalgorithmen: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (von Commvault empfohlen).
Ein wenig Statistik
Mitte Dezember sichern wir mit Commvault 27 Kunden. Der Großteil von ihnen sind Einzelhändler und Finanzunternehmen. Das gesamte Volumen der Ausgangsdaten beträgt 65 TB.
Pro Tag werden etwa 4400 Aufgaben ausgeführt. Unten steht die Statistik der erledigten Aufgaben der letzten 16 Tage.
Am häufigsten werden über Commvault die Windows-Dateisysteme, SQL Server und Exchange-Datenbanken gesichert.
Und nun die versprochenen Anwendungsfälle. Auch wenn sie anonymisiert sind (NDA lässt grüßen :)), geben sie einen Einblick, wofür und wie die Kunden das Backup auf Basis von Commvault nutzen. Nachfolgend sind die Anwendungsfälle von Kunden aufgeführt, die ein einheitliches Sicherungssystem nutzen, d. h. gemeinsame Software, Media Agent Server und Speichersysteme.
Anwendungsfall 1
Kunde. Russisches Handels- und Produktionsunternehmen im Süßwarenmarkt mit einem weitverzweigten Netz von Niederlassungen in Russland.
Aufgabe.Organisation der Datensicherung für Microsoft SQL-Datenbanken, Dateiserver, Anwendungsserver und Exchange Online-Postfächer.
Die Ausgangsdaten befinden sich in Büros in ganz Russland (mehr als 10 Städte). Es ist notwendig, in die DataLine-Plattform zu sichern, mit anschließender Wiederherstellung der Daten in einem der Büros des Unternehmens.
Der Kunde wünschte vollständige eigenständige Verwaltung mit Zugriffsberechtigungen.
Speicherdauer – ein Jahr. Für Exchange Online – 3 Monate für operative Kopien und ein Jahr für Archive.
Lösung. Für die Datenbanken wurde eine zusätzliche Kopie auf einem zweiten Standort eingerichtet: das letzte vollständige Backup des Monats wird auf einen anderen Standort übertragen und dort ein Jahr lang aufbewahrt.
Die Qualität der Kanäle von den entfernten Büros des Kunden erlaubte nicht immer ein Backup und eine Wiederherstellung innerhalb optimaler Fristen. Um das übertragene Datenvolumen zu reduzieren, wurde auf der Kundenseite eine Deduplizierung eingerichtet. Dadurch wurde die Zeit für das vollständige Backup akzeptabel, unter Berücksichtigung der Abgelegenheit der Büros. Zum Beispiel dauert ein vollständiges Backup einer 131 GB großen Datenbank aus Sankt Petersburg 16 Minuten. Aus Jekaterinburg benötigt eine 340 GB große Datenbank 1 Stunde und 45 Minuten für das Backup.
Mit Hilfe von Rollen hat der Kunde für seine Entwickler unterschiedliche Berechtigungen eingerichtet: nur für Backup oder Wiederherstellung.
Fall 2
Kunde. Russisches Netzwerk von Geschäften für Kinderwaren.
Aufgabe. Organisation des Backups für:
einen stark belasteten MS SQL-Cluster auf Basis von 4 physischen Servern;
virtuelle Maschinen mit der Webseite, Anwendungsservern, 1C, Exchange und Dateiservern.
Die gesamte genannte Infrastruktur des Kunden ist zwischen den Standorten OST und NORD verteilt.
RPO für SQL-Server beträgt 30 Minuten, für die anderen 1 Tag.
Aufbewahrungsfrist – von 2 Wochen bis 30 Tagen, abhängig von der Art der Daten.
Lösung. Es wurde eine Kombination aus Lösungen auf der Basis von Veeam und Commvault ausgewählt. Für das Dateibackup aus unserer Cloud wird Veeam verwendet. Datenbankserver, Active Directory, E-Mail-Server und physische Server werden über Commvault gesichert.
Um eine hohe Backup-Geschwindigkeit zu erreichen, hat der Kunde auf physischen Servern mit MS SQL einen separaten Netzwerkadapter für Backup-Aufgaben bereitgestellt. Ein vollständiges Backup einer 3,4 TB großen Datenbank dauert 2 Stunden und 20 Minuten, während die vollständige Wiederherstellung 5 Stunden und 5 Minuten in Anspruch nimmt.
Der Kunde hatte ein großes Volumen an Quelldaten (fast 18 TB). Wenn die Daten wie zuvor auf ein Bandlaufwerk gespeichert würden, wären mehrere Dutzend Kartuschen erforderlich gewesen. Dies hätte das Management des gesamten Backup-Systems des Kunden kompliziert. Daher wurde in der endgültigen Umsetzung das Bandlaufwerk durch ein Speicher-System ersetzt.
Fall 3
Kunde. Netzwerk von Supermärkten in der GUS.
Aufgabe. Der Kunde wollte ein Backup und eine Wiederherstellung von SAP-Systemen organisieren, die in unserer Cloud untergebracht sind. Für SAP HANA-Datenbanken beträgt RPO=15 Minuten, für virtuelle Maschinen mit Anwendungsservern beträgt RPO=24 Stunden. Aufbewahrungszeitraum – 30 Tage. Im Falle eines Notfalls beträgt RTO=1 Stunde, für die Wiederherstellung einer Kopie auf Anfrage beträgt RTO=4 Stunden.
Lösung. Für die HANA-Datenbank wurde die Sicherung von DATA-Dateien und Log-Dateien mit einer festgelegten Frequenz eingerichtet. Die Log-Dateien wurden alle 15 Minuten oder beim Erreichen einer bestimmten Größe archiviert.
Um die Wiederherstellungszeit der Datenbank zu verkürzen, haben wir eine zweistufige Backup-Speicherung auf Basis eines Speichersystems und einer Bandbibliothek eingerichtet. Auf die Festplatten werden aktuelle Kopien mit der Möglichkeit der Wiederherstellung für jeden Zeitpunkt innerhalb einer Woche gespeichert. Wenn das Backup älter als eine Woche ist, wird es archiviert und in die Bandbibliothek verschoben, wo es weitere 30 Tage aufbewahrt wird.
Ein vollständiges Backup einer Datenbank mit einer Größe von 181 GB wird in 1 Stunde und 54 Minuten erstellt.
Bei der Einrichtung der Datensicherung wurde die SAP Backint-Schnittstelle verwendet, die es ermöglicht, die Backup-Systeme von Drittanbietern in SAP HANA Studio zu integrieren. Daher kann die Datensicherung direkt über die SAP-Konsole verwaltet werden. Dies erleichtert den SAP-Administratoren das Leben, da sie sich nicht an eine neue Benutzeroberfläche gewöhnen müssen.
Die Verwaltung der Datensicherung ist auch über die Standard-Client-Konsole von Commvault für den Client zugänglich.
Das wäre vorerst alles. Stellen Sie Fragen in den Kommentaren.
Quelle: habr.com
