W poprzednich postach dzieliliśmy się instrukcjami dotyczącymi ustawienia i na bazie Veeam. Dziś chcemy opowiedzieć o tworzeniu kopii zapasowych za pomocą Commvault. Nie będzie instrukcji, ale opowiemy, co i jak już zabezpieczają nasi klienci.
Systemy storages do kopii zapasowej na bazie Commvault w centrum danych OST-2.
Jak to działa?
Commvault to platforma do tworzenia kopii zapasowych aplikacji, baz danych, systemów plików, maszyn wirtualnych i serwerów fizycznych. Dane źródłowe mogą znajdować się w dowolnym miejscu: u nas – po stronie klienta, w innym komercyjnym centrum danych lub w chmurze.
Klient instaluje na obiektach kopii zapasowej agenta – iData Agent – i konfiguruje go zgodnie z wymaganymi politykami kopii zapasowej. iData Agent zbiera niezbędne dane, kompresuje je, deduplikuje, szyfruje i przysyła do systemu kopii zapasowej DataLine.
Serwery proxy zapewniają komunikację między siecią klienta a naszą siecią, izolując kanały, przez które przesyłane są dane.
Po stronie DataLine dane od iData Agenta przyjmuje Media Agent Server i wysyła do magazynowania na systemy storage, biblioteki taśmowe itp. Całym tym procesem zarządza CommServe. W naszej konfiguracji główny serwer zarządzający znajduje się na placówce OST, rezerwowy – na placówce NORD.
Domyślnie dane klienta są gromadzone w jednym miejscu, ale można zorganizować tworzenie kopii zapasowej od razu w dwóch lokalizacjach lub ustawić harmonogram przenoszenia kopii zapasowych do drugiej lokalizacji. Ta opcja nazywa się „dodatkowa kopia danych” (auxiliary copy). Na przykład wszystkie pełne kopie zapasowe na koniec miesiąca będą automatycznie dublowane lub przenoszone do drugiej lokalizacji.
Schemat działania systemu kopii zapasowej Commvault.
System kopii zapasowej działa głównie na wirtualizacji VMware: na maszynach wirtualnych zainstalowane są serwery CommServe, Media Agent i serwery proxy. Jeśli klient wykorzystuje nasz sprzęt, kopie zapasowe są przechowywane na systemie storage Huawei OceanStor 5500 V3. Do tworzenia kopii zapasowych klientów, przechowywania kopii zapasowych na bibliotekach taśmowych wykorzystywane są osobne Media Agenty na serwerach fizycznych.
Co jest ważne dla klientów?
Z naszej praktyki klienci, którzy wybierają Commvault do tworzenia kopii zapasowej, zwracają uwagę na następujące aspekty.
Konsola. Klienci chcą samodzielnie zarządzać kopią zapasową. W konsoli Commvault dostępne są wszystkie podstawowe operacje:
- dodawanie i usuwanie serwerów do kopii zapasowej;
- konfiguracja iData Agenta;
- tworzenie i ręczne uruchamianie zadań;
- samodzielne przywracanie kopii zapasowych;
- konfiguracja powiadomień o statusie zadań kopii zapasowej;
- ograniczanie dostępu do konsoli w zależności od roli i grupy użytkowników.
Deduplication. Deduplication pozwala znajdować i usuwać powtarzające się bloki danych w procesie tworzenia kopii zapasowej. Pomaga to oszczędzać miejsce na macierzy i zmniejsza objętość przesyłanych danych, co redukuje wymagania dotyczące szybkości łącza. Bez deduplikacji, kopie zapasowe zajmowałyby objętość od dwóch do trzech razy większą niż objętość danych źródłowych.
W przypadku Commvault deduplikację można skonfigurować po stronie klienta lub po stronie Media Agenta. W pierwszym przypadku powtarzające się bloki danych nawet nie będą przesyłane do serwera Media Agenta. W drugim przypadku powtarzający się blok jest odrzucany i nie zapisywany w macierzy.
Taka deduplikacja blokowa opiera się na funkcjach haszujących. Każdemu blokowi przypisywany jest hash, który jest zapisywany w tabeli haseł, stanowiącej rodzaj bazy danych (Deduplication Database, DDB). Przy przesyłaniu danych hash jest sprawdzany w tej bazie. Jeśli taki hash już istnieje w bazie, blok jest oznaczany jako nieunikalny i nie jest przesyłany do serwera Media Agenta (w pierwszym przypadku) lub nie jest zapisywany w systemie przechowywania danych (w drugim).
Dzięki deduplikacji udaje nam się zaoszczędzić do 78% miejsca w systemie przechowywania. Obecnie w macierzy przechowywanych jest 166,4 TB. Bez deduplikacji musielibyśmy przechowywać 744 TB.
Możliwość ograniczania praw. W Commvault istnieje możliwość ustalania różnych poziomów dostępu do zarządzania kopiami zapasowymi. Tak zwane 'role' określają, jakie działania będą dla użytkownika w odniesieniu do obiektów kopii zapasowej. Na przykład, deweloperzy będą mogli jedynie przywrócić serwer z bazą danych do określonego miejsca, a administrator będzie mógł uruchomić pilną kopię zapasową tego samego serwera, dodawać nowych użytkowników.
Szyfrowanie. Można szyfrować dane podczas tworzenia kopii zapasowej za pomocą Commvault na następujące sposoby:
- po stronie agenta klienta: dane w tym przypadku będą przesyłane do systemu kopii zapasowej już w zaszyfrowanej postaci;
- po stronie agenta medialnego;
- na poziomie kanału: dane są szyfrowane po stronie agenta klienta i odszyfrowywane na serwerze agenta medialnego.
Dostępne algorytmy szyfrowania: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (zalecany Commvault).
Trochę statystyki
Na połowę grudnia z pomocą Commvault mamy backup 27 klientów. Większość z nich stanowią detaliści i organizacje finansowe. Łączna objętość danych źródłowych wynosi 65 TB.
Dziennie wykonuje się około 4400 zadań. Poniżej statystyki dotyczące wykonanych zadań w ciągu ostatnich 16 dni.
Najwięcej za pomocą Commvault backupuje się system plików Windows, SQL Server i bazy danych Exchange.
A teraz obiecane przypadki. Choć są zanonimizowane (NDA serdecznie pozdrawia :)), to dają pojęcie o tym, do czego i jak klienci wykorzystują backup oparty na Commvault. Poniżej przedstawione są przypadki klientów, którzy korzystają z jednego systemu kopii zapasowej, tzn. wspólne oprogramowanie, serwery agenta medialnego i systemy przechowywania.
Przypadek 1
Zamawiający. Rosyjska firma handlowo-produkcyjna w branży cukierniczej z rozproszoną siecią oddziałów w Rosji.
Zadanie.Organizacja kopii zapasowej dla baz danych Microsoft SQL, serwerów plikowych, serwerów aplikacji, skrzynek pocztowych Exchange Online.
Dane źródłowe znajdują się w biurach w całej Rosji (ponad 10 miast). Backupować trzeba na platformę DataLine z późniejszym przywracaniem danych w dowolnym z biur firmy.
Przy tym klient chciał mieć pełną samodzielność w zarządzaniu z podziałem dostępu.
Czas przechowywania – rok. Dla Exchange Online – 3 miesiące dla kopii operacyjnych i rok dla archiwów.
Rozwiązanie. Dla baz danych skonfigurowano dodatkową kopię na drugiej platformie: ostatni pełny backup miesiąca jest przenoszony na inną platformę i przechowywany tam przez rok.
Jakość połączeń zdalnych biur klienta nie zawsze pozwalała na wykonywanie kopii zapasowych i przywracanie w optymalnych terminach. Aby zmniejszyć ilość przesyłanego ruchu, po stronie klienta skonfigurowano deduplikację. Dzięki niej czas pełnego kopii zapasowej stał się akceptowalny w zakresie odległości biur. Na przykład, pełna kopia zapasowa bazy danych o pojemności 131 GB z Petersburga jest tworzona w ciągu 16 minut. Z Jekaterynburga baza danych o pojemności 340 GB jest archiwizowana w 1 godzinę 45 minut.
Za pomocą ról klient skonfigurował różne uprawnienia dla swoich programistów: tylko do tworzenia kopii zapasowych lub przywracania.
Przypadek 2
Zamawiający. Rosyjska sieć sklepów z artykułami dla dzieci.
Zadanie. Organizacja tworzenia kopii zapasowych dla:
wysokodostępnego klastra MS SQL na bazie 4 fizycznych serwerów;
maszyn wirtualnych z witryną, serwerami aplikacyjnymi, 1C, Exchange i serwerami plikowymi.
Cała wskazana infrastruktura klienta jest rozproszona pomiędzy lokalizacjami OST i NORD.
RPO dla serwerów SQL wynosi 30 minut, dla pozostałych – 1 dzień.
Głębokość przechowywania – od 2 tygodni do 30 dni w zależności od typu danych.
Rozwiązanie. Wybrano połączenie rozwiązań opartych na Veeam i Commvault. Dla kopii zapasowej plików z naszej chmury używany jest Veeam. Serwery baz danych, Active Directory, serwery pocztowe i fizyczne są archiwizowane przez Commvault.
Aby osiągnąć wysoką prędkość tworzenia kopii zapasowych, klient przeznaczył na fizycznych serwerach z MS SQL oddzielny adapter sieciowy pod zadania kopii zapasowej. Pełna kopia zapasowa bazy danych o pojemności 3,4 TB zajmuje 2 godziny 20 minut, a pełne przywracanie – 5 godzin 5 minut.
Klient miał duży zasięg danych źródłowych (niemal 18 TB). Gdyby gromadził dane na bibliotece taśmowej, jak to wcześniej robił, potrzeba by było kilku dziesiątek kartridży. To skomplikowałoby zarządzanie całym systemem tworzenia kopii zapasowych klienta. Dlatego w finalnej realizacji biblioteka taśmowa została zastąpiona przez macierz dyskową.
Przypadek 3
Zamawiający. Sieć supermarketów w WNP
Zadanie. Klient chciał zorganizować tworzenie kopii zapasowych i przywracanie systemów SAP, które były umieszczone w naszej chmurze. Dla baz danych SAP HANA RPO=15 minut, dla maszyn wirtualnych z serwerami aplikacyjnymi RPO=24 godziny. Głębokość przechowywania – 30 dni. W przypadku awarii RTO=1 godzina, dla przywrócenia kopii na żądanie RTO=4 godziny.
Rozwiązanie. Dla bazy danych HANA skonfigurowano tworzenie kopii zapasowych plików DATA oraz plików log z określoną częstotliwością. Pliki log były archiwizowane co 15 minut lub po osiągnięciu określonego rozmiaru.
Aby skrócić czas przywracania bazy danych, skonfigurowaliśmy dwupoziomowe przechowywanie kopii zapasowych oparte na macierzy dyskowej i bibliotece taśmowej. Na dyskach umieszczane są kopie zapasowe z możliwością przywrócenia na dowolny moment w ciągu tygodnia. Gdy kopia zapasowa ma ponad 1 tydzień, jest przenoszona do archiwum, na bibliotekę taśmową, gdzie jest przechowywana przez kolejne 30 dni.
Pełna kopia zapasowa jednej z baz danych o wielkości 181 GB jest tworzona w ciągu 1 godziny i 54 minut.
Podczas konfiguracji kopii zapasowej użyto interfejsu backint SAP, który umożliwia integrację systemów tworzenia kopii zapasowych od firm trzecich z SAP HANA Studio. W związku z tym zarządzanie kopią zapasową można prowadzić bezpośrednio z konsoli SAP. Upraszcza to życie administratorom SAP, którzy nie muszą przyzwyczajać się do nowego interfejsu.
Zarządzanie kopiami zapasowymi jest również dostępne dla klienta za pośrednictwem standardowej konsoli klienckiej Commvault.
Na dziś to wszystko. Zadawaj pytania w komentarzach.
Źródło: habr.com
