W poprzednich postach udostępnialiśmy instrukcje dotyczące konfiguracji и oparty na Veeamie. Dzisiaj chcemy porozmawiać o tworzeniu kopii zapasowych za pomocą Commvault. Nie będzie instrukcji, ale powiemy Ci, co i jak nasi klienci już wykonują kopie zapasowe.
System przechowywania danych systemu kopii zapasowych oparty na Commvault w centrum danych OST-2.
Jak to działa?
Commvault to platforma do tworzenia kopii zapasowych aplikacji, baz danych, systemów plików, maszyn wirtualnych i serwerów fizycznych. W tym przypadku dane początkowe mogą znajdować się w dowolnej lokalizacji: u nas - po stronie klienta, w innym komercyjnym centrum danych lub w chmurze.
Klient instaluje agenta na obiektach kopii zapasowych - Agent iData - i konfiguruje go zgodnie z wymaganymi politykami tworzenia kopii zapasowych. iData Agent zbiera niezbędne dane, kompresuje, deduplikuje, szyfruje i przesyła je do systemu kopii zapasowych DataLine.
Serwery proxy zapewnić łączność sieci klienta i naszej sieci, izolację kanałów, którymi przesyłane są dane.
Po stronie DataLine odbierane są dane z agenta iData Serwer agenta multimedialnego i wysyła go do pamięci masowej w systemach pamięci masowej, bibliotekach taśmowych itp. Wszystkim tym zarządza Commserve. W naszej konfiguracji główny serwer sterujący znajduje się w witrynie OST, a serwer zapasowy znajduje się w witrynie NORD.
Domyślnie dane klientów są przechowywane w jednej lokalizacji, ale można organizować kopie zapasowe w dwóch lokalizacjach jednocześnie lub ustawić harmonogram przesyłania kopii zapasowych do drugiej lokalizacji. Ta opcja nazywa się „kopią pomocniczą”. Na przykład wszystkie pełne kopie zapasowe na koniec miesiąca zostaną automatycznie zduplikowane lub przeniesione do drugiej lokalizacji.
Schemat działania systemu tworzenia kopii zapasowych Commvault.
System tworzenia kopii zapasowych działa głównie na wirtualizacji VMware: na maszynach wirtualnych wdrażane są serwery CommServe, Media Agent i Proxy. Jeśli Klient korzysta z naszego sprzętu, kopie zapasowe umieszczane są na systemie pamięci masowej Huawei OceanStor 5500 V3. Do tworzenia kopii zapasowych klienckich systemów pamięci masowej, przechowywania kopii zapasowych w bibliotekach taśmowych używa się oddzielnych agentów multimedialnych na serwerach fizycznych.
Co jest ważne dla klientów?
Z naszego doświadczenia wynika, że klienci wybierający Commvault do tworzenia kopii zapasowych zwracają uwagę na następujące punkty.
Konsola. Klienci chcą samodzielnie zarządzać kopiami zapasowymi. Wszystkie podstawowe operacje są dostępne w konsoli Commvault:
- dodawanie i usuwanie serwerów do tworzenia kopii zapasowych;
- konfiguracja Agenta iData;
- tworzenie i ręczne uruchamianie zadań;
- samodzielne przywracanie kopii zapasowych;
- ustawianie powiadomień o statusie zadań tworzenia kopii zapasowych;
- zróżnicowanie dostępu do konsoli w zależności od roli i grupy użytkowników.
Deduplikacja. Deduplikacja pozwala znaleźć i usunąć zduplikowane bloki danych podczas procesu tworzenia kopii zapasowej. W ten sposób pomaga zaoszczędzić miejsce w systemie pamięci masowej i zmniejsza ilość przesyłanych danych, zmniejszając wymagania dotyczące przepustowości. Bez deduplikacji kopie zapasowe zajmowałyby od dwóch do trzech razy więcej oryginalnych danych.
W przypadku Commvault deduplikację można skonfigurować po stronie klienta lub po stronie Media Agent. W pierwszym przypadku nieunikalne bloki danych nie zostaną nawet przesłane do serwera Media Agent. W drugim powtarzający się blok jest odrzucany i nie zapisywany w systemie pamięci.
Taka deduplikacja bloków opiera się na funkcjach skrótu. Każdemu blokowi przypisany jest hash, który jest przechowywany w tablicy mieszającej, będącej rodzajem bazy danych (Deduplication Database, DDB). Podczas przesyłania danych skrót jest „przebijany” przez tę bazę. Jeżeli taki hash znajduje się już w bazie, wówczas blok zostaje oznaczony jako nieunikalny i nie jest przesyłany do Media Agent Server (w pierwszym przypadku) ani zapisywany do systemu przechowywania danych (w drugim).
Dzięki deduplikacji możemy zaoszczędzić aż do 78% miejsca na dysku. Teraz w pamięci masowej przechowywanych jest 166,4 TB. Bez deduplikacji musielibyśmy przechowywać 744 TB.
Możliwość różnicowania praw. Commvault ma możliwość ustawienia różnych poziomów dostępu do zarządzania kopiami zapasowymi. Tak zwane „role” określają, jakie będą działania użytkownika w odniesieniu do obiektów kopii zapasowych. Na przykład programiści będą mogli przywrócić serwer z bazą danych tylko do określonej lokalizacji, natomiast administrator będzie mógł wykonać kopię zapasową tego samego serwera poza kolejnością i dodać nowych użytkowników.
Szyfrowanie. Możesz szyfrować dane podczas tworzenia kopii zapasowej za pośrednictwem Commvault na następujące sposoby:
- po stronie agenta klienta: w tym przypadku dane zostaną przesłane do systemu kopii zapasowych już w formie zaszyfrowanej;
- po stronie Agenta Medialnego;
- na poziomie kanału: dane są szyfrowane po stronie agenta klienta i odszyfrowywane na serwerze Media Agent.
Dostępne algorytmy szyfrowania: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (zalecane przez Commvault).
Niektóre statystyki
Do połowy grudnia, przy pomocy Commvault, mamy kopię zapasową 27 klientów. Większość z nich to detaliści i instytucje finansowe. Całkowita ilość danych oryginalnej kopii wynosi 65 TB.
Dziennie wykonywanych jest około 4400 zadań. Poniżej znajdują się statystyki wykonanych zadań z ostatnich 16 dni.
Przede wszystkim kopie zapasowe baz danych systemu plików Windows, SQL Server i Exchange są tworzone za pośrednictwem Commvault.
A teraz obiecane przypadki. Choć bezosobowe (NDA pozdrawia :)), dają wyobrażenie o tym, czego i w jaki sposób klienci korzystają z kopii zapasowych opartych na Commvault. Poniżej znajdują się studia przypadków dla klientów korzystających z jednego systemu tworzenia kopii zapasowych, tj. współdzielonego oprogramowania, serwerów Media Agent i systemów pamięci masowej.
Przypadek 1
Klient. Rosyjska firma handlowo-produkcyjna rynku słodyczy z rozproszoną siecią oddziałów na terenie całej Rosji.
Zadanie.Organizacja kopii zapasowych baz danych Microsoft SQL, serwerów plików, serwerów aplikacji, skrzynek pocztowych Exchange Online.
Początkowe dane znajdują się w biurach w całej Rosji (ponad 10 miast). Należy wykonać kopię zapasową w witrynie DataLine, a następnie odzyskać dane w dowolnym biurze firmy.
Jednocześnie klientowi zależało na pełnym samodzielnym zarządzaniu z kontrolą dostępu.
Głębokość przechowywania - rok. W przypadku Exchange Online – 3 miesiące w przypadku kopii online i rok w przypadku archiwów.
Rozwiązanie. Utworzono dodatkową kopię baz danych w drugiej lokalizacji: ostatnia pełna kopia zapasowa z miesiąca jest przenoszona do innej witryny i tam przechowywana przez rok.
Jakość kanałów ze zdalnych biur klienta nie zawsze pozwalała na tworzenie kopii zapasowych i przywracanie danych w optymalnych ramach czasowych. Aby zmniejszyć ilość przesyłanego ruchu, po stronie klienta skonfigurowano deduplikację. Dzięki niej czas pełnego tworzenia kopii zapasowych stał się akceptowalny, biorąc pod uwagę oddalenie biur. Na przykład pełna kopia zapasowa bazy danych o wielkości 131 GB z Petersburga jest wykonywana w 16 minut. W Jekaterynburgu tworzona jest kopia zapasowa bazy danych o rozmiarze 340 GB przez 1 godzinę i 45 minut.
Poprzez role klient skonfigurował różne uprawnienia dla swoich programistów: tylko tworzenie kopii zapasowych lub przywracanie.
Przypadek 2
Klient. Rosyjska sieć sklepów z artykułami dziecięcymi.
Zadanie. Organizacja kopii zapasowych dla:
mocno obciążony klaster MS SQL oparty na 4 serwerach fizycznych;
maszyny wirtualne ze stroną internetową, serwerami aplikacji, 1C, Exchange i serwerami plików.
Cała określona infrastruktura klienta jest rozmieszczona pomiędzy lokalizacjami OST i NORD.
RPO dla serwerów SQL - 30 minut, reszta - 1 dzień.
Głębokość przechowywania - od 2 tygodni do 30 dni, w zależności od rodzaju danych.
Rozwiązanie. Wybraliśmy kombinację rozwiązań bazujących na Veeam i Commvault. Veeam służy do tworzenia kopii zapasowych plików z naszej chmury. Kopie zapasowe serwerów baz danych, Active Directory, serwerów pocztowych i fizycznych są tworzone za pośrednictwem Commvault.
Aby osiągnąć wysoką prędkość tworzenia kopii zapasowych, klient przydzielił oddzielną kartę sieciową na serwerach fizycznych z MS SQL do zadań tworzenia kopii zapasowych. Pełna kopia zapasowa bazy danych o pojemności 3,4 TB zajmuje 2 godziny 20 minut, a pełne przywracanie zajmuje 5 godzin 5 minut.
Klient dysponował dużą ilością danych początkowych (blisko 18 TB). Jeżeli dane miałyby zostać ułożone w bibliotece taśm, tak jak zrobił to wcześniej klient, potrzebnych byłoby kilkadziesiąt kaset. Komplikowałoby to zarządzanie całym systemem kopii zapasowych klienta. Dlatego w ostatecznej realizacji bibliotekę taśmową zastąpiono systemem przechowywania.
Przypadek 3
Klient. Sieć supermarketów w WNP
Zadanie. Klient chciał wykonać kopię zapasową i przywrócić systemy SAP hostowane w naszej chmurze. Dla baz danych SAP HANA RPO=15 minut, dla maszyn wirtualnych z serwerami aplikacji RPO=24 godziny. Głębokość przechowywania - 30 dni. W razie wypadku RTO=1 godzina, przywrócenie kopii na żądanie RTO=4 godziny.
Rozwiązanie. W przypadku bazy danych HANA skonfigurowano kopie zapasowe plików DATA i plików dziennika w określonych odstępach czasu. Pliki dziennika były archiwizowane co 15 minut lub po osiągnięciu określonego rozmiaru.
Aby skrócić czas odzyskiwania bazy danych, skonfigurowaliśmy dwupoziomowe przechowywanie kopii zapasowych w oparciu o system przechowywania i bibliotekę taśmową. Na dyski dodawane są kopie on-line z możliwością odzyskania w dowolnym momencie tygodnia. Gdy kopia zapasowa stanie się starsza niż 1 tydzień, zostanie przeniesiona do archiwum, do biblioteki taśmowej, gdzie będzie przechowywana przez kolejne 30 dni.
Pełna kopia zapasowa jednej z 181 GB baz danych jest wykonywana w ciągu 1 godziny 54 minut.
Przy konfiguracji kopii zapasowych wykorzystano interfejs SAP backint, który umożliwia integrację systemów kopii zapasowych innych firm z SAP HANA Studio. Dlatego kopiami zapasowymi można zarządzać bezpośrednio z konsoli SAP. Ułatwia to życie administratorom SAP, którzy nie muszą przyzwyczajać się do nowego interfejsu.
Zarządzanie kopiami zapasowymi jest również dostępne dla klienta za pośrednictwem standardowej konsoli klienta Commvault.
To wszystko na dzisiaj. Zadawaj pytania w komentarzach.
Źródło: www.habr.com