Dziś po raz kolejny mam przyjemność przedstawić Państwu przydatne wskazówki od mojego kolegi, Jewgienija Iwanowa, kierownika zespołu wsparcia technicznego firmy Veeam. Tym razem Zhenya podzieliła się zaleceniami dotyczącymi pracy z kopiami zapasowymi i replikami. Mam nadzieję, że pomogą Ci uniknąć typowych błędów, a Twoje repliki i kopie zapasowe nigdy nie będą „słabym ogniwem” w procesie odzyskiwania, jeśli zajdzie taka potrzeba.

Więc witaj w kotku.

W moim poprzednim Artykuł Przyjrzeliśmy się, jak zoptymalizować obciążenie komponentów infrastruktury kopii zapasowych i przyjrzeliśmy się typowym błędom konfiguracyjnym. Przejdźmy do innego ważnego tematu – odpowiedniego przygotowania i przeprowadzenia rekonwalescencji. Przeanalizujemy to również na realnych przykładach, z którymi zespół wsparcia technicznego miał okazję pracować.

Zapas bez restauracji – pieniądze wyrzucone w błoto

Regularnie kontaktują się z nami użytkownicy, którzy znajdują się w podobnej trudnej sytuacji: przywrócenie danych z kopii zapasowej jest konieczne, ale gdy próbują to zrobić, ludzie natrafiają na problem, którego nie da się rozwiązać. I tym problemem nie jest brak kopii zapasowej, aktywność CryptoLocker czy coś w tym stylu. To „po prostu” niewystarczająca uwaga poświęcona testowaniu kopii zapasowych i replik pod kątem możliwości ich przywrócenia. Wiele osób często skupia się wyłącznie na procesie tworzenia kopii zapasowej, zapominając, że samo posiadanie kopii zapasowej nie jest panaceum na ewentualne problemy. Trzeba zrozumieć, że renowacja to zupełnie inny proces, który ma swoją specyfikę i który należy monitorować i testować przed wprowadzeniem do produkcji. Oto kilka ilustrujących przykładów:

Użytkownik doświadczył awarii krytycznej maszyny wirtualnej o pojemności 20 TB. Przestoje są oczywiście niedopuszczalne, a administrator rozpoczyna proces natychmiastowego odzyskiwania (natychmiastowego odzyskiwania maszyny wirtualnej) - po 5 minutach maszyna działa. Pamiętamy jednak, że taki stan maszyny można wykorzystać tylko tymczasowo – należy ją zmigrować do produkcyjnego datastore. I w tym przykładzie, jak się okazało, możliwości infrastruktury nie pozwoliły na skopiowanie 20 TB danych w rozsądnym czasie. W ustawieniach procesu natychmiastowego odzyskiwania wybrano opcję zapisywania zmian na dysku Od: Serwer Veeam Backup & Replication (w przeciwieństwie do migawki vSphere) – w efekcie oczywiście szybko zapełniało się wolne miejsce na dysku. Zanim użytkownik skontaktował się z pomocą techniczną, w maszynie wirtualnej pojawiły się zmiany, których nie można było zignorować. Czyli mamy do czynienia z sytuacją, w której nie da się szybko sfinalizować procesu natychmiastowego odzyskiwania krytycznej maszyny – jak zapisać dane?
Szczerze mówiąc, z biegiem lat nie pamiętam już wszystkich szczegółów finału, ale pamiętam, że ostatecznie nie wymyśliliśmy nic genialnego. Klienci z ich strony przynajmniej rozwiązali ten problem rozbudowując dysk C: z rezerw, kopiując najważniejsze pliki i dopiero potem wyłączając VM i migrując w ten sposób. Ogólnie rzecz biorąc, żaden cud się nie wydarzył.
W infrastrukturze użytkownika działał jeden kontroler domeny, a wszystkie komponenty rozwiązania Veeam Backup & Replication zostały skonfigurowane przy użyciu DNS. Tak, tak, to prawda, dobrze słyszałeś. Opcji rozwoju wydarzeń było nie mniej, ale w rzeczywistości wszystko wyglądało tak: ludzie planowali konserwację i postanowili przejść na replikę swojego kontrolera domeny. Zastosowali planowany przełącznik, który jest ogólnie zalecany w takich sytuacjach. Na pierwszym etapie wszystko szło dobrze, ale na drugim źródłowa maszyna wirtualna została na krótko wyłączona w celu przesłania pozostałych danych. Oczywiście zadanie przełączenia natychmiast się nie powiodło, ponieważ DNS przestał działać.
Na szczęście poradziliśmy sobie z tą sytuacją, ręcznie włączając replikę z vSphere (właściwie nie zaleca się robienia tego samodzielnie, jak zobaczysz w poniższym przykładzie). Ale, jak rozumiesz, proces konserwacji został przerwany i opóźniony. Dodatkowo musieliśmy ręcznie wpisać nazwy hostów do pliku C:WindowsSterowniki System32setchosts na serwerze Veeam Backup & Replication, aby zapewnić poprawność podczas przełączania.
Inny klient miał całą infrastrukturę tworzenia kopii zapasowych zbudowaną wokół napędów taśmowych, z jedynie krótkimi łańcuchami plików przechowywanymi na dysku. Kiedy konieczne było przywrócenie dużej liczby plików z dużego serwera plików, okazało się, że żadnego z komputerów nie można było użyć jako repozytorium kopii zapasowych podczas przywracania z taśmy, ponieważ na żadnym nie było wystarczającej ilości wolnego miejsca. (Możesz przeczytać o przywracaniu bezpośrednio z taśmy magnetycznej i korzystaniu z repozytorium pomocniczego tutaj (na razie po angielsku)).

Myślę, że we wszystkich trzech przykładach użytkownicy, że tak powiem, dali się zwieść złudzeniom – założyli, że jeśli kopia zapasowa się powiedzie, to nie będzie problemów z przywróceniem. Ale, jak rozumiesz, nie zawsze tak jest, dlatego do odzyskiwania musisz przygotować się równie ostrożnie, jak do tworzenia kopii zapasowej. Na początek warto się uczyć instrukcja obsługi, który zawiera dość szczegółowe informacje na temat różnych typów odzyskiwania. Na początku każdego akapitu wymienione są wymagania, etapy przygotowawcze i możliwe ograniczenia. Opis odzyskiwania z taśm lub migawek pamięci można znaleźć w działach dokumentacji oraz w naszym artykuły na Habré. Ponadto kroki przygotowania do przywracania obiektów aplikacji za pomocą narzędzia Veeam Explorer opisano w sekcji „Planowanie i przygotowanie”. przewodnicy dla każdego z instrumentów. Radzę dokładnie się z nimi zapoznać – pomoże to odpowiednio przygotować system do odzyskiwania, jeśli zajdzie taka potrzeba. Instrukcje przywracania bazy danych SQL Server podano w języku rosyjskim: tutaj.

Dlaczego nie powinienem pracować z replikami z konsoli vSphere?

W teorii repliki Veeam to zwykłe maszyny wirtualne, z którymi logiczna wydaje się praca z wykorzystaniem narzędzi vSphere, w szczególności klienta vSphere. Nie zalecamy jednak tego robić, a oto dlaczego: przejście na replikę w rozwiązaniu Veeam Backup & Replication to dość skomplikowany proces, wymagający ściśle sekwencyjnych kroków (aby w przypadku, gdy coś się stanie, można było cofnąć krok) i skorygowania końcowych działań - spójrz tylko na zdjęcie ilustrujące proces:

Jeśli zdecydujesz się włączyć replikę z klienta vSphere, w przyszłości najprawdopodobniej napotkasz szereg problemów:

Mechanizm przejścia na replikę z Veeam Backup & Replication (pokazany na schemacie) nie będzie już działał na tym komputerze.
Dane w bazie danych Veeam Backup nie będą odpowiadać faktycznemu stanowi maszyny wirtualnej. W najgorszym przypadku będziesz musiał edytować bazę danych, aby to naprawić.
Utrata danych jest nawet możliwa, jak w tym przykładzie: użytkownik ręcznie włączył replikę w kliencie vSphere i zdecydował się kontynuować z nią pracę. Po pewnym czasie zauważył, że replika nadal wyświetla się w konsoli Veeam Backup & Replication i zdecydował się ją usunąć, uznając ją za zbędną. Kliknąłem go prawym przyciskiem myszy i wydałem polecenie „Usuń z dysku”. Veeam Backup & Replication natychmiast usunął replikę z dysku, który przez chwilę był już w pełni wykorzystywany jako zwykła maszyna wirtualna i zawierał niezbędne i przydatne dane.

Oczywiście zdarzają się sytuacje, gdy trzeba jeszcze włączyć replikę z klienta vSphere – z reguły są to przypadki, gdy serwer Veeam jest wyłączony, a replikę trzeba włączyć z opóźnieniem. Ale jeśli wszystko jest w porządku z serwerem Veeam, musisz pracować z replikami z jego konsoli.

Nie należy również usuwać replik przy użyciu klienta vSphere. Rozwiązanie Veeam Backup & Replication pozostanie nieświadome tej zmiany, co może skutkować błędami i nieaktualnymi danymi. Jeśli nie potrzebujesz już repliki, usuń ją za pomocą konsoli Veeam, a nie jako maszynę wirtualną z klienta vSphere. Dzięki temu zawsze będziesz mieć aktualną listę replik.

„Och” - bądź ostrożny, aktualizacje!

Mamy tu oczywiście na myśli aktualizacje hypervisorów i różnych aplikacji, których kopie zapasowe tworzone są przy użyciu Veeam. Jeśli spojrzeć na nie z punktu widzenia pracy z Veeam Backup & Replication, to aktualizacje można podzielić na 2 kategorie: duże, poważne, wprowadzające dużo zmian – i małe.

Przyjrzyjmy się najpierw pierwszej kategorii.

Najważniejsze aktualizacje to te, które są skierowane do hypervisora. Przed zainstalowaniem takiej aktualizacji upewnij się, że jest ona obsługiwana przez rozwiązanie Veeam Backup & Replication. Aktualizacje te wprowadzają wiele zmian w bibliotekach i interfejsach API używanych przez rozwiązanie Veeam Backup & Replication, dlatego kod narzędzia Veeam Backup & Replication musi zostać zaktualizowany i dokładnie przetestowany, aby móc go oficjalnie obsługiwać.

Musimy też pamiętać, że np. VMware nie zapewnia producentom oprogramowania wcześniejszego dostępu do najnowszych wersji vSphere, dlatego programiści i testerzy Veeam otrzymują nową wersję w tym samym czasie, co reszta postępowej ludzkości – dlatego nie ma jest to zwykle opóźnienie pomiędzy wydaniem VMware a oficjalnie ogłoszonym wsparciem w określonym czasie. Liczba i różnorodność wymaganych zmian jest taka, że szanse na zmieszczenie ich w prostej poprawce są niewielkie, a oficjalna pomoc techniczna jest z reguły ogłaszana wraz z wydaniem nowej wersji rozwiązania Veeam Backup & Replication.

W rezultacie dochodzi do tego niezręcznego momentu, gdy po wydaniu nowej wersji vSphere liczba próśb o pomoc techniczną gwałtownie wzrasta, ponieważ użytkownicy spieszą się z instalacją nowej wersji, a ich kopie zapasowe oczywiście natychmiast przestają działać . My, pomoc techniczna firmy Veeam, musimy wyjaśnić użytkownikom, co dokładnie zrobili źle, poprosić ich o wycofanie (jeśli to możliwe) lub zaproponować skomplikowane sposoby wyjścia z impasu. Dlatego przed zainstalowaniem poważnej aktualizacji koniecznie sprawdź jej kompatybilność z oprogramowaniem, którego używasz, błagam!

Wszystkie powyższe dotyczą także aplikacji, których kopie zapasowe tworzysz i które zamierzasz przywrócić za pomocą rozwiązania Veeam. Linia narzędzi Veeam Explorers zawiera także listę obsługiwanych wersji odpowiednich aplikacji, która jest aktualizowana wraz z każdą wersją rozwiązania Veeam Backup & Replication. Dlatego przed zainstalowaniem nowej wersji swojej aplikacji – czy to Exchange, Oracle czy SharePoint – koniecznie ponownie przeczytaj odpowiednią sekcję Dokumentacja narzędzia Veeam Explorer.

Do drugiej kategorii, tj. Do małych aktualizacji zaliczam na przykład nowe wersje VMware Tools, zbiorcze aktualizacje Exchange, aktualizacje zabezpieczeń vSphere itp. Zazwyczaj nie wprowadzają one żadnych większych modyfikacji i w większości przypadków Veeam Backup & Replication nie ma z nimi problemów. (Dlatego nie ma publicznych zapowiedzi o oficjalnym wsparciu w produkcie dla nich.) Jednak w naszej praktyce zdarzały się przypadki, gdy takie aktualizacje zmieniały zwykły bieg rzeczy na tyle znacząco, że prowadziły do błędów w działaniu Veeam Backup & Replikacja. W takich sytuacjach po potwierdzeniu problemu inżynierowie firmy Veeam starają się szybko opublikować poprawkę.

Dla tych, którzy mówią po angielsku technicznymJeśli chcesz być na bieżąco z tym nad czym pracują inżynierowie i z czym borykają się architekci systemów i specjaliści wsparcia technicznego, polecam subskrypcję nasze fora. Co tydzień dla jego subskrybentów publikowany jest biuletyn „Słowo z Gostiwa”. Prawdziwy Gostiew. Opowiada w nim o wykrytych ostatnio problemach (i to nie tylko po stronie Veeam), planach na nowe wersje oraz nowościach ze świata IT, Anton Gostiew, szef działu zarządzania produktami. Jeśli potrzebujesz więcej informacji, możesz przestudiować tematy na forum - jeśli któryś z klientów ma problem z działaniem produktu po jakiejkolwiek aktualizacji, najprawdopodobniej pisał już o tym na forum.

Jak rozumiesz, łatki i aktualizacje mogą powodować problemy nie tylko z kopiami zapasowymi, ale także z aplikacjami, dla których te kopie zapasowe są tworzone. I tutaj z pomocą przyjdą Ci wirtualne laboratoria – Veeam DataLabs. Prawdopodobnie słyszałeś o funkcjonalności SureBackup umożliwiającej weryfikację kopii zapasowych. Polega ona właśnie na wykorzystaniu DataLabs, z utworzeniem izolowanego środowiska, w którym w szczególności można testować aktualizacje przed ich zainstalowaniem w środowisku produkcyjnym. Gorąco Ci to radzę - oszczędzisz sobie mnóstwo komórek nerwowych. A jeśli ktoś jeszcze nie wie o SureBackup, polecam lekturę dokumentacja.

Myślę, że to wszystko, co mam na dzisiaj, dziękuję za uwagę!