{"id":33622,"date":"2019-10-31T21:53:47","date_gmt":"2019-10-31T18:53:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/veeam-backup-replication-poleznye-sovety-po-obespecheniyu-zhiznesposobnosti-bekapov-i-replik\/"},"modified":"2019-10-31T21:53:47","modified_gmt":"2019-10-31T18:53:47","slug":"veeam-backup-replication-poleznye-sovety-po-obespecheniyu-zhiznesposobnosti-bekapov-i-replik","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/veeam-backup-replication-poleznye-sovety-po-obespecheniyu-zhiznesposobnosti-bekapov-i-replik","title":{"rendered":"Veeam Backup & Replication: przydatne wskaz\u00f3wki dotycz\u0105ce zapewnienia trwa\u0142o\u015bci kopii zapasowych i replik","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dzi\u015b ponownie z przyjemno\u015bci\u0105 przedstawiam przydatne porady od mojego kolegi Jewgienija Iwanowa, lidera zespo\u0142u wsparcia technicznego Veeam. Tym razem \u017benia podzieli\u0142 si\u0119 rekomendacjami dotycz\u0105cymi pracy z kopi\u0105 zapasow\u0105 i replikami. Mam nadziej\u0119, \u017ce pomog\u0105 one unikn\u0105\u0107 typowych b\u0142\u0119d\u00f3w, a wasze repliki i kopie zapasowe nigdy nie b\u0119d\u0105 \"najs\u0142abszym ogniwem\" w procesie przywracania, gdyby zajdzie taka potrzeba. <\/p>\n

Zatem, witamy pod spodem.<\/p>\n

\"Veeam
\n<\/a><\/noindex>
\nW moim poprzednim artyku\u0142<\/a><\/noindex> rozmawiali\u015bmy o optymalizacji obci\u0105\u017cenia komponent\u00f3w infrastruktury kopii zapasowej oraz omawiali\u015bmy typowe b\u0142\u0119dy konfiguracyjne. Przechodzimy do innego wa\u017cnego tematu \u2013 prawid\u0142owego przygotowania i wykonania przywracania. I ten temat r\u00f3wnie\u017c om\u00f3wimy na rzeczywistych przyk\u0142adach, z kt\u00f3rymi mia\u0142y do czynienia zespo\u0142y wsparcia technicznego.<\/p>\n

Kopia zapasowa bez test\u00f3w \u2013 to pieni\u0105dze wyrzucone w b\u0142oto<\/h1>\n

\nRegularnie zwracaj\u0105 si\u0119 do nas u\u017cytkownicy, kt\u00f3rzy znale\u017ali si\u0119 w podobnych k\u0142opotliwych sytuacjach: konieczne jest przywr\u00f3cenie z kopii zapasowej, ale przy pr\u00f3bie zrobienia tego napotykaj\u0105 na problem, kt\u00f3ry dla nich jest nie do rozwi\u0105zania. A problem ten wcale nie jest spowodowany brakiem kopii zapasowej, dzia\u0142aniem CryptoLockera ani niczym podobnym. To \"tylko\" brak wystarczaj\u0105cej uwagi po\u015bwi\u0119conej weryfikacji mo\u017cliwo\u015bci przywr\u00f3cenia kopii zapasowych i replik. Wielu cz\u0119sto koncentruje si\u0119 wy\u0142\u0105cznie na procesie tworzenia kopii zapasowej, zapominaj\u0105c, \u017ce sama obecno\u015b\u0107 kopii zapasowej nie jest panaceum na mo\u017cliwe nieszcz\u0119\u015bcia. Nale\u017cy zrozumie\u0107, \u017ce przywracanie to zupe\u0142nie inny proces, kt\u00f3ry ma swoje specyfiki i kt\u00f3ry nale\u017cy kontrolowa\u0107 i testowa\u0107 przed wdro\u017ceniem do produkcji. Oto kilka znakomitych przyk\u0142ad\u00f3w:<\/p>\n

    \n
  1. U u\u017cytkownika wyst\u0105pi\u0142a awaria krytycznej maszyny wirtualnej o pojemno\u015bci 20 TB. Przestoje s\u0105 oczywi\u015bcie niedopuszczalne, a administrator uruchamia proces b\u0142yskawicznego przywracania (VM instant recovery) \u2013 po 5 minutach maszyna jest gotowa. Ale pami\u0119tamy, \u017ce taki stan maszyny mo\u017ce by\u0107 u\u017cywany tylko tymczasowo \u2013 nale\u017cy j\u0105 na pewno przenie\u015b\u0107 z powrotem na produkcyjny datastore. A w tym przyk\u0142adzie okaza\u0142o si\u0119, \u017ce mo\u017cliwo\u015bci infrastruktury nie pozwala\u0142y na skopiowanie 20 TB danych w rozs\u0105dnym czasie. W ustawieniach procesu b\u0142yskawicznego przywracania wybrano opcj\u0119 zapisywania zmian na dysku. Z:<\/i> Serwery Veeam Backup & Replication (w przeciwie\u0144stwie do zrzutu vSphere) \u2013 w efekcie, oczywi\u015bcie, miejsce na dysku szybko si\u0119 sko\u0144czy\u0142o. W momencie, gdy u\u017cytkownik skontaktowa\u0142 si\u0119 z pomoc\u0105 techniczn\u0105, na VM zasz\u0142y zmiany, kt\u00f3rych nie mo\u017cna by\u0142o zignorowa\u0107. Mamy wi\u0119c sytuacj\u0119, w kt\u00f3rej nie mo\u017cna szybko zako\u0144czy\u0107 procesu natychmiastowego przywracania krytycznej maszyny \u2013 jak w takim razie uratowa\u0107 dane?\n

    Szczerze m\u00f3wi\u0105c, z up\u0142ywem lat ju\u017c nie przypomn\u0119 sobie wszystkich szczeg\u00f3\u0142\u00f3w zako\u0144czenia, ale pami\u0119tam, \u017ce w ko\u0144cu nie wymy\u015blili\u015bmy nic genialnego. Klienci po swojej stronie, w miar\u0119 mo\u017cliwo\u015bci, rozwi\u0105zali ten problem, rozszerzaj\u0105c dysk C: z rezerw, skopiowali najwa\u017cniejsze pliki, a dopiero potem wy\u0142\u0105czyli VM i tak przeprowadzili migracj\u0119. Og\u00f3lnie rzecz bior\u0105c, cudu nie by\u0142o.<\/li>\n

  2. W infrastrukturze u\u017cytkownika dzia\u0142a\u0142 jeden kontroler domeny, a wszystkie komponenty Veeam Backup & Replication by\u0142y skonfigurowane z u\u017cyciem DNS. Tak, dobrze s\u0142yszycie. By\u0142o co najmniej sto mo\u017cliwych scenariuszy, a rzeczywisto\u015b\u0107 potoczy\u0142a si\u0119 tak: ludzie zaplanowali konserwacj\u0119 i zdecydowali si\u0119 prze\u0142\u0105czy\u0107 na replik\u0119 swojego kontrolera domeny. Wykorzystali zaplanowane prze\u0142\u0105czenie, co zreszt\u0105 zaleca si\u0119 w takich sytuacjach. Na pierwszym etapie wszystko sz\u0142o dobrze, a na drugim pierwotn\u0105 VM na chwil\u0119 wy\u0142\u0105czono, aby przenie\u015b\u0107 pozosta\u0142e dane. Oczywi\u015bcie zadanie prze\u0142\u0105czenia natychmiast zako\u0144czy\u0142o si\u0119 b\u0142\u0119dem, poniewa\u017c DNS przesta\u0142 dzia\u0142a\u0107.\n

    Na szcz\u0119\u015bcie uda\u0142o nam si\u0119 poradzi\u0107 sobie z sytuacj\u0105, uruchamiaj\u0105c replik\u0119 r\u0119cznie z vSphere (w rzeczywisto\u015bci t\u0119 operacj\u0119 zaleca si\u0119 przeprowadza\u0107 ostro\u017cnie, co zobaczycie w nast\u0119pnym przyk\u0142adzie). Ale, jak rozumiecie, proces konserwacji zosta\u0142 przerwany i od\u0142o\u017cony. Dodatkowo musieli\u015bmy r\u0119cznie wprowadzi\u0107 nazwy host\u00f3w do pliku C:WindowsSystem32driversetchosts<\/i> na serwerze Veeam Backup & Replication, aby zapewni\u0107 poprawno\u015b\u0107 podczas odwrotnego prze\u0142\u0105czania.<\/li>\n

  3. U innego klienta ca\u0142a infrastruktura kopii zapasowej zosta\u0142a zbudowana wok\u00f3\u0142 no\u015bnik\u00f3w ta\u015bmowych, a na dysku przechowywane by\u0142y jedynie kr\u00f3tkie ci\u0105gi plik\u00f3w. Kiedy jednak potrzebowali przywr\u00f3ci\u0107 szereg plik\u00f3w z du\u017cego serwera plik\u00f3w, okaza\u0142o si\u0119, \u017ce \u017cadna maszyna nie mo\u017ce by\u0107 u\u017cyta jako pomocnicze repozytorium przy przywracaniu z ta\u015bmy, poniewa\u017c na \u017cadnej z nich nie by\u0142o wystarczaj\u0105co du\u017co wolnego miejsca. (O przywracaniu z ta\u015bmy bezpo\u015brednio i z u\u017cyciem pomocniczego repozytorium mo\u017cna przeczyta\u0107 tutaj<\/a><\/noindex> (na razie w j\u0119zyku angielskim)).<\/li>\n<\/ol>\n

    \nMy\u015bl\u0119, \u017ce w ka\u017cdym z trzech przypadk\u00f3w u\u017cytkownicy, mo\u017cna powiedzie\u0107, byli w pu\u0142apce iluzji \u2013 za\u0142o\u017cyli, \u017ce je\u015bli kopia zapasowa zosta\u0142a wykonana pomy\u015blnie, to z przywracaniem nie b\u0119dzie problem\u00f3w. Ale, jak wszyscy rozumiej\u0105, wcale nie zawsze tak jest, i dlatego do przywracania nale\u017cy si\u0119 przygotowa\u0107 r\u00f3wnie starannie, jak do tworzenia kopii zapasowej. Na pocz\u0105tek warto zapozna\u0107 si\u0119 z instrukcj\u0105 obs\u0142ugi<\/a><\/noindex>, kt\u00f3ra zawiera do\u015b\u0107 szczeg\u00f3\u0142owe informacje o r\u00f3\u017cnych rodzajach przywracania. Na pocz\u0105tku ka\u017cdego rozdzia\u0142u wymienione s\u0105 wymagania, dzia\u0142ania przygotowawcze i mo\u017cliwe ograniczenia. Opis przywracania z ta\u015bm lub z migawek hardware'owych mo\u017cna znale\u017a\u0107 w sekcjach dokumentacji oraz naszych artyku\u0142ach<\/a><\/noindex> na Habrze. Ponadto dzia\u0142ania przygotowawcze do przywracania obiekt\u00f3w aplikacji za pomoc\u0105 narz\u0119dzi Veeam Explorers s\u0105 opisane w rozdziale \u201ePlanowanie i przygotowanie\u201d dla ka\u017cdego z narz\u0119dzi. Polecam dok\u0142adne zapoznanie si\u0119 z nimi \u2013 pomo\u017ce to prawid\u0142owo przygotowa\u0107 system do przywracania w razie potrzeby. W j\u0119zyku rosyjskim instrukcje dla przywracania bazy danych SQL Server s\u0105 przedstawione przewodniki<\/a><\/noindex> Dlaczego nie nale\u017cy pracowa\u0107 z replikami z poziomu konsoli vSphere? tutaj<\/a><\/noindex>.<\/p>\n

    Teoretycznie, repliki Veeam s\u0105 zwyk\u0142ymi maszynami wirtualnymi, z kt\u00f3rymi, wydawa\u0142oby si\u0119, logicznie jest pracowa\u0107, korzystaj\u0105c z narz\u0119dzi vSphere, w szczeg\u00f3lno\u015bci klienta vSphere. Jednak nie zalecamy tego robi\u0107, i oto dlaczego: prze\u0142\u0105czenie na replik\u0119 w Veeam Backup & Replication to do\u015b\u0107 skomplikowany proces, wymagaj\u0105cy \u015bci\u015ble uporz\u0105dkowanego wykonania krok\u00f3w (aby w razie czego mo\u017cna by\u0142o cofn\u0105\u0107 si\u0119 o krok) oraz prawid\u0142owych zako\u0144cze\u0144 dzia\u0142a\u0144 \u2013 wystarczy spojrze\u0107 na obrazek ilustruj\u0105cy proces:<\/h1>\n

    \nTeoretycznie replikacje Veeam s\u0105 po prostu zwyk\u0142ymi maszynami wirtualnymi, z kt\u00f3rymi, wydaje si\u0119, logicznie by\u0142oby pracowa\u0107 przy u\u017cyciu narz\u0119dzi vSphere, w szczeg\u00f3lno\u015bci klienta vSphere. Jednak nie zalecamy tego i oto dlaczego: prze\u0142\u0105czenie na replik\u0119 w Veeam Backup & Replication to proces do\u015b\u0107 skomplikowany, wymagaj\u0105cy \u015bci\u015ble kolejnego wykonania krok\u00f3w (aby w razie czego mo\u017cna by\u0142o cofn\u0105\u0107 si\u0119 o krok) oraz poprawnych dzia\u0142a\u0144 ko\u0144cowych \u2013 wystarczy spojrze\u0107 na obrazek ilustruj\u0105cy ten proces:<\/p>\n

    \"Veeam
    \n
    \nJe\u015bli zdecydujecie si\u0119 w\u0142\u0105czy\u0107 replik\u0119 z klienta vSphere, to z du\u017cym prawdopodobie\u0144stwem b\u0119dziecie mieli szereg problem\u00f3w:<\/p>\n

      \n
    1. Mechanizm prze\u0142\u0105czania na replik\u0119 z Veeam Backup & Replication (pokazany na schemacie) dla tej maszyny nie b\u0119dzie ju\u017c dzia\u0142a\u0142.<\/li>\n
    2. Dane w bazie Veeam Backup nie b\u0119d\u0105 odpowiada\u0107 rzeczywistemu stanowi VM. W najgorszym przypadku, aby to naprawi\u0107, trzeba b\u0119dzie edytowa\u0107 baz\u0119.<\/li>\n
    3. Mo\u017cliwa jest nawet utrata danych, jak w tym przyk\u0142adzie: u\u017cytkownik r\u0119cznie w\u0142\u0105czy\u0142 replik\u0119 w kliencie vSphere i postanowi\u0142 kontynuowa\u0107 prac\u0119 z ni\u0105. Po pewnym czasie zauwa\u017cy\u0142, \u017ce replika wci\u0105\u017c jest wy\u015bwietlana w konsoli Veeam Backup & Replication i postanowi\u0142 j\u0105 usun\u0105\u0107, uznaj\u0105c za zb\u0119dn\u0105. Klikn\u0105\u0142 na ni\u0105 prawym przyciskiem i wyda\u0142 polecenie \u201eDelete from disk\u201d<\/i>. Veeam Backup & Replication natychmiast usun\u0105\u0142 replik\u0119 z dysku, kt\u00f3ra, nawiasem m\u00f3wi\u0105c, by\u0142a ju\u017c wykorzystywana jako zwyk\u0142a VM i zawiera\u0142a potrzebne oraz przydatne dane.<\/li>\n<\/ol>\n

      \nOczywi\u015bcie zdarzaj\u0105 si\u0119 sytuacje, kiedy jednak trzeba w\u0142\u0105czy\u0107 replik\u0119 z klienta vSphere \u2013 zazwyczaj s\u0105 to przypadki, kiedy serwer Veeam jest wy\u0142\u0105czony, a replik\u0119 nale\u017cy w\u0142\u0105czy\u0107 z op\u00f3\u017anieniem. Ale je\u015bli z serwerem Veeam wszystko w porz\u0105dku, to praca z replikami powinna odbywa\u0107 si\u0119 w\u0142a\u015bnie z jej konsoli.<\/p>\n

      Nie nale\u017cy tak\u017ce usuwa\u0107 replik, korzystaj\u0105c z klienta vSphere. Veeam Backup & Replication pozostanie w nie\u015bwiadomo\u015bci na temat takiej zmiany, a to grozi b\u0142\u0119dami i przestarza\u0142ymi danymi. Je\u015bli replika jest ju\u017c niepotrzebna, usu\u0144 j\u0105 za pomoc\u0105 konsoli Veeam, a nie jako VM z klienta vSphere. Dzi\u0119ki temu zawsze b\u0119dziesz mie\u0107 aktualn\u0105 list\u0119 replik. <\/p>\n

      \u201eO\u201d \u2013 uwaga, aktualizacje!<\/h1>\n

      \nMamy tu na my\u015bli, oczywi\u015bcie, aktualizacje dla hypervisor\u00f3w i r\u00f3\u017cnorodnych aplikacji, kt\u00f3re s\u0105 backupowane za pomoc\u0105 Veeam. Je\u015bli spojrze\u0107 na nie z perspektywy pracy z Veeam Backup & Replication, to aktualizacje mo\u017cna umownie podzieli\u0107 na 2 kategorie: du\u017ce, powa\u017cne, wprowadzaj\u0105ce wiele zmian \u2013 i ma\u0142e.<\/p>\n

      Rozwa\u017cmy najpierw pierwsz\u0105 kategori\u0119. <\/p>\n

      Najwa\u017cniejsze aktualizacje to te, kt\u00f3re s\u0105 przeznaczone dla hypervisora. Przed zainstalowaniem takiej aktualizacji nale\u017cy koniecznie upewni\u0107 si\u0119, \u017ce jest ona wspierana przez Veeam Backup & Replication. Takie aktualizacje wprowadzaj\u0105 wiele zmian w bibliotekach i interfejsach API u\u017cywanych przez Veeam Backup & Replication, dlatego aby oficjalnie og\u0142osi\u0107 ich wsparcie, konieczne jest zaktualizowanie kodu Veeam Backup & Replication oraz przeprowadzenie dok\u0142adnych test\u00f3w. <\/p>\n

      Nale\u017cy r\u00f3wnie\u017c pami\u0119ta\u0107, \u017ce na przyk\u0142ad VMware nie udost\u0119pnia wcze\u015bniejszego dost\u0119pu do najnowszych wersji vSphere dla producent\u00f3w oprogramowania, wi\u0119c deweloperzy i testerzy Veeam otrzymuj\u0105 now\u0105 wersj\u0119 w tym samym czasie, co ca\u0142a post\u0119powa ludno\u015b\u0107 \u2013 dlatego mi\u0119dzy wydaniem VMware a oficjalnym og\u0142oszeniem wsparcia zazwyczaj up\u0142ywa pewien czas. Liczba i r\u00f3\u017cnorodno\u015b\u0107 niezb\u0119dnych zmian jest na tyle du\u017ca, \u017ce w prosty hotfix trudno je pomie\u015bci\u0107 \u2013 a oficjalne wsparcie zazwyczaj og\u0142aszane jest razem z wydaniem wersji produkcyjnej Veeam Backup & Replication. <\/p>\n

      W efekcie pojawia si\u0119 ten niezr\u0119czny moment, kiedy po wydaniu nowej wersji vSphere liczba zg\u0142osze\u0144 do pomocy technicznej gwa\u0142townie ro\u015bnie, poniewa\u017c u\u017cytkownicy bez namys\u0142u rzucaj\u0105 si\u0119 na instalacj\u0119 nowej wersji, a ich kopie zapasowe oczywi\u015bcie natychmiast przestaj\u0105 dzia\u0142a\u0107. My \u2013 pomoc techniczna Veeam \u2013 musimy wyja\u015bnia\u0107 u\u017cytkownikom, co dok\u0142adnie zrobili \u017ale, prosz\u0105c ich o powr\u00f3t (je\u015bli to mo\u017cliwe) lub wymy\u015blaj\u0105c z\u0142o\u017cone sposoby wyj\u015bcia z impasu. Dlatego przed zainstalowaniem powa\u017cnej aktualizacji koniecznie sprawd\u017a jej kompatybilno\u015b\u0107 z oprogramowaniem, kt\u00f3re u\u017cywasz, bardzo ci\u0119 prosz\u0119!<\/b><\/p>\n

      Wszystko, co powiedziano powy\u017cej, odnosi si\u0119 r\u00f3wnie\u017c do aplikacji, kt\u00f3re tworzysz kopie zapasowe i planujesz przywraca\u0107 za pomoc\u0105 Veeam. Linia narz\u0119dzi Veeam Explorers r\u00f3wnie\u017c ma list\u0119 wspieranych wersji odpowiednich aplikacji, kt\u00f3ra jest uzupe\u0142niana z ka\u017cdym wydaniem Veeam Backup & Replication. Dlatego przed zainstalowaniem nowej wersji swojej aplikacji \u2013 czy to Exchange, Oracle czy SharePoint \u2014 koniecznie przestudiuj odpowiedni\u0105 sekcj\u0119 dokumentacji Veeam Explorers<\/a><\/noindex>.<\/p>\n

      Do drugiej kategorii, czyli do niewielkich aktualizacji, zaliczam na przyk\u0142ad nowe wersje VMware Tools, aktualizacje kumulacyjne Exchange, aktualizacje bezpiecze\u0144stwa vSphere itd. Zazwyczaj nie nios\u0105 one ze sob\u0105 \u017cadnych powa\u017cnych modyfikacji i w wi\u0119kszo\u015bci przypadk\u00f3w Veeam Backup & Replication nie ma z nimi problem\u00f3w. (Dlatego nie ma publicznych og\u0142osze\u0144 o oficjalnym wsparciu w produkcie.) Jednak w naszej praktyce spotykali\u015bmy przypadki, kiedy takie aktualizacje znacz\u0105co zmienia\u0142y dotychczasowy bieg wydarze\u0144, co prowadzi\u0142o do b\u0142\u0119d\u00f3w w dzia\u0142aniu Veeam Backup & Replication. W takich sytuacjach po potwierdzeniu problemu in\u017cynierowie Veeam staraj\u0105 si\u0119 szybko wyda\u0107 hotfix.<\/p>\n

      Dla tych, kt\u00f3rzy znaj\u0105 techniczny angielski<\/b>Je\u015bli chcesz by\u0107 na bie\u017c\u0105co z tym, nad czym pracuj\u0105 in\u017cynierowie i z czym zmagaj\u0105 si\u0119 architekci system\u00f3w oraz specjali\u015bci wsparcia technicznego, polecam zapisa\u0107 si\u0119 na nasze forum<\/a><\/noindex>. Co tydzie\u0144 dla jego subskrybent\u00f3w wychodzi newsletter \u201eWord from Gostev\u201d autorstwa TheRealGostev<\/a><\/noindex>. W nim Anton Gostev, kieruj\u0105cy dzia\u0142em zarz\u0105dzania produktem, opowiada o niedawno znalezionych problemach (nie tylko po stronie Veeam), planach na nowe wersje i nowinkach ze \u015bwiata IT. Je\u015bli potrzebujesz wi\u0119cej informacji, mo\u017cna przestudiowa\u0107 tematy na forum \u2013 je\u015bli kt\u00f3ry\u015b z klient\u00f3w napotka problem z dzia\u0142aniem produktu po jakiejkolwiek aktualizacji, prawdopodobnie ju\u017c napisa\u0142 o tym na forum.<\/p>\n

      Jak rozumiesz, patche i aktualizacje mog\u0105 prowadzi\u0107 do problem\u00f3w nie tylko z kopiami zapasowymi, ale i z aplikacjami, dla kt\u00f3rych te kopie s\u0105 tworzone. I tutaj pomog\u0105 wirtualne laboratoria \u2013 Veeam DataLabs. Na pewno s\u0142ysza\u0142e\u015b o funkcjonalno\u015bci SureBackup, przeznaczonej do weryfikacji kopii zapasowych. Opiera si\u0119 ona w\u0142a\u015bnie na zastosowaniu DataLabs, z utworzeniem izolowanego \u015brodowiska, w kt\u00f3rym mo\u017cna na przyk\u0142ad testowa\u0107 aktualizacje przed ich wprowadzeniem do produkcji. Gor\u0105co to polecam \u2013 zaoszcz\u0119dzisz sobie wiele nerw\u00f3w. A je\u015bli kto\u015b jeszcze nie wie o SureBackup, polecam poczyta\u0107 dokumentacj\u0119<\/a><\/noindex>.<\/p>\n

      Na dzi\u015b to wszystko, dzi\u0119kuj\u0119 za uwag\u0119!<\/p>\n

      Co jeszcze przeczyta\u0107<\/h1>\n

      \nArtyku\u0142y na Habrze:<\/p>\n