Veeam Log Diving: komponente i rečnik

Veeam Log Diving: komponente i rečnik

U Veeam-u volimo logove. Kako su većina naših rešenja modularna, pišu dovoljno logova. Budući da je naš sektor delatnosti zaštita vaših podataka (tj. miran san), logovi ne bi trebalo samo da beleže svaku sitnicu, već to treba da čine prilično detaljno. Ovo je neophodno kako bi u slučaju bilo kakvih problema bilo jasno kako je do toga došlo, ko je odgovoran i šta dalje raditi. Ovdje je kao u kriminalistici: nikada ne znaš koja sitnica će ti pomoći da pronađeš ubicu Lore Palmer.

Zato sam odlučio da započnem seriju članaka u kojima ću postepeno govoriti o tome šta beležimo u logovima, gde ih čuvamo, kako ne poludeti od njihove strukture i šta tražiti unutar njih.

Zašto serija članaka i zašto ne opisati sve odjednom?

Jednostavno navođenje gde se koji log nalazi i šta u njemu stoji – prilično beznadna ideja. A o održavanju tih informacija ažurnim nije ni vredno razmišljati. Prosto navođenje svih mogućih vrsta logova u Veeam Backup & Replication – to je tabela na nekoliko strana sitnim slovima. I biće aktuelna samo u trenutku objavljivanja, jer pri izlasku sledećeg popravka mogu se pojaviti novi logovi, može se promeniti logika čuvane informacije u starima itd. Stoga će biti korisnije objasniti njihovu strukturu i suštinu sadržane informacije. To će pomoći da se bolje snalazimo nego što bi jednostavno učenje naziva.

Stoga, kako ne bismo skočili direktno u more tekstualnih materijala, hajde da u ovom članku obavimo neku pripremnu obradu. Zato danas nećemo zalaziti u same logove, već ćemo prići izdaleka: sastavićemo rečnik i malo razgovarati o strukturi Veeam-a iz perspektive generisanja logova.

Rečnik i žargon

Ovde se prvo izvinjavam pobornicima čistote srpskog jezika i svedocima rečnika Ožegova. Svi mi jako volimo svoj maternji jezik, ali prokleta IT industrija funkcioniše na engleskom. Pa, nismo to smislili, tako se istorijski dogodilo. Nisam kriva, sama je došla (c)

U našem poslu problem anglizama (i žargona) ima svoju specifičnost. Kada pod nevinnim rečima poput „host” ili „gost” ceo svet već dugo razume veoma konkretne stvari, na ⅙ delovima kopna i dalje traje herojski razdor i nesigurnost u korišćenju rečnika. I obavezni argument „A kod nas na poslu…”.

Pored toga postoji i naša terminologija koja je svojstvena proizvodima Veeam, iako su neka reči i izrazi postali opšteprihvaćeni. Zbog toga ćemo se sada dogovoriti šta koji termin znači, i ubuduće pod rečju „gost” ću imati na umu upravo ono što je napisano u ovom poglavlju, a ne ono na šta ste vi navikli u svom radu. I da, ovo nije lična moja prohtjev, to su uspostavljeni termini u industriji. Boriti se protiv njih je prilično besmisleno. Ipak, uvek sam za raspravu u komentarima.

Nažalost, termina u našem radu i proizvodima je izuzetno mnogo, tako da nećemo pokušavati da ih sve pobrojimo. Samo ćemo se fokusirati na najosnovnije i najneophodnije za preživljavanje u moru informacija o backup-ima i logovima. Za one koji su zainteresovani, mogu takođe predložiti članak kolega o trakama, gde je takođe naveo spisak termina koji se odnose na tu vrstu funkcionalnosti.

Host (Host): U svetu virtualizacije to je mašina sa hipervizorom. Fizička, virtuelna, cloud — nije bitno. Ako se na nečemu pokreće hipervizor (ESXi, Hyper-V, KVM itd.), to „nešto” se naziva hostom. Bilo da je to klaster od deset rackova ili vaš laptop sa labaratorijom sa jednom i po virtuelnom mašinom — ako ste pokrenuli hipervizor, onda ste postali host. Jer hipervizor hostuje virtuelne mašine. Postoji čak i anegdota da je VMware svojevremeno želeo da postigne čvrstu asocijaciju reči host isključivo sa ESXi. Ali im nije uspelo.

U savremenom svetu pojam „host” se praktično stopio s pojmom „server”, što stvara određenu konfuziju u komunikaciji, posebno kada je reč o Windows infrastrukturi. Dakle, svaka mašina na kojoj se nalazi neka nam zanimljiva usluga može se slobodno nazvati hostom. Na primer, u logovima WinSock reč host označava sve i svašta. Klasični primer je „Host not found”. Tako da polazimo od konteksta, ali zapamtimo — u svetu virtualizacije host je onaj koji hostuje goste (o tome već u sledećem pasusu).

Iz lokalnih žargonizama (više akronima, u ovom slučaju) ovdje se sjeća da je VMware - VI, vSphere - VC, a Hyper-V - HV.

Gost (Guest): Virtualna mašina koja radi na hostu. Ovdje ni ne treba objašnjavati, sve je logično i jednostavno. Međutim, mnogi nastoje ovdje unijeti neke druge značenja.

Zašto? Ne znam.
Guest OS, odnosno operativni sustav gostujuće mašine. I tako dalje.

Backup/Replication Job (posao): Čisti VMware žargon, koji označava jedan od zadataka. Backup job == Backup posao. Kako to lijepo prevesti na ruski - nitko nije smislio, zato svi kažu "posao". S naglaskom na posljednji slog.

Da, tako jednostavno uzimaju i kažu "posao". Čak i u e-mailovima tako pišu, i sve prolazi.
Razni backup poslovi, backup zadaci itd., hvala, ali ne treba. Samo posao, i razumjet će vas. Glavno je naglasiti na posljednjem slogu.

Backup (backup, za prave oldfagove dopušteno je i backup): Osim očitog (rezervne kopije podataka koja negdje leži), također označava i sam zadatak (tri retka iznad, ako ste zaboravili), kao rezultat kojeg nastaje ta rezervna datoteka. Vjerojatno, gospodo nositelji engleskog su previše lijeni da svaki put govore "I ran my backup job", pa jednostavno kažu "I ran my backup", i svi se međusobno odlično razumiju. Predlažem da podržimo ovu divnu inicijativu.

Konsolidacija (Consolidate): Termin koji se pojavio u ESXi 5.0. Opcija u izborniku rada sa snapshot-ima, koja pokreće proces brisanja takozvanih orphaned snapshot-a. To jest, snapshot-a koji fizički postoje, ali su ispali iz prikazane logičke strukture. Teoretski, ovaj proces ne bi trebao dodirnuti datoteke prikazane u upravitelju snapshot-a, ali se zna dogoditi raznih situacija. Bit procesa konsolidacije je u tome da se podaci iz snapshot-a (child disk) zapisaju u glavni (parent) disk. Proces spajanja diskova naziva se merge. Ako je zapovijed za konsolidaciju dana, zapis o snapshot-u može biti uklonjen iz baze prije nego što bude spojen i obrisan. I ako se snapshot nije uspio obrisati iz bilo kojeg razloga, pojavljuju se ti orphaned snapshot-i. O radu sa snapshot-ima VMware ima ne loš KB. A i mi smo također o njima pisali na Habr-u.

Datastore (Store ili storage):  Veoma širok pojam, ali u svetu virtualizacije odnosi se na mesto gde se čuvaju fajlovi virtuelnih mašina. Međutim, ovde je važno veoma jasno razumeti kontekst i u slučaju bilo kakve sumnje razjasniti šta tačno vaš sagovornik misli. 

Proxy (Proksi): Važno je odmah razumeti da Veeam Proxy nije potpuno isto što smo navikli na internetu. U okviru proizvoda od Veeam, to je neka vrsta entiteta koja se bavi premeštanjem podataka s jednog mesta na drugo. Ukoliko ne ulazimo u detalje, VBR je komandni server, a proksi su njegovi radni konji. Dakle, proksi je mašina kroz koju prolazi saobraćaj i na kojoj su instalirane komponente VBR-a koje pomažu u upravljanju tim saobraćajem. Na primer, premeštaju podatke iz jednog kanala u drugi ili jednostavno povezuju diskove (HotAdd režim).

Repository (Repozitorijum):  Tehnički, to je samo zapis u bazi VBR, koji ukazuje na mesto gde se nalaze bekapi i kako se povezati s tim mestom. To može biti jednostavna CIFS share, kao i poseban disk, server ili kante u oblaku. Ponovo, nalazimo se u kontekstu, ali razumemo da je repozitorijum jednostavno mesto gde se nalaze vaši bekapi.

 Snapshot (Snašot): Ljubitelji oksfordske gramatike preferiraju da govore ko snašot, ko snašot, ali neobrazovana većina pobedjuje zbog veće mase. Ako neko ne zna — to je tehnologija koja omogućava vraćanje stanja diska na određeni trenutak. Ovo se postiže ili privremenim preusmeravanjem I/O operacija od glavnog diska — tada će se zvati RoW (Redirect on Write) snašot — ili premeštanjem ponovo zapisivanih blokova s vašeg diska na drugi — to će se zvati CoW (Copy on Write) snašot. Baš zahvaljujući širokim mogućnostima primene ovih funkcija Veeam može da vrši svoju bekap magiju. Strogo govoreći, ne samo on, ali to je tema narednih izdanja.

U dokumentaciji i logovima ESXi oko ovog pojma vlada haos, i u kontekstu pominjanja snimaka može se naći i samih snimaka, i redo logova, pa čak i delta diska. U Veeam dokumentaciji nema tog nereda, i snimak — to je snimak, a redo log je zapravo REDO fajl, kreiran nezavisnim non-persistent diskom. REDO fajlovi se brišu prilikom gašenja virtuelne mašine, tako da mešanje sa snimcima vodi do neuspeha.

Synthetic (Sintetički): Sintetičke rezervne kopije pripadaju reverse incremental i forever forward rezervnim kopijama. Ako se slučajno niste sreli sa ovim pojmom, to je samo jedan od mehanizama koji se koristi za izgradnju transformacije rezervne kopije. Međutim, u logovima se takođe može naići na pojam Transform, koji se koristi u okviru stvaranja punih kopija iz inkremenata (synthetic full).

Task (Zadatak): To je proces obrade svake pojedinačne mašine unutar posla. Dakle: imate rezervnu kopiju koja uključuje tri mašine. To znači da će svaka mašina biti obrađivana u okviru posebnog zadatka. Ukupno će biti četiri loga: jedan glavni za posao i tri za zadatke. Međutim, ovde postoji važna nijansa: s vremenom je reč "zadatak" postala previše višenamenska. Kada govorimo o opštim logovima, podrazumevamo da je zadatak — to je zapravo VM. Ali ima i svojih "zadataka" na proxy-ju i na repozitorijumu. Tamo to može značiti i virtuelni disk, i virtuelnu mašinu, i ceo posao. Dakle, važno je ne izgubiti kontekst.

Veeam %name% Service (Servis):  Na dobrobit uspešnih rezervnih kopija radi više servisa, čiji spisak se može naći u standardnoj alatki. Njihova imena dovoljno jasno odražavaju njihovu suštinu, međutim, među jednakima postoji jedan najvažniji — Veeam Backup Service, bez kojeg ostali neće raditi.

VSS: Tehnički, VSS uvek treba da označava Microsoft Volume Shadow Copy Service. Zapravo ga mnogi koriste kao sinonim za Application-Aware Image Processing. Što je, naravno, kategorički netačno, ali to je priča iz serije "Svaki SUV može se nazvati džipom, i svi će te razumeti."

Fantastični logovi i mesta gde postoje

Želim da započnem ovo poglavlje otkrivanjem velike tajne — koje vreme se prikazuje u logovima?

Zapamtite:

  • ESXi uvek zapisuje logove u UTC+0.
  • vCenter beleži logove prema vremenu svoje vremenske zone.
  • Veeam beleži logove prema vremenu i vremenskoj zoni servera na kojem se nalazi.
  • Samo Windows događaji u EVTX formatu nemaju povezanosti ni s čim. Kada se otvore, vreme se preračunava prema mašini na kojoj su otvoreni. To je najpovoljnija opcija, iako ponekad dolazi do problema i sa njom. Jedina značajna poteškoća su razlike u lokalizaciji. To je praktično zagarantovan put ka nečitljivim logovima. Da, postoje načini kako to popraviti, ali da se ne raspravljamo o tome da sve u IT-u funkcioniše na engleskom, dogovorimo se da uvek postavljamo englesku lokalizaciju na serverima. Molim vas. 

Sada ćemo ipak razgovarati o mestima gde se logovi nalaze i kako ih dobiti. U slučaju VBR postoje dva pristupa. 

Prva opcija je pogodna ako nemate želju da pretražujete u velikoj gomili datoteka koje se odnose isključivo na vaš problem. Za to imamo poseban čarobnjak, kojem možete odrediti konkretnu job funkciju i konkretan period za koji su vam potrebni logovi. Zatim će on sam pretražiti foldere i sakupiti sve što vam treba u jedan arhiv. O tome gde ga pronaći i kako s njim raditi, detaljno je napisano u ovoj KB.

Međutim, čarobnjak prikuplja logove ne svih zadataka i, na primer, u slučaju potrebe da proučite logove restorana, failover-a ili failback-a, vaš put vodi do foldera %ProgramData%/Veeam/Backup. Ovo je glavno skladište logova VBR, a %ProgramData% je skrivena mapa, što je normalno. Usput, podrazumevano mesto može se promeniti pomoću registarskog ključa tipa REG_SZ: LogDirectory u grani HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication.

Na Linux mašinama logovi radnih agenata se treba tražiti u /var/log/VeeamBackup/, ako se koristi root ili sudo nalog. Ako nemate takve privilegije, tražite logove u /tmp/VeeamBackup. 

Za Veeam agent za %OS_name% logovi se treba tražiti u %ProgramData%/Veeam/Endpoint (ili %ProgramData%/Veeam/Backup/Endpoint) i /var/log/veeam odgovarajuće.

Ako koristite Application-Aware Image Processing (a verovatno ga koristite), situacija je malo komplikovanija. Trebaće vam logovi našeg pomoćnog programa, koji se nalaze unutar same virtuelne mašine, i VSS logovi. O tome kako i gde da dobijete te informacije, detaljno je napisano u ovoj članku. I, naravno, postoje posebna članak za prikupljanje neophodnih sistemskih logova. 

Windows događaje je praktično sabrati prema ovoj KB. Ako koristite Hyper-V, stvar se komplikuje, jer će vam trebati i svi njegovi logovi iz grane Applications and Service Logs > Microsoft > Windows. Iako uvek možete ići težim putem i jednostavno uzeti sve objekte iz %SystemRoot%\System32\winevt\Logs.

Ako se nešto pokvari tokom instalacije/upgrade-a, sve što vam je potrebno možete pronaći u fascikli %ProgramData%/Veeam/Setup/Temp. Ipak, neću da sakrijem da se u događajima operativnog sistema može pronaći korisnije informacije nego u ovim logovima. Preostale zanimljive informacije nalaze se u %Temp%, ali tu su uglavnom logovi instalacije pratećeg softvera, kao što su baze, .Net biblioteke i slično. Uzmite u obzir da se Veeam instalira putem msi, a svi njegovi komponenti takođe se instaliraju kao odvojeni msi paketi, čak i ako to nije prikazano u GUI-u. Shodno tome, ako instalacija jednog od komponenti ne uspe, cela instalacija VBR će biti prekinuta. Zbog toga treba otići u logove i pogledati šta je tačno pošlo naopako i u kom trenutku.

I mali savjet za kraj: ako dobijete grešku tokom instalacije, nemojte žuriti da pritisnete OK. Prvo preuzmite logove, a zatim pritisnite OK. Tako ćete dobiti log koji se završava tačno u trenutku greške, bez nepotrebnog sadržaja na kraju.

Možda će biti potrebno da zaronite u logove vSphere-a. To je veoma nezahvalan zadatak, ali, zasučivši rukave, mora se raditi i to. U najjednostavnijem slučaju, trebaju nam logovi sa događajima virtualne mašine vmware.log, koji se nalaze pored njenog .vmx fajla. U složenijem slučaju, otvorite Google i pitajte gde se nalaze logovi za vašu verziju hosta, jer VMware obožava da menja to mesto od izdanja do izdanja. Na primer, članak za 7.0, a ovo je za 5.5. Za logove vCenter ponavljamo postupak pretražujući Google. Ali uopšteno, zanimaju nas logovi događaja hosta hostd.log, događaji hostova pod upravom vCenter vpxa.log, logovi jezgra vmkernel.log i logovi autentifikacije auth.log. U najtežim slučajevima može biti potreban log SSO, koji se nalazi u fascikli SSO.

Pretenciozno? Zbunjeno? Zastrašujuće? A to nije ni polovina informacija s kojima naš support radi na dnevnoj osnovi. Tako da su oni zaista veoma dobri.

Komponente Veeam

I da zaokružimo ovu uvodnu temu, pričajmo malo o komponentama Veeam Backup & Replication. Jer kada tražite uzrok problema, dobro je razumeti kako je pacijent izgrađen.

Dakle, kako je svima već dobro poznato, Veeam Backup je SQL-bazirana aplikacija. To znači da su sve postavke, sve informacije i sve što je potrebno za normalno funkcionisanje - sve to se nalazi u njegovoj bazi. U stvari, u dve baze, ako govorimo o vezi VBR i EM: VeeamBackup i VeeamBackupReporting, redom. To je tako već ustaljeno: kada instaliramo još jednu aplikaciju - stvara se još jedna baza. Da ne bismo čuvali sve jaja u jednoj korpi.

Ali da bi sve ovo funkcionisalo besprekorno, biće nam potreban set servisa i aplikacija koje će povezati sve komponente u celinu. Isključivo kao primer, ovako to izgleda u jednom od mojih laboratorija:

Veeam Log Diving: komponente i rečnik
U ulozi glavnog dirigenta je Veeam Backup Service. On je odgovoran za razmenu informacija sa bazama. Takođe je zadužen za pokretanje svih zadataka, orkestrira dodeljene resurse i funkcioniše kao centar komunikacije za razne konzole, agente i sve ostalo. Ukratko, bez njega ne može, ali to ne znači da sve radi sam.

Za izvršenje njegovih zadaća pomaže mu Veeam Backup Manager. To nije servis, već entitet koji pokreće zadatke i prati proces njihove realizacije. To su radne ruke backup servisa, putem kojih se povezuje sa hostovima, pravi snimke, prati zadržavanje i tako dalje.

Ali da se ponovo vratimo na spisak servisa. Veeam Broker Service. Pojavila se u v9.5 (i to nije crypto miner, kako su tada neki mislili). Bavi se prikupljanjem informacija o VMware hostovima i održavanjem njihovih podataka ažurnim. Ali ne žurite odmah da pišete ljute komentare da vas špijuniramo i otkrivamo sve logine/lozinke tašmajoru. Sve je malo jednostavnije. Kada pokrećete bekap, prvo se treba povezati sa hostom i ažurirati sve podatke o njegovoj strukturi. To je prilično spora i opširna procedura. Samo se setite koliko traje operacija logovanja putem web interfejsa, a imajte na umu da se tu računa samo gornji sloj. A zatim još treba otkriti celu hijerarhiju do potrebnog mesta, usput. Ukratko, užas. Ako pokrećete desetak bekapova, svakoj jobi je potrebna ova procedura. Ako se radi o velikim infrastrukturnim sistemima, taj proces može potrajati deset minuta ili više. Zato je doneta odluka da se izda poseban servis za ovo, preko kojeg ćemo moći uvek dobiti ažurne informacije. On prilikom pokretanja proverava i skenira celu dodatu infrastrukturu, a zatim pokušava raditi samo na nivou inkrementalnih promena. Tako da čak i ako vam se pokreće simultano sto bekapova, svi će tražiti informacije od našeg brokera, a ne će mučiti hostove svojim zahtevima. Ako brinete o resursima, prema našim proračunima, za 5000 virtuelnih mašina potrebno je svega oko 100 Mb memorije.

Dalje imamo Veeam Console. Takođe poznat kao Veeam Remote Console, ili Veeam.Backup.Shell. To je taj GUI koji vidimo na ekranima. Sve je jednostavno i očigledno — konzolu možete pokrenuti s bilo kojeg mesta, sve dok je to Windows i postoji veza sa VBR serverom. Jedina stvar koju možemo reći: FLR proces će montirati tačke lokalno (tj. na mašini na kojoj je pokrenuta konzola). Pa i raznoliki Veeam Explorers će se takođe pokretati lokalno, jer su deo konzole. Ali to me već odvodi u detalje…

Sledeća zanimljiva usluga — Veeam Backup Catalog Data Service. Na spisku servisa poznat kao Veeam Guest Catalog Service. Zadužen je za indeksiranje datotečnih sistema na gostujućim mašinama i popunjava tu znanjem fasciklu VBRCatalog. Koristi se samo tamo gde je uključena opcija indeksiranja. A uključiti je ima smisla samo ako imate Enterprise Manager. Stoga, iskren savet: ne uključujte indeksaciju bez razloga, ako nemate EM. Čuvajte svoje nerve i vreme podrške.

Takođe, od drugih važnih servisa valja istaknuti Veeam Installer Service, pomoću kojeg se vrši isporuka i instalacija potrebnih komponenti na proxy, repozitorijume i druge prolaze. U suštini, on prebacuje potrebne .msi pakete na servere i vrši njihovu instalaciju. 

Veeam Data Mover — uz pomoć pokretnog na proxy (i ne samo) pomoćnog agenata se bavi premeštanjem podataka. Na primer, prilikom bekapa jedan agent će čitati datoteke sa datastora hosta, dok će drugi pažljivo zapisivati u bekap.

Posebno želim da istaknem važnu stvar na koju klijenti često reaguju — to je razlika u verzijama servisa i informacijama u alatu Programs and Features. Da, lista će biti identična, ali verzije mogu biti potpuno različite. To nije baš idealno sa vizuelne tačke gledišta, ali je sasvim normalno ako sve funkcioniše stabilno. Na primer, kod Installer servisa, broj verzije značajno zaostaje za susednim. Užas i noćna mora? Ne, jer se ne reinstalira u celosti, već se samo ažurira njegov DLL. U patchu v9.5 U4 došlo je do strašnog sna tehničke podrške: prilikom ažuriranja svi servisi su dobili nove verzije, osim najvažnijeg. U patchu U4b transportni servis je prešao sve ostale za čak dve verzije (sudeći po brojevima). I to je takođe normalno — otkrivena je ozbiljna greška, pa je dobio dodatno ažuriranje u odnosu na ostale. Dakle, rezimirajući: razlika u verzijama MOŽE biti problem, ali ako razlika postoji, a sve funkcioniše ispravno, verovatno je to tako kako treba. Ali niko vam ne zabranjuje da to proverite kod tehničke podrške.

To su bili takozvani obavezni servisi ili Mandatory services. Tu je još čitava gomila pomoćnih, kao što su Tape Service, Mount Service, vPowerNFS Service i tako dalje.

Za Hyper-V u suštini je istu stvar, samo postoji specifični Veeam Backup Hyper-V Integration Service i svoj drajver za rad sa CBT.

Na kraju ćemo razgovarati o tome ko radi na virtuelnim mašinama tokom bekapa. Za pokretanje pre- i post-freeze skripti, za kreiranje šedou kopija, prikupljanje metapodataka, rad sa SQL transakcijskim logovima i drugo koristi se Veeam Guest Helper. I ako dođe do indeksacije datotečnih sistema, Veeam Guest Indexer . Ovo su privremene usluge koje se pokreću za vreme bekapa i brišu nakon njega.

U slučaju Linux mašina, sve je mnogo jednostavnije zbog postojanja velikog broja ugrađenih biblioteka i mogućnosti same sistema. Na primer, indeksiranje se vrši preko mlocate.

Na tome za sada završavam

Ne želim vas više mučiti i kratko uvod u unutrašnje delove Veeam-a smatram završenim. Da, nisu ni blizu pristigli do samih logova, ali verujte, kako bi informacije koje su predstavljene u njima delovale koherentno, takvo uvodno objašnjenje je apsolutno neophodno. Planiram da pređem na same logove tek u trećem članku, a plan za sledeći je da objasnim ko generiše logove, šta tačno pokazuje i zašto je tako, a ne nekako drugačije.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster