Mi u Veeam-u volimo dnevnike. A budući da je većina naših rješenja modularna, oni pišu mnogo dnevnika. A budući da je djelokrug naše aktivnosti osiguravanje sigurnosti vaših podataka (tj. miran san), onda bi zapisnici trebali ne samo da zabilježe svako kijanje, već i da to urade do nekih detalja. To je neophodno da bi u slučaju nečega bilo jasno kako se to „šta“ desilo, ko je kriv i šta dalje treba učiniti. To je kao u forenzičkoj nauci: nikad ne znaš koja će ti mala stvar pomoći da pronađeš ubicu Laure Palmer.
Stoga sam odlučio da se zamahnem na seriju članaka, gdje ću uzastopno govoriti o tome šta upisujemo u dnevnike, gdje ih skladištimo, kako ne poludjeti sa njihovom strukturom i šta tražiti u njima.
Zašto serija članaka i zašto ne opisati sve odjednom?
Samo nabrajanje gdje se dnevnik nalazi i šta je u njemu pohranjeno je prilično katastrofalan poduhvat. A zastrašujuće je i pomisliti na ažuriranje ovih informacija. Jednostavan popis svih mogućih tipova dnevnika u Veeam Backup & Replication je tabela na nekoliko listova malim slovima. Da, i bit će relevantan samo u trenutku objavljivanja, jer. kada se objavi sljedeća zakrpa, mogu se pojaviti novi logovi, promijenit će se logika pohranjenih informacija u starim itd. Stoga će biti mnogo isplativije objasniti njihovu strukturu i suštinu informacija sadržanih u njima. To će vam omogućiti da se bolje snalazite po mjestima od banalnog nabijanja imena.
Stoga, kako ne bismo žurili bezglavo u zbirku tekstualnih listova, odradimo neke pripremne radove u ovom članku. Stoga danas nećemo ulaziti u same dnevnike, već ćemo ići izdaleka: sastavit ćemo pojmovnik i malo raspravljati o Veeam strukturi u smislu generiranja dnevnika.
Pojmovnik i žargon
Ovdje, prije svega, vrijedi se izviniti pobornicima čistoće ruskog jezika i svjedocima Ozhegovljevog rječnika. Svi mi jako volimo svoj maternji jezik, ali prokleta IT industrija radi na engleskom. Pa, nismo mi to smislili, ali desilo se istorijski. Nisam ja kriv, sam je došao (c)
U našem poslu problem anglicizama (i žargona) ima svoje specifičnosti. Kada pod nevinim riječima poput "domaćin" ili "gost" cijeli svijet odavno razumije vrlo specifične stvari, onda se na ⅙ zemlje nastavlja herojska zbrka i teturanje sa zabadanjem u riječnike. I strogo obavezni argument "Ali kod nas na poslu...".
Plus, tu je čisto naša terminologija, koja je svojstvena Veeam proizvodima, iako su neke riječi i fraze otišle u narod. Dakle, sada ćemo se dogovoriti koji pojam šta znači, a ubuduće ću pod riječju gost podrazumijevati upravo ono što piše u ovom poglavlju, a ne ono na šta ste navikli na poslu. I da, ovo nije moj lični hir, to su uhodani pojmovi u industriji. Borba protiv njih je pomalo besmislena. Iako sam uvijek za opuštanje u komentarima.
Nažalost, u našem radu i proizvodima ima mnogo pojmova, pa neću pokušavati da ih sve nabrajam. Samo najosnovnije i najpotrebnije informacije o backupima i logovima za opstanak u moru. Za zainteresovane mogu i ja kolegama o trakama, gdje je dao i listu pojmova vezanih za taj dio funkcionalnosti.
Domaćin (Host): U svijetu virtuelizacije, ovo je mašina sa hipervizorom. Fizički, virtuelni, oblak – nije važno. Ako nešto pokreće hipervizor (ESXi, Hyper-V, KVM itd.), onda se to "nešto" zove host. Bilo da se radi o klasteru sa deset regala ili vašem laptopu sa laboratorijom za jednu i po virtuelnu mašinu - ako ste pokrenuli hipervizor, postali ste domaćin. Zato što hipervizor hostuje virtuelne mašine. Postoji čak i priča da je VMware svojevremeno želio da postigne čvrstu povezanost riječi host sa ESXi. Ali nije.
U savremenom svijetu koncept "host" se praktično spojio s konceptom "server", što unosi određenu zabunu u komunikaciju, posebno kada je u pitanju Windows infrastruktura. Dakle, svaka mašina koja ima neku uslugu od interesa za nas može se sa sigurnošću nazvati hostom. Na primjer, u WinSock logovima, sve je označeno riječju host. Klasični "Host not found" je primjer za to. Dakle, krećemo od konteksta, ali zapamtite – u svijetu virtuelizacije, domaćin je ono što ugošćuje goste (više o tome u dva reda ispod).
Iz lokalnog žargona (u ovom slučaju čak i akronima), ovdje se podsjeća da je VMware VI, vSphere VC, a Hyper-V HV.
Gost (Gost): Virtuelna mašina koja radi na hostu. Nema tu šta da se objašnjava, sve je tako logično i jednostavno. Međutim, mnogi ovdje marljivo dovlače neka druga značenja.
Za što? Ne znam.
Gost OS, odnosno operativni sistem gostujuće mašine. I tako dalje.
Posao sigurnosne kopije/replikacije (posaoA): Čisti Wim žargon, koji označava neke od zadataka. Posao sigurnosne kopije == Posao sigurnosne kopije. Niko nije smislio kako to lijepo prevesti na ruski, pa svi kažu „JobA“. Sa naglaskom na zadnjem slogu.
Da, jednostavno uzmu i kažu „joba“. Pa čak i slovima tako pišu, i sve je u redu.
Sve vrste Backup poslova, Backup Tasks, itd., hvala, ali nema potrebe. Samo posao, i bićete shvaćeni. Glavna stvar je staviti naglasak na zadnji slog.
Backup (Backup, backup. Za true-oldfags, sigurnosna kopija je dozvoljena): Osim očiglednog (rezervna kopija podataka koja negdje leži), to znači i sam posao (tri reda iznad, ako ste već zaboravili), uslijed čega se pojavljuje sama datoteka sigurnosne kopije. Vjerovatno su gospoda koja govore engleski jezik suviše lijena da kažu da sam svaki put vodio backup posao, pa samo kažu da sam vodio rezervnu kopiju, i svi se savršeno razumiju. Pozivam vas da podržite ovu divnu inicijativu.
Konsolidacija (konsolidacija): Termin koji se pojavio u ESXi 5.0 Opcija u meniju snimaka koja pokreće proces brisanja takozvanih osiročenih snimaka. Odnosno, snimci koji su fizički dostupni, ali su ispali iz prikazane logičke strukture. Teoretski, ovaj proces ne bi trebao utjecati na datoteke prikazane u upravitelju snimaka, ali svašta se može dogoditi. Suština procesa konsolidacije je da se podaci sa snimka (podređeni disk) upisuju na glavni (roditeljski) disk. Proces spajanja diskova naziva se spajanje. Ako je izdana komanda za konsolidaciju, tada se zapis snimka može ukloniti iz baze podataka prije nego što se snimak spoji i izbriše. A ako se snimak ne može izbrisati iz bilo kojeg razloga, tada se pojavljuju ti isti osiromašeni snimci. Što se tiče rada sa snimcima, VMware ima . A i mi nekako o njima .
Skladište podataka (Stora ili skladište): Vrlo širok koncept, ali u svijetu virtuelizacije, shvaćen je kao mjesto gdje se pohranjuju datoteke virtualne mašine. Ali u svakom slučaju, ovdje morate vrlo jasno razumjeti kontekst i uz najmanju sumnju razjasniti šta je tačno vaš sagovornik imao na umu.
Proxy (Proxy): Važno je odmah shvatiti da Veeam proxy nije sasvim isti kao ono na što smo navikli na internetu. Unutar Veeam proizvoda, ovo je vrsta entiteta koji se bavi prijenosom podataka s jednog mjesta na drugo. Ako ne ulazite u detalje, onda je VBR komandni i kontrolni server, a proksiji su njegov radni konj. Odnosno, proxy je mašina kroz koju teče promet i na kojoj su instalirane VBR komponente koje pomažu u upravljanju ovim prometom. Na primjer, za prijenos podataka s jednog kanala na drugi, ili jednostavno za pričvršćivanje diskova za sebe (režim HotAdd).
Repozitorijum (Repozitorij): Tehnički, ovo je samo unos u VBR bazi podataka, koji ukazuje na mjesto gdje su sigurnosne kopije pohranjene i kako se povezati s tim mjestom. Zapravo, to može biti ili samo CIFS lopta ili poseban disk, server ili kantica u oblaku. Opet, mi smo u kontekstu, ali razumijemo da je spremište samo mjesto gdje su vaše sigurnosne kopije.
Snimak (SnapshOt): Oxfordski ljubitelji gramatike radije kažu ko je snimak, a ko snimak, ali nepismena većina ima koristi od veće mase. Ako neko ne zna, ovo je tehnologija koja vam omogućava da vratite stanje diska u određenom trenutku. Ovo se radi ili privremenim preusmjeravanjem I/O operacija dalje od glavnog diska - tada će se zvati RoW (Preusmjeravanje pri pisanju) snimak - ili premještanjem blokova koji se mogu ponovno upisivati s vašeg diska na drugi - to će se zvati CoW (Kopiranje pri pisanju) ) snimak. Zahvaljujući širokim mogućnostima za korištenje ovih funkcija Veeam može raditi svoju magiju sigurnosnog kopiranja. Strogo govoreći, ne samo oni, već je to stvar narednih izdanja.
Postoji haos oko ovog pojma u ESXi dokumentaciji i logovima, a u kontekstu spominjanja snimaka možete pronaći i same snimke, i redo log, pa čak i delta disk. Veeamova dokumentacija ne sadrži takvu suzu, a snimak je snimak, a redo log je upravo REDO datoteka koju kreira nezavisni nepostojan disk. REDO datoteke se brišu kada se virtuelna mašina isključi, tako da je njihovo brkanje sa snimcima put do neuspjeha.
Sintetika (sintetika): Sintetičke sigurnosne kopije su obrnuto inkrementalne i zauvijek naprijed sigurnosne kopije. U slučaju da niste naišli na ovaj izraz, to je samo jedan od mehanizama koji se koriste za izgradnju transformacije rezervnog lanca. Međutim, u zapisnicima možete pronaći i koncept Transform, koji se koristi u okviru kreiranja punih kopija iz inkremenata (sintetički puni).
Zadatak (zadatak): Ovo je proces obrade svake pojedinačne mašine u okviru posla. To jest: imate rezervni posao, koji uključuje tri mašine. To znači da će svaki automobil biti obrađen kao dio posebnog zadatka. Ukupno će biti četiri dnevnika: glavni za poslove i tri za zadatke. Međutim, ovdje postoji važna nijansa: s vremenom je riječ "zadatak" postala nepotrebno dvosmislena. Kada govorimo o opštim evidencijama, mislimo da je zadatak upravo VM. Ali postoje "zadaci" i na proxyju i na spremištu. Tu to može značiti virtualni disk, virtualnu mašinu i cijeli posao. Odnosno, važno je ne izgubiti kontekst.
Veeam %name% usluga: Za dobrobit uspješnih sigurnosnih kopija, nekoliko servisa radi odjednom, čiji se popis može naći u standardnoj opremi. Njihova imena prilično transparentno odražavaju njihovu suštinu, ali među jednakima je najvažniji - Veeam Backup Service, bez kojeg ostalo neće raditi.
VSS: Tehnički, VSS bi uvijek trebao predstavljati Microsoft Volume Shadow Copy Service. U stvari, mnogi ga koriste kao sinonim za obradu slika koja je svjesna aplikacija. Što je, naravno, kategorički pogrešno, ali ovo je priča iz kategorije "Svaki SUV se može nazvati džipom, a vi ćete biti shvaćeni."
Fantastični trupci i gdje žive
Želim da započnem ovo poglavlje otkrivanjem velike tajne - koje vrijeme se prikazuje u zapisnicima?
Zapamtite:
- ESXi uvijek piše dnevnike u UTC+0.
- vCenter vodi evidenciju prema vremenu svoje vremenske zone.
- Veeam vodi evidenciju prema vremenu i vremenskoj zoni servera na kojem se nalazi.
- I samo Windows događaji u EVTX formatu ne pate od vezivanja ni za šta. Kada se otvore, vrijeme se preračunava za automobil na kojem su otvoreni. Najprikladnija opcija, iako s njom postoje poteškoće. Jedina opipljiva poteškoća je razlika u lokalitetima. Ovo je praktično zagarantovan put do nečitljivih dnevnika. Da, postoje opcije kako to tretirati, ali hajde da se ne raspravljamo s činjenicom da sve u IT-u radi na engleskom, i dogovorimo se da uvijek postavite engleski jezik na serverima. Molim te.
Sada razgovarajmo o mjestima gdje žive trupci i kako ih nabaviti. U slučaju VBR-a, postoje dva pristupa.
Prva opcija je prikladna ako niste željni tražiti datoteke u općoj hrpi koje su posebno povezane s vašim problemom. Da bismo to učinili, imamo poseban čarobnjak za koji možete odrediti određeni posao i određeni period za koji su vam potrebni zapisnici. Zatim će sam pregledati fascikle i staviti sve što vam treba u jednu arhivu. Gdje ga tražiti i kako s njim raditi detaljno je opisano u .
Međutim, čarobnjak ne prikuplja dnevnike svih zadataka i, na primjer, ako trebate proučiti zapise vraćanja, prelaska na grešku ili povratka greške, vaša putanja leži u mapi %ProgramData%/Veeam/Backup. Ovo je glavni VBR logostore i %ProgramData% je skriveni folder i to je u redu. Usput, zadana lokacija se može ponovo dodijeliti pomoću ključa registratora tipa REG_SZ: LogDirectory u grani HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication.
Na Linux mašinama, dnevnike agenta radnika treba tražiti u /var/log/VeeamBackup/ako koristite root ili sudo nalog. Ako nemate takve privilegije, potražite prijave /tmp/VeeamBackup.
Za Veeam agent za %OS_name% treba pretraživati dnevnike %ProgramData%/Veeam/Endpoint (ili %ProgramData%/Veeam/Backup/Endpoint) i /var/log/veeam respektivno.
Ako koristite Application-Aware Image Processing (a najvjerovatnije jeste), onda situacija postaje nešto složenija. Biće vam potrebni logovi našeg pomoćnika, koji su pohranjeni unutar same virtuelne mašine, i VSS logovi. O tome kako i gdje doći do ove sreće, detaljno je napisano u . I naravno postoji za prikupljanje potrebnih sistemskih dnevnika.
Windows događaji se prikladno prikupljaju prema . Ako koristite Hyper-V, stvari postaju složenije, jer će vam također trebati sve njegove evidencije iz Applications and Service Logs > Microsoft > Windows grane. Iako uvijek možete ići glupljim putem i jednostavno pokupiti sve objekte iz %SystemRoot%System32winevtLogs.
Ako se nešto pokvari tokom instalacije/nadogradnje, onda sve što vam je potrebno možete pronaći u folderu %ProgramData%/Veeam/Setup/Temp. Iako neću sakriti činjenicu da u OS događajima možete pronaći više korisnih informacija nego u ovim logovima. Ostatak zanimljivosti leži u %Temp%, ali tu su uglavnom evidencije instalacije za srodni softver, kao što je baza, .Net biblioteke i druge stvari. Imajte na umu da se Veeam instalira iz msi-a i da su sve njegove komponente također instalirane kao zasebni msi paketi, čak i ako to nije prikazano u GUI-u. Stoga, ako instalacija jedne od komponenti ne uspije, cijela VBR instalacija će biti zaustavljena. Stoga morate ući u dnevnike i vidjeti šta se tačno pokvarilo i u kom trenutku.
I na kraju, life hack: ako dobijete grešku tokom instalacije, nemojte žuriti da kliknete OK. Prvo uzimamo dnevnike, a zatim kliknemo OK. Na ovaj način ćete dobiti dnevnik koji se završava u trenutku greške, bez smeća na kraju.
I dešava se da morate ući u vSphere logove. Zanimanje je vrlo nezahvalno, ali, zasukavši rukave, mora se raditi nešto drugo. U najjednostavnijoj verziji, potrebni su nam logovi sa događajima virtuelne mašine vmware.log, koji se nalaze pored njegove .vmx datoteke. U težem slučaju, otvorite Google i pitajte gdje se nalaze logovi za vašu host verziju, jer VMware voli mijenjati ovo mjesto od izdanja do izdanja. Na primjer, , ali za . Za evidencije vCenter, ponovite postupak . Ali generalno, bićemo zainteresovani za dnevnike događaja hosta hostd.log, host događaje kojima upravlja vCenter vpxa.log, evidencije kernela vmkernel.log i evidencije autentifikacije auth.log. Pa, u najzanemarenijim slučajevima, SSO dnevnik, koji se nalazi u SSO folderu, može dobro doći.
Nezgrapno? Zbunjen? Strašno? Ali to nije ni polovina informacija s kojima naša podrška radi na dnevnoj bazi. Tako da su stvarno, stvarno cool.
Veeam Components
I kao zaključak ovog uvodnog članka, popričajmo malo o komponentama Veeam Backup & Replication. Jer kada tražite uzrok boli, bilo bi lijepo razumjeti kako pacijent radi.
Dakle, kao što svi vjerovatno znaju, Veeam Backup je takozvana aplikacija bazirana na SQL-u. Odnosno, sve postavke, sve informacije i općenito sve što je potrebno samo za normalno funkcioniranje - sve je to u njegovoj bazi podataka. Ili bolje rečeno, u dvije baze podataka, ako govorimo o gomili VBR i EM: VeeamBackup i VeeamBackupReporting, respektivno. I tako se dogodilo: stavimo drugu aplikaciju - pojavljuje se druga baza podataka. Kako ne bi stavili sva jaja u jednu korpu.
Ali da bi sva ova ekonomija funkcionisala nesmetano, potreban nam je skup usluga i aplikacija koje će povezati sve komponente zajedno. Samo kao primjer, ovako to izgleda u jednoj od mojih laboratorija:
Djeluje kao glavni dirigent Veeam Backup Service. On je taj koji je odgovoran za razmjenu informacija sa bazama. On je također odgovoran za pokretanje svih zadataka, orkestriranje dodijeljenih resursa i rad kao svojevrsni komunikacijski centar za razne konzole, agente i sve ostalo. Jednom riječju, bez njega sigurno nikako, ali to nikako ne znači da sve radi sam.
Pomaže mu u ispunjenju njegovog plana Veeam Backup Manager. Ovo nije servis, već entitet koji pokreće poslove i prati proces njihovog izvršavanja. Radne ruke usluge sigurnosne kopije, pomoću kojih se povezuje s hostovima, kreira snimke, nadzire zadržavanje i tako dalje.
Ali da se vratimo na listu usluga. Veeam Broker Service. Pojavio se u v9.5 (a ovo nije kripto rudar, kako su neki tada mislili). Prikuplja informacije o VMware hostovima i održava njihovu relevantnost. Ali nemojte odmah trčati da pišete ljutite komentare da vas špijuniramo i propuštamo sve logine/lozinke taschmajoru. Sve je nešto jednostavnije. Kada pokrenete sigurnosnu kopiju, prva stvar koju trebate učiniti je povezati se s hostom i ažurirati sve podatke o njegovoj strukturi. Ovo je prilično spora i glomazna priča. Samo zapamtite koliko vam je vremena potrebno da se prijavite putem web sučelja i zapamtite da se tu računa samo gornji sloj. I onda još uvijek trebate otvoriti cijelu hijerarhiju na pravo mjesto, usput. Jednom rečju, užas. Ako pokrenete desetak sigurnosnih kopija, onda svaki posao mora obaviti ovu proceduru. Ako govorimo o velikim infrastrukturama, onda ovaj proces može trajati deset minuta ili više. Stoga je odlučeno da se za to dodijeli posebna usluga preko koje će biti moguće primati uvijek ažurne informacije. Prilikom pokretanja, provjerava i skenira svu dodanu infrastrukturu, a zatim pokušava raditi samo na nivou inkrementalnih promjena. Dakle, čak i ako pokrenete stotinu sigurnosnih kopija u isto vrijeme, svi će tražiti informacije od našeg brokera i neće mučiti domaćine svojim zahtjevima. Ako ste zabrinuti za resurse, onda prema našim proračunima, 5000 virtuelnih mašina treba samo oko 100 Mb memorije.
Sledeće imamo Veeam Console. On je Veeam Remote Console, on je Veeam.Backup.Shell. Ovo je isti GUI koji vidimo na snimcima ekrana. Sve je jednostavno i očigledno - konzola se može pokrenuti sa bilo kog mesta, sve dok je Windows i postoji veza sa VBR serverom. Jedino što se može reći je da će FLR proces montirati tačke lokalno (tj. na mašini na kojoj je pokrenuta konzola). Pa, odabrani Veeam Exploreri će također raditi lokalno, jer su dio konzole. Ali već me je odnelo u divljinu...
Još jedna zanimljiva usluga je Veeam Backup Catalog Data Service. Poznat kao Veeam Guest Catalog Service na listi usluga. On se bavi indeksiranjem sistema datoteka na gostujućim mašinama i ovim znanjem puni VBRCatalog folder. Koristi se samo tamo gdje je omogućeno polje za potvrdu indeksiranja. I ima smisla da ga omogućite samo ako imate Enterprise Manager. Stoga, savjet od srca: nemojte samo tako uključivati indeksiranje ako nemate EAT. Uštedite svoje živce i vrijeme podrške.
Također od ostalih važnih usluga vrijedi napomenuti Veeam servis instalatera, uz pomoć kojih se potrebne komponente isporučuju i instaliraju na proksije, repozitorije i druge gatewaye. U stvari, on prenosi potrebne .msi pakete na servere i instalira ih.
Veeam Data Mover - uz pomoć pomoćnih agenata pokrenutih na proksijima (i ne samo) bavi se prebacivanjem podataka. Na primjer, prilikom pravljenja sigurnosne kopije, jedan agent će čitati datoteke iz host skladišta podataka, a drugi će ih pažljivo zapisati u sigurnosnu kopiju.
Zasebno, želio bih napomenuti važnu stvar na koju klijenti često reagiraju - to je razlika u verzijama usluga i informacija u dodatku Programi i funkcije. Da, lista će biti ista, ali verzije mogu biti potpuno neskladne. Nije baš kul sa vizuelne tačke gledišta, ali je sasvim normalno ako sve radi stabilno. Na primjer, za instalatersku uslugu, broj verzije je daleko iza susjednih. Užas i noćna mora? Ne, jer nije potpuno ponovo instaliran, već se njegov DLL jednostavno ažurira. U zakrpi v9.5 U4 dogodila se noćna mora tehničke podrške: tokom ažuriranja sve usluge su dobile nove verzije, osim one najvažnije. U U4b zakrpi, transportni servis je prestigao sve ostale za čak dvije verzije (sudeći po brojkama). I to je normalno - pronađena je ozbiljna greška u njemu, pa je dobila bonus ažuriranje u odnosu na ostale. Dakle, da sumiramo: razlike u verzijama MOGU biti problem, ali ako postoji razlika i sve radi kako treba, onda bi vjerovatno trebalo biti. Ali niko vam ne brani da to razjasnite u tehničkoj podršci.
To su bile takozvane obavezne ili obavezne usluge. A tu je i čitava gomila pomoćnih, kao što su Tape Service, Mount Service, vPowerNFS Service i tako dalje.
Za Hyper-V, općenito, sve je isto, samo postoji specifičnost Veeam Backup Hyper-V usluga integracije i vaš vlastiti vozač za rad sa CBT.
I na kraju, hajde da pričamo o tome ko radi na virtuelnim mašinama tokom bekapa. Za pokretanje skripti prije i nakon zamrzavanja, za kreiranje kopije u sjeni, prikupljanje metapodataka, rad sa evidencijama SQL transakcija itd. Veeam Guest Helper. A ako su sistemi datoteka indeksirani, Veeam Guest Indexer . Ovo su privremene usluge koje se postavljaju za vrijeme trajanja sigurnosne kopije i uklanjaju se nakon nje.
U slučaju Linux mašina, sve je mnogo jednostavnije zbog prisustva velikog broja ugrađenih biblioteka i mogućnosti samog sistema. Na primjer, indeksiranje se vrši kroz mlocate.
To je sve za sada
Ne usuđujem se više da te povrijedim ukratko Smatram da je uvod u Veeam motorni prostor završen. Da, nismo se ni približili samim jazbinama, ali vjerujte mi, da informacije koje se u njima iznose ne izgledaju kao nekoherentan tok svijesti, takav uvod je apsolutno neophodan. Na same logove planiram otići tek u trećem članku, a plan za sljedeći je da objasnim ko generiše logove, šta se tačno u njima prikazuje i zašto tačno, a ne drugačije.
izvor: www.habr.com