Mi u Veeamu volimo zapise. A budući da je većina naših rješenja modularna, oni pišu puno dnevnika. A budući da je djelokrug našeg djelovanja osigurati sigurnost vaših podataka (tj. miran san), onda zapisi ne bi trebali samo bilježiti svako kihanje, već to i učiniti vrlo detaljno. To je potrebno kako bi u slučaju nečega bilo jasno kako se to "što" dogodilo, tko je kriv i što dalje treba učiniti. To je kao u forenzičkoj znanosti: nikad ne znate koja će vam sitnica pomoći pronaći ubojicu Laure Palmer.
Stoga sam odlučio zamahnuti serijom članaka, u kojima ću redom govoriti o tome što pišemo u zapisnike, gdje ih skladištimo, kako ne poludjeti s njihovom strukturom i što tražiti u njima.
Zašto serija članaka i zašto ne opisati sve odjednom?
Jednostavno navođenje gdje je dnevnik i što je u njemu pohranjeno prilično je katastrofalan pothvat. I zastrašujuće je čak i pomisliti na ažuriranje ovih informacija. Jednostavan popis svih mogućih vrsta zapisa u Veeam Backup & Replication je tablica na nekoliko listova sitnim slovima. Da, i to će biti relevantno samo u vrijeme objave, jer. kada se izda sljedeća zakrpa, mogu se pojaviti novi dnevnici, logika pohranjenih informacija u starim će se promijeniti, itd. Stoga će biti mnogo isplativije objasniti njihovu strukturu i bit informacija sadržanih u njima. To će vam omogućiti bolju navigaciju mjestima nego banalno natrpavanje imenima.
Stoga, kako ne bismo bezglavo žurili u bazen tekstualnih listova, učinimo neke pripremne radove u ovom članku. Stoga danas nećemo ulaziti u same zapise, već ćemo ići izdaleka: sastavit ćemo rječnik i malo raspravljati o Veeam strukturi u smislu generiranja zapisa.
Rječnik i žargon
Ovdje se prije svega vrijedi ispričati pobornicima čistoće ruskoga jezika i svjedocima Ožegovljeva rječnika. Svi jako volimo svoj materinji jezik, ali prokleta IT industrija radi na engleskom. Pa, nismo mi to smislili, nego se povijesno dogodilo. Nisam ja kriv, sam je došao (c)
U našem poslu problem anglicizama (i žargona) ima svoje specifičnosti. Kad pod nedužnim riječima poput “domaćin” ili “gost” cijeli svijet već odavno razumije vrlo specifične stvari, onda se na ⅙ kopna nastavlja herojska zbrka i teturanje s čačkanjem u rječnike. I striktno obvezni argument "Ali na našem poslu ...".
Osim toga, postoji čisto naša terminologija, koja je svojstvena Veeamovim proizvodima, iako su neke riječi i izrazi otišli u narod. Dakle, sada ćemo se dogovoriti koji pojam što znači, a ubuduće ću pod riječju „gost“ misliti upravo na ono što piše u ovom poglavlju, a ne na ono na što ste navikli na poslu. I da, ovo nije moj osobni hir, to su uvriježeni pojmovi u branši. Boriti se s njima pomalo je besmisleno. Iako sam uvijek za opuštanje u komentarima.
Nažalost, termina u našem radu i proizvodima ima jako puno, pa ih neću pokušavati sve nabrajati. Samo najosnovnije i najnužnije informacije o sigurnosnim kopijama i zapisnicima za preživljavanje u moru. Za zainteresirane mogu i ja kolege o trakama, gdje je dao i popis pojmova vezanih za taj dio funkcionalnosti.
Domaćin (domaćin): U svijetu virtualizacije, ovo je stroj s hipervizorom. Fizički, virtualni, oblak – svejedno je. Ako nešto pokreće hipervizor (ESXi, Hyper-V, KVM itd.), tada se to "nešto" naziva host. Bilo da se radi o klasteru s deset regala ili vašem prijenosnom računalu s laboratorijem za jedno i pol virtualno računalo – ako ste pokrenuli hipervizor, postali ste host. Budući da hipervizor ugošćuje virtualne strojeve. Postoji čak i priča da je VMware svojedobno želio postići čvrstu asocijaciju riječi host na ESXi. Ali nije.
U suvremenom svijetu pojam "domaćina" praktički se stopio s pojmom "poslužitelja", što unosi određenu zbrku u komunikaciju, posebice kada je u pitanju Windows infrastruktura. Dakle, svaki stroj koji hostira neku uslugu koja nas zanima može se sa sigurnošću nazvati hostom. Na primjer, u zapisnicima WinSocka sve je označeno riječju host. Klasični "Host not found" primjer je toga. Dakle, krećemo od konteksta, ali zapamtite - u svijetu virtualizacije, domaćin je ono što ugošćuje goste (više o tome u dva retka u nastavku).
Iz lokalnog žargona (radije čak akronima, u ovom slučaju), ovdje se podsjeća da je VMware VI, vSphere VC, a Hyper-V HV.
Gost (Gost): Virtualni stroj koji radi na hostu. Nema se tu što objašnjavati, sve je tako logično i jednostavno. Međutim, mnogi ovdje marljivo vuku neka druga značenja.
Za što? ne znam
Gost OS, odnosno operativni sustav gostujućeg stroja. I tako dalje.
Posao sigurnosne kopije/replikacije (jobA): Čisti Wimov žargon, koji označava neke od zadataka. Sigurnosni posao == Sigurnosni posao. Nitko nije smislio kako to lijepo prevesti na ruski, pa svi kažu "JobA". S naglaskom na zadnjem slogu.
Da, jednostavno uzmu i kažu "joba". Pa čak i slovima tako pišu, i sve je u redu.
Sve vrste poslova sigurnosne kopije, zadataka sigurnosne kopije itd., hvala, ali nema potrebe. Samo posao, i bit ćete shvaćeni. Glavna stvar je staviti naglasak na zadnji slog.
Sigurnosna kopija (Sigurnosna kopija, sigurnosna kopija. Za prave starce, sigurnosna kopija je dozvoljena): Osim očitog (sigurnosna kopija podataka koja leži negdje), to znači i sam posao (tri retka iznad, ako ste već zaboravili), zbog čega se pojavljuje upravo backup datoteka. Vjerojatno su gospoda kojima je engleski izvorni jezik previše lijeni da kažu da sam svaki put vodio svoj backup posao, pa samo kažu da sam pokrenuo svoj backup, i svi se savršeno razumiju. Pozivam vas da podržite ovu prekrasnu inicijativu.
Konsolidirati (konsolidirati): Izraz koji se pojavio u ESXi 5.0 Opcija u izborniku snimaka koja pokreće proces brisanja takozvanih snimaka siročadi. Odnosno, snimke koje su fizički dostupne, ali su ispale iz prikazane logičke strukture. Teoretski, ovaj proces ne bi trebao utjecati na datoteke prikazane u upravitelju snimkama, ali svašta se može dogoditi. Bit procesa konsolidacije je da se podaci sa snapshot-a (diska djeteta) zapisuju na glavni (roditeljski) disk. Proces kombiniranja diskova naziva se spajanje. Ako je izdana naredba za konsolidaciju, tada se zapis snimke može ukloniti iz baze podataka prije nego se snimka spoji i izbriše. A ako se snimka ne može izbrisati iz bilo kojeg razloga, pojavljuju se te iste snimke siročadi. O radu sa snimkama, VMware ima . I mi također nekako o njima .
Datastore (Stora ili pohrana): Vrlo širok pojam, no u svijetu virtualizacije se shvaća kao mjesto gdje se pohranjuju datoteke virtualnog stroja. Ali u svakom slučaju, ovdje morate vrlo jasno razumjeti kontekst i uz najmanju sumnju razjasniti što je točno vaš sugovornik imao na umu.
Proxy (Proxy): Važno je odmah shvatiti da Veeam Proxy nije baš ono na što smo navikli na internetu. Unutar Veeam proizvoda radi se o svojevrsnom entitetu koji se bavi prijenosom podataka s jednog mjesta na drugo. Ako ne idete u detalje, onda je VBR poslužitelj za naredbe i kontrolu, a proxyji su njegova radna snaga. To jest, proxy je stroj kroz koji teče promet i na kojem su instalirane VBR komponente koje pomažu u upravljanju tim prometom. Na primjer, za prijenos podataka s jednog kanala na drugi ili jednostavno zalijepiti diskove za sebe (HotAdd mod).
Repozitorij (Repozitorij): Tehnički, ovo je samo unos u VBR bazi podataka, koji označava mjesto gdje su sigurnosne kopije pohranjene i kako se povezati s tim mjestom. Zapravo, to može biti ili samo CIFS lopta ili zasebni disk, poslužitelj ili kanta u oblaku. Opet smo u kontekstu, ali razumijemo da je repozitorij samo mjesto gdje se nalaze vaše sigurnosne kopije.
Snimak (SnapshOt): Oxfordski zaljubljenici u gramatiku radije govore tko je snapshot, a tko snapshot, ali nepismena većina ima koristi od veće mase. Ako netko ne zna, ovo je tehnologija koja vam omogućuje vraćanje stanja diska u određenom trenutku. To se radi ili privremenim preusmjeravanjem I/O operacija s glavnog diska - tada će se to zvati RoW (Redirect on Write) snimka - ili premještanjem prepisivih blokova s vašeg diska na drugi - to će se zvati CoW (Copy on Write). ) snimak. Upravo zahvaljujući širokim mogućnostima korištenja ovih funkcija, Veeam može raditi svoju pričuvnu magiju. Strogo govoreći, ne samo oni, već je to stvar sljedećih izdanja.
U ESXi dokumentaciji i logovima vlada kaos oko ovog pojma, au kontekstu spominjanja snapshotova mogu se naći i sami snapshotovi, pa redo log, pa čak i delta disk. Veeam dokumentacija ne sadrži takav razdor, a snimka je snimka, a redo log je upravo REDO datoteka koju je stvorio neovisni nepostojani disk. REDO datoteke se brišu kada se virtualni stroj isključi, pa je njihovo brkanje sa snimkama put do neuspjeha.
Sintetika (Sintetika): Sintetičke sigurnosne kopije su obrnute inkrementalne i zauvijek naprijed sigurnosne kopije. U slučaju da niste naišli na ovaj pojam, to je samo jedan od mehanizama koji se koristi za izgradnju transformacije rezervnog lanca. Međutim, u zapisima također možete pronaći koncept transformacije, koji se koristi u okviru stvaranja punih kopija iz inkremenata (sintetička puna).
Zadatak (Zadatak): Ovo je proces obrade svakog pojedinog stroja unutar posla. To jest: imate backup posao, koji uključuje tri stroja. To znači da će svaki automobil biti obrađen kao dio zasebnog zadatka. Ukupno će biti četiri dnevnika: glavni za poslove i tri za zadatke. Međutim, ovdje postoji važna nijansa: s vremenom je riječ "zadatak" postala nepotrebno dvosmislena. Kada govorimo o općim zapisima, mislimo da je zadatak upravo VM. Ali postoje "zadaci" i na proxyju i na repozitoriju. Tamo to može značiti virtualni disk, virtualni stroj i cijeli posao. Odnosno, važno je ne izgubiti kontekst.
Veeam %name% usluga: U korist uspješnih sigurnosnih kopija istovremeno radi nekoliko servisa, čiji se popis nalazi u standardnoj opremi. Njihova imena prilično transparentno odražavaju njihovu bit, ali među jednakima postoji najvažniji - Veeam Backup Service, bez kojeg ostali neće raditi.
VSS: Tehnički, VSS bi uvijek trebao označavati Microsoft Volume Shadow Copy Service. Zapravo, mnogi ga koriste kao sinonim za Application-Aware Image Processing. Što je, naravno, kategorički pogrešno, ali ovo je priča iz kategorije "Svaki SUV može se nazvati džipom i razumjet ćete."
Fantastični balvani i gdje žive
Želim započeti ovo poglavlje otkrivanjem velike tajne - koje je vrijeme prikazano u zapisima?
Zapamtiti:
- ESXi uvijek piše zapisnike u UTC+0.
- vCenter vodi zapisnike prema vremenu svoje vremenske zone.
- Veeam vodi zapisnike prema vremenu i vremenskoj zoni poslužitelja na kojem se nalazi.
- I samo Windows događaji u EVTX formatu ne pate od vezivanja ni za što. Kada se otvore, vrijeme se ponovno izračunava za automobil na kojem su otvoreni. Najprikladnija opcija, iako s njom postoje poteškoće. Jedina opipljiva poteškoća je razlika u mjestima. Ovo je praktički zajamčen put do nečitljivih zapisa. Da, postoje opcije kako to tretirati, ali nemojmo se svađati s činjenicom da sve u IT-u radi na engleskom i dogovorimo se da uvijek postavljamo englesku lokalizaciju na poslužiteljima. Oh molim te.
Sada razgovarajmo o mjestima gdje trupci žive i kako ih nabaviti. U slučaju VBR-a postoje dva pristupa.
Prva je opcija prikladna ako niste željni tražiti datoteke u općoj hrpi koje su posebno povezane s vašim problemom. Da bismo to učinili, imamo zasebnog čarobnjaka u kojem možete odrediti određeni posao i određeno razdoblje za koje su vam potrebni zapisnici. Zatim će on sam pregledati mape i sve što vam treba staviti u jednu arhivu. Gdje ga potražiti i kako s njim raditi detaljno je opisano u .
Međutim, čarobnjak ne prikuplja zapisnike svih zadataka i, na primjer, ako trebate proučiti zapisnike obnavljanja, nadogradnje ili vraćanja u slučaju pogreške, vaš put leži u mapi %ProgramData%/Veeam/Backup. Ovo je glavna VBR logostore i %ProgramData% je skrivena mapa i to je u redu. Usput, zadana lokacija može se ponovno dodijeliti pomoću ključa registra tipa REG_SZ: LogDirectory u grani HKEY_LOCAL_MACHINESOFTWAREVeeamVeeam Backup and Replication.
Na Linux strojevima, zapise radnog agenta treba tražiti u /var/log/VeeamBackup/ako koristite root ili sudo račun. Ako nemate takve privilegije, potražite prijave /tmp/VeeamBackup.
Za Veeam agent za %OS_name% zapisnike treba pretraživati %ProgramData%/Veeam/Endpoint (Ili %ProgramData%/Veeam/Backup/Endpoint) I /var/log/veeam respektivno.
Ako koristite Application-Aware Image Processing (a najvjerojatnije jeste), onda situacija postaje nešto kompliciranija. Trebat će vam zapisnici našeg pomagača koji su pohranjeni unutar samog virtualnog stroja i VSS zapisnici. O tome kako i gdje dobiti ovu sreću, detaljno je napisano u . I naravno da postoji za prikupljanje potrebnih zapisnika sustava.
Windows događaji prikladno se prikupljaju prema . Ako koristite Hyper-V, stvari postaju kompliciranije, jer ćete trebati i sve njegove zapisnike iz ogranka Applications and Service Logs > Microsoft > Windows. Iako uvijek možete ići na gluplji način i jednostavno pokupiti sve objekte iz %SystemRoot%System32winevtLogs.
Ako se nešto pokvari tijekom instalacije/nadogradnje, sve što trebate možete pronaći u mapi %ProgramData%/Veeam/Setup/Temp. Iako neću skrivati činjenicu da u OS događajima možete pronaći više korisnih informacija nego u ovim zapisima. Ostatak zanimljivosti nalazi se u %Temp%, ali tu su uglavnom instalacijski zapisnici povezanog softvera, kao što je baza, .Net knjižnice i druge stvari. Imajte na umu da je Veeam instaliran iz msi-ja i da su sve njegove komponente također instalirane kao zasebni msi paketi, čak i ako to nije prikazano u GUI-ju. Stoga, ako instalacija jedne od komponenti ne uspije, cijela VBR instalacija će biti zaustavljena. Stoga morate ući u zapisnike i vidjeti što se točno pokvarilo i u kojem trenutku.
I na kraju, životni hack: ako dobijete pogrešku tijekom instalacije, nemojte žuriti s klikom na OK. Prvo uzimamo zapise, a zatim kliknemo OK. Na taj način ćete dobiti dnevnik koji završava u trenutku greške, bez smeća na kraju.
A događa se da trebate ući u zapisnike vSphere. Zanimanje je vrlo nezahvalno, ali, zasukavši rukave, čovjek mora raditi nešto drugo. U najjednostavnijoj verziji, potrebni su nam zapisnici s događajima virtualnog stroja vmware.log, koji se nalaze pored njegove .vmx datoteke. U težem slučaju, otvorite Google i pitajte gdje se nalaze zapisnici za vašu verziju hosta, budući da VMware voli mijenjati ovo mjesto od izdanja do izdanja. Na primjer, , ali za . Za zapisnike vCenter ponovite postupak . Ali općenito će nas zanimati zapisnici događaja hostd.log, događaji domaćina kojima upravlja vCenter vpxa.log, zapisnici kernela vmkernel.log i zapisnici autentifikacije auth.log. Pa, u najzanemarenijim slučajevima, SSO dnevnik, koji se nalazi u mapi SSO, može dobro doći.
Glomazan? Zbunjeni? Zastrašujuće? Ali to nije ni pola informacija s kojima naša podrška svakodnevno radi. Tako da su stvarno, stvarno cool.
Veeam komponente
I kao zaključak ovog uvodnog članka, popričajmo malo o komponentama Veeam Backup & Replication. Jer kada tražite uzrok boli, bilo bi lijepo razumjeti kako pacijent funkcionira.
Dakle, kao što vjerojatno svi znaju, Veeam Backup je takozvana aplikacija temeljena na SQL-u. Odnosno, sve postavke, sve informacije i općenito sve što je jedino potrebno za normalno funkcioniranje - sve to nalazi se u njegovoj bazi podataka. Ili bolje rečeno, u dvije baze podataka, ako govorimo o hrpi VBR-a i EM-a: VeeamBackup odnosno VeeamBackupReporting. I tako se dogodilo: stavili smo drugu aplikaciju - pojavljuje se druga baza podataka. Kako se ne bi sva jaja spremala u jednu košaru.
Ali da bi sva ova ekonomija radila glatko, potreban nam je skup usluga i aplikacija koje će povezati sve komponente zajedno. Samo kao primjer, ovako to izgleda u jednom od mojih laboratorija:
Djeluje kao šef dirigent Veeam Backup Service. On je odgovoran za razmjenu informacija s bazama. On je također odgovoran za pokretanje svih zadataka, orkestriranje dodijeljenih resursa i rad kao neka vrsta komunikacijskog centra za razne konzole, agente i sve ostalo. Jednom riječju, bez njega definitivno nema načina, ali to uopće ne znači da on sve radi sam.
Pomaže mu u ispunjenju njegovog plana Veeam Backup Manager. Ovo nije servis, već subjekt koji pokreće poslove i prati proces njihovog izvršenja. Radne ruke backup servisa, s kojima se povezuje s hostovima, stvara snapshotove, nadzire zadržavanje i tako dalje.
Ali vratimo se na popis usluga. Veeam Broker Service. Pojavio se u v9.5 (a ovo nije kripto rudar, kao što su neki tada mislili). Prikuplja informacije o VMware hostovima i održava njihovu relevantnost. Ali nemojte odmah trčati pisati ljutite komentare da vas špijuniramo i odajemo sve prijave / lozinke taschmajoru. Sve je nešto jednostavnije. Kada pokrenete backup, prva stvar koju trebate učiniti je spojiti se na host i ažurirati sve podatke o njegovoj strukturi. Ovo je prilično spora i glomazna priča. Zapamtite samo koliko dugo vam je potrebno da se prijavite putem web sučelja i zapamtite da se tu računa samo gornji sloj. A onda još trebate usput otvoriti cijelu hijerarhiju na pravo mjesto. Jednom riječju užas. Ako pokrenete desetak sigurnosnih kopija, tada svaki posao mora obaviti ovu proceduru. Ako govorimo o velikim infrastrukturama, onda ovaj proces može trajati desetak minuta ili više. Stoga je odlučeno da se za to izdvoji posebna usluga putem koje će biti moguće dobivati uvijek aktualne informacije. Prilikom pokretanja provjerava i skenira svu dodanu infrastrukturu, a zatim pokušava raditi samo na razini inkrementalnih promjena. Dakle, čak i ako pokrenete stotinu sigurnosnih kopija u isto vrijeme, sve će tražiti informacije od našeg brokera i neće mučiti domaćine svojim zahtjevima. Ako ste zabrinuti za resurse, onda prema našim izračunima, 5000 virtualnih strojeva treba samo oko 100 Mb memorije.
Sljedeći imamo Veeam konzola. On je Veeam Remote Console, on je Veeam.Backup.Shell. Ovo je isti GUI koji vidimo na snimkama zaslona. Sve je jednostavno i očito - konzola se može pokrenuti s bilo kojeg mjesta, sve dok je Windows i postoji veza s VBR poslužiteljem. Jedino što se može reći je da će FLR proces montirati točke lokalno (tj. na stroju na kojem se izvodi konzola). Pa, razni Veeam Exploreri će također raditi lokalno, jer su dio konzole. Ali već me odveo u divljinu ...
Još jedna zanimljiva usluga je Veeam Backup Catalog Data Service. Na popisu usluga poznat kao Veeam Guest Catalog Service. Bavi se indeksiranjem datotečnih sustava na gostujućim strojevima i tim znanjem puni mapu VBRCatalog. Koristi se samo tamo gdje je omogućen potvrdni okvir za indeksiranje. Ima smisla omogućiti ga samo ako imate Enterprise Manager. Stoga savjet od srca: ne palite samo tako indeksiranje ako nemate EAT. Uštedite svoje živce i vrijeme podrške.
Također od drugih važnih usluga vrijedi napomenuti Veeam instalacijska usluga, uz pomoć kojih se potrebne komponente isporučuju i instaliraju na proxyje, repozitorije i druge pristupnike. Zapravo, preuzima potrebne .msi pakete na poslužitelje i instalira ih.
Veeam Data Mover - uz pomoć pomoćnih agenata pokrenutih na proxyjima (i ne samo) bavi se prebacivanjem podataka. Na primjer, prilikom izrade sigurnosne kopije, jedan agent će pročitati datoteke iz pohrane podataka glavnog računala, a drugi će ih pažljivo zapisati u sigurnosnu kopiju.
Zasebno bih želio napomenuti važnu stvar na koju klijenti često reagiraju - to je razlika u verzijama usluga i informacija u snap-inu Programi i značajke. Da, popis će biti isti, ali verzije mogu biti potpuno neskladne. Vizualno nije baš cool, ali sasvim je normalno ako sve radi stabilno. Na primjer, za uslugu Installer, broj verzije je daleko iza susjednih. Horor i noćna mora? Ne, jer nije potpuno ponovno instaliran, već se njegov DLL jednostavno ažurira. U zakrpi v9.5 U4 dogodila se noćna mora tehničke podrške: tijekom ažuriranja sve su usluge dobile nove verzije, osim one najvažnije. U U4b patchu usluga prijevoza prestigla je sve ostale za čak dvije verzije (sudeći po brojkama). I to je također normalno - u njemu je pronađena ozbiljna greška, pa je dobio dodatno ažuriranje u odnosu na ostalo. Dakle, da sažmemo: razlike u verzijama MOGU biti problem, ali ako postoji razlika i sve radi kako treba, onda bi vjerojatno trebala biti. Ali nitko vam ne brani da to razjasnite u tehničkoj podršci.
Bile su to takozvane obvezne ili Obvezne usluge. A tu je i cijela hrpa pomoćnih, kao što su Tape Service, Mount Service, vPowerNFS Service i tako dalje.
Za Hyper-V, općenito, sve je isto, samo postoji specifičnost Veeam Backup Hyper-V Integration Service i vlastiti vozač za rad s CBT-om.
I na kraju, razgovarajmo o tome tko radi na virtualnim strojevima tijekom backupa. Za pokretanje skripti prije i nakon zamrzavanja, stvaranje kopije u sjeni, prikupljanje metapodataka, rad sa SQL zapisnicima transakcija itd. Veeam Guest Helper. A ako su sustavi datoteka indeksirani, Veeam Guest Indexer . To su privremene usluge raspoređene za vrijeme trajanja sigurnosne kopije i uklonjene nakon nje.
U slučaju Linux strojeva, sve je mnogo jednostavnije zbog prisutnosti velikog broja ugrađenih biblioteka i mogućnosti samog sustava. Na primjer, indeksiranje se vrši kroz mlocate.
To je sve za sada
Ne usuđujem se više te povrijediti kratak Smatram da je upoznavanje s Veeam motornim prostorom završeno. Da, nismo se ni približili samim jazbinama, ali vjerujte mi, da informacije koje se u njima iznose ne izgledaju kao nesuvisli tok svijesti, takav uvod je apsolutno neophodan. Na same logove planiram ići tek u trećem članku, a plan za sljedeći je objasniti tko generira logove, što se točno u njima prikazuje i zašto baš, a ne drugačije.
Izvor: www.habr.com