\u010dl\u00e1nek o Badushce<\/a><\/noindex>, kter\u00e1 o tom napsala. Ale je tady jeden okam\u017eik. Kolem tohoto vol\u00e1n\u00ed byl nekone\u010dn\u00fd cyklus, ve kter\u00e9m se neust\u00e1le pokou\u0161elo vlo\u017eit zpr\u00e1vu do socketu. To jsme si nev\u0161imli. Museli jsme p\u0159epsat knihovnu. Od t\u00e9 doby se n\u011bkolikr\u00e1t zm\u011bnila, ale nyn\u00ed se n\u00e1m poda\u0159ilo zbavit se zablokov\u00e1n\u00ed ve v\u0161ech subsyst\u00e9mech. Tak\u017ee m\u016f\u017eeme zastavit rsyslog a nic nespadne.<\/p>\n<\/p>\n
Je nutn\u00e9 monitorovat velikost front, co\u017e pom\u00e1h\u00e1 se vyhnout t\u011bmto probl\u00e9m\u016fm. Za prv\u00e9, m\u016f\u017eeme monitorovat, kdy za\u010d\u00edn\u00e1me ztr\u00e1cet zpr\u00e1vy. Za druh\u00e9, m\u016f\u017eeme monitorovat, \u017ee m\u00e1me obecn\u011b probl\u00e9my s dod\u00e1vkou.<\/p>\n
<\/p>\n
A je\u0161t\u011b nep\u0159\u00edjemn\u00fd moment \u2014 amplifikace v 10n\u00e1sobku v mikroservisn\u00ed architektu\u0159e \u2014 je to velmi snadn\u00e9. M\u00e1me relativn\u011b m\u00e1lo p\u0159\u00edchoz\u00edch po\u017eadavk\u016f, ale kv\u016fli grafu, kter\u00fdm zpr\u00e1vy b\u011b\u017e\u00ed d\u00e1l, kv\u016fli access-log\u016fm, skute\u010dn\u011b zvy\u0161ujeme zat\u00ed\u017een\u00ed logy p\u0159ibli\u017en\u011b desetin\u00e1sobn\u011b. Omlouv\u00e1m se, \u017ee jsem nestihl spo\u010d\u00edtat p\u0159esn\u00e1 \u010d\u00edsla, ale mikroservisy takov\u00e9 jsou. To je t\u0159eba m\u00edt na pam\u011bti. Vych\u00e1z\u00ed to tak, \u017ee v sou\u010dasn\u00e9 dob\u011b je subsyst\u00e9m sb\u011bru log\u016f nejv\u00edce zat\u00ed\u017een\u00fd v Lazad\u011b. <\/p>\n
<\/p>\n
<\/p>\n
Jak vy\u0159e\u0161it probl\u00e9m s elasticsearch? Pokud pot\u0159ebujete rychle z\u00edskat logy na jednom m\u00edst\u011b, abyste nemuseli b\u011bhat po v\u0161ech stroj\u00edch a sb\u00edrat je tam, pou\u017eijte souborov\u00e9 \u00falo\u017ei\u0161t\u011b. To funguje zaru\u010den\u011b. M\u016f\u017eete to vytvo\u0159it z jak\u00e9hokoli serveru. Sta\u010d\u00ed jen nainstalovat tam disky a nastavit syslog. Pot\u00e9 budete m\u00edt zaru\u010den\u011b v\u0161echny logy na jednom m\u00edst\u011b. Pak m\u016f\u017eete klidn\u011b postupn\u011b nastavovat elasticsearch, graylog nebo n\u011bco jin\u00e9ho. Ale u\u017e budete m\u00edt v\u0161echny logy a m\u016f\u017eete je ukl\u00e1dat, jak dlouho to disky dovol\u00ed.<\/p>\n
<\/p>\n
<\/p>\n
V dob\u011b m\u00e9 p\u0159edn\u00e1\u0161ky vypadala sch\u00e9ma takto. Prakticky jsme p\u0159estali ps\u00e1t do soubor\u016f. Te\u010f, pravd\u011bpodobn\u011b, odpoj\u00edme zbytky. Na lok\u00e1ln\u00edch stroj\u00edch, na kter\u00fdch b\u011b\u017e\u00ed API, p\u0159estaneme ps\u00e1t do soubor\u016f. Za prv\u00e9, existuje souborov\u00e9 \u00falo\u017ei\u0161t\u011b, kter\u00e9 funguje velmi dob\u0159e. Za druh\u00e9, na t\u011bchto stroj\u00edch se neust\u00e1le vy\u010derp\u00e1v\u00e1 m\u00edsto, tak\u017ee je t\u0159eba ho neust\u00e1le monitorovat.<\/p>\n
<\/p>\n
Tato \u010d\u00e1st s Logstash a Graylogem je skute\u010dn\u011b problematick\u00e1. Tak\u017ee se ji pot\u0159ebujeme zbavit. Je t\u0159eba vybrat n\u011bco jednoho.<\/p>\n
<\/p>\n
<\/p>\n
Rozhodli jsme se zahodit Logstash a Kibana. Proto\u017ee m\u00e1me bezpe\u010dnostn\u00ed odd\u011blen\u00ed. Jak\u00fd je vztah? Vztah je v tom, \u017ee Kibana bez X-Pack a Shield neumo\u017e\u0148uje rozd\u011blit pr\u00e1va p\u0159\u00edstupu k log\u016fm. Proto jsme vzali Graylog. Ten m\u00e1 v\u0161echno pot\u0159ebn\u00e9. Neum\u00edm si na n\u011bj zvyknout, ale funguje. Koupili jsme novou techniku, nainstalovali tam \u010derstv\u00fd Graylog a p\u0159enesli v\u0161echny logy se striktn\u00edmi form\u00e1ty do samostatn\u00e9ho Graylogu. Vy\u0159e\u0161ili jsme probl\u00e9m s r\u016fzn\u00fdmi typy stejn\u00fdch pol\u00ed organiza\u010dn\u011b.<\/p>\n
<\/p>\n
<\/p>\n
Co p\u0159esn\u011b nov\u011b zahrnuje Graylog? V\u0161echno jsme jednodu\u0161e zapsali do Dockeru. Vzali jsme spoustu server\u016f, rozbalili t\u0159i instance Kafka, 7 server\u016f Graylog verze 2.3 (proto\u017ee jsme cht\u011bli Elasticsearch verzi 5). V\u0161echno bylo na RAID z HDD. Vid\u011bli jsme indexa\u010dn\u00ed rychlost a\u017e 100 tis\u00edc zpr\u00e1v za sekundu. Vid\u011bli jsme \u010d\u00edslo, \u017ee m\u00e1me 140 terabajt\u016f dat za t\u00fdden. <\/p>\n
<\/p>\n
<\/p>\n
A zase jsme narazili na probl\u00e9my! \u010cekaj\u00ed n\u00e1s dv\u011b v\u00fdprodeje. P\u0159esunuli jsme se k 6 milion\u016fm zpr\u00e1v. N\u00e1\u0161 Graylog nesta\u010d\u00ed zpracov\u00e1vat. Mus\u00edme n\u011bjak p\u0159e\u017e\u00edt. <\/p>\n
<\/p>\n
<\/p>\n
P\u0159e\u017eili jsme takto. P\u0159idali jsme p\u00e1r server\u016f a SSD. V sou\u010dasnosti \u017eijeme t\u00edmto zp\u016fsobem. Te\u010f zpracov\u00e1v\u00e1me u\u017e 160 tis\u00edc zpr\u00e1v za sekundu. Je\u0161t\u011b jsme nenarazili na limit, tak\u017ee zat\u00edm nen\u00ed jasn\u00e9, kolik skute\u010dn\u011b m\u016f\u017eeme vyt\u00e1hnout z tohoto. <\/p>\n
<\/p>\n
<\/p>\n
Takov\u00e9 m\u00e1me pl\u00e1ny do budoucna. Z nich je opravdu nejd\u016fle\u017eit\u011bj\u0161\u00ed pravd\u011bpodobn\u011b vysok\u00e1 dostupnost. Tu zat\u00edm nem\u00e1me. N\u011bkolik stroj\u016f je nastaveno stejn\u011b, ale v\u0161e zat\u00edm jede p\u0159es jeden stroj. Mus\u00edme si ud\u011blat \u010das, abychom nastavili failover mezi nimi.<\/p>\n
<\/p>\n
Shrom\u00e1\u017edit metriky z Graylogu.<\/p>\n
<\/p>\n
Nastavit omezen\u00ed rychlosti, abychom m\u011bli jedno, \u0161\u00edlen\u00e9 API, kter\u00e9 n\u00e1m nezab\u00edjelo \u0161\u00ed\u0159ku p\u00e1sma a v\u0161echno ostatn\u00ed.<\/p>\n
<\/p>\n
A nakonec podepsat n\u011bjakou SLA s v\u00fdvoj\u00e1\u0159i, \u017ee m\u016f\u017eeme obslou\u017eit tolik. Pokud budete ps\u00e1t v\u00edc, tak promi\u0148te.<\/p>\n
<\/p>\n
A napsat dokumentaci.<\/p>\n
<\/p>\n
<\/p>\n
Kr\u00e1tce shrnut\u00ed v\u0161eho, co jsme za\u017eili. Za prv\u00e9, standardy. Za druh\u00e9, syslog \u2014 dort. A za t\u0159et\u00ed, rsyslog funguje p\u0159esn\u011b tak, jak je naps\u00e1no na sn\u00edmku. A p\u0159ejd\u011bme k dotaz\u016fm.<\/p>\n
<\/p>\n
Ot\u00e1zky<\/strong>.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Pro\u010d jsme se nakonec rozhodli nevz\u00edt\u2026 (filebeat?)<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Mus\u00edme ps\u00e1t do souboru. Moc se mi necht\u011blo. Kdy\u017e m\u00e1\u0161 API, kter\u00e9 zapisuje tis\u00edce zpr\u00e1v za sekundu, i kdy\u017e bude\u0161 rotovat jednou za hodinu, st\u00e1le to nen\u00ed mo\u017enost. M\u016f\u017ee\u0161 ps\u00e1t do pipu. Na co\u017e se m\u011b v\u00fdvoj\u00e1\u0159i zeptali: \u201eCo se stane, kdy\u017e proces, do kter\u00e9ho zapisujeme, spadne\u201c? Jen jsem nena\u0161el, co na to \u0159\u00edct, a \u0159ekl jsem: \u201eNo dob\u0159e, tak to d\u011blat nebudeme\u201c.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Pro\u010d nep\u00ed\u0161ete logy p\u0159\u00edmo do HDFS?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: To je dal\u0161\u00ed krok. P\u0159em\u00fd\u0161leli jsme o tom na za\u010d\u00e1tku, ale proto\u017ee moment\u00e1ln\u011b nem\u00e1me zdroje se t\u00edm zab\u00fdvat, z\u016fst\u00e1v\u00e1 to pro n\u00e1s jako dlouhodob\u00e9 \u0159e\u0161en\u00ed.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Sloupcov\u00fd form\u00e1t by byl vhodn\u011bj\u0161\u00ed.<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: V\u0161emu rozum\u00edm. My jsme \u201epro\u201c ob\u011bma rukama. <\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: P\u00ed\u0161ete do rsyslogu. Tam je mo\u017en\u00e9 jak TCP, tak UDP. Ale pokud pou\u017e\u00edv\u00e1te UDP, jak zaru\u010dujete doru\u010den\u00ed?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Jsou zde dva body. Prvn\u00ed, okam\u017eit\u011b v\u0161em \u0159\u00edk\u00e1m, \u017ee nezaru\u010dujeme doru\u010den\u00ed log\u016f. Proto\u017ee kdy\u017e p\u0159ijdou v\u00fdvoj\u00e1\u0159i a \u0159\u00edkaj\u00ed: \u201eA co kdybychom sem za\u010dali ps\u00e1t finan\u010dn\u00ed data, a vy je n\u011bkde uskladn\u00edte na p\u0159\u00edpad, \u017ee by se n\u011bco stalo\u201c, odpov\u011bd\u00edme jim \u201eSkv\u011bl\u00e9! Poj\u010fte za\u010d\u00edt blokovat z\u00e1pis do soketu a d\u011blat to v transakc\u00edch, abyste n\u00e1m garantovali, \u017ee jste n\u00e1m to do soketu vlo\u017eili a ujistili se, \u017ee jsme to z druh\u00e9 strany dostali.\u201c A v ten moment se v\u0161em okam\u017eit\u011b nechce. A proto\u017ee se nechce, tak jak\u00e9 k n\u00e1m maj\u00ed ot\u00e1zky? Pokud nechcete garantovat z\u00e1pis do soketu, pro\u010d bychom m\u011bli garantovat doru\u010den\u00ed? D\u011bl\u00e1me to nejlep\u0161\u00ed, co m\u016f\u017eeme. Opravu se sna\u017e\u00edme doru\u010dit co nejv\u00edce a co nejl\u00e9pe, ale ned\u00e1v\u00e1me 100% z\u00e1ruku. Proto sem nepi\u0161te finan\u010dn\u00ed data. Na to jsou datab\u00e1ze s transakcemi.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Kdy\u017e API generuje n\u011bjakou zpr\u00e1vu do logu a p\u0159ed\u00e1v\u00e1 \u0159\u00edzen\u00ed mikroslu\u017eb\u00e1m, nenarazili jste na probl\u00e9m, \u017ee zpr\u00e1vy z r\u016fzn\u00fdch mikroslu\u017eeb p\u0159ich\u00e1zej\u00ed ve \u0161patn\u00e9m po\u0159ad\u00ed? To zp\u016fsobuje zmatek.<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Je norm\u00e1ln\u00ed, \u017ee p\u0159ich\u00e1zej\u00ed v r\u016fzn\u00e9 po\u0159ad\u00ed. Na to je t\u0159eba b\u00fdt p\u0159ipraven. Proto\u017ee jak\u00e1koliv s\u00ed\u0165ov\u00e1 dod\u00e1vka v\u00e1m nezaru\u010duje po\u0159ad\u00ed, nebo na to je t\u0159eba speci\u00e1ln\u011b vynakl\u00e1dat zdroje. Pokud vezmeme souborov\u00e1 \u00falo\u017ei\u0161t\u011b, ka\u017ed\u00e9 API ukl\u00e1d\u00e1 logy do sv\u00e9ho souboru. Omlouv\u00e1m se, tam rsyslog je rozlo\u017e\u00ed podle adres\u00e1\u0159\u016f. Ka\u017ed\u00e9 API m\u00e1 sv\u00e9 logy, kam se d\u00e1 j\u00edt pod\u00edvat, a pak podle timestampu v tomto logu je lze porovn\u00e1vat. Pokud se pod\u00edvaj\u00ed do Graylogu, tam se to se\u0159ad\u00ed podle timestampu. V\u0161echno bude v po\u0159\u00e1dku.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Timestamp se m\u016f\u017ee li\u0161it o milisekundy.<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Timestamp generuje samo API. To je vlastn\u011b cel\u00fd trik. M\u00e1me NTP. API generuje timestamp u\u017e v samotn\u00e9 zpr\u00e1v\u011b. Nen\u00ed to rsyslog, kdo ho p\u0159id\u00e1v\u00e1.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Nen\u00ed \u00fapln\u011b jasn\u00e9, jak prob\u00edh\u00e1 interakce mezi datov\u00fdmi centry. V r\u00e1mci datov\u00e9ho centra je jasn\u00e9, jak se logy shroma\u017e\u010fuj\u00ed a zpracov\u00e1vaj\u00ed. Jak prob\u00edh\u00e1 interakce mezi datov\u00fdmi centry? Nebo ka\u017ed\u00e9 datov\u00e9 centrum \u017eije sv\u00fdm vlastn\u00edm \u017eivotem?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Skoro. Ka\u017ed\u00e1 zem\u011b je um\u00edst\u011bna v jednom konkr\u00e9tn\u00edm datov\u00e9m centru. V sou\u010dasnosti nem\u00e1me rozlo\u017een\u00ed, kde by jedna zem\u011b byla um\u00edst\u011bna v r\u016fzn\u00fdch datov\u00fdch centrech. Nepot\u0159ebujeme je tedy spojovat. Uvnit\u0159 ka\u017ed\u00e9ho centra je Log Relay. To je server Rsyslog. Ve skute\u010dnosti jsou to dva mana\u017eersk\u00e9 stroje. Jsou nastaveny stejn\u011b. V sou\u010dasnosti ale provoz proch\u00e1z\u00ed jedn\u00edm z nich. Ten shroma\u017e\u010fuje v\u0161echny logy. M\u00e1 diskovou frontu pro p\u0159\u00edpad nouze. Komprimuje logy a pos\u00edl\u00e1 je do centr\u00e1ln\u00edho datov\u00e9ho centra (v Singapuru), odkud se d\u00e1le odes\u00edlaj\u00ed do Graylog. A v ka\u017ed\u00e9m datov\u00e9m centru je vlastn\u00ed \u00falo\u017ei\u0161t\u011b soubor\u016f. V p\u0159\u00edpad\u011b, \u017ee ztrat\u00edme spojen\u00ed, m\u00e1me tam v\u0161echny logy. Ty tam z\u016fstanou. Bude tam uchov\u00e1ny.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: P\u0159i mimo\u0159\u00e1dn\u00fdch situac\u00edch dost\u00e1v\u00e1te logy odtamtud?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: M\u016f\u017eete tam j\u00edt (do \u00falo\u017ei\u0161t\u011b soubor\u016f) a zkontrolovat je.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Jak monitorujete, \u017ee neztr\u00e1c\u00edte logy?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Ve skute\u010dnosti je ztr\u00e1c\u00edme a monitorujeme to. Monitorov\u00e1n\u00ed bylo spu\u0161t\u011bno p\u0159ed m\u011bs\u00edcem. V knihovn\u011b pou\u017e\u00edvan\u00e9 Go API jsou metriky. Um\u00ed po\u010d\u00edtat, kolikr\u00e1t se j\u00ed nepoda\u0159ilo zapsat do socketu. V tuto chv\u00edli je tam chytr\u00e1 heuristika. Je tam buffer. Sna\u017e\u00ed se zapisovat z n\u011bho zpr\u00e1vy do socketu. Pokud se buffer p\u0159epln\u00ed, za\u010dne je odm\u00edtat. A po\u010d\u00edt\u00e1, kolik jich odm\u00edtl. Kdy\u017e za\u010dnou po\u010d\u00edtadla p\u0159ekra\u010dovat ur\u010dit\u00e9 hodnoty, dozv\u00edme se o tom. Aktu\u00e1ln\u011b p\u0159ich\u00e1zej\u00ed tak\u00e9 do Prometheus a v Grafana m\u016f\u017eete vid\u011bt grafy. M\u016f\u017eete nastavit upozorn\u011bn\u00ed. Ale zat\u00edm nen\u00ed jasn\u00e9, komu je pos\u00edlat.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: V Elasticsearch uchov\u00e1v\u00e1te logy s replikac\u00ed. Kolik m\u00e1te replik?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Jedna replika.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: To je pouze jedna replika?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: To je master a replika. Data jsou uchov\u00e1v\u00e1na ve dvou kopi\u00edch.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Velikost bufferu rsyslog jste n\u011bjak upravovali? <\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: P\u00ed\u0161eme datagramy do vlastn\u00edho unixov\u00e9ho socketu. To n\u00e1m okam\u017eit\u011b ukl\u00e1d\u00e1 omezen\u00ed 128 kilobajt\u016f. Nem\u016f\u017eeme do n\u011bj zapsat v\u00edce. Uvedli jsme to ve standardu. Kdo chce m\u00edt p\u0159\u00edstup ke storage, ten p\u00ed\u0161e 128 kilobajt\u016f. Knihovny nav\u00edc o\u0159ez\u00e1vaj\u00ed a nastavuj\u00ed p\u0159\u00edznak, \u017ee zpr\u00e1va byla o\u0159\u00edznuta. V na\u0161em standardu zpr\u00e1vy existuje speci\u00e1ln\u00ed pole, kter\u00e9 ukazuje, zda byla p\u0159i z\u00e1pisu o\u0159\u00edznuta \u010di nikoli. Tak\u017ee m\u00e1me mo\u017enost to sledovat.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: P\u00ed\u0161ete neplatn\u00fd JSON? <\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Neplatn\u00fd JSON bude zam\u00edtnut bu\u010f b\u011bhem relay, proto\u017ee bal\u00ed\u010dek je p\u0159\u00edli\u0161 velk\u00fd. Nebo bude zam\u00edtnut Graylog, proto\u017ee nebude moci JSON zparsovat. Ale zde jsou nuance, kter\u00e9 je pot\u0159eba opravit, a v\u011bt\u0161inou jsou spojeny s rsyslog. U\u017e jsem tam zanesl n\u011bkolik probl\u00e9m\u016f, na kter\u00fdch je je\u0161t\u011b t\u0159eba pracovat.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Pro\u010d Kafka? Zkou\u0161eli jste RabbitMQ? Nebo se Graylog nevyrovn\u00e1v\u00e1 s takov\u00fdmi z\u00e1t\u011b\u017eemi?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: S Graylogem se n\u00e1m neda\u0159\u00ed. Ale Graylog s n\u00e1mi vych\u00e1z\u00ed. Je to zvl\u00e1\u0161tn\u00ed v\u011bc. A ve skute\u010dnosti nen\u00ed pot\u0159eba. Rad\u011bji bych psal p\u0159\u00edmo z rsyslog do elasticsearch a pak se pod\u00edval do Kibany. Ale mus\u00edme vy\u0159e\u0161it ot\u00e1zku se zabezpe\u010den\u00edm. To je mo\u017en\u00fd sm\u011br na\u0161eho rozvoje, kdy bychom vyhodili Graylog a pou\u017e\u00edvali Kibanu. Nem\u00e1 smysl pou\u017e\u00edvat Logstash. Proto\u017ee tot\u00e9\u017e mohu ud\u011blat z rsyslog. A m\u00e1 modul pro z\u00e1pis do elasticsearch. S Graylogem se sna\u017e\u00edme n\u011bjak \u017e\u00edt. Dokonce jsme ho trochu vyladili. Ale je tam je\u0161t\u011b prostor pro zlep\u0161en\u00ed.<\/p>\n<\/p>\n
O Kafka. Tak to historicky vyplynulo. Kdy\u017e jsem p\u0159i\u0161el, ji\u017e existovala a zapisovaly se do n\u00ed logy. Prost\u011b jsme spustili n\u00e1\u0161 cluster a p\u0159est\u011bhovali do n\u011bj logy. Spravujeme ho, v\u00edme, jak se m\u00e1. Co se t\u00fd\u010de RabbitMQ\u2026 s RabbitMQ n\u00e1m to neklape. A s RabbitMQ n\u00e1m to funguje. M\u00e1me ho v produkci a m\u011bly s n\u00edm probl\u00e9my. P\u0159ed touto akc\u00ed jsme ho upravili a za\u010dal norm\u00e1ln\u011b fungovat. Ale p\u0159edt\u00edm jsem nebyl p\u0159ipraven ho pustit do produkce. Je tu je\u0161t\u011b jeden bod. Graylog um\u00ed \u010d\u00edst verzi AMQP 0.9, zat\u00edmco rsyslog um\u00ed zapisovat verzi AMQP 1.0. A nen\u00ed \u017e\u00e1dn\u00e9 \u0159e\u0161en\u00ed, kter\u00e9 by um\u011blo oboj\u00ed. Bu\u010f jedno nebo druh\u00e9. Tak\u017ee prozat\u00edm pouze Kafka. Ale tam tak\u00e9 jsou sv\u00e9 nuance. Proto\u017ee omkafka t\u00e9 verze rsyslog, kterou pou\u017e\u00edv\u00e1me, m\u016f\u017ee ztratit cel\u00fd buffer zpr\u00e1v, kter\u00e9 na\u010detla z rsyslog. Zat\u00edm se s t\u00edm smi\u0159ujeme. <\/p>\n
<\/p>\n
Ot\u00e1zka<\/strong>: Pou\u017e\u00edv\u00e1te Kafku, proto\u017ee u\u017e ji m\u00e1te? Nevyu\u017e\u00edv\u00e1te ji pro \u017e\u00e1dn\u00e9 jin\u00e9 \u00fa\u010dely?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: Kafka, kter\u00e1 byla, se pou\u017e\u00edv\u00e1 t\u00fdmem Data Science. To je zcela samostatn\u00fd projekt, o kter\u00e9m, bohu\u017eel, nemohu nic \u0159\u00edct. Nejsem v obraze. Byla v p\u00e9\u010di t\u00fdmu Data Science. Kdy\u017e za\u010dali zapisovat logy, rozhodli se ji pou\u017e\u00edt, aby nebylo nutn\u00e9 instalovat je\u0161t\u011b svou vlastn\u00ed. Nyn\u00ed jsme aktualizovali Graylog a ztratili jsme kompatibilitu, proto\u017ee tam je star\u00e1 verze Kafky. Museli jsme si vytvo\u0159it vlastn\u00ed. P\u0159i t\u00e9 p\u0159\u00edle\u017eitosti jsme se zbavili t\u011bch \u010dty\u0159 t\u00e9mat pro ka\u017ed\u00e9 API. Ud\u011blali jsme jedno \u0161irok\u00e9 t\u00e9ma pro v\u0161echny live, jedno \u0161irok\u00e9 t\u00e9ma pro v\u0161echny staging a jednodu\u0161e v\u0161echno tam nal\u00e9v\u00e1me. Graylog to v\u0161echno paraleln\u011b zpracov\u00e1v\u00e1.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: Pro\u010d je pot\u0159eba tohle \"\u0161amanstv\u00ed\" se sockety? Zkou\u0161eli jste pou\u017e\u00edt log-drivers syslog pro kontejnery?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: V dob\u011b, kdy jsme se t\u00edmto probl\u00e9mem zab\u00fdvali, jsme m\u011bli s Dockerem napjat\u00e9 vztahy. Byla to verze docker 1.0 nebo 0.9. Docker s\u00e1m o sob\u011b byl podivn\u00fd. Za druh\u00e9, pokud do n\u011bj je\u0161t\u011b d\u00e1v\u00e1te logy\u2026 M\u00e1m nepodlo\u017een\u00e9 podez\u0159en\u00ed, \u017ee skrze sebe, skrze Docker d\u00e9mon, proch\u00e1zej\u00ed v\u0161echny logy. Pokud jedno API za\u010d\u00edn\u00e1 blbnout, ostatn\u00ed API nar\u00e1\u017eej\u00ed na to, \u017ee nemohou poslat stdout a stderr. Nev\u00edm, kam to povede. M\u00e1m pocit, \u017ee v tomto m\u00edst\u011b bychom nem\u011bli pou\u017e\u00edvat syslog driver Dockeru. Na\u0161e odd\u011blen\u00ed funk\u010dn\u00edho testov\u00e1n\u00ed m\u00e1 sv\u016fj vlastn\u00ed mal\u00fd cluster Graylog s logy. Pou\u017e\u00edvaj\u00ed Docker log drivery a zd\u00e1 se, \u017ee tam maj\u00ed v\u0161e v po\u0159\u00e1dku. Ale GELF pos\u00edlaj\u00ed p\u0159\u00edmo do Graylogu. Kdy\u017e jsme to v\u0161echno pl\u00e1novali, pot\u0159ebovali jsme, aby to prost\u011b fungovalo. Mo\u017en\u00e1 pozd\u011bji, a\u017e n\u011bkdo p\u0159ijde a \u0159ekne, \u017ee to u\u017e d\u00e1vno funguje norm\u00e1ln\u011b, to vyzkou\u0161\u00edme.<\/p>\n<\/p>\n
Ot\u00e1zka<\/strong>: D\u011bl\u00e1te dod\u00e1vku mezi datov\u00fdmi centry na rsyslog. Pro\u010d ne na Kafka?<\/p>\n<\/p>\n
Odpov\u011b\u010f<\/strong>: D\u011bl\u00e1me to vlastn\u011b ob\u011bma zp\u016fsoby. Z dvou d\u016fvod\u016f. Pokud je kan\u00e1l \u00fapln\u011b rozbit\u00fd, ani na\u0161e komprimovan\u00e9 logy se tam nevejdou. A Kafka umo\u017e\u0148uje je jednodu\u0161e ztr\u00e1cet v procesu. T\u00edmto zp\u016fsobem se zbavujeme zasek\u00e1v\u00e1n\u00ed t\u011bchto log\u016f. V tomto p\u0159\u00edpad\u011b jednodu\u0161e pou\u017e\u00edv\u00e1me Kafka p\u0159\u00edmo. Pokud m\u00e1me dobr\u00fd kan\u00e1l a chceme ho uvolnit, pou\u017eijeme rsyslog. Ale ve skute\u010dnosti ho lze nastavit tak, aby automaticky odstra\u0148oval obsah, kter\u00fd se nevejde. V sou\u010dasnosti pou\u017e\u00edv\u00e1me n\u011bkde dod\u00e1vku rsyslog p\u0159\u00edmo, n\u011bkde Kafka.<\/p>\nZdroj: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041b\u043e\u0433\u0438 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043b\u0438\u0431\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442), \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f. \u0412 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u044b. \u041d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043a\u0443\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u043a\u0430\u043a \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f; \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438; \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438; \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043d\u044b\u043d\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24507,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-32723","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"P\u0159ehr\u00e1t](\"https:\/\/img.youtube.com\/vi\/NAeedJv-S3I\/hqdefault.jpg\")
\r\n