artyku\u0142 o Badu\u015bce<\/a><\/noindex>, kt\u00f3ra o tym napisa\u0142a. Ale jest jeden problem. Wok\u00f3\u0142 tego wywo\u0142ania by\u0142a jeszcze niesko\u0144czona p\u0119tla, w kt\u00f3rej nieustannie pr\u00f3bowa\u0142o si\u0119 w\u0142o\u017cy\u0107 wiadomo\u015b\u0107 do gniazda. To umkn\u0119\u0142o naszej uwadze. Musieli\u015bmy przepisali bibliotek\u0119. Od tego czasu zmienia\u0142a si\u0119 ona kilka razy, ale teraz pozbyli\u015bmy si\u0119 blokad we wszystkich podsystemach. Dlatego mo\u017cna zatrzyma\u0107 rsyslog i nic si\u0119 nie stanie.<\/p>\n<\/p>\n
Nale\u017cy monitorowa\u0107 rozmiar kolejek, co pomaga unikn\u0105\u0107 tych pu\u0142apek. Po pierwsze, mo\u017cemy monitorowa\u0107, kiedy zaczynamy traci\u0107 wiadomo\u015bci. Po drugie, mo\u017cemy monitorowa\u0107, \u017ce mamy w zasadzie problemy z dostarczaniem.<\/p>\n
<\/p>\n
I jeszcze jeden nieprzyjemny aspekt \u2014 amplifikacja 10 razy w architekturze mikroserwisowej \u2014 to bardzo \u0142atwe. Mamy niewiele przychodz\u0105cych zapyta\u0144, ale z powodu grafu, po kt\u00f3rym te wiadomo\u015bci dalej przebiegaj\u0105, z powodu log\u00f3w dost\u0119pu, rzeczywi\u015bcie zwi\u0119kszamy obci\u0105\u017cenie log\u00f3w oko\u0142o dziesi\u0119ciokrotnie. Niestety nie zd\u0105\u017cy\u0142em policzy\u0107 dok\u0142adnych cyfr, ale mikroserwisy \u2014 tak ju\u017c s\u0105. Trzeba to mie\u0107 na uwadze. Mamy wi\u0119c sytuacj\u0119, \u017ce w tej chwili podsystem zbierania log\u00f3w jest najbardziej obci\u0105\u017cony w Lazada. <\/p>\n
<\/p>\n
<\/p>\n
Jak rozwi\u0105za\u0107 problem elasticsearch? Je\u015bli musisz szybko uzyska\u0107 logi w jednym miejscu, aby nie biega\u0107 po wszystkich maszynach i nie zbiera\u0107 ich tam, u\u017cyj pami\u0119ci plikowej. To dzia\u0142a niezawodnie. Mo\u017cna to zrobi\u0107 z dowolnego serwera. Wystarczy w\u0142o\u017cy\u0107 tam dyski i zainstalowa\u0107 syslog. Po tym masz gwarancj\u0119, \u017ce wszystkie logi s\u0105 w jednym miejscu. Potem mo\u017cna powoli konfigurowa\u0107 elasticsearch, graylog, lub co\u015b innego. Ale ju\u017c b\u0119dziesz mia\u0142 wszystkie logi, a co wi\u0119cej, mo\u017cesz je przechowywa\u0107 tak d\u0142ugo, jak starczy pami\u0119ci dyskowej.<\/p>\n
<\/p>\n
<\/p>\n
W momencie mojego wyst\u0105pienia schemat wygl\u0105da\u0142 tak. Praktycznie przestali\u015bmy pisa\u0107 do pliku. Teraz prawdopodobnie wy\u0142\u0105czymy resztki. Na lokalnych maszynach, na kt\u00f3rych uruchomione s\u0105 API, przestaniemy pisa\u0107 do plik\u00f3w. Po pierwsze, istnieje pami\u0119\u0107 plikowa, kt\u00f3ra dzia\u0142a bardzo dobrze. Po drugie, na tych maszynach ci\u0105gle ko\u0144czy si\u0119 miejsce, trzeba je nieustannie monitorowa\u0107.<\/p>\n
<\/p>\n
Ta cz\u0119\u015b\u0107 z Logstash i Graylog rzeczywi\u015bcie przeszkadza. Dlatego trzeba si\u0119 jej pozby\u0107. Trzeba wybra\u0107 co\u015b jednego.<\/p>\n
<\/p>\n
<\/p>\n
Postanowili\u015bmy zrezygnowa\u0107 z Logstash i Kibana. Mamy dzia\u0142 bezpiecze\u0144stwa. Jaki to ma zwi\u0105zek? Zwi\u0105zek polega na tym, \u017ce Kibana bez X-Pack i Shield nie pozwala na ograniczenie uprawnie\u0144 dost\u0119pu do log\u00f3w. Dlatego wybrali\u015bmy Graylog. Ma to wszystko. Nie bardzo go lubi\u0119, ale dzia\u0142a. Kupili\u015bmy nowy sprz\u0119t, zainstalowali\u015bmy tam \u015bwie\u017cego Grayloga i przenie\u015bli\u015bmy wszystkie logi z rygorystycznymi formatami do oddzielnego Grayloga. Rozwi\u0105zali\u015bmy problem z r\u00f3\u017cnymi typami tych samych p\u00f3l organizacyjnie.<\/p>\n
<\/p>\n
<\/p>\n
Co dok\u0142adnie wchodzi w nowego Grayloga? Po prostu zapisali\u015bmy wszystko w Dockerze. Wzi\u0119li\u015bmy sporo serwer\u00f3w, uruchomili\u015bmy trzy instancje Kafka, 7 serwer\u00f3w Grayloga w wersji 2.3 (poniewa\u017c chcieli\u015bmy Elasticsearch w wersji 5). Wszystko to dzia\u0142a\u0142o na RAID-zie z HDD. Zobaczyli\u015bmy szybko\u015b\u0107 indeksowania do 100 tysi\u0119cy wiadomo\u015bci na sekund\u0119. Zauwa\u017cyli\u015bmy, \u017ce mamy 140 terabajt\u00f3w danych tygodniowo. <\/p>\n
<\/p>\n
<\/p>\n
I zn\u00f3w k\u0142opoty! Mamy w planach dwie wyprzeda\u017ce. Przeszli\u015bmy przez 6 milion\u00f3w wiadomo\u015bci. Nasz Graylog nie nad\u0105\u017ca przetwarza\u0107. Musimy jako\u015b przetrwa\u0107. <\/p>\n
<\/p>\n
<\/p>\n
Przetrwali\u015bmy w ten spos\u00f3b. Dodali\u015bmy jeszcze kilka serwer\u00f3w i SSD. Obecnie \u017cyjemy w ten spos\u00f3b. Teraz przetwarzamy ju\u017c 160 tysi\u0119cy wiadomo\u015bci na sekund\u0119. Nie osi\u0105gn\u0119li\u015bmy jeszcze limitu, wi\u0119c na razie nie wiadomo, ile tak naprawd\u0119 mo\u017cemy z tego wyci\u0105gn\u0105\u0107. <\/p>\n
<\/p>\n
<\/p>\n
Takie mamy plany na przysz\u0142o\u015b\u0107. Z nich, naprawd\u0119, najwa\u017cniejsze to high availability. Na razie go nie mamy. Kilka maszyn jest skonfigurowanych identycznie, ale wszystko przechodzi przez jedn\u0105 maszyn\u0119. Musimy po\u015bwi\u0119ci\u0107 czas na skonfigurowanie failovera mi\u0119dzy nimi.<\/p>\n
<\/p>\n
Zebra\u0107 metryki z Grayloga.<\/p>\n
<\/p>\n
Ustawi\u0107 limit pr\u0119dko\u015bci, aby nasze jedno, szalej\u0105ce API, nie zabi\u0142o nam pasma ani niczego innego.<\/p>\n
<\/p>\n
I na koniec, podpisa\u0107 jaki\u015b SLA z deweloperami, \u017ce mo\u017cemy obs\u0142u\u017cy\u0107 tyle. Je\u015bli piszecie wi\u0119cej, to przepraszam.<\/p>\n
<\/p>\n
I napisa\u0107 dokumentacj\u0119.<\/p>\n
<\/p>\n
<\/p>\n
Kr\u00f3tko m\u00f3wi\u0105c, podsumowanie wszystkiego, co przeszli\u015bmy. Po pierwsze, standardy. Po drugie, syslog \u2014 tort. Po trzecie, rsyslog dzia\u0142a dok\u0142adnie tak, jak jest napisane na slajdzie. A teraz przejd\u017amy do pyta\u0144.<\/p>\n
<\/p>\n
Pytania<\/strong>.<\/p>\n<\/p>\n
Pytanie<\/strong>: Dlaczego w ko\u0144cu zdecydowali\u015bmy si\u0119 nie bra\u0107\u2026 (filebeat?)<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Trzeba pisa\u0107 do pliku. Bardzo nie chcia\u0142em. Kiedy twoje API wysy\u0142a tysi\u0105ce wiadomo\u015bci na sekund\u0119, nawet je\u015bli co godzin\u0119 b\u0119dziesz rotowa\u0107, to wci\u0105\u017c nie jest opcja. Mo\u017cna pisa\u0107 w pipe. Na co deweloperzy mnie zapytali: \u201eCo si\u0119 stanie, je\u015bli proces, do kt\u00f3rego piszemy, si\u0119 zawiesi\u201d? Po prostu nie znalaz\u0142em, co im odpowiedzie\u0107, i powiedzia\u0142em: \u201eC\u00f3\u017c, ok, nie r\u00f3bmy tak.\u201d<\/p>\n<\/p>\n
Pytanie<\/strong>: Dlaczego nie zapisujecie log\u00f3w po prostu w HDFS?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: To nast\u0119pny krok. My\u015bleli\u015bmy o tym na pocz\u0105tku, ale obecnie nie mamy zasob\u00f3w, aby si\u0119 tym zaj\u0105\u0107, wi\u0119c pozostaje to jako rozwi\u0105zanie d\u0142ugoterminowe.<\/p>\n<\/p>\n
Pytanie<\/strong>: Format kolumnowy by\u0142by bardziej odpowiedni.<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Rozumiem wszystko. Jeste\u015bmy \u201eza\u201d obiema r\u0119kami. <\/p>\n<\/p>\n
Pytanie<\/strong>: Piszecie do rsyslog. Tam mo\u017cna u\u017cywa\u0107 zar\u00f3wno TCP, jak i UDP. Ale je\u015bli u\u017cywacie UDP, to jak zapewniacie dostaw\u0119?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: S\u0105 dwa momenty. Po pierwsze, od razu wszystkim m\u00f3wi\u0119, \u017ce nie gwarantujemy dostawy log\u00f3w. Kiedy programi\u015bci przychodz\u0105 i m\u00f3wi\u0105: \u201eA mo\u017ce zaczniemy tam pisa\u0107 dane finansowe, a wy b\u0119dziecie je gdzie\u015b tam przechowywa\u0107 na wypadek, gdyby co\u015b si\u0119 sta\u0142o\u201d, odpowiadamy \u201e\u015awietnie! Zacznijcie blokowa\u0107 zapis do gniazda i r\u00f3bcie to w transakcjach, aby mie\u0107 pewno\u015b\u0107, \u017ce wrzucicie to do gniazda i upewnicie si\u0119, \u017ce to odebrali\u015bmy.\u201d I w tym momencie wszyscy od razu trac\u0105 zainteresowanie. A skoro nie ma zainteresowania, to po co nam pytania? Je\u015bli nie chcecie gwarantowa\u0107 zapisu do gniazda, to po co mamy gwarantowa\u0107 dostaw\u0119? Dajemy najlepsze starania. Naprawd\u0119 staramy si\u0119 dostarczy\u0107 jak najwi\u0119cej i jak najlepiej, ale nie dajemy 100% gwarancji. Dlatego nie piszcie tam danych finansowych. Do tego s\u0105 bazy danych z transakcjami.<\/p>\n<\/p>\n
Pytanie<\/strong>: Kiedy API generuje jakie\u015b wiadomo\u015bci w logach i przekazuje kontrol\u0119 mikroserwisom, czy natkn\u0119li\u015bcie si\u0119 na problem, \u017ce wiadomo\u015bci z r\u00f3\u017cnych mikroserwis\u00f3w przychodz\u0105 w niew\u0142a\u015bciwej kolejno\u015bci? To powoduje zamieszanie.<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: To normalne, \u017ce przychodz\u0105 w r\u00f3\u017cnej kolejno\u015bci. Trzeba by\u0107 na to przygotowanym. Poniewa\u017c jakakolwiek dostawa w sieci nie gwarantuje porz\u0105dku, lub trzeba na to specjalnie przeznaczy\u0107 zasoby. Je\u015bli we\u017amiemy magazyny plik\u00f3w, to ka\u017cde API zapisuje logi w swoim pliku. W\u0142a\u015bciwie to rsyslog rozk\u0142ada je po katalogach. Ka\u017cde API ma swoje logi, gdzie mo\u017cna zajrze\u0107, a potem w tym logu mo\u017cna je por\u00f3wna\u0107 wed\u0142ug timestamp. Je\u015bli id\u0105 sprawdzi\u0107 w Graylog, to tam posortuj\u0105 je wed\u0142ug timestamp. Wszystko b\u0119dzie w porz\u0105dku.<\/p>\n<\/p>\n
Pytanie<\/strong>: Timestamp mo\u017ce r\u00f3\u017cni\u0107 si\u0119 o milisekundy.<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Timestamp generuje samo API. W tym tkwi ca\u0142a sztuczka. Mamy NTP. API generuje timestamp ju\u017c w samej wiadomo\u015bci. To nie rsyslog go dodaje.<\/p>\n<\/p>\n
Pytanie<\/strong>: Nie jest do ko\u0144ca jasne, jak przebiega interakcja pomi\u0119dzy centrami danych. W ramach jednego centrum danych wiadomo, jak zebrano i przetworzono logi. Jak odbywa si\u0119 interakcja mi\u0119dzy centrami danych? Czy ka\u017cde centrum danych funkcjonuje niezale\u017cnie?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Prawie. Ka\u017cdy kraj znajduje si\u0119 w jednym centrum danych. Na ten moment nie mamy rozproszenia, by jeden kraj by\u0142 rozlokowany w r\u00f3\u017cnych centrach danych. Dlatego nie musimy ich \u0142\u0105czy\u0107. W ka\u017cdym centrum znajduj\u0105 si\u0119 Log Relay. To serwer Rsyslog. Tak naprawd\u0119 s\u0105 dwie maszyny zarz\u0105dzaj\u0105ce. S\u0105 one skonfigurowane identycznie. Na razie ruch przechodzi przez jedn\u0105 z nich. Ta maszyna agreguje wszystkie logi. Ma te\u017c kolejk\u0119 dyskow\u0105 na wszelki wypadek. Kompresuje logi i wysy\u0142a je do centralnego centrum danych (w Singapurze), gdzie s\u0105 nast\u0119pnie przesy\u0142ane do Grayloga. W ka\u017cdym centrum danych znajduje si\u0119 w\u0142asna przestrze\u0144 dyskowa. W przypadku, gdy utracimy \u0142\u0105czno\u015b\u0107, mamy wszystkie logi tam. Pozostan\u0105 tam. Zostan\u0105 zachowane.<\/p>\n<\/p>\n
Pytanie<\/strong>: Czy w sytuacjach awaryjnych otrzymujecie logi stamt\u0105d?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Mo\u017cna p\u00f3j\u015b\u0107 tam (do magazynu plik\u00f3w) i sprawdzi\u0107.<\/p>\n<\/p>\n
Pytanie<\/strong>: Jak monitorujecie, \u017ce nie tracicie log\u00f3w?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: W rzeczywisto\u015bci tracimy je i to monitorujemy. Monitorowanie uruchomili\u015bmy miesi\u0105c temu. W bibliotece u\u017cywanej przez Go API s\u0105 metryki. Zlicza ile razy nie uda\u0142o si\u0119 zapisa\u0107 do socketu. Na ten moment istnieje sprytna heurystyka. Jest bufor. Pr\u00f3buje zapisywa\u0107 z niego wiadomo\u015bci do socketu. Je\u015bli bufor si\u0119 przepe\u0142ni, zaczyna je odrzuca\u0107. I zlicza, ile ich odrzuci\u0142. Je\u015bli zaczynaj\u0105 si\u0119 przepe\u0142nia\u0107 liczniki, dowiadujemy si\u0119 o tym. Obecnie trafiaj\u0105 te\u017c do Prometheusa, a w Grafanie mo\u017cna zobaczy\u0107 wykresy. Mo\u017cna skonfigurowa\u0107 powiadomienia. Ale na razie nie wiadomo, do kogo je wysy\u0142a\u0107.<\/p>\n<\/p>\n
Pytanie<\/strong>: W Elasticsearch przechowujecie logi z replikacj\u0105. Ile macie replik?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Jedna replika.<\/p>\n<\/p>\n
Pytanie<\/strong>: To tylko jedna replika?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: To master i replika. Dane s\u0105 przechowywane w dw\u00f3ch egzemplarzach.<\/p>\n<\/p>\n
Pytanie<\/strong>: Czy jako\u015b dostosowywali\u015bcie rozmiar bufora rsyslog? <\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Pisz\u0119 dane do niestandardowego gniazda unix. Od razu nak\u0142ada to na nas ograniczenie do 128 kilobajt\u00f3w. Nie mo\u017cemy zapisa\u0107 wi\u0119cej. Zosta\u0142o to zapisane w standardzie. Kto chce mie\u0107 dost\u0119p do pami\u0119ci, ten musi pisa\u0107 128 kilobajt\u00f3w. Biblioteki obcinaj\u0105 dane i ustawiaj\u0105 flag\u0119, \u017ce wiadomo\u015b\u0107 zosta\u0142a obci\u0119ta. W naszym standardzie samej wiadomo\u015bci jest specjalne pole, kt\u00f3re pokazuje, czy zosta\u0142o ono obci\u0119te podczas zapisu, czy nie. Mamy wi\u0119c mo\u017cliwo\u015b\u0107 \u015bledzenia tego aspektu.<\/p>\n<\/p>\n
Pytanie<\/strong>: Czy piszecie uszkodzony JSON? <\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Uszkodzony JSON zostanie odrzucony albo podczas relay, bo pakiet jest za du\u017cy. Albo zostanie odrzucony przez Graylog, bo nie b\u0119dzie m\u00f3g\u0142 sparsowa\u0107 JSON. Ale s\u0105 tutaj niuanse, kt\u00f3re musimy naprawi\u0107, a te w wi\u0119kszo\u015bci maj\u0105 zwi\u0105zek z rsyslog. Ju\u017c zg\u0142osi\u0142em tam kilka problem\u00f3w, nad kt\u00f3rymi jeszcze trzeba popracowa\u0107.<\/p>\n<\/p>\n
Pytanie<\/strong>: Dlaczego Kafka? Czy pr\u00f3bowali\u015bcie RabbitMQ? Graylog nie dzia\u0142a przy takich obci\u0105\u017ceniach?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: U nas nie dzia\u0142a Graylog. A Graylog nie dzia\u0142a u nas. To naprawd\u0119 problematyczny system. W rzeczywisto\u015bci nie jest potrzebny. Wola\u0142bym pisa\u0107 z rsyslog bezpo\u015brednio do elasticsearch i p\u00f3\u017aniej korzysta\u0107 z Kibana. Musimy jednak uzgodni\u0107 to z bezpiecze\u0144stwem. To mo\u017cliwa opcja naszego rozwoju, kiedy pozb\u0119dziemy si\u0119 Graylog i b\u0119dziemy u\u017cywa\u0107 Kibana. Nie ma sensu u\u017cywa\u0107 Logstash. Bo wszystko to mog\u0119 zrobi\u0107 za pomoc\u0105 rsyslog. Ma on modu\u0142 do zapisu w elasticsearch. Staramy si\u0119 jako\u015b \u017cy\u0107 z Graylog. Nawet troch\u0119 go dostosowali\u015bmy. Ale wci\u0105\u017c jest jeszcze miejsce na popraw\u0119.<\/p>\n<\/p>\n
O Kafka. Tak to historycznie si\u0119 u\u0142o\u017cy\u0142o. Kiedy przyszed\u0142em, ju\u017c istnia\u0142a i ju\u017c by\u0142y tam zapisywane logi. Po prostu uruchomili\u015bmy nasz klaster i przenie\u015bli\u015bmy do niego logi. Zarz\u0105dzamy ni\u0105, wiemy, jak si\u0119 czuje. Co do RabbitMQ... nie dogadujemy si\u0119 z RabbitMQ. Ale RabbitMQ dzia\u0142a u nas. Mamy go w produkcji i by\u0142y z nim problemy. Teraz przed wyprzeda\u017c\u0105 go poprawili\u015bmy i zacz\u0119\u0142o dzia\u0142a\u0107 normalnie. Jednak przed tym nie by\u0142em got\u00f3w wprowadzi\u0107 go do produkcji. Jest jeszcze jeden punkt. Graylog potrafi czyta\u0107 wersj\u0119 AMQP 0.9, a rsyslog potrafi pisa\u0107 wersj\u0119 AMQP 1.0. Nie ma \u017cadnego rozwi\u0105zania, kt\u00f3re potrafi\u0142oby i to, i to. Jest albo to, albo tamto. Dlatego na ten moment tylko Kafka. Ale tam te\u017c s\u0105 swoje niuanse. Poniewa\u017c omkafka tej wersji rsyslog, kt\u00f3rej u\u017cywamy, mo\u017ce straci\u0107 ca\u0142y bufor wiadomo\u015bci, kt\u00f3ry wydoby\u0142a z rsyslog. Narazie si\u0119 z tym godzimy. <\/p>\n
<\/p>\n
Pytanie<\/strong>: U\u017cywacie Kafki tylko dlatego, \u017ce ju\u017c j\u0105 mieli\u015bcie? Nie wykorzystujecie jej do innych cel\u00f3w?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Kafka, kt\u00f3ra by\u0142a, jest u\u017cywana przez zesp\u00f3\u0142 Data Science. To zupe\u0142nie inny projekt, o kt\u00f3rym, niestety, nie mog\u0119 nic powiedzie\u0107. Nie jestem na bie\u017c\u0105co. By\u0142a pod opiek\u0105 zespo\u0142u Data Science. Kiedy wprowadzali logi, postanowili z niej skorzysta\u0107, \u017ceby nie instalowa\u0107 jeszcze swojej. Teraz zaktualizowali\u015bmy Graylog i utracili\u015bmy kompatybilno\u015b\u0107, poniewa\u017c tam jest stara wersja Kafki. Musieli\u015bmy za\u0142o\u017cy\u0107 w\u0142asn\u0105. Przy okazji pozbyli\u015bmy si\u0119 tych czterech temat\u00f3w na ka\u017cdy API. Zrobili\u015bmy jeden szeroki temat dla wszystkich live, jeden szeroki temat dla wszystkich staging i po prostu wszystko tam wrzucamy. Graylog jednocze\u015bnie to wszystko wydobywa.<\/p>\n<\/p>\n
Pytanie<\/strong>: Po co to czarowanie z gniazdami? Czy pr\u00f3bowali\u015bcie u\u017cy\u0107 log-driver syslog dla kontener\u00f3w?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: W momencie, kiedy zajmowali\u015bmy si\u0119 tym zagadnieniem, nasze relacje z Dockerem by\u0142y napi\u0119te. To by\u0142a wersja Docker 1.0 lub 0.9. Docker sam w sobie by\u0142 do\u015b\u0107 dziwny. Po drugie, je\u015bli dodamy do niego logi... Mam niepotwierdzone podejrzenie, \u017ce przepuszcza wszystkie logi przez siebie, przez demon Dockera. Je\u015bli jedno API wariuje, pozosta\u0142e API zderzaj\u0105 si\u0119 z tym, \u017ce nie mog\u0105 wys\u0142a\u0107 stdout i stderr. Nie wiem, do czego to prowadzi. M\u00f3j instynkt podpowiada mi, \u017ce w tym miejscu nie nale\u017cy u\u017cywa\u0107 syslog drivera Dockera. Nasz dzia\u0142 testowania funkcjonalnego ma sw\u00f3j w\u0142asny ma\u0142y klaster Graylog z logami. U\u017cywaj\u0105 driver\u00f3w log\u00f3w Dockera i wydaje si\u0119, \u017ce tam wszystko dzia\u0142a dobrze. Ale oni od razu pisz\u0105 GELF do Graylog. W momencie, kiedy wszystko to zaplanowali\u015bmy, potrzebowali\u015bmy, \u017ceby to po prostu dzia\u0142a\u0142o. By\u0107 mo\u017ce p\u00f3\u017aniej, kiedy kto\u015b przyjdzie i powie, \u017ce dzia\u0142a to ju\u017c od lat normalnie, spr\u00f3bujemy.<\/p>\n<\/p>\n
Pytanie<\/strong>: Realizujecie dostaw\u0119 mi\u0119dzy centrami danych za pomoc\u0105 rsyslog. Dlaczego nie przez Kafka?<\/p>\n<\/p>\n
Odpowied\u017a<\/strong>: Robimy tak i tak, w rzeczywisto\u015bci. Z dw\u00f3ch powod\u00f3w. Je\u015bli kana\u0142 jest ca\u0142kowicie zablokowany, to nawet nasze skompresowane logi si\u0119 przez niego nie przechodz\u0105. A Kafka pozwala na ich po prostu utrat\u0119 w trakcie przesy\u0142ania. W ten spos\u00f3b pozbywamy si\u0119 zatykania tych log\u00f3w. W takim przypadku wykorzystujemy Kafka bezpo\u015brednio. Je\u015bli mamy dobry kana\u0142 i chcemy go zwolni\u0107, u\u017cywamy rsyslog. Ale tak naprawd\u0119 mo\u017cna go skonfigurowa\u0107 tak, aby sam odrzuca\u0142 to, co nie przesz\u0142o. Na ten moment gdzie\u015b u\u017cywamy dostawy rsyslog bezpo\u015brednio, gdzie\u015b Kafka.<\/p>\n\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041b\u043e\u0433\u0438 \u2014 \u0432\u0430\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 (\u043b\u0438\u0431\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442), \u043a\u0430\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f. \u0412 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043b\u043e\u0433\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u044b. \u041d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043a\u0443\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432: \u043a\u0430\u043a \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438 \u0438\u0437 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u044f; \u043a\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c \u043b\u043e\u0433\u0438; \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043b\u043e\u0433\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438; \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043d\u044b\u043d\u0435 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24507,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-32723","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Odtwarzaj](\"https:\/\/img.youtube.com\/vi\/NAeedJv-S3I\/hqdefault.jpg\")
\r\n