{"id":52115,"date":"2019-11-01T00:00:00","date_gmt":"2019-10-31T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury"},"modified":"2020-02-18T13:59:47","modified_gmt":"2020-02-18T10:59:47","slug":"monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury","title":{"rendered":"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Dzi\u015b w naszym projekcie opr\u00f3cz monolitycznego kodu dzia\u0142aj\u0105 dziesi\u0105tki mikrous\u0142ug. Ka\u017cda z nich wymaga monitorowania. Robienie tego w tak du\u017cych ilo\u015bciach przez in\u017cynier\u00f3w DevOps jest problematyczne. Opracowali\u015bmy system monitorowania, kt\u00f3ry dzia\u0142a jako us\u0142uga dla programist\u00f3w. Mog\u0105 oni samodzielnie przesy\u0142a\u0107 metryki do systemu monitorowania, korzysta\u0107 z nich, tworzy\u0107 na ich podstawie pulpity nawigacyjne oraz pod\u0142\u0105cza\u0107 alerty, kt\u00f3re b\u0119d\u0105 si\u0119 aktywowa\u0107 po osi\u0105gni\u0119ciu warto\u015bci progowych. In\u017cynierowie DevOps zajmuj\u0105 si\u0119 tylko infrastruktur\u0105 i dokumentacj\u0105. <\/p>\n<p>Ten post to transkrypcja mojego wyst\u0105pienia z naszej <noindex><a rel=\"nofollow\" href=\"http:\/\/bit.ly\/tomicro\">sekcji<\/a><\/noindex> na RIT++. Wiele os\u00f3b prosi\u0142o nas o stworzenie tekstowych wersji prezentacji stamt\u0105d. Je\u015bli by\u0142e\u015b na konferencji lub ogl\u0105da\u0142e\u015b wideo, nie znajdziesz nic nowego. A wszystkich innych zapraszam pod kat. Opowiem, jak doszli\u015bmy do takiego systemu, jak on dzia\u0142a i jak planujemy go aktualizowa\u0107. <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/000b8fdc8fb16aa76ce545ff2aa4e767.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Przesz\u0142o\u015b\u0107: schematy i plany <\/h3>\n<p>\nJak doszli\u015bmy do istniej\u0105cego systemu monitorowania? Aby odpowiedzie\u0107 na to pytanie, trzeba cofn\u0105\u0107 si\u0119 do 2015 roku. Oto jak to wygl\u0105da\u0142o w\u00f3wczas: <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/d955f9bcdb5f5a5a54720c77113ca85d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPosiadali\u015bmy oko\u0142o 24 w\u0119z\u0142\u00f3w odpowiedzialnych za monitorowanie. Istnia\u0142o ca\u0142e mn\u00f3stwo r\u00f3\u017cnych cron\u00f3w, skrypt\u00f3w, demon\u00f3w, kt\u00f3re monitorowa\u0142y co\u015b gdzie\u015b w jaki\u015b spos\u00f3b, wysy\u0142a\u0142y wiadomo\u015bci i realizowa\u0142y funkcje. Pomy\u015bleli\u015bmy, \u017ce im dalej, tym mniej taka system b\u0119dzie \u017cywotny. Nie ma sensu rozwija\u0107 go: zbyt rozbudowany. <br \/>\nPostanowili\u015bmy wybra\u0107 te elementy monitoringu, kt\u00f3re zachowamy i b\u0119dziemy rozwija\u0107, oraz te, z kt\u00f3rych zrezygnujemy. Okaza\u0142o si\u0119 ich 19. Pozosta\u0142y tylko grafity, agregatory i Grafana jako pulpit nawigacyjny. Ale jak b\u0119dzie wygl\u0105da\u0107 nowy system? Oto tak: <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/57d220113d0b76c05874b5d774bff8af.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nMamy magazyn metryk: to grafity, kt\u00f3re b\u0119d\u0105 oparte na szybkich dyskach SSD, to okre\u015blone agregatory dla metryk. Nast\u0119pnie - Grafana do wy\u015bwietlania pulpit\u00f3w nawigacyjnych oraz Moira jako system alarmowy. Chcieli\u015bmy tak\u017ce opracowa\u0107 system do wykrywania anomalii. <\/p>\n<h3>Standard: Monitorowanie 2.0<\/h3>\n<p>\nTak wygl\u0105da\u0142y plany w 2015 roku. Ale musieli\u015bmy przygotowa\u0107 nie tylko infrastruktur\u0119 i sam\u0105 us\u0142ug\u0119, ale tak\u017ce dokumentacj\u0119 do niej. Opracowali\u015bmy dla siebie standard korporacyjny, kt\u00f3ry nazwali\u015bmy monitorowaniem 2.0. Jakie by\u0142y wymagania wobec systemu? <\/p>\n<ul>\n<li>sta\u0142a dost\u0119pno\u015b\u0107; <\/li>\n<li>interwa\u0142 przechowywania metryk = 10 sekund; <\/li>\n<li>strukturalne przechowywanie metryk i pulpit\u00f3w nawigacyjnych; <\/li>\n<li>SLA &gt; 99,99% <\/li>\n<li>zbieranie metryk zdarze\u0144 przez UDP (!). <\/li>\n<\/ul>\n<p>\nPotrzebowali\u015bmy UDP, poniewa\u017c mamy du\u017c\u0105 ilo\u015b\u0107 ruchu i zdarze\u0144, kt\u00f3re generuj\u0105 metryki. Je\u015bli zapiszemy je wszystkie od razu do Graphite, przechowywanie si\u0119 zawiesi. Wybrali\u015bmy te\u017c prefiksy pierwszego poziomu dla wszystkich metryk. <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/d24c4474b19b532a48cef4d4376287ad.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nKa\u017cdy z prefiks\u00f3w ma jakie\u015b w\u0142a\u015bciwo\u015bci. S\u0105 metryki zwi\u0105zane z serwerami, sieciami, kontenerami, zasobami, aplikacjami itd. Zrealizowali\u015bmy jasne, precyzyjne, typowane filtrowanie, gdzie przyjmujemy metryki pierwszego poziomu, a pozosta\u0142e po prostu odrzucamy. Tak planowali\u015bmy ten system w 2015 roku. A co w tera\u017aniejszo\u015bci? <\/p>\n<h3>Tera\u017aniejszo\u015b\u0107: schemat interakcji komponent\u00f3w monitoruj\u0105cych<\/h3>\n<p>\nPrzede wszystkim monitorujemy aplikacje: nasz kod PHP, aplikacje i mikroserwisy \u2014 kr\u00f3tko m\u00f3wi\u0105c, wszystko, co pisz\u0105 nasi programi\u015bci. Wszystkie aplikacje wysy\u0142aj\u0105 metryki do agregatora Brubeck (statsd, przepisany w C) przez UDP. Okaza\u0142 si\u0119 najszybszy w wyniku test\u00f3w syntetycznych. I on wysy\u0142a ju\u017c zaggregowane metryki do Graphite przez TCP. <\/p>\n<p>Ma taki typ metryk, jak timery. To bardzo przydatna rzecz. Na przyk\u0142ad, na ka\u017cde po\u0142\u0105czenie u\u017cytkownika z us\u0142ug\u0105 wysy\u0142asz do Brubeck metryk\u0119 z czasem odpowiedzi. Otrzymujesz milion odpowiedzi, a agregator wydaje tylko 10 metryk. Masz liczb\u0119 przyby\u0142ych os\u00f3b, maksymalny, minimalny oraz \u015bredni czas odpowiedzi, median\u0119 i 4 percentyle. Nast\u0119pnie dane s\u0105 przesy\u0142ane do Graphite i widzimy je wszystkie na \u017cywo. <\/p>\n<p>Mamy r\u00f3wnie\u017c agregacj\u0119 metryk dotycz\u0105cych sprz\u0119tu, oprogramowania, metryk systemowych i naszego starego systemu monitorowania Munin (dzia\u0142a\u0142 u nas do 2015 roku). Zbieramy wszystko za pomoc\u0105 demona CollectD w C, kt\u00f3ry ma wbudowany zestaw r\u00f3\u017cnych wtyczek i potrafi odpytywa\u0107 wszystkie zasoby systemu hosta, na kt\u00f3rym jest zainstalowany; wystarczy wskaza\u0107 w konfiguracji, gdzie zapisywa\u0107 dane, i przesy\u0142amy przez niego dane do Graphite. Obs\u0142uguje r\u00f3wnie\u017c wtyczki python i skrypty shell, dzi\u0119ki czemu mo\u017cna pisa\u0107 w\u0142asne rozwi\u0105zania: CollectD zbiera te dane z lokalnego lub zdalnego hosta (za\u0142\u00f3\u017cmy, \u017ce jest Curl) i wysy\u0142a je do Graphite. <\/p>\n<p>Nast\u0119pnie wszystkie metryki, kt\u00f3re zebrali\u015bmy, wysy\u0142amy do Carbon-c-relay. To rozwi\u0105zanie Carbon Relay od Graphite, dostosowane do j\u0119zyka C. To router, kt\u00f3ry zbiera wszystkie metryki, kt\u00f3re wysy\u0142amy z naszych agregator\u00f3w, i przekierowuje je do w\u0119z\u0142\u00f3w. R\u00f3wnie\u017c na etapie routingu sprawdza wa\u017cno\u015b\u0107 metryki. Po pierwsze, musz\u0105 one odpowiada\u0107 schematowi z prefiksami, kt\u00f3ry wcze\u015bniej przedstawi\u0142em, a po drugie, by\u0107 wa\u017cne dla Graphite. W przeciwnym razie s\u0105 odrzucane. <\/p>\n<p>Nast\u0119pnie Carbon-c-relay wysy\u0142a metryki do klastra Graphite. U\u017cywamy jako g\u0142\u00f3wnego magazynu metryk Carbon-cache, przepisanym w Go. Go-carbon z powodu swojej wielow\u0105tkowo\u015bci znacznie przewy\u017csza wydajno\u015bci\u0105 Carbon-cache. Przyjmuje dane i zapisuje je na dyskach za pomoc\u0105 pakietu whisper (standardowego, napisanego w Pythonie). Aby odczyta\u0107 dane z naszych magazyn\u00f3w, u\u017cywamy Graphite API. Dzia\u0142a znacznie szybciej ni\u017c standardowy Graphite WEB. Co si\u0119 dzieje z danymi dalej? <\/p>\n<p>Przechodz\u0105 do Grafana. Jako g\u0142\u00f3wne \u017ar\u00f3d\u0142o danych wykorzystujemy nasze klastry Graphite, dodatkowo mamy Grafana jako interfejs webowy, do wy\u015bwietlania metryk i tworzenia pulpit\u00f3w nawigacyjnych. Dla ka\u017cdej us\u0142ugi programi\u015bci zak\u0142adaj\u0105 w\u0142asny pulpit. Nast\u0119pnie buduj\u0105 na ich podstawie wykresy, na kt\u00f3rych wy\u015bwietlane s\u0105 metryki, kt\u00f3re zapisuj\u0105 z swoich aplikacji. Opr\u00f3cz Grafana mamy r\u00f3wnie\u017c SLAM. To demon w Pythonie, kt\u00f3ry oblicza SLA na podstawie danych z Graphite. Jak ju\u017c wspomnia\u0142em, mamy kilka dziesi\u0105tek mikrous\u0142ug, z kt\u00f3rych ka\u017cda ma swoje wymagania. Dzi\u0119ki SLAM por\u00f3wnujemy dokumentacj\u0119 z tym, co jest w Graphite i sprawdzamy, jak wymagania odpowiadaj\u0105 dost\u0119pno\u015bci naszych us\u0142ug. <\/p>\n<p>Idziemy dalej: alerting. Jest zorganizowany za pomoc\u0105 silnego systemu - Moira. Jest niezale\u017cna, poniewa\u017c ma pod mask\u0105 w\u0142asny Graphite. Zosta\u0142a opracowana przez zesp\u00f3\u0142 z SKB \"Kontur\", napisana w Pythonie i Go, w pe\u0142ni open-source. Moira przyjmuje ca\u0142y ten sam strumie\u0144, kt\u00f3ry wp\u0142ywa do Graphite. Je\u015bli z jakiego\u015b powodu Twoje magazynowanie przestanie dzia\u0142a\u0107, to Tw\u00f3j alerting b\u0119dzie dzia\u0142a\u0142.<\/p>\n<p>Moira zosta\u0142a uruchomiona w Kubernetes jako g\u0142\u00f3wna baza danych, korzystaj\u0105c z klastra serwer\u00f3w Redis. W ko\u0144cu otrzymali\u015bmy system odporny na awarie. Por\u00f3wnuje ona strumie\u0144 metryk z list\u0105 wyzwalaczy: je\u015bli nie ma ich wzmianki, odrzuca metryk\u0119. Dzi\u0119ki temu jest w stanie przetwarza\u0107 gigabajty metryk na minut\u0119. <\/p>\n<p>Do\u0142\u0105czyli\u015bmy r\u00f3wnie\u017c do niej korporacyjny LDAP, za pomoc\u0105 kt\u00f3rego ka\u017cdy u\u017cytkownik systemu korporacyjnego mo\u017ce tworzy\u0107 powiadomienia dla istniej\u0105cych (lub nowo utworzonych) wyzwalaczy. Poniewa\u017c Moira zawiera w sobie Graphite, obs\u0142uguje wszystkie jego funkcje. Najpierw bierzesz wiersz i kopiujesz go do Grafana. Sprawdzasz, jak dane s\u0105 wy\u015bwietlane na wykresach. Nast\u0119pnie bierzesz ten sam wiersz i kopiujesz go do Moira. Przypinasz do niego limity i otrzymujesz alerting. Aby to wszystko zrealizowa\u0107, nie potrzebujesz \u017cadnej specyficznej wiedzy. Moira potrafi wysy\u0142a\u0107 alerty przez SMS, e-mail, w Jira, Slacku\u2026 Obs\u0142uguje r\u00f3wnie\u017c wykonywanie skrypt\u00f3w niestandardowych. Gdy wyst\u0105pi wyzwalacz i jest ona subskrybowana na skrypt niestandardowy lub binark\u0119, uruchamia go i przekazuje do stdin tej binarki JSON. Twoja aplikacja musi go zanalizowa\u0107. Co zrobisz z tym JSON-em \u2014 decyduj sam. Chcesz \u2014 wysy\u0142aj do Telegrama, chcesz \u2014 otwieraj zadania w Jira, r\u00f3b, co chcesz. <\/p>\n<p>Do alertingu u\u017cywamy r\u00f3wnie\u017c w\u0142asnego rozwi\u0105zania \u2014 Imagotag. Dostosowali\u015bmy panel, kt\u00f3ry zwykle jest stosowany do elektronicznych etykiet w sklepach, do naszych potrzeb. Wyprowadzone zosta\u0142y z niego wyzwalacze z Moira. Znajdziesz tam informacje o ich stanie i czasie wyst\u0105pienia. Cz\u0119\u015b\u0107 ludzi z zespo\u0142u deweloperskiego zrezygnowa\u0142a z powiadomie\u0144 w Slacku i e-mailu na rzecz tego panelu. <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/bcf454c96adaa0cff81f5e56db5b715c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA poniewa\u017c jeste\u015bmy nowoczesn\u0105 firm\u0105, monitorujemy w tym systemie r\u00f3wnie\u017c Kubernetes. W\u0142\u0105czono go do systemu za pomoc\u0105 Heapster, kt\u00f3ry zainstalowali\u015bmy w klastrze, zbiera dane i wysy\u0142a je do Graphite. Ostatecznie schemat wygl\u0105da tak: <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/cca0f2f9f590fc84609d48e52ebd0d21.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Komponenty monitorowania<\/h3>\n<p>Oto lista link\u00f3w do komponent\u00f3w, kt\u00f3re wykorzystali\u015bmy do tego zadania. Wszystkie s\u0105 open-source. <\/p>\n<h4>Graphite:<\/h4>\n<p><\/p>\n<ul>\n<li>go-carbon: <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/lomik\/go-carbon\">github.com\/lomik\/go-carbon<\/a><\/noindex><\/li>\n<li>whisper: <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/graphite-project\/whisper\">github.com\/graphite-project\/whisper<\/a><\/noindex> <\/li>\n<li>graphite-api: <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/brutasse\/graphite-api\">github.com\/brutasse\/graphite-api<\/a><\/noindex> <\/li>\n<\/ul>\n<h4>Carbon-c-relay: <\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/grobian\/carbon-c-relay\">github.com\/grobian\/carbon-c-relay<\/a><\/noindex> <\/p>\n<h4>Brubeck: <\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/github\/brubeck\">github.com\/github\/brubeck<\/a><\/noindex> <\/p>\n<h4>Collectd:<\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/collectd.org\/\">collectd.org<\/a><\/noindex><\/p>\n<h4>Moira: <\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/moira-alert\">github.com\/moira-alert<\/a><\/noindex> <\/p>\n<h4>Grafana: <\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/grafana.com\/\">grafana.com<\/a><\/noindex> <\/p>\n<h4>Heapster: <\/h4>\n<p>\n<noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/kubernetes\/heapster\">github.com\/kubernetes\/heapster<\/a><\/noindex><\/p>\n<h3>Statystyka<\/h3>\n<p>\nA oto kilka liczb dotycz\u0105cych dzia\u0142ania naszego systemu. <\/p>\n<h4>Agregator (brubeck)<\/h4>\n<p>\nLiczba metryk: ~ 300 000 \/ sek<br \/>\nCzas wysy\u0142ania metryk do Graphite: 30 sek<br \/>\nZu\u017cycie zasob\u00f3w serwera: ~ 6% CPU (mowa o pe\u0142noprawnych serwerach); ~ 1Gb RAM; ~ 3 Mbps LAN<\/p>\n<h4>Graphite (go-carbon)<\/h4>\n<p>\nLiczba metryk: ~ 1 600 000 \/ min<br \/>\nCzas aktualizacji metryk: 30 sek<br \/>\nSchemat przechowywania metryk: 30 sek 35 dni, 5 min 90 dni, 10 min 365 dni (daje zrozumienie tego, co si\u0119 dzieje z us\u0142ug\u0105 w d\u0142ugim okresie czasu) <br \/>\nZu\u017cycie zasob\u00f3w serwera: ~ 10% CPU; ~ 20Gb RAM; ~ 30 Mbps LAN<\/p>\n<h3>Elastyczno\u015b\u0107<\/h3>\n<p>\nW Avito naprawd\u0119 cenimy elastyczno\u015b\u0107 w naszym systemie monitorowania. Dlaczego on taki jest? Po pierwsze, jego sk\u0142adniki s\u0105 wymienne: zar\u00f3wno komponenty, jak i ich wersje. Po drugie \u2014 utrzymywany. Ca\u0142y projekt oparty jest na open source, wi\u0119c mo\u017cesz samodzielnie edytowa\u0107 kod, wprowadza\u0107 zmiany i realizowa\u0107 funkcje, kt\u00f3re nie s\u0105 dost\u0119pne od razu. U\u017cywane s\u0105 stosunkowo powszechne technologie, g\u0142\u00f3wnie Go i Python, dlatego jest to do\u015b\u0107 proste. <\/p>\n<p>Oto przyk\u0142ad rzeczywistego problemu, kt\u00f3ry si\u0119 pojawi\u0142. Metryka w Graphite to plik. Ma swoj\u0105 nazw\u0119. Nazwa pliku = nazwa metryki. I jest \u015bcie\u017cka do niego. Nazwy plik\u00f3w w Linux s\u0105 ograniczone do 255 znak\u00f3w. A my mamy (jako \"wewn\u0119trzni zamawiaj\u0105cy\") ch\u0142opak\u00f3w z dzia\u0142u baz danych. M\u00f3wi\u0105 nam: \"Chcemy monitorowa\u0107 nasze zapytania SQL. A one \u2014 to nie 255 znak\u00f3w, a 8 MB ka\u017cde. Chcemy je wy\u015bwietla\u0107 w Grafana, widzie\u0107 parametry dla tego zapytania, a jeszcze lepiej, chcemy widzie\u0107 top takich zapyta\u0144. By\u0142oby wspaniale, gdyby by\u0142y wy\u015bwietlane w czasie rzeczywistym. A jeszcze lepiej, gdyby mo\u017cna je by\u0142o wrzuci\u0107 do alert\u00f3w.\" <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej\" src=\"\/wp-content\/uploads\/2019\/11\/e1136c7fd0b6156c0c3fd49bab54737e.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Przyk\u0142ad zapytania SQL podano jako przyk\u0142ad z <noindex><a rel=\"nofollow\" href=\"https:\/\/postgrespro.ru\/docs\/postgrespro\/9.6\/queries-with\">strony postgrespro.ru<\/a><\/noindex> <\/i><\/p>\n<p>Uruchamiamy serwer Redis i za pomoc\u0105 naszych wtyczek Collectd, kt\u00f3re si\u0119gaj\u0105 do Postgresa i pobieraj\u0105 stamt\u0105d wszystkie dane, przesy\u0142amy metryki do Graphite. Zmieniamy jednak nazw\u0119 metryki na hashe. Ten sam hash wysy\u0142amy do Redis jako klucz, a ca\u0142y zapytanie SQL jako warto\u015b\u0107. Pozosta\u0142o nam sprawi\u0107, aby Grafana mog\u0142a si\u0119ga\u0107 do Redis i pobiera\u0107 te informacje. Otwieramy API Graphite, poniewa\u017c jest to g\u0142\u00f3wny interfejs interakcji wszystkich komponent\u00f3w monitoringu z Graphite, i wpisujemy now\u0105 funkcj\u0119, kt\u00f3ra nazywa si\u0119 aliasByHash() \u2014 otrzymujemy nazw\u0119 metryki od Grafany i u\u017cywamy jej w zapytaniu do Redis jako klucza, a w odpowiedzi otrzymujemy warto\u015b\u0107 klucza, kt\u00f3rym jest nasze \u201czapytanie SQL\u201d. Dzi\u0119ki temu wy\u015bwietlili\u015bmy w Grafanie zapytanie SQL, kt\u00f3re teoretycznie nie mog\u0142o by\u0107 tam wy\u015bwietlone, razem z jego statystykami (calls, rows, total_time, \u2026). <\/p>\n<h3>Podsumowanie <\/h3>\n<p>\n<b>Dost\u0119pno\u015b\u0107.<\/b> Nasz serwis monitoringu jest dost\u0119pny 24\/7 z ka\u017cdej aplikacji i dowolnego kodu. Je\u015bli masz dost\u0119p do magazyn\u00f3w, mo\u017cesz przekazywa\u0107 dane do serwisu. J\u0119zyk nie ma znaczenia, rozwi\u0105zania nie s\u0105 istotne. Musisz tylko wiedzie\u0107, jak otworzy\u0107 gniazdo, wrzuci\u0107 tam metryk\u0119 i zamkn\u0105\u0107 gniazdo. <\/p>\n<p><b>Niezawodno\u015b\u0107.<\/b> Wszystkie komponenty s\u0105 odporne na awarie i dobrze radz\u0105 sobie z naszymi obci\u0105\u017ceniami. <\/p>\n<p><b>Niski pr\u00f3g wej\u015bcia.<\/b> Aby skorzysta\u0107 z tego systemu, nie musisz uczy\u0107 si\u0119 j\u0119zyk\u00f3w programowania ani zapyta\u0144 w Grafanie. Po prostu otwierasz swoj\u0105 aplikacj\u0119, wpisujesz w niej gniazdo, kt\u00f3re b\u0119dzie wysy\u0142a\u0107 metryki do Graphite, zamykasz je, otwierasz Grafan\u0119, tworzysz tam pulpit nawigacyjny i obserwujesz zachowanie swoich metryk, otrzymuj\u0105c powiadomienia przez Moira.<\/p>\n<p><b>Samodzielno\u015b\u0107.<\/b> Mo\u017cesz to wszystko robi\u0107 samodzielnie, bez pomocy in\u017cynier\u00f3w DevOps. To jest overkill, poniewa\u017c mo\u017cesz monitorowa\u0107 sw\u00f3j projekt teraz, nie musz\u0105c nikogo prosi\u0107 \u2014 ani na pocz\u0105tku pracy, ani przy zmianach. <\/p>\n<h3>Do czego d\u0105\u017cymy? <\/h3>\n<p>\nWszystko, co wymienione poni\u017cej, to nie tylko abstrakcyjne my\u015bli, ale to, do czego zrobiono przynajmniej pierwsze kroki. <\/p>\n<ol>\n<li>Detektor anomalii. Chcemy stworzy\u0107 us\u0142ug\u0119, kt\u00f3ra b\u0119dzie przeszukiwa\u0107 nasze magazyny Graphite i sprawdza\u0107 ka\u017cd\u0105 metryk\u0119 za pomoc\u0105 r\u00f3\u017cnych algorytm\u00f3w. Mamy ju\u017c algorytmy, kt\u00f3re chcemy zdiagnozowa\u0107, mamy dane i potrafimy je przetwarza\u0107.\n<\/li>\n<li>Metadane. Mamy wiele us\u0142ug, kt\u00f3re w miar\u0119 up\u0142ywu czasu si\u0119 zmieniaj\u0105, tak samo jak ludzie, kt\u00f3rzy z nimi pracuj\u0105. Ci\u0105g\u0142e prowadzenie dokumentacji r\u0119cznie to nie opcja. Dlatego teraz nasze mikroserwisy wyposa\u017cane s\u0105 w metadane. Opisano tam, kto go stworzy\u0142, z jakimi j\u0119zykami wsp\u00f3\u0142pracuje, wymagania dotycz\u0105ce SLA oraz dok\u0105d i do kogo wysy\u0142a\u0107 powiadomienia. Podczas wdra\u017cania us\u0142ugi wszystkie dane encji s\u0105 tworzone automatycznie. W efekcie otrzymujesz dwa linki \u2014 jeden do wyzwalaczy, a drugi do pulpit\u00f3w w Grafana.\n<\/li>\n<li>Monitoring w ka\u017cdym domu. Uwa\u017camy, \u017ce z takiego systemu powinni korzysta\u0107 wszyscy programi\u015bci. W ten spos\u00f3b zawsze wiesz, gdzie jest Tw\u00f3j ruch, co si\u0119 z nim dzieje, gdzie ma problemy, gdzie s\u0105 jego s\u0142abe punkty. Je\u015bli na przyk\u0142ad co\u015b przyjdzie i zablokuje Tw\u00f3j serwis, dowiesz si\u0119 o tym nie podczas telefonu od mened\u017cera, lecz od alertu, i od razu b\u0119dziesz m\u00f3g\u0142 otworzy\u0107 \u015bwie\u017ce logi i sprawdzi\u0107, co si\u0119 wydarzy\u0142o.\n<\/li>\n<li>Wysoka wydajno\u015b\u0107. Nasz projekt nieustannie ro\u015bnie i dzi\u015b przetwarza oko\u0142o 2 000 000 warto\u015bci metryk na minut\u0119. Rok temu ten wska\u017anik wynosi\u0142 500 000. A wzrost trwa, co oznacza, \u017ce w pewnym momencie Graphite (whisper) zacznie mocno obci\u0105\u017ca\u0107 system dyskowy. Jak ju\u017c m\u00f3wi\u0142em, ten system monitorowania jest do\u015b\u0107 uniwersalny dzi\u0119ki wymienno\u015bci komponent\u00f3w. Niekt\u00f3rzy specjalnie dla Graphite obs\u0142uguj\u0105 i nieustannie rozszerzaj\u0105 swoj\u0105 infrastruktur\u0119, ale postanowili\u015bmy p\u00f3j\u015b\u0107 inn\u0105 drog\u0105: wykorzysta\u0107 <noindex><a rel=\"nofollow\" href=\"https:\/\/clickhouse.yandex\/\">ClickHouse<\/a><\/noindex> jako magazyn naszych metryk. Ten proces przej\u015bcia jest niemal zako\u0144czony i wkr\u00f3tce opowiem dok\u0142adniej, jak to zosta\u0142o zrobione: jakie by\u0142y trudno\u015bci i jak je przezwyci\u0119\u017cono, jak przebiega\u0142 proces migracji, opisz\u0119 wybrane komponenty jako powi\u0105zania oraz ich konfiguracje. \n<\/li>\n<\/ol>\n<p>\nDzi\u0119kuj\u0119 za uwag\u0119! Zadawajcie pytania na ten temat, postaram si\u0119 odpowiedzie\u0107 tutaj lub w nast\u0119pnych postach. By\u0107 mo\u017ce kto\u015b ma do\u015bwiadczenie w budowaniu takiego systemu monitorowania lub w przechodzeniu na Clickhouse w podobnej sytuacji \u2014 podzielcie si\u0119 nim w komentarzach.<br \/>\n<br \/>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/335410\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043f\u043e\u043c\u0438\u043c\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043b\u0438. \u0414\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0441\u0438\u043b\u0430\u043c\u0438 DevOps-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e. \u041c\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0441\u0435\u0440\u0432\u0438\u0441 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432. \u041e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043c\u0438, \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0434\u0430\u0448\u0431\u043e\u0440\u0434\u044b, \u043f\u0440\u0438\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c \u043a \u043d\u0438\u043c \u0430\u043b\u0435\u0440\u0442\u044b, [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-52115","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043f\u043e\u043c\u0438\u043c\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043b\u0438. \u0414\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0441\u0438\u043b\u0430\u043c\u0438 DevOps-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043a\u0430\u043a \u0441\u0435\u0440\u0432\u0438\u0441: \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043f\u043e\u043c\u0438\u043c\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043b\u0438. \u0414\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0441\u0438\u043b\u0430\u043c\u0438 DevOps-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T10:59:47+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Monitoring jako us\u0142uga: modu\u0142owy system dla architektury mikroserwisowej | ProHoster","description":"Dzi\u015b w naszym projekcie, opr\u00f3cz monolitycznego kodu, funkcjonuje dziesi\u0105tki mikroserwis\u00f3w. Ka\u017cdy z nich wymaga, aby by\u0142 monitorowany. Robienie tego w tak du\u017cej skali si\u0142ami in\u017cynier\u00f3w DevOps jest problematyczne.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u043a\u0430\u043a \u0441\u0435\u0440\u0432\u0438\u0441: \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043b\u044f \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b | ProHoster","og:description":"\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435, \u043f\u043e\u043c\u0438\u043c\u043e \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430, \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0438\u0440\u0443\u044e\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0433\u043e \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043b\u0438. \u0414\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u0430\u0445 \u0441\u0438\u043b\u0430\u043c\u0438 DevOps-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-kak-servis-modulnaya-sistema-dlya-mikroservisnoj-arhitektury","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T21:00:00+00:00","article:modified_time":"2020-02-18T10:59:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"52115","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 02:30:22","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:49:49","updated":"2026-01-24 02:30:22","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/52115","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=52115"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/52115\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=52115"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=52115"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=52115"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}