{"id":91199,"date":"2020-08-10T01:42:03","date_gmt":"2020-08-09T23:42:03","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov"},"modified":"2020-08-10T01:42:03","modified_gmt":"2020-08-09T23:42:03","slug":"kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","title":{"rendered":"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Nazywam si\u0119 Wiktor Jagofarow i zajmuj\u0119 si\u0119 rozwijaniem platformy Kubernetes w firmie DomKlik jako lider techniczny zespo\u0142u ds. rozwoju w zespole Ops (operacje). Chcia\u0142bym opowiedzie\u0107 o struktury naszych proces\u00f3w Dev  Ops, o szczeg\u00f3lnych cechach eksploatacji jednego z najwi\u0119kszych klastr\u00f3w k8s w Rosji oraz o praktykach DevOps\/SRE, kt\u00f3re stosuje nasz zesp\u00f3\u0142.<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/6c908104c734b36cc7a960fbe4d65e3f.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h4>Zesp\u00f3\u0142 Ops<\/h4>\n<p>\nObecnie w zespole Ops pracuje 15 os\u00f3b. Trzy z nich odpowiadaj\u0105 za biuro, dwie pracuj\u0105 w innym strefie czasowej i s\u0105 dost\u0119pne, w tym r\u00f3wnie\u017c w nocy. Dzi\u0119ki temu zawsze kto\u015b z Ops jest przy monitorze i gotowy do reakcji na incydent o dowolnej z\u0142o\u017cono\u015bci. Nie mamy nocnych dy\u017cur\u00f3w, co chroni nasz\u0105 psychik\u0119 i pozwala wszystkim si\u0119 wyspa\u0107 oraz sp\u0119dza\u0107 czas wolny nie tylko przed komputerem.<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/47051db273f116df376e64bad67c6f37.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nWszyscy mamy r\u00f3\u017cne kompetencje: sieciowcy, DBA, specjali\u015bci od stosu ELK, administratorzy\/deweloperzy Kubernetes, specjali\u015bci od monitorowania, wirtualizacji, sprz\u0119tu itp. \u0141\u0105czy nas jedno \u2014 ka\u017cdy mo\u017ce w jakim\u015b stopniu zast\u0105pi\u0107 kogo\u015b innego: na przyk\u0142ad, wprowadzi\u0107 nowe w\u0119z\u0142y do klastra k8s, zaktualizowa\u0107 PostgreSQL, napisa\u0107 pipeline CI\/CD + Ansible, zautomatyzowa\u0107 co\u015b w Pythonie\/Bash\/Go, pod\u0142\u0105czy\u0107 sprz\u0119t w centrum danych. Silne kompetencje w danej dziedzinie nie przeszkadzaj\u0105 w zmianie kierunku dzia\u0142alno\u015bci i rozpocz\u0119ciu nauki w innej dziedzinie. Na przyk\u0142ad, zatrudni\u0142em si\u0119 w firmie jako specjalista ds. PostgreSQL, a teraz moim g\u0142\u00f3wnym obszarem odpowiedzialno\u015bci s\u0105 klastry Kubernetes. W zespole jakikolwiek rozw\u00f3j jest mile widziany, a poczucie wsp\u00f3lnoty jest bardzo rozwini\u0119te.<\/p>\n<p>Zreszt\u0105 rekrutujemy. Wymagania wobec kandydat\u00f3w s\u0105 do\u015b\u0107 standardowe. Osobi\u015bcie wa\u017cne jest dla mnie, aby osoba wpasowa\u0142a si\u0119 w zesp\u00f3\u0142, by\u0142a niekonfliktowa, ale tak\u017ce potrafi\u0142a broni\u0107 swojego zdania, chcia\u0142a si\u0119 rozwija\u0107 i nie ba\u0142a si\u0119 robi\u0107 czego\u015b nowego, proponowa\u0142a swoje pomys\u0142y. Umiej\u0119tno\u015bci programowania w j\u0119zykach skryptowych s\u0105 r\u00f3wnie\u017c konieczne, tak samo jak znajomo\u015b\u0107 podstaw Linuxa i angielskiego. Angielski jest potrzebny, aby osoba w przypadku problemu mog\u0142a znale\u017a\u0107 rozwi\u0105zanie w ci\u0105gu 10 sekund, a nie 10 minut. Specjali\u015bci z g\u0142\u0119bok\u0105 wiedz\u0105 o Linuxie s\u0105 teraz bardzo rzadko\u015bci\u0105: to \u015bmieszne, ale dw\u00f3ch na trzech kandydat\u00f3w nie potrafi odpowiedzie\u0107 na pytanie \u201eCzym jest Load Average? Z czego si\u0119 sk\u0142ada?\u201d, a pytanie \u201eJak zebra\u0107 zrzut pami\u0119ci z programu w C\u201d uwa\u017caj\u0105 za co\u015b z \u015bwiata superbohater\u00f3w\u2026 albo dinozaur\u00f3w. Musimy si\u0119 z tym pogodzi\u0107, poniewa\u017c zwykle ludzie maj\u0105 dobrze rozwini\u0119te inne kompetencje, a \u201elinuksa\u201d ich nauczymy. Odpowied\u017a na pytanie \u201epo co to wszystko wiedzie\u0107 in\u017cynierowi DevOps w dzisiejszym \u015bwiecie chmur\u201d musimy zostawi\u0107 poza zakresem artyku\u0142u, ale w kilku s\u0142owach: wszystko to jest potrzebne.<\/p>\n<h4>Zesp\u00f3\u0142 Tools<\/h4>\n<p>\nZesp\u00f3\u0142 Tools odgrywa znacz\u0105c\u0105 rol\u0119 w automatyzacji. Ich g\u0142\u00f3wnym zadaniem jest tworzenie wygodnych narz\u0119dzi graficznych i CLI dla programist\u00f3w. Na przyk\u0142ad nasze wewn\u0119trzne narz\u0119dzie Confer pozwala na dos\u0142ownie kilka klikni\u0119\u0107 zainstalowa\u0107 aplikacj\u0119 w Kubernetes, skonfigurowa\u0107 zasoby, klucze z vault itd. Wcze\u015bniej u\u017cywano Jenkins + Helm 2, ale musieli\u015bmy opracowa\u0107 w\u0142asne narz\u0119dzie, aby wyeliminowa\u0107 kopiowanie i wprowadzi\u0107 jednorodno\u015b\u0107 w cyklu \u017cycia oprogramowania.<\/p>\n<p>Zesp\u00f3\u0142 Ops nie pisze pipeline'\u00f3w za programist\u00f3w, ale mo\u017ce doradzi\u0107 w ka\u017cdej kwestii dotycz\u0105cej ich pisania (niekt\u00f3rzy nadal korzystaj\u0105 z Helm 3).<\/p>\n<h4>DevOps<\/h4>\n<p>\nJe\u015bli chodzi o DevOps, widzimy go w ten spos\u00f3b:<\/p>\n<p>Zespo\u0142y Dev pisz\u0105 kod, wdra\u017caj\u0105 go przez Confer w dev -&gt; qa\/stage -&gt; prod. Odpowiedzialno\u015b\u0107 za to, aby kod nie zawiesza\u0142 si\u0119 i nie generowa\u0142 b\u0142\u0119d\u00f3w, spoczywa na zespo\u0142ach Dev i Ops. W ci\u0105gu dnia na incydent zwi\u0105zany ze swoim aplikacj\u0105 powinien reagowa\u0107 w pierwszej kolejno\u015bci dy\u017curny z zespo\u0142u Ops, a w czasie wieczornym i nocnym dy\u017curny admin (Ops) powinien obudzi\u0107 dy\u017curnego programist\u0119, je\u015bli ma pewno\u015b\u0107, \u017ce problem nie le\u017cy w infrastrukturze. Wszystkie metryki i alerty w monitoringu pojawiaj\u0105 si\u0119 automatycznie lub p\u00f3\u0142automatycznie.<\/p>\n<p>Obszar odpowiedzialno\u015bci Ops zaczyna si\u0119 w momencie wdro\u017cenia aplikacji w produkcji, ale odpowiedzialno\u015b\u0107 Dev si\u0119 na tym nie ko\u0144czy \u2014 pracujemy nad tym razem i jeste\u015bmy w jednej \u0142\u00f3dce.<\/p>\n<p>Programi\u015bci konsultuj\u0105 administrator\u00f3w, gdy potrzebna jest pomoc przy pisaniu mikroserwisu dla admin\u00f3w (na przyk\u0142ad backend w Go + HTML5), a administratorzy doradzaj\u0105 programistom w sprawach zwi\u0105zanych z infrastruktur\u0105 lub pytaniach dotycz\u0105cych k8s.<\/p>\n<p>Przy okazji, w og\u00f3le nie mamy monolitu, tylko mikroserwisy. Ich liczba oscyluje obecnie mi\u0119dzy 900 a 1000 w produkcyjnym klastrze k8s, je\u015bli mierzy\u0107 pod wzgl\u0119dem ilo\u015bci. <i>deployments<\/i>Liczba pod\u00f3w waha si\u0119 mi\u0119dzy 1700 a 2000. Pod\u00f3w w klastrze produkcyjnym jest obecnie oko\u0142o 2000.<\/p>\n<p>Nie mog\u0119 poda\u0107 dok\u0142adnych liczb, poniewa\u017c monitorujemy niepotrzebne mikroserwisy i usuwamy je w trybie p\u00f3\u0142automatycznym. \u015aledzenie niepotrzebnych byt\u00f3w w k8s wspomaga nam <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Nastradamus\/useless-operator\">useless-operator<\/a><\/noindex>, co znacz\u0105co oszcz\u0119dza zasoby i pieni\u0105dze.<\/p>\n<h2> Zarz\u0105dzanie zasobami <\/h2>\n<p><\/p>\n<h4> Monitoring <\/h4>\n<p>\nFundamentem w eksploatacji du\u017cego klastra staje si\u0119 odpowiednio zbudowany i informacyjny system monitorowania. Na razie nie znale\u017ali\u015bmy uniwersalnego rozwi\u0105zania, kt\u00f3re pokry\u0142oby 100% wszystkich \"\u017cycze\u0144\" dotycz\u0105cych monitorowania, dlatego okresowo tworzymy r\u00f3\u017cne niestandardowe rozwi\u0105zania w tej dziedzinie.<\/p>\n<ul>\n<li><b>Zabbix<\/b>. Stary, dobry system monitorowania, kt\u00f3ry jest przeznaczony przede wszystkim do \u015bledzenia og\u00f3lnego stanu infrastruktury. Informuje nas, kiedy w\u0119ze\u0142 umiera z powodu CPU, pami\u0119ci, dysk\u00f3w, sieci i tym podobnych. Nic nadzwyczajnego, ale mamy r\u00f3wnie\u017c osobny DaemonSet z agentami, za pomoc\u0105 kt\u00f3rych na przyk\u0142ad monitorujemy stan DNS w klastrze: sprawdzamy op\u00f3\u017anione pody coredns, kontrolujemy dost\u0119pno\u015b\u0107 zewn\u0119trznych host\u00f3w. Mo\u017cna by si\u0119 zastanawia\u0107, po co si\u0119 w to bawi\u0107, ale przy du\u017cych wolumenach ruchu ten komponent jest powa\u017cnym punktem awarii. Ju\u017c wcze\u015bniej m\u00f3wi\u0142em <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/domclick\/blog\/495450\/\">W ten spos\u00f3b, https jest skonfigurowane, teraz wchodzimy do folderu .\/bin i uruchamiamy startup.sh, a po uruchomieniu serwera przechodzimy do instalatora webowego<\/a><\/noindex>, jak radzi\u0142em sobie z wydajno\u015bci\u0105 DNS w klastrze.<\/li>\n<li><b>Operator Prometheus<\/b>. Zestaw r\u00f3\u017cnych eksporter\u00f3w daje szeroki przegl\u0105d wszystkich komponent\u00f3w klastra. Nast\u0119pnie wizualizujemy to wszystko na du\u017cych pulpitach nawigacyjnych w Grafanie, a do powiadomie\u0144 u\u017cywamy alertmanager.\n<\/li>\n<\/ul>\n<p>\nKolejnym przydatnym narz\u0119dziem dla nas sta\u0142 si\u0119 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Nastradamus\/list-ingress\">list-ingress<\/a><\/noindex>. Napisali\u015bmy go po tym, jak kilkukrotnie natrafili\u015bmy na sytuacj\u0119, w kt\u00f3rej jedna dru\u017cyna blokuje \u015bcie\u017cki Ingress drugiej dru\u017cyny, co powoduje b\u0142\u0119dy 50x. Teraz przed wdro\u017ceniem na produkcj\u0119 programi\u015bci sprawdzaj\u0105, czy nikogo nie uszkodz\u0105, a dla mojej dru\u017cyny jest to dobre narz\u0119dzie do wst\u0119pnej diagnostyki problem\u00f3w z Ingressami. Zabawne, \u017ce na pocz\u0105tku zosta\u0142 napisany dla administrator\u00f3w i wygl\u0105da\u0142 do\u015b\u0107 \"topornie\", ale po tym, jak narz\u0119dzie zyska\u0142o uznanie zespo\u0142\u00f3w deweloperskich, znacznie si\u0119 zmieni\u0142 i wygl\u0105da teraz jak \"webowy interfejs dla wszystkich\", a nie jak \"stworzone przez administratora dla administrator\u00f3w\". Wkr\u00f3tce zrezygnujemy z tego narz\u0119dzia, a podobne sytuacje b\u0119d\u0105 weryfikowane jeszcze przed wypuszczeniem pipeline'u.<\/p>\n<h4>Zasoby zespo\u0142\u00f3w w \u201eKube\u201d<\/h4>\n<p>\nZanim przejdziemy do przyk\u0142ad\u00f3w, warto wyja\u015bni\u0107, jak u nas dzia\u0142a przydzielanie zasob\u00f3w dla <i>mikroserwis\u00f3w<\/i>.<\/p>\n<p>Aby zrozumie\u0107, jakie zespo\u0142y i w jakich ilo\u015bciach wykorzystuj\u0105 swoje <i>zasoby<\/i> (procesor, pami\u0119\u0107, lokalny SSD), przydzielamy ka\u017cdemu zespo\u0142owi jego w\u0142asny <i>namespace<\/i> w \u201eKubernetesie\u201d i ograniczamy jego maksymalne mo\u017cliwo\u015bci dotycz\u0105ce procesora, pami\u0119ci i dysku, uprzednio omawiaj\u0105c potrzeby zespo\u0142\u00f3w. W zwi\u0105zku z tym jedna dru\u017cyna, w og\u00f3lnym przypadku, nie zablokuje dla swojego wdro\u017cenia ca\u0142ego klastra, przydzielaj\u0105c sobie tysi\u0105ce rdzeni i terabajty pami\u0119ci. Dost\u0119py w namespace s\u0105 przyznawane przez AD (u\u017cywamy RBAC). Namespace'y i ich limity s\u0105 dodawane za pomoc\u0105 pull request w repozytorium GIT, a nast\u0119pnie wszystko automatycznie wdra\u017cane przez pipeline Ansible.<\/p>\n<p>Przyk\u0142ad przydzielania zasob\u00f3w dla zespo\u0142u:<\/p>\n<pre><code class=\"go\">namespaces:\n\n  chat-team:\n    pods: 23\n    limits:\n      cpu: 11\n      memory: 20Gi\n    requests:\n      cpu: 11\n      memory: 20Gi\n<\/code><\/pre>\n<p><\/p>\n<h4>Requests i limity<\/h4>\n<p>\nW \u201eKube\u201d <i>Request<\/i> \u2014 to liczba gwarantowanych zarezerwowanych zasob\u00f3w dla <i>pod<\/i> (jeden lub wi\u0119cej kontener\u00f3w dockera) w klastrze. Limit \u2014 to niemaj\u0105ca gwarancji maksymalna warto\u015b\u0107. Cz\u0119sto mo\u017cna zobaczy\u0107 na wykresach, \u017ce jaka\u015b dru\u017cyna ustawi\u0142a sobie zbyt wiele requests dla wszystkich swoich aplikacji i nie mo\u017ce wdro\u017cy\u0107 aplikacji do \u201eKubernetesa\u201d, poniewa\u017c w ich namespace wszystkie requesty ju\u017c zosta\u0142y \"wydane\".<\/p>\n<p>Poprawnym wyj\u015bciem z takiej sytuacji jest obserwowanie rzeczywistego zu\u017cycia zasob\u00f3w i por\u00f3wnanie go z zadanym poziomem (Request).<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/417373d4421064f28d57a03b6bb5bf94.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/3168ad6dc8b159059b21e1177e145376.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNa zrzutach ekranu powy\u017cej wida\u0107, \u017ce \u201ezadane\u201d (Requested) CPU zbli\u017caj\u0105 si\u0119 do rzeczywistej liczby w\u0105tk\u00f3w, a Limity mog\u0105 przekracza\u0107 rzeczywist\u0105 liczb\u0119 w\u0105tk\u00f3w procesor\u00f3w centralnych =)<\/p>\n<p>Teraz szczeg\u00f3\u0142owo przyjrzymy si\u0119 jakiemu\u015b namespace'owi (wybra\u0142em namespace kube-system \u2014 systemowy namespace dla komponent\u00f3w samego \u201eKuba\u201d) i zobaczymy stosunek rzeczywi\u015bcie wykorzystanego czasu CPU i pami\u0119ci do \u017c\u0105danej:<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/ed6160de5397b8cd39cbae172d4bb872.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOczywi\u015bcie, \u017ce pami\u0119ci i CPU zarezerwowane dla us\u0142ug systemowych jest znacznie wi\u0119cej, ni\u017c jest to rzeczywi\u015bcie u\u017cywane. W przypadku kube-system jest to uzasadnione: zdarza\u0142o si\u0119, \u017ce nginx ingress controller czy nodelocaldns w szczycie si\u0119ga\u0142y na maksymalny limit CPU i konsumowa\u0142y bardzo du\u017co RAM-u, dlatego taki zapas jest uzasadniony. Ponadto, nie mo\u017cemy polega\u0107 na wykresach z ostatnich 3 godzin: warto widzie\u0107 historyczne metryki przez d\u0142u\u017cszy okres czasu.<\/p>\n<p>Opracowano system \u201ezalecenia\u201d. Na przyk\u0142ad, tutaj mo\u017cna zobaczy\u0107, kt\u00f3re zasoby najlepiej by by\u0142o \u201epodnie\u015b\u0107 limity\u201d (g\u00f3rna dopuszczalna granica), aby unikn\u0105\u0107 \u201et\u0142umienia\u201d (throttling): momentu, kiedy ju\u017c zu\u017cyto CPU lub pami\u0119\u0107 w przydzielonym mu czasie i czeka na \u201eodmro\u017cenie\u201d:<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/f23aece10a585e6847bcacfe947031d1.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA oto pod\u00f3w, kt\u00f3rym nale\u017ca\u0142oby ograniczy\u0107 apetyt:<\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/1ec9996ce6355aeba603008d51aac209.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nO <i>t\u0142umienie<\/i> + monitorowanie zasob\u00f3w mo\u017cna napisa\u0107 niejedn\u0105 artyku\u0142, dlatego prosz\u0119 zadawa\u0107 pytania w komentarzach. W kilku s\u0142owach mog\u0119 powiedzie\u0107, \u017ce zadanie automatyzacji podobnych metryk jest do\u015b\u0107 z\u0142o\u017cone i wymaga du\u017co czasu oraz gimnastyki z \u201eokiennymi\u201d funkcjami i \u201eCTE\u201d Prometheus \/ VictoriaMetrics (te terminy s\u0105 w cudzys\u0142owie, poniewa\u017c w PromQL prawie nie ma nic podobnego, wi\u0119c trzeba tworzy\u0107 skomplikowane zapytania na kilka ekran\u00f3w tekstu i zajmowa\u0107 si\u0119 ich optymalizacj\u0105).<\/p>\n<p>W rezultacie, programi\u015bci maj\u0105 narz\u0119dzia do monitorowania swoich namespace'\u00f3w w \u201eKubie\u201d, i mog\u0105 sami decydowa\u0107, gdzie i o jakiej porze mo\u017cna \u201eprzyci\u0105\u0107\u201d zasoby, a jakim podom mo\u017cna odda\u0107 ca\u0142y CPU na ca\u0142\u0105 noc.<\/p>\n<h4>Metodologie<\/h4>\n<p>\nW firmie, jak teraz <i>modnie<\/i>, trzymamy si\u0119 praktyk DevOps-owych i <i>SRE<\/i>- praktyk. Kiedy w firmie jest 1000 mikroserwis\u00f3w, oko\u0142o 350 programist\u00f3w i 15 administrator\u00f3w na ca\u0142\u0105 infrastruktur\u0119, trzeba \u201eby\u0107 modnym\u201d: za wszystkimi tymi \u201ebuzzwordami\u201d kryje si\u0119 ostra potrzeba automatyzacji wszystkiego i wsz\u0119dzie, a administratorzy nie powinni by\u0107 w\u0105skim gard\u0142em w procesach.<\/p>\n<p>Jako Ops, dostarczamy r\u00f3\u017cne metryki i pulpit\u00f3w dla programist\u00f3w, zwi\u0105zanych z czasem odpowiedzi us\u0142ug i ich b\u0142\u0119dami.<\/p>\n<p>U\u017cywamy takich metodologii jak: <noindex><a rel=\"nofollow\" href=\"https:\/\/thenewstack.io\/monitoring-microservices-red-method\/\">RED<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"http:\/\/www.brendangregg.com\/usemethod.html\">U\u017bYJ<\/a><\/noindex> i <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/forepaas\/distributed-monitoring-101-the-four-golden-signals-305bbbc33d35\">Z\u0142ote sygna\u0142y<\/a><\/noindex>, \u0142\u0105cz\u0105c je razem. Staramy si\u0119 zminimalizowa\u0107 liczb\u0119 pulpit\u00f3w nawigacyjnych, aby z jednego spojrzenia by\u0142o wida\u0107, kt\u00f3ry serwis w\u0142a\u015bnie ma problemy (na przyk\u0142ad kody odpowiedzi na sekund\u0119, czas odpowiedzi w 99 percentylu) i tak dalej. Gdy tylko pojawi\u0105 si\u0119 nowe metryki potrzebne do wsp\u00f3lnych pulpit\u00f3w, natychmiast je rysujemy i dodajemy.<\/p>\n<p><i>Nie rysowa\u0142em wykres\u00f3w od miesi\u0105ca. To chyba dobry znak: to oznacza, \u017ce wi\u0119kszo\u015b\u0107 'chciejstw' zosta\u0142a ju\u017c zrealizowana. Czasami zdarza\u0142o si\u0119, \u017ce w tygodniu przynajmniej raz dziennie rysowa\u0142em jaki\u015b nowy wykres.<\/i><\/p>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/574f1b4d2be78fb779f1771bffac51dd.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/6ab2aa05f912839b14bdbcf84faaeb3a.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOtrzymany wynik jest cenny, poniewa\u017c teraz programi\u015bci rzadko przychodz\u0105 do administrator\u00f3w z pytaniami 'gdzie mo\u017cna zobaczy\u0107 jak\u0105\u015b metryk\u0119'.<\/p>\n<p>Wdro\u017cenie <i>Service Mesh<\/i> Nie ma co si\u0119 obawia\u0107, powinno to znacznie u\u0142atwi\u0107 \u017cycie wszystkim, koledzy z dzia\u0142u narz\u0119dzi s\u0105 ju\u017c blisko wdro\u017cenia abstrakcyjnego 'Istio zdrowego cz\u0142owieka': cykl \u017cycia ka\u017cdego zapytania HTTP(s) b\u0119dzie widoczny w monitorowaniu, i zawsze b\u0119dzie mo\u017cna zrozumie\u0107 'na kt\u00f3rym etapie wszystko si\u0119 zepsu\u0142o' podczas interakcji mi\u0119dzy serwisami (i nie tylko). Subskrybujcie nowo\u015bci z hubu firmy DomClick. =)<\/p>\n<h2>Wsparcie dla infrastruktury Kubernetes<\/h2>\n<p>\nHistorycznie przyj\u0119\u0142o si\u0119, \u017ce u\u017cywamy spatchowanej wersji <i>Kubespray<\/i> \u2014 rola Ansible do wdra\u017cania, powi\u0119kszania i aktualizacji Kubernetes. W pewnym momencie z g\u0142\u00f3wnej ga\u0142\u0119zi wyci\u0119to wsparcie dla instalacji non-kubeadm, a proces przej\u015bcia na kubeadm nie zosta\u0142 zaproponowany. W rezultacie firma Southbridge stworzy\u0142a swojego forka (z wsparciem kubeadm i szybkim rozwi\u0105zaniem krytycznych problem\u00f3w). <\/p>\n<p>Proces aktualizacji wszystkich klastr\u00f3w k8s wygl\u0105da tak:<\/p>\n<ul>\n<li>Bierzemy <i>Kubespray<\/i> od Southbridge, por\u00f3wnujemy z nasz\u0105 ga\u0142\u0119zi\u0105, \u0142\u0105czymy.<\/li>\n<li>Wdra\u017camy aktualizacj\u0119 w <i>Stress<\/i>- 'Kuba'.<\/li>\n<li>Wdra\u017camy aktualizacj\u0119 po jednej nodzie (w Ansible to 'serial: 1') w <i>Dev<\/i>- 'Kuba'.<\/li>\n<li>Aktualizujemy <i>Prod<\/i> w sobot\u0119 wieczorem po jednej nodzie.<\/li>\n<\/ul>\n<p>\nW przysz\u0142o\u015bci planujemy zast\u0105pi\u0107 <i>Kubespray<\/i> czym\u015b szybszym i przej\u015b\u0107 na <i>kubeadm<\/i>.<\/p>\n<p>Mamy trzy 'Kuby': Stress, Dev i Prod. Planujemy uruchomi\u0107 jeszcze jeden (<i>hot standby<\/i>) Prod-'Kub\u0119' w drugim centrum danych. <i>Stress<\/i> i <i>Dev<\/i> \u017cyj\u0105 w 'wirtualkach' (oVirt dla Stress i VMWare cloud dla Dev). <i>Prod<\/i>- 'Kuba' dzia\u0142a na 'go\u0142ym metalu': to identyczne w\u0119z\u0142y z 32 w\u0105tkami CPU, 64-128 GB pami\u0119ci i 300 GB SSD RAID 10 \u2014 mamy ich w sumie 50. Trzy 'cienkie' w\u0119z\u0142y s\u0105 przeznaczone na 'mastery' 'Kuby': 16 GB pami\u0119ci, 12 w\u0105tk\u00f3w CPU. <i>Prod<\/i>Dla produkcji wolimy u\u017cywa\u0107 'go\u0142ego metalu' i unikamy zb\u0119dnych warstw jak<\/p>\n<p>: nie potrzebujemy 'ha\u0142a\u015bliwych s\u0105siad\u00f3w' i czasu 'kradzie\u017cy CPU' <i>OpenStack<\/i>steal time <i>kradnij czas<\/i>A trudno\u015b\u0107 administracji wzrasta w przybli\u017ceniu dwukrotnie w przypadku open-source OpenStack.<\/p>\n<p>Dla CI\/CD \u201eKube\u201d i innych komponent\u00f3w infrastrukturalnych u\u017cywamy oddzielnego serwera GIT, Helm 3 (przeszli\u015bmy z Helm 2 do\u015b\u0107 bole\u015bnie, ale cieszymy si\u0119 z mo\u017cliwo\u015bci <i>atomic<\/i>), Jenkins, Ansible i Docker. Uwielbiamy feature-branching i wdro\u017cenia do r\u00f3\u017cnych \u015brodowisk z jednego repozytorium.<\/p>\n<h3>Podsumowanie<\/h3>\n<p><img decoding=\"async\" alt=\"Kubernetes w DomClick: jak spokojnie spa\u0107, zarz\u0105dzaj\u0105c klasterem z 1000 mikroserwis\u00f3w\" src=\"\/wp-content\/uploads\/2020\/08\/34ddcd1f275c63c1ad821218d16b5abb.jpeg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nTak w skr\u00f3cie wygl\u0105da proces DevOps w firmie DomKlick z perspektywy in\u017cyniera operacyjnego. Artyku\u0142 okaza\u0142 si\u0119 mniej techniczny ni\u017c si\u0119 spodziewa\u0142em, wi\u0119c b\u0105d\u017acie na bie\u017c\u0105co z nowo\u015bciami DomKlick na Habrze: b\u0119d\u0105 bardziej \u201ehardcorowe\u201d artyku\u0142y o Kubernetes i nie tylko.<br \/>\n<br \/>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/domclick\/blog\/501122\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0412\u0438\u043a\u0442\u043e\u0440 \u042f\u0433\u043e\u0444\u0430\u0440\u043e\u0432, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c Kubernetes-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0414\u043e\u043c\u041a\u043b\u0438\u043a \u0432 \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Ops (\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f). \u042f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0431 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0435 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432 Dev &lt;-&gt; Ops, \u043e\u0431 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044f\u0445 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 k8s-\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e DevOps\/SRE-\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u043d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430. \u041a\u043e\u043c\u0430\u043d\u0434\u0430 Ops \u0412 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Ops [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91200,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91199","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0412\u0438\u043a\u0442\u043e\u0440 \u042f\u0433\u043e\u0444\u0430\u0440\u043e\u0432, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c Kubernetes-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0414\u043e\u043c\u041a\u043b\u0438\u043a \u0432 \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Ops (\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f).\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47Kubernetes \u0432 \u0414\u043e\u043c\u041a\u043b\u0438\u043a: \u043a\u0430\u043a \u0441\u043f\u0430\u0442\u044c \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u043d\u0430 1000 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0412\u0438\u043a\u0442\u043e\u0440 \u042f\u0433\u043e\u0444\u0430\u0440\u043e\u0432, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c Kubernetes-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0414\u043e\u043c\u041a\u043b\u0438\u043a \u0432 \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Ops (\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f).\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-09T23:42:03+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-09T23:42:03+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 Kubernetes w DomKlick: jak spokojnie zarz\u0105dza\u0107 klastrem sk\u0142adaj\u0105cym si\u0119 z 1000 mikrous\u0142ug | ProHoster","description":"Nazywam si\u0119 Wiktor Jagofarow i rozwijam platform\u0119 Kubernetes w firmie DomKlick jako kierownik techniczny w zespole Ops (operacje).","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Kubernetes \u0432 \u0414\u043e\u043c\u041a\u043b\u0438\u043a: \u043a\u0430\u043a \u0441\u043f\u0430\u0442\u044c \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e, \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u043c \u043d\u0430 1000 \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 | ProHoster","og:description":"\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0412\u0438\u043a\u0442\u043e\u0440 \u042f\u0433\u043e\u0444\u0430\u0440\u043e\u0432, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c Kubernetes-\u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0414\u043e\u043c\u041a\u043b\u0438\u043a \u0432 \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Ops (\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f).","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kubernetes-v-domklik-kak-spat-spokojno-upravlyaya-klasterom-na-1000-mikroservisov","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-09T23:42:03+00:00","article:modified_time":"2020-08-09T23:42:03+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"91199","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:32:23","updated":"2022-09-28 06:43:59","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/91199","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=91199"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/91199\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/91200"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=91199"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=91199"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=91199"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}