{"id":34366,"date":"2019-10-31T21:57:56","date_gmt":"2019-10-31T18:57:56","guid":{"rendered":"https:\/\/prohoster.info\/blog\/benchmark-potrebleniya-tsp-dlya-istio-i-linkerd\/"},"modified":"2019-10-31T21:57:56","modified_gmt":"2019-10-31T18:57:56","slug":"benchmark-potrebleniya-tsp-dlya-istio-i-linkerd","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/benchmark-potrebleniya-tsp-dlya-istio-i-linkerd","title":{"rendered":"Zestawienie zu\u017cycia CPU dla Istio i Linkerd","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Zestawienie<\/p>\n

<\/p>\n

Wprowadzenie<\/h2>\n

<\/p>\n

My w Shopify<\/a><\/noindex> rozpocz\u0119li\u015bmy wdra\u017canie Istio jako service mesh. Generalnie wszystko nam odpowiada, z wyj\u0105tkiem jednej rzeczy: to kosztuje du\u017co<\/strong>.<\/p>\n

<\/p>\n

W publikowanych benchmarkach<\/a><\/noindex> dla Istio m\u00f3wi si\u0119:<\/p>\n

<\/p>\n

Z Istio 1.1 proxy zu\u017cywa oko\u0142o 0,6 vCPU (wirtualnych rdzeni) na 1000 \u017c\u0105da\u0144 na sekund\u0119.<\/p><\/blockquote>\n

Dla pierwszego regionu w service mesh (po 2 proxy z ka\u017cdej strony po\u0142\u0105czenia) b\u0119dziemy potrzebowa\u0107 1200 rdzeni tylko dla proxy, zak\u0142adaj\u0105c jeden milion \u017c\u0105da\u0144 na sekund\u0119. Zgodnie z kalkulatorem koszt\u00f3w od Google wychodzi oko\u0142o 40$\/miesi\u0105c\/rdze\u0144 dla konfiguracji n1-standard-64<\/code>, co oznacza, \u017ce ten region b\u0119dzie nas kosztowa\u0107 ponad 50 tys. dolar\u00f3w miesi\u0119cznie za 1 milion \u017c\u0105da\u0144 na sekund\u0119.<\/p>\n

<\/p>\n

Ivan Sim (Ivan Sim<\/a><\/noindex>) wizualnie por\u00f3wna\u0142<\/a><\/noindex> op\u00f3\u017anienia service mesh w zesz\u0142ym roku i obieca\u0142 to samo dla pami\u0119ci i procesora, ale si\u0119 nie uda\u0142o:<\/p>\n

<\/p>\n

Wygl\u0105da na to, \u017ce values-istio-test.yaml powa\u017cnie zwi\u0119kszy wykorzystanie procesora. Je\u015bli dobrze to policzy\u0142em, potrzebuj\u0119 oko\u0142o 24 rdzeni procesora dla panelu sterowania i 0,5 CPU dla ka\u017cdego proxy. Nie mam tyle. Powt\u00f3rz\u0119 testy, kiedy przydziel\u0105 mi wi\u0119cej zasob\u00f3w.<\/p><\/blockquote>\n

Chcia\u0142em sam si\u0119 przekona\u0107, jak wska\u017aniki Istio maj\u0105 si\u0119 do innej service mesh z otwartym kodem: Linkerd<\/a><\/noindex>.<\/p>\n

<\/a><\/noindex><\/p>\n

Instalacja service mesh<\/h3>\n

<\/p>\n

Na pocz\u0105tku zainstalowa\u0142em w klastrze SuperGloo<\/a><\/noindex>:<\/p>\n

<\/p>\n

$ supergloo init\ninstalacja supergloo w wersji 0.3.12\nu\u017cywaj\u0105c chart uri https:\/\/storage.googleapis.com\/supergloo-helm\/charts\/supergloo-0.3.12.tgz\nconfigmap\/sidecar-injection-resources utworzony\nserviceaccount\/supergloo utworzony\nserviceaccount\/discovery utworzony\nserviceaccount\/mesh-discovery utworzony\nclusterrole.rbac.authorization.k8s.io\/discovery utworzony\nclusterrole.rbac.authorization.k8s.io\/mesh-discovery utworzony\nclusterrolebinding.rbac.authorization.k8s.io\/supergloo-role-binding utworzony\nclusterrolebinding.rbac.authorization.k8s.io\/discovery-role-binding utworzony\nclusterrolebinding.rbac.authorization.k8s.io\/mesh-discovery-role-binding utworzony\ndeployment.extensions\/supergloo utworzony\ndeployment.extensions\/discovery utworzony\ndeployment.extensions\/mesh-discovery utworzony\ninstalacja zako\u0144czona sukcesem!<\/code><\/pre>\n
<\/p>\n
U\u017cy\u0142em SuperGloo, poniewa\u017c znacznie u\u0142atwia on wst\u0119pne wdra\u017canie service mesh. Prawie nic nie musia\u0142em robi\u0107. W produkcji nie korzystamy z SuperGloo, ale do tego zadania jest idealny. Musia\u0142em wyda\u0107 dos\u0142ownie kilka polece\u0144 dla ka\u017cdej service mesh. U\u017cy\u0142em dw\u00f3ch klastr\u00f3w do izolacji - po jednym dla Istio i Linkerd.<\/p>\n
<\/p>\n
Eksperyment przeprowadzono na Google Kubernetes Engine. U\u017cy\u0142em Kubernetes 1.12.7-gke.7<\/code> i puli w\u0119z\u0142\u00f3w n1-standard-4<\/code> z automatycznym skalowaniem w\u0119z\u0142\u00f3w (minimum 4, maksimum 16).<\/p>\n
<\/p>\n
Nast\u0119pnie zainstalowa\u0142em obie service mesh z linii polece\u0144.<\/p>\n
<\/p>\n
Na pocz\u0105tku Linkerd:<\/p>\n
<\/p>\n
$ supergloo install linkerd --name linkerd\n+---------+--------------+---------+---------------------------+\n| INSTALL |     TYPE     | STATUS  |          DETAILS          |\n+---------+--------------+---------+---------------------------+\n| linkerd | Linkerd Mesh | Pending | enabled: true             |\n|         |              |         | version: stable-2.3.0     |\n|         |              |         | namespace: linkerd        |\n|         |              |         | mtls enabled: true        |\n|         |              |         | auto inject enabled: true |\n+---------+--------------+---------+---------------------------+<\/code><\/pre>\n
<\/p>\n
Nast\u0119pnie Istio:<\/p>\n
<\/p>\n
$ supergloo install istio --name istio --installation-namespace istio-system --mtls=true --auto-inject=true\n+---------+------------+---------+---------------------------+\n| INSTALL |    TYPE    | STATUS  |          DETAILS          |\n+---------+------------+---------+---------------------------+\n| istio   | Istio Mesh | Pending | enabled: true             |\n|         |            |         | version: 1.0.6            |\n|         |            |         | namespace: istio-system   |\n|         |            |         | mtls enabled: true        |\n|         |            |         | auto inject enabled: true |\n|         |            |         | grafana enabled: true     |\n|         |            |         | prometheus enabled: true  |\n|         |            |         | jaeger enabled: true      |\n+---------+------------+---------+---------------------------+<\/code><\/pre>\n
<\/p>\n
P\u0119tla awarii trwa\u0142a kilka minut, a nast\u0119pnie pulpit nawigacyjny stabilizowa\u0142 si\u0119.<\/p>\n
<\/p>\n
(Uwaga. SuperGloo obs\u0142uguje obecnie tylko Istio 1.0.x. Powt\u00f3rzy\u0142em eksperyment z Istio 1.1.3, ale nie zauwa\u017cy\u0142em \u017cadnych znacz\u0105cych r\u00f3\u017cnic.)<\/em><\/p>\n
<\/p>\n
Konfiguracja automatycznego wprowadzania Istio<\/h3>\n
<\/p>\n
Aby Istio zainstalowa\u0142o sidecar Envoy, u\u017cywamy wstrzykiwacza sidecar \u2014 MutatingAdmissionWebhook<\/code>. Nie b\u0119dziemy o nim m\u00f3wi\u0107 w tym artykule. Powiem tylko, \u017ce to kontroler, kt\u00f3ry monitoruje dost\u0119p do wszystkich nowych pod\u00f3w i dynamicznie dodaje sidecar i initContainer, kt\u00f3ry odpowiada za zadania iptables<\/code>.<\/p>\n
<\/p>\n
W Shopify napisali\u015bmy w\u0142asny kontroler dost\u0119pu do wprowadzenia sidecar\u00f3w, ale w tym benchmarku wzi\u0105\u0142em kontroler, kt\u00f3ry jest dostarczany z Istio. Domy\u015blny kontroler wprowadza sidecary, gdy w przestrzeni nazw jest etykieta istio-injection: enabled<\/code>:<\/p>\n
<\/p>\n
$ kubectl label namespace irs-client-dev istio-injection=enabled\nnamespace\/irs-client-dev labeled\n\n$ kubectl label namespace irs-server-dev istio-injection=enabled\nnamespace\/irs-server-dev labeled<\/code><\/pre>\n
<\/p>\n
Konfiguracja automatycznego wprowadzania Linkerd<\/h3>\n
<\/p>\n
Aby skonfigurowa\u0107 wprowadzenie sidecar\u00f3w Linkerd, u\u017cywamy adnotacji (doda\u0142em je r\u0119cznie przez kubectl edit<\/code>):<\/p>\n
<\/p>\n
metadata:\n  annotations:\n    linkerd.io\/inject: enabled<\/code><\/pre>\n
<\/p>\n
$ k edit ns irs-server-dev \nnamespace\/irs-server-dev edited\n\n$ k get ns irs-server-dev -o yaml\napiVersion: v1\nkind: Namespace\nmetadata:\n  annotations:\n    linkerd.io\/inject: enabled\n  name: irs-server-dev\nspec:\n  finalizers:\n  - kubernetes\nstatus:\n  phase: Active<\/code><\/pre>\n
<\/p>\n
Symulator odporno\u015bci Istio<\/h3>\n
<\/p>\n
Stworzyli\u015bmy symulator odporno\u015bci Istio, aby eksperymentowa\u0107 z ruchem specyficznym dla Shopify. Potrzebowali\u015bmy narz\u0119dzia, kt\u00f3re pozwoli\u0142oby nam tworzy\u0107 dowoln\u0105 topologi\u0119, reprezentuj\u0105c\u0105 okre\u015blon\u0105 cz\u0119\u015b\u0107 grafu naszych us\u0142ug z dynamicznymi ustawieniami do modelowania konkretnych obci\u0105\u017ce\u0144 roboczych.<\/p>\n
<\/p>\n
Infrastruktura Shopify do\u015bwiadcza du\u017cych obci\u0105\u017ce\u0144 podczas flash sale. W tym czasie Shopify zaleca sprzedawcom cz\u0119stsze organizowanie takich wyprzeda\u017cy<\/a><\/noindex>. Duzi klienci czasami informuj\u0105 o planowanej flash sale. Inni przeprowadzaj\u0105 je niespodziewanie, o ka\u017cdej porze dnia i nocy.<\/p>\n
<\/p>\n
Chcieli\u015bmy, aby nasz symulator odporno\u015bci modelowa\u0142 przep\u0142ywy robocze, kt\u00f3re odpowiadaj\u0105 topologiom i obci\u0105\u017ceniom, kt\u00f3re w przesz\u0142o\u015bci prowadzi\u0142y do przeci\u0105\u017cenia infrastruktury Shopify. G\u0142\u00f3wnym celem zastosowania service mesh jest zapewnienie niezawodno\u015bci i odporno\u015bci na poziomie sieci, a dla nas istotne jest, aby service mesh skutecznie radzi\u0142a sobie z obci\u0105\u017ceniami, kt\u00f3re wcze\u015bniej zak\u0142\u00f3ca\u0142y dzia\u0142anie us\u0142ug.<\/p>\n
<\/p>\n
Na bazie symulatora odporno\u015bci znajduje si\u0119 w\u0119ze\u0142 roboczy, kt\u00f3ry dzia\u0142a jako w\u0119ze\u0142 service mesh. W\u0119ze\u0142 roboczy mo\u017cna skonfigurowa\u0107 statycznie przy uruchamianiu lub dynamicznie przez REST API. U\u017cywamy dynamicznej konfiguracji w\u0119z\u0142\u00f3w roboczych do tworzenia przep\u0142yw\u00f3w roboczych w formie regresywnych test\u00f3w.<\/p>\n
<\/p>\n
Oto przyk\u0142ad takiego procesu:<\/p>\n
<\/p>\n