ʻApelila 27 ma ka ʻaha kūkā , ma ke ʻano o ka ʻāpana "DevOps", ua hāʻawi ʻia ka hōʻike "Autoscaling a me ka hoʻokele waiwai ma Kubernetes". E kamaʻilio e pili ana pehea e hiki ai iā ʻoe ke hoʻohana i nā K8 e hōʻoia i ka loaʻa kiʻekiʻe o kāu mau noi a hōʻoia i ka hana kiʻekiʻe.
Ma ke kuʻuna, hauʻoli mākou e hōʻike (44 mau minuke, ʻoi aku ka ʻike ma mua o ka ʻatikala) a me ka hōʻuluʻulu nui ma ke ʻano kikokikona. Hele!
E noʻonoʻo kākou i ke kumuhana o ka hōʻike ʻōlelo ma ka ʻōlelo a hoʻomaka mai ka hopena.
Kubernetes
E ʻōlelo mākou he mau pahu Docker ma kā mākou mea hoʻokipa. He aha ke kumu? No ka hōʻoia ʻana i ka hoʻihoʻi hou ʻana a me ka hoʻokaʻawale ʻana, ʻo ia ka mea e ʻae ai i ka maʻalahi a me ka maikaʻi deployment, CI/CD. Nui nā kaʻa like me nā pahu.
He aha nā Kubernetes e hāʻawi ai i kēia hihia?
- Hoʻopau mākou i ka noʻonoʻo ʻana i kēia mau mīkini a hoʻomaka e hana me ka "cloud" pūʻulu ipu a i ʻole pods (nā pūʻulu pahu).
- Eia kekahi, ʻaʻole mākou e noʻonoʻo e pili ana i nā pods pākahi, akā hoʻokele hou akuоhui nui. Penei kiʻekiʻe-level primitives e ʻae iā mākou e ʻōlelo aia he kumu hoʻohālike no ka holo ʻana i kekahi haʻahaʻa hana, a eia ka helu i koi ʻia o nā manawa e holo ai. Inā hoʻololi mākou i ka template, e loli nā manawa a pau.
- Me ke kōkuaʻana o API hoʻolaha Ma kahi o ka hoʻokō ʻana i ke kaʻina o nā kauoha kikoʻī, wehewehe mākou i ka "kūkulu o ka honua" (ma YAML), i hana ʻia e Kubernetes. A eia hou: ke loli ka wehewehe ʻana, e loli pū kāna hōʻike maoli.
Hooponopono waiwai
CPU
E holo mākou i ka nginx, php-fpm a me mysql ma ke kikowaena. ʻOi aku ka nui o nā kaʻina hana e holo nei i kēia mau lawelawe, pono kēlā me kēia mea i nā kumuwaiwai computing:
(ʻo nā helu ma ka paheʻe he "parrots", ka hemahema o kēlā me kēia kaʻina hana no ka mana helu)
I mea e maʻalahi ai ka hana ʻana me kēia, pono e hoʻohui i nā kaʻina hana i nā hui (no ka laʻana, nā kaʻina nginx āpau i hoʻokahi hui "nginx"). ʻO kahi ala maʻalahi a maopopo e hana ai i kēia, ʻo ia ke kau ʻana i kēlā me kēia hui i loko o kahi pahu:
No ka hoʻomau, pono ʻoe e hoʻomanaʻo i ke ʻano o kahi ipu (ma Linux). Ua hiki i ko lākou helehelena ke mahalo i ʻekolu mau hiʻohiʻona nui i ka kernel, i hoʻokō ʻia i ka wā lōʻihi i hala: , и . A ua hoʻomohala hou ʻia e nā ʻenehana ʻē aʻe (me nā "shells" kūpono e like me Docker):
Ma ka pōʻaiapili o ka hōʻike, makemake wale mākou pūʻulu, no ka mea, ʻo nā pūʻulu mana ka ʻāpana o ka hana o nā ipu (Docker, etc.) i hoʻokō i ka hoʻokele waiwai. ʻO nā kaʻina hana i hui pū ʻia i nā hui, e like me kā mākou i makemake ai, he mau pūʻulu mana.
E hoʻi kāua i nā koi CPU no kēia mau kaʻina hana, a i kēia manawa no nā hui o nā kaʻina hana:
(Ke haʻi hou nei au he hōʻike kikoʻī nā helu āpau o ka pono o nā kumuwaiwai)
I ka manawa like, loaʻa i ka CPU ponoʻī kekahi kumu waiwai (ma ka laʻana he 1000 kēia), i nele paha nā kānaka a pau (ʻo ka huina o nā pono o nā hui a pau he 150+850+460=1460). He aha ka hopena ma kēia hihia?
Hoʻomaka ka kernel e hāʻawi i nā kumuwaiwai a hana "pono", hāʻawi i ka nui o nā kumuwaiwai i kēlā me kēia hui. Akā i ka hihia mua, ʻoi aku ka nui o lākou ma mua o ka mea e pono ai (333>150), no laila ke waiho nei ka ʻoi aku (333-150=183) i loko o ka mālama ʻana, a ua puʻunaue like ʻia ma waena o ʻelua mau pahu ʻē aʻe:
ʻO ka hopena: ua lawa nā kumu waiwai o ka pahu mua, ʻo ka lua - ʻaʻole lawa nā kumu waiwai, ʻo ke kolu - ʻaʻole lawa nā kumuwaiwai. ʻO kēia ka hopena o nā hana "ʻoiaʻiʻo" mea hoʻonohonoho ma Linux - . Hiki ke hoʻololi ʻia kāna hana me ka hoʻohana ʻana i ka hana kaupaona kēlā me kēia pahu. No ka laʻana, e like me kēia:
E nānā kākou i ka hihia o ka nele o nā kumuwaiwai i ka pahu lua (php-fpm). Māhele like ʻia nā kumuwaiwai pahu a pau ma waena o nā kaʻina hana. ʻO ka hopena, hana maikaʻi ke kaʻina hana, akā lohi nā mea hana a pau, e loaʻa ana ma lalo o ka hapalua o nā mea e pono ai lākou:
Penei ka hana o ka CFS scheduler. E kāhea hou mākou i nā paona a mākou e hāʻawi ai i nā pahu noi. No ke aha kēia - e ʻike hou aku.
E nānā kākou i ke kūlana holoʻokoʻa mai kēlā ʻaoʻao. E like me kāu e ʻike ai, alakaʻi nā alanui āpau i Roma, a ma ke ʻano o kahi kamepiula, i ka CPU. Hoʻokahi CPU, nui nā hana - pono ʻoe i ke kukui uila. ʻO ke ala maʻalahi loa e hoʻokele ai i nā kumuwaiwai ʻo ia ka "mālamalama mākaʻikaʻi": hāʻawi lākou i kahi kaʻina hana i kahi manawa paʻa i ka CPU, a laila ʻo ka mea aʻe, etc.
Kapa ʻia kēia ala ʻo hard quotas (ka palena paʻa). E hoʻomanaʻo wale kākou palena. Eia nō naʻe, inā e hāʻawi ʻoe i nā palena i nā pahu āpau, hiki mai ka pilikia: ke holo nei ka mysql ma ke alanui a i kekahi manawa ua pau kona pono no ka CPU, akā koi ʻia nā kaʻina hana ʻē aʻe e kali a hiki i ka CPU. palaualelo.
E hoʻi kāua i ka Linux kernel a me kāna pilina me ka CPU - ʻo ke kiʻi holoʻokoʻa penei:
ʻElua mau hoʻonohonoho cgroup - ʻo ia hoʻi ʻelua mau "twists" maʻalahi e hiki ai iā ʻoe ke hoʻoholo:
- kaumaha no ka ipu (noi) he Māhele;
- ka pākēneka o ka manawa CPU a pau no ka hana ʻana i nā hana pahu (palena). ka quota.
Pehea e ana i ka CPU?
Aia nā ʻano like ʻole:
- Heaha Pākī, ʻaʻohe mea i ʻike - pono ʻoe e kūkākūkā i kēlā me kēia manawa.
- Hoihoi ʻoi aku ka maʻalahi, akā pili: 50% o kahi kikowaena me 4 cores a me 20 cores he mau mea ʻokoʻa loa.
- Hiki iā ʻoe ke hoʻohana i nā mea i ʻōlelo ʻia kaupaona, i ʻike ʻia e Linux, akā pili pū kekahi.
- ʻO ka koho kūpono loa ʻo ke ana ʻana i nā kumuwaiwai computing in kekona. ʻO kēlā mau. i kekona o ka manawa kaʻina hana e pili ana i kekona o ka manawa maoli: 1 kekona o ka manawa kaʻina hana i hāʻawi ʻia i kēlā me kēia 1 kekona maoli - ʻo ia kahi ʻāpana CPU holoʻokoʻa.
I mea e maʻalahi ai ka ʻōlelo, hoʻomaka lākou e ana pololei i loko nā ʻōpala, ʻo ia hoʻi e lākou ka manawa CPU like e pili ana i ka mea maoli. Ma muli o ka hoʻomaopopo ʻana o Linux i nā kaupaona, akā ʻaʻole i ka nui o ka manawa CPU / cores, pono kahi mīkini e unuhi mai kekahi i kekahi.
E noʻonoʻo kākou i kahi hiʻohiʻona maʻalahi me kahi kikowaena me nā cores CPU 3, kahi e hāʻawi ʻia ai nā paona ʻekolu (500, 1000 a me 1500) i maʻalahi i hoʻololi ʻia i nā ʻāpana pili o nā cores i hāʻawi ʻia iā lākou (0,5, 1 a me 1,5).
Inā ʻoe e lawe i kahi kikowaena lua, kahi e paʻa ai ka nui o nā cores (6), a kau i nā pods like ma laila, hiki ke helu maʻalahi ka māhele ʻana o nā cores ma ka hoʻonui wale ʻana i ka 2 (1, 2 a me 3, kēlā me kēia). Akā, aia kahi manawa koʻikoʻi i ka wā e ʻike ʻia ai kahi pod ʻehā ma kēia kikowaena, nona ka paona, no ka maʻalahi, ʻo ia ka 3000. Lawe ʻia kahi hapa o nā kumuwaiwai CPU (ka hapalua o nā cores), a no nā pods i koe e helu hou ʻia (halved):
Kubernetes a me nā kumuwaiwai CPU
Ma Kubernetes, ua ana pinepine ʻia nā kumuwaiwai CPU ma miliadrax, i.e. Lawe ʻia ʻo 0,001 cores e like me ke kaumaha kumu. (Ua kapa ʻia ka mea like ma Linux/cgroups terminology he CPU share, ʻoiai, ʻoi aku ka pololei, 1000 millicores = 1024 CPU shares.) Mālama ʻo K8s ʻaʻole ia e kau i nā pods ma luna o ke kikowaena ma mua o nā kumuwaiwai CPU no ka huina o nā paona o nā pods āpau.
Pehea e hana ai kēia? Ke hoʻohui ʻoe i kahi kikowaena i kahi pūʻulu Kubernetes, hōʻike ʻia ka nui o nā cores CPU i loaʻa iā ia. A i ka hana ʻana i pod hou, ʻike ka mea hoʻonohonoho Kubernetes i ka nui o nā cores e pono ai kēia pod. No laila, e hāʻawi ʻia ka pod i kahi kikowaena kahi i lawa ai nā cores.
He aha ka hopena inā ole Ua kuhikuhi ʻia ke noi (ʻo ia hoʻi. E noʻonoʻo i ka helu ʻana o Kubernetes i nā kumuwaiwai.
No kahi pod, hiki iā ʻoe ke kuhikuhi i nā noi ʻelua (CFS scheduler) a me nā palena (hoʻomanaʻo i ke kukui uila?):
- Inā hoʻohālikelike ʻia lākou, a laila hāʻawi ʻia ka pod i kahi papa QoS ua hoʻohiki. ʻO kēia helu o nā cores e loaʻa mau ana iā ia.
- Inā emi ka noi ma mua o ka palena - papa QoS hikiwawe. ʻO kēlā mau. Manaʻo mākou i kahi pod, no ka laʻana, e hoʻohana mau i ka 1 core, akā ʻaʻole kēia waiwai he palena no ia: kekahi manawa Hiki i ka pod ke hoʻohana hou aku (inā loaʻa i ka server nā kumuwaiwai manuahi no kēia).
- Aia kekahi papa QoS hoʻoikaika maikaʻi loa - komo ia i kēlā mau pods no ka mea ʻaʻole i kuhikuhi ʻia ke noi. Hāʻawi ʻia nā kumuwaiwai iā lākou ma hope.
paʻa
Me ka hoʻomanaʻo, ua like ke kūlana, akā ʻokoʻa iki - ma hope o nā mea a pau, ʻokoʻa ke ʻano o kēia mau kumuwaiwai. Ma keʻano laulā, penei ka hoʻohālikelike:
E ʻike kākou pehea e hoʻokō ʻia ai nā noi ma ka hoʻomanaʻo. E ola nā pods ma ke kikowaena, e hoʻololi i ka hoʻohana ʻana i ka hoʻomanaʻo, a hiki i ka nui o kekahi o lākou a pau ka hoʻomanaʻo. I kēia hihia, ʻike ʻia ka mea pepehi OOM a pepehi i ke kaʻina hana nui loa:
ʻAʻole kūpono kēia iā mākou, no laila hiki ke hoʻoponopono i nā kaʻina hana i mea nui iā mākou a ʻaʻole pono e pepehi ʻia. No ka hana ʻana i kēia, e hoʻohana i ka parameter oom_score_adj.
E hoʻi kāua i nā papa QoS o ka CPU a kahakiʻi i kahi hoʻohālikelike me nā waiwai oom_score_adj e hoʻoholo ai i nā mea nui o ka hoʻomanaʻo ʻana no nā pods:
- ʻO ka waiwai haʻahaʻa haʻahaʻa oom_score_adj no kahi pod - -998 - ʻo ia ka mea e pepehi ʻia kēlā pod i hope loa, kēia ua hoʻohiki.
- ʻO ka mea kiʻekiʻe loa - 1000 - ʻo ia hoʻoikaika maikaʻi loa, make mua ia mau pods.
- No ka helu ʻana i nā waiwai i koe (hikiwawe) aia kahi ʻano, ʻo ke ʻano o ia mea e hoʻomaka i ka ʻoi aku ka nui o nā kumuwaiwai i noi ʻia e kahi pod, ʻoi aku ka liʻiliʻi o ka make.
ʻO ka lua "wili" - limit_in_bytes - no nā palena. Me ia, ʻoi aku ka maʻalahi o nā mea āpau: hāʻawi wale mākou i ka nui o ka hoʻomanaʻo i hoʻopuka ʻia, a ma ʻaneʻi (ʻaʻole like me ka CPU) ʻaʻohe nīnau pehea e ana ai (memo).
Hōʻuluʻulu
Hāʻawi ʻia kēlā me kēia pod ma Kubernetes requests и limits - nā ʻāpana ʻelua no ka CPU a me ka hoʻomanaʻo:
- Ma muli o nā noi, hana ka mea hoʻonohonoho Kubernetes, e puʻunaue ana i nā pods ma waena o nā kikowaena;
- ma muli o nā ʻāpana āpau, ua hoʻoholo ʻia ka papa QoS o ka pod;
- Ua helu ʻia nā kaupaona pili ma muli o nā noi CPU;
- ua hoʻonohonoho ʻia ka mea hoʻonohonoho CFS ma muli o nā noi CPU;
- Hoʻonohonoho ʻia ka mea pepehi kanaka ma muli o nā noi hoʻomanaʻo;
- ua hoʻonohonoho ʻia kahi "kukui kaʻa" e pili ana i nā palena CPU;
- Ma muli o nā palena hoʻomanaʻo, ua hoʻonohonoho ʻia kahi palena no ka cgroup.
Ma keʻano laulā, pane kēia kiʻi i nā nīnau āpau e pili ana i ke ʻano o ka ʻāpana nui o ka hoʻokele waiwai ma Kubernetes.
Ka hoʻonui ʻana
K8s cluster-autoscaler
E noʻonoʻo kākou ua paʻa ka pūʻulu holoʻokoʻa a pono e hana i kahi pod hou. ʻOiai ʻaʻole hiki ke ʻike ʻia ka pod, ke kau nei ma ke kūlana ā hiki. No kaʻikeʻana, hiki iā mākou ke hoʻohui i kahi kikowaena hou i ka pūpū a iʻole ... e hoʻokomo i ka cluster-autoscaler, e hana ia no mākou: e kauoha i kahi mīkini uila mai ka mea hāʻawi kapua (e hoʻohana ana i kahi noi API) a hoʻohui i ka hui. , a laila e hoʻohui ʻia ka pod .
ʻO kēia ka autoscaling o ka hui Kubernetes, e hana maikaʻi ana (i kā mākou ʻike). Eia naʻe, e like me nā wahi ʻē aʻe, aia kekahi mau nuances ma aneʻi ...
I ka lōʻihi o ka hoʻonui ʻana i ka nui o ka puʻupuʻu, ua maikaʻi nā mea a pau, akā he aha ka mea i ka wā e hui ai hoʻomaka e hoʻokuʻu iā ia iho? ʻO ka pilikia, ʻo ka neʻe ʻana i nā pods (e hoʻokuʻu i nā mea hoʻokipa) he paʻakikī loa a me ke kumukūʻai ma ke ʻano o nā kumuwaiwai. Hoʻohana ʻo Kubernetes i kahi ala ʻokoʻa loa.
E noʻonoʻo i kahi pūʻulu o 3 mau kikowaena i loaʻa ka Deployment. Loaʻa iā 6 pods: i kēia manawa aia 2 no kēlā me kēia kikowaena. No kekahi kumu ua makemake mākou e hoʻopau i kekahi o nā kikowaena. No ka hana ʻana i kēia, e hoʻohana mākou i ke kauoha kubectl drain, ka mea:
- e pāpā i ka hoʻouna ʻana i nā pods hou i kēia kikowaena;
- e holoi i nā pods i loaʻa ma ke kikowaena.
No ka mea na Kubernetes ke kuleana no ka mālama ʻana i ka helu o nā pods (6), maʻalahi e hana hou ma nā node ʻē aʻe, ʻaʻole naʻe ma ka mea i pio, no ka mea, ua hōʻailona ʻia ʻaʻole i loaʻa no ka hoʻokipa ʻana i nā pods hou. He mīkini kumu kēia no Kubernetes.
Eia nō naʻe, aia kekahi nuance ma aneʻi. Ma kahi kūlana like, no StatefulSet (ma kahi o Deployment), e ʻokoʻa nā hana. I kēia manawa ua loaʻa iā mākou kahi palapala stateful - no ka laʻana, ʻekolu pods me MongoDB, kekahi o ia mau pilikia (ua lilo ka ʻikepili a i ʻole kekahi hewa ʻē aʻe e pale ai i ka pod mai ka hoʻomaka pololei). A hoʻoholo hou mākou e hoʻopau i hoʻokahi kikowaena. He aha ka hopena?
ʻO MongoDB hiki make no ka mea pono ia i kahi kōrum: no kahi hui o ʻekolu hoʻonohonoho, pono ʻelua e hana. Eia naʻe, kēia ʻaʻole hiki mai - mahalo iā PodDisruptionBudget. Hoʻoholo kēia ʻāpana i ka helu liʻiliʻi i koi ʻia o nā pods hana. Ke ʻike nei ʻaʻole e hana hou kekahi o nā pods MongoDB, a ʻike ʻia ua hoʻonohonoho ʻia ʻo PodDisruptionBudget no MongoDB minAvailable: 2, ʻAʻole ʻae ʻo Kubernetes iā ʻoe e holoi i kahi pod.
Ke laina lalo: i mea e hiki ai i ka neʻe ʻana (a me ka ʻoiaʻiʻo, ka hana hou ʻana) o nā pods e hana pololei i ka wā i hoʻokuʻu ʻia ai ka puʻupuʻu, pono e hoʻonohonoho i ka PodDisruptionBudget.
Ka hoʻopololei ʻana
E noʻonoʻo kākou i kekahi kūlana. Aia kahi noi e holo ana ma ke ʻano he Deployment ma Kubernetes. Hele mai nā mea hoʻohana i kāna mau pods (no ka laʻana, aia ʻekolu o lākou), a ke ana mākou i kahi hōʻailona i loko o lākou (e ʻōlelo, hoʻouka CPU). Ke piʻi ka ukana, hoʻopaʻa mākou i kēia ma ka papa kuhikuhi a hoʻonui i ka helu o nā pods e hāʻawi i nā noi.
I kēia lā ma Kubernetes, ʻaʻole pono e hana me ka lima: ua hoʻonohonoho ʻia ka hoʻonui ʻana a me ka emi ʻana o ka helu o nā pods e pili ana i nā waiwai o nā hōʻailona ukana i ana ʻia.
ʻO nā nīnau nui ma aneʻi: he aha ke ana pono и pehea e wehewehe ai loaʻa nā waiwai (no ka hoʻoholo ʻana i ka hoʻololi ʻana i ka helu o nā pods). Hiki iā ʻoe ke ana nui:
Pehea e hana ʻenehana ai - e hōʻiliʻili i nā metric, etc. — Ua kamailio au ma ka hoike e pili ana . A ʻo ka ʻōlelo aʻoaʻo nui no ke koho ʻana i nā palena kūpono hoʻokolohua!
he nui na (Utilization Saturation and Errors), penei ke ano. He aha ke kumu kūpono o ka hoʻonui ʻana, no ka laʻana, php-fpm? Ma muli o ka pau ʻana o nā limahana, ʻo kēia hoʻohana. A inā pau ka poʻe hana a ʻaʻole ʻae ʻia nā pilina hou, ua hala kēia ke kuʻi. Pono e ana ʻia kēia mau ʻāpana ʻelua, a ma muli o nā waiwai, pono e hoʻokō ʻia ka scaling.
Ma kahi o ka hopena
He hoʻomau ka hōʻike: e pili ana i ka scaling vertical a pehea e koho ai i nā kumuwaiwai kūpono. E kamaʻilio wau e pili ana i kēia ma nā wikiō e hiki mai ana ma - kau inoa i ʻole ʻoe e poina!
Nā wikiō a me nā paheʻe
Video mai ka hana (44 mau minuke):
Hōʻike i ka hōʻike:
PS
Nā hōʻike ʻē aʻe e pili ana iā Kubernetes ma kā mākou blog:
- «» (Andrey Polovov; ʻApelila 8, 2019 ma Saint HighLoad++);
- «» (Dmitry Stolyarov; Nowemapa 8, 2018 ma HighLoad++);
- «» (Dmitry Stolyarov; Mei 28, 2018 ma RootConf);
- «» (Dmitry Stolyarov; Nowemapa 7, 2017 ma HighLoad++);
- «» (Dmitry Stolyarov; Iune 6, 2017 ma RootConf).
Source: www.habr.com