Cube-on-cube, metaclusters, oyin, pinpin awọn oluşewadi

Iresi. 1. Kubernetes ilolupo lori Alibaba awọsanma

Niwon 2015, Alibaba Cloud Container Service fun Kubernetes (ACK) ti jẹ ọkan ninu awọn iṣẹ awọsanma ti o nyara ni kiakia ni Alibaba Cloud. O ṣe iranṣẹ ọpọlọpọ awọn alabara ati tun ṣe atilẹyin awọn amayederun inu inu Alibaba ati awọn iṣẹ awọsanma miiran ti ile-iṣẹ naa.

Gẹgẹbi pẹlu awọn iṣẹ eiyan ti o jọra lati ọdọ awọn olupese awọsanma agbaye, awọn pataki pataki wa ni igbẹkẹle ati wiwa. Nitorinaa, pẹpẹ ti o ni iwọn ati wiwọle si kariaye ti ṣẹda fun ẹgbẹẹgbẹrun awọn iṣupọ Kubernetes.

Ninu nkan yii, a yoo pin iriri wa ti ṣiṣakoso nọmba nla ti awọn iṣupọ Kubernetes lori awọn amayederun awọsanma, bakanna bi faaji ti pẹpẹ ipilẹ.

Ifihan

Kubernetes ti di boṣewa de facto fun ọpọlọpọ awọn ẹru iṣẹ ninu awọsanma. Bi o han ni Ọpọtọ. 1 loke, diẹ sii ati siwaju sii awọn ohun elo awọsanma Alibaba nṣiṣẹ bayi lori awọn iṣupọ Kubernetes: awọn ohun elo ipinle ati awọn ohun elo ti ko ni ipinlẹ, ati awọn alakoso ohun elo. Isakoso Kubernetes nigbagbogbo jẹ koko-ọrọ ti o nifẹ ati pataki ti ijiroro fun awọn onimọ-ẹrọ ti o kọ ati ṣetọju awọn amayederun. Nigbati o ba wa si awọn olupese awọsanma bi Alibaba Cloud, ọrọ ti irẹjẹ wa si iwaju. Bii o ṣe le ṣakoso awọn iṣupọ Kubernetes ni iwọn yii? A ti bo awọn iṣe ti o dara julọ tẹlẹ fun ṣiṣakoso awọn iṣupọ Kubernetes node 10 nla. Nitoribẹẹ, eyi jẹ iṣoro igbelosoke ti o nifẹ. Ṣugbọn iwọn miiran wa: opoiye awọn iṣupọ ara wọn.

A ti jiroro lori koko yii pẹlu ọpọlọpọ awọn olumulo ACK. Pupọ ninu wọn yan lati ṣiṣe awọn dosinni, ti kii ba ṣe awọn ọgọọgọrun, ti awọn iṣupọ Kubernetes kekere tabi alabọde. Awọn idi to dara wa fun eyi: diwọn ibajẹ ti o pọju, yiya sọtọ awọn iṣupọ fun awọn ẹgbẹ oriṣiriṣi, ṣiṣẹda awọn iṣupọ foju fun idanwo. Ti ACK ba ni ero lati ṣe iranṣẹ fun olugbo agbaye pẹlu awoṣe lilo yii, o gbọdọ ni igbẹkẹle ati daradara ṣakoso nọmba nla ti awọn iṣupọ kọja diẹ sii ju awọn agbegbe 20 lọ.

Iresi. 2. Awọn iṣoro ti iṣakoso nọmba nla ti awọn iṣupọ Kubernetes

Kini awọn italaya akọkọ ti iṣakoso awọn iṣupọ ni iwọn yii? Gẹgẹbi a ṣe han ninu eeya, awọn ọran mẹrin wa lati koju:

• Orisirisi

ACK yẹ ki o ṣe atilẹyin awọn oriṣi awọn iṣupọ, pẹlu boṣewa, aisi olupin, Edge, Windows, ati ọpọlọpọ awọn miiran. Awọn iṣupọ oriṣiriṣi nilo awọn aṣayan oriṣiriṣi, awọn paati, ati awọn awoṣe alejo gbigba. Diẹ ninu awọn alabara nilo iranlọwọ pẹlu isọdi fun awọn ọran wọn pato.

• Awọn titobi iṣupọ oriṣiriṣi

Awọn iṣupọ yatọ ni iwọn: lati awọn apa meji pẹlu ọpọlọpọ awọn podu si ẹgbẹẹgbẹrun awọn apa pẹlu ẹgbẹẹgbẹrun awọn adarọ-ese. Awọn ibeere orisun tun yatọ pupọ. Pipin awọn orisun ti ko tọ le ni ipa iṣẹ ṣiṣe tabi paapaa fa ikuna.

• Awọn ẹya oriṣiriṣi

Kubernetes n yipada ni iyara pupọ. Awọn ẹya tuntun ti wa ni idasilẹ ni gbogbo oṣu diẹ. Awọn alabara nigbagbogbo fẹ lati gbiyanju awọn ẹya tuntun. Nitorinaa wọn fẹ lati gbe fifuye idanwo lori awọn ẹya tuntun ti Kubernetes ati fifuye iṣelọpọ lori awọn iduroṣinṣin. Lati pade ibeere yii, ACK gbọdọ nigbagbogbo fi awọn ẹya tuntun ti Kubernetes ranṣẹ si awọn alabara lakoko mimu awọn ẹya iduroṣinṣin mu.

• Ibamu aabo

Awọn iṣupọ ti pin kaakiri awọn agbegbe oriṣiriṣi. Bii iru bẹẹ, wọn gbọdọ ni ibamu pẹlu ọpọlọpọ awọn ibeere aabo ati awọn ilana osise. Fun apẹẹrẹ, iṣupọ kan ni Yuroopu gbọdọ jẹ ibamu GDPR, lakoko ti awọsanma owo ni Ilu China gbọdọ ni awọn ipele aabo afikun. Awọn ibeere wọnyi jẹ dandan ati pe ko ṣe itẹwọgba lati foju wọn, nitori eyi ṣẹda awọn eewu nla fun awọn alabara ti Syeed awọsanma.

Syeed ACK jẹ apẹrẹ lati yanju pupọ julọ awọn iṣoro ti o wa loke. Lọwọlọwọ o gbẹkẹle ati iduroṣinṣin ṣakoso diẹ sii ju awọn iṣupọ Kubernetes 10 ẹgbẹrun ni ayika agbaye. Jẹ ki a wo bii eyi ṣe ṣe aṣeyọri, pẹlu nipasẹ ọpọlọpọ awọn apẹrẹ bọtini / awọn ipilẹ faaji.

Oniru

Cube-on-cube ati oyin

Ko dabi ipo-agbekalẹ aarin, faaji ti o da lori sẹẹli ni igbagbogbo lo lati ṣe iwọn pẹpẹ kan kọja ile-iṣẹ data kan tabi lati faagun ipari ti imularada ajalu.

Ẹkun kọọkan ni Alibaba awọsanma ni awọn agbegbe pupọ (AZ) ati nigbagbogbo ni ibamu si ile-iṣẹ data kan pato. Ni agbegbe nla kan (fun apẹẹrẹ Huangzhou), nigbagbogbo awọn ẹgbẹẹgbẹrun awọn iṣupọ alabara Kubernetes nṣiṣẹ ACK.

ACK n ṣakoso awọn iṣupọ Kubernetes wọnyi nipa lilo Kubernetes funrararẹ, afipamo pe a ni metacluster Kubernetes kan ti n ṣiṣẹ lati ṣakoso awọn iṣupọ Kubernetes alabara. Ilana faaji yii tun pe ni “kube-on-kube” (KoK). KoK faaji jẹ irọrun iṣakoso ti awọn iṣupọ alabara nitori imuṣiṣẹ iṣupọ jẹ rọrun ati ipinnu. Ni pataki julọ, a le tun lo awọn ẹya Kubernetes abinibi. Fun apẹẹrẹ, ṣiṣakoso awọn olupin API nipasẹ imuṣiṣẹ, lilo oniṣẹ ati bẹbẹ lọ lati ṣakoso ọpọlọpọ awọn bbl. Iru atunṣe yii nigbagbogbo nmu idunnu pataki wa.

Ọpọlọpọ awọn iṣupọ Kubernetes ti wa ni ran lọ laarin agbegbe kan, da lori nọmba awọn alabara. A pe awọn sẹẹli metaclusters wọnyi. Lati daabobo lodi si ikuna ti agbegbe kan, ACK ṣe atilẹyin awọn imuṣiṣẹ olona-ṣiṣẹ ni agbegbe kan: metacluster n pin kaakiri awọn ohun elo iṣupọ onibara Kubernetes kọja awọn agbegbe pupọ ati ṣiṣe wọn ni nigbakannaa, iyẹn ni, ni ipo ti nṣiṣe lọwọ pupọ. Lati rii daju igbẹkẹle ati ṣiṣe ti oluwa, ACK ṣe iṣapeye gbigbe awọn paati ati rii daju pe olupin API ati bbl wa nitosi ara wọn.

Awoṣe yii n gba ọ laaye lati ṣakoso Kubernetes daradara, ni irọrun ati igbẹkẹle.

Metacluster awọn oluşewadi igbogun

Gẹgẹbi a ti sọ tẹlẹ, nọmba awọn iṣupọ ni agbegbe kọọkan da lori nọmba awọn alabara. Ṣugbọn ni aaye wo ni lati ṣafikun metacluster tuntun kan? Eleyi jẹ aṣoju awọn oluşewadi isoro igbogun. Gẹgẹbi ofin, o jẹ aṣa lati ṣẹda tuntun nigbati awọn metaclusters ti o wa tẹlẹ ti pari gbogbo awọn orisun wọn.

Jẹ ki a mu awọn orisun nẹtiwọki, fun apẹẹrẹ. Ninu faaji KoK, awọn paati Kubernetes lati awọn iṣupọ alabara ti wa ni ran lọ bi awọn adarọ-ese ni metacluster kan. A nlo Terway (Fig. 3) jẹ ohun itanna ti o ga julọ ti o ni idagbasoke nipasẹ Alibaba Cloud fun iṣakoso nẹtiwọki eiyan. O pese eto eto aabo ọlọrọ ati gba ọ laaye lati sopọ si awọn awọsanma ikọkọ foju ti awọn alabara (VPCs) nipasẹ Alibaba Cloud Elastic Networking Interface (ENI). Lati pin awọn orisun nẹtiwọọki ni imunadoko kọja awọn apa, awọn adarọ-ese ati awọn iṣẹ ni metacluster kan, a gbọdọ farabalẹ ṣe abojuto lilo wọn laarin metacluster ti awọn awọsanma ikọkọ foju. Nigbati awọn orisun nẹtiwọki ba de opin, sẹẹli tuntun yoo ṣẹda.

Lati pinnu nọmba to dara julọ ti awọn iṣupọ alabara ni metacluster kọọkan, a tun ṣe akiyesi awọn idiyele wa, awọn ibeere iwuwo, ipin awọn orisun, awọn ibeere igbẹkẹle ati awọn iṣiro. Ipinnu lati ṣẹda metacluster tuntun ni a ṣe da lori gbogbo alaye yii. Jọwọ ṣe akiyesi pe awọn iṣupọ kekere le faagun pupọ ni ọjọ iwaju, nitorinaa agbara awọn orisun n pọ si paapaa ti nọmba awọn iṣupọ ba wa ko yipada. Nigbagbogbo a fi aaye ọfẹ silẹ fun iṣupọ kọọkan lati dagba.

Iresi. 3. Terway nẹtiwọki faaji

Awọn paati oluṣeto iwọn kọja awọn iṣupọ alabara

Oluṣeto irinše ni orisirisi awọn oluşewadi aini. Wọn dale lori nọmba awọn apa ati awọn adarọ-ese ti o wa ninu iṣupọ, nọmba awọn oludari/awọn oniṣẹ ti kii ṣe deede ti o n ṣe ajọṣepọ pẹlu APIServer.

Ni ACK, iṣupọ alabara Kubernetes kọọkan yatọ ni iwọn ati awọn ibeere asiko asiko. Ko si iṣeto ni gbogbo agbaye fun gbigbe awọn paati oluṣeto. Ti a ba ni aṣiṣe ṣeto opin awọn orisun kekere fun alabara nla kan, lẹhinna iṣupọ rẹ kii yoo ni anfani lati koju ẹru naa. Ti o ba ṣeto iye to gaju ti Konsafetifu fun gbogbo awọn iṣupọ, awọn orisun yoo jẹ ofo.

Lati wa iṣowo arekereke laarin igbẹkẹle ati idiyele, ACK nlo eto iru kan. Eyun, a asọye mẹta orisi ti awọn iṣupọ: kekere, alabọde ati ki o tobi. Iru kọọkan ni profaili ipin awọn orisun lọtọ. Iru naa jẹ ipinnu da lori fifuye awọn paati oluṣeto, nọmba awọn apa, ati awọn ifosiwewe miiran. Iru iṣupọ le yipada ni akoko pupọ. ACK ṣe abojuto awọn ifosiwewe wọnyi nigbagbogbo ati pe o le soke / isalẹ iru ni ibamu. Ni kete ti iru iṣupọ ti yipada, ipin awọn orisun ti ni imudojuiwọn laifọwọyi pẹlu idasi olumulo to kere.

A n ṣiṣẹ lati mu eto yii pọ si pẹlu iwọn-ọgbẹ ti o dara julọ ati imudojuiwọn kongẹ diẹ sii ki awọn iyipada wọnyi ṣẹlẹ diẹ sii laisiyonu ati ki o ni oye ti ọrọ-aje diẹ sii.

Iresi. 4. Ni oye olona-ipele iru yipada

Itankalẹ ti awọn iṣupọ alabara ni iwọn

Awọn apakan iṣaaju bo diẹ ninu awọn aaye ti ṣiṣakoso awọn nọmba nla ti awọn iṣupọ Kubernetes. Sibẹsibẹ, iṣoro miiran wa ti o nilo lati yanju: itankalẹ ti awọn iṣupọ.

Kubernetes jẹ "Linux" ti aye awọsanma. O ti ni imudojuiwọn nigbagbogbo ati pe o di apọjuwọn diẹ sii. A gbọdọ fi awọn ẹya tuntun ranṣẹ nigbagbogbo si awọn alabara wa, ṣatunṣe awọn ailagbara ati imudojuiwọn awọn iṣupọ ti o wa tẹlẹ, bakanna bi ṣakoso nọmba nla ti awọn paati ti o jọmọ (CSI, CNI, Plugin Device, Plugin Scheduler ati ọpọlọpọ awọn miiran).

Jẹ ki a gba iṣakoso paati Kubernetes gẹgẹbi apẹẹrẹ. Lati bẹrẹ pẹlu, a ṣe agbekalẹ eto aarin kan fun fiforukọṣilẹ ati ṣiṣakoso gbogbo awọn paati ti o sopọ mọ wọnyi.

Iresi. 5. Rọ ati pluggable irinše

Ṣaaju gbigbe siwaju, o nilo lati rii daju pe imudojuiwọn naa ṣaṣeyọri. Lati ṣe eyi, a ti ṣe agbekalẹ eto kan fun ṣayẹwo iṣẹ ṣiṣe ti awọn paati. Ayẹwo naa ni a ṣe ṣaaju ati lẹhin imudojuiwọn.

Iresi. 6. Ayẹwo alakoko ti awọn paati iṣupọ

Lati ṣe imudojuiwọn awọn paati wọnyi ni iyara ati igbẹkẹle, eto imuṣiṣẹ lemọlemọ ṣiṣẹ pẹlu atilẹyin fun ilosiwaju apa kan (grayscale), awọn idaduro ati awọn iṣẹ miiran. Awọn oludari Kubernetes Standard ko ni ibamu daradara fun ọran lilo yii. Nitorinaa, lati ṣakoso awọn paati iṣupọ, a ti ṣe agbekalẹ ṣeto ti awọn olutona amọja, pẹlu ohun itanna kan ati module iṣakoso iranlọwọ (iṣakoso ẹgbẹ ẹgbẹ).

Fun apẹẹrẹ, oluṣakoso BroadcastJob jẹ apẹrẹ lati ṣe imudojuiwọn awọn paati lori ẹrọ oṣiṣẹ kọọkan tabi ṣayẹwo awọn apa lori ẹrọ kọọkan. Iṣẹ Igbohunsafefe nṣiṣẹ adarọ-ese kan lori ipade kọọkan ninu iṣupọ, bii DaemonSet kan. Sibẹsibẹ, DaemonSet nigbagbogbo jẹ ki adarọ ese naa ṣiṣẹ fun igba pipẹ, lakoko ti BroadcastJob ṣubu. Oluṣakoso Broadcast tun ṣe ifilọlẹ awọn adarọ-ese lori awọn apa tuntun ti o darapọ ati bẹrẹ awọn apa pẹlu awọn paati pataki. Ni Oṣu Karun ọdun 2019, a ṣii koodu orisun ti ẹrọ automation OpenKruise, eyiti awa funrara wa lo laarin ile-iṣẹ naa.

Iresi. 7. OpenKurise ṣeto ipaniyan ti iṣẹ-ṣiṣe Broadcast lori gbogbo awọn apa

Lati ṣe iranlọwọ fun awọn alabara lati yan awọn atunto iṣupọ to tọ, a tun pese eto awọn profaili ti a ti sọ tẹlẹ, pẹlu Serverless, Edge, Windows, ati awọn profaili Bare Metal. Bi ala-ilẹ ti n gbooro ati awọn iwulo awọn alabara wa dagba, a yoo ṣafikun awọn profaili diẹ sii lati rọrun ilana iṣeto ti o nira.

Iresi. 8. Awọn profaili iṣupọ ti ilọsiwaju ati irọrun fun awọn oju iṣẹlẹ oriṣiriṣi

Ifojusi agbaye kọja awọn ile-iṣẹ data

Bi han ni isalẹ ọpọtọ. 9, Alibaba Cloud Container awọsanma iṣẹ ti wa ni ransogun ni ogun agbegbe ni ayika agbaye. Fi fun iwọn yii, ọkan ninu awọn ibi-afẹde pataki ti ACK ni lati ni irọrun ṣe atẹle ipo ti awọn iṣupọ ṣiṣiṣẹ nitori pe ti iṣupọ alabara kan ba pade iṣoro kan, a le yarayara dahun si ipo naa. Ni awọn ọrọ miiran, o nilo lati wa ojutu kan ti yoo gba ọ laaye lati ni imunadoko ati ni aabo gba awọn iṣiro ni akoko gidi lati awọn iṣupọ alabara ni gbogbo awọn agbegbe - ati ṣafihan awọn abajade ni oju.

Iresi. 9. Gbigbe agbaye ti Alibaba Cloud Container iṣẹ ni ogun agbegbe

Bii ọpọlọpọ awọn eto ibojuwo Kubernetes, a lo Prometheus bi irinṣẹ akọkọ wa. Fun metacluster kọọkan, awọn aṣoju Prometheus gba awọn metiriki wọnyi:

• Awọn metiriki OS gẹgẹbi awọn orisun agbalejo (CPU, iranti, disk, ati bẹbẹ lọ) ati bandiwidi nẹtiwọọki.
• Awọn iwọn fun metacluster ati eto iṣakoso iṣupọ onibara, gẹgẹbi kube-apiserver, kube-controller- manager and kube-scheduler.
• Metiriki lati kubernetes-ipinle-metiriki ati cadvisor.
• ati be be lo awọn metiriki gẹgẹbi akoko kikọ disiki, iwọn data data, iṣelọpọ awọn ọna asopọ laarin awọn apa, ati bẹbẹ lọ.

Awọn iṣiro agbaye ni a gba ni lilo awoṣe apapọ alapọpọ pupọ. Abojuto data lati metacluster kọọkan ni a kọkọ ṣajọpọ ni agbegbe kọọkan ati lẹhinna firanṣẹ si olupin aarin kan ti o fihan aworan gbogbogbo. Ohun gbogbo ṣiṣẹ nipasẹ awọn federation siseto. Olupin Prometheus kan ni ile-iṣẹ data kọọkan n gba awọn metiriki lati ile-iṣẹ data yẹn, ati olupin aringbungbun Prometheus jẹ iduro fun iṣakojọpọ data ibojuwo. AlertManager sopọ si agbedemeji Prometheus ati firanṣẹ awọn itaniji bi o ṣe nilo nipasẹ DingTalk, imeeli, SMS, ati bẹbẹ lọ Wiwo - Lilo Grafana.

Ni nọmba 10, eto ibojuwo le pin si awọn ipele mẹta:

• Aala ipele

Layer ti o jinna si aarin. Awọn Prometheus Edge Server nṣiṣẹ ni metacluster kọọkan, gbigba awọn metiriki lati meta ati awọn iṣupọ onibara laarin agbegbe nẹtiwọki kanna.

• Kasikedi ipele

Iṣẹ ti Layer kasikedi Prometheus ni lati gba data ibojuwo lati awọn agbegbe pupọ. Awọn olupin wọnyi ṣiṣẹ ni ipele ti awọn ẹya agbegbe ti o tobi ju bii China, Asia, Yuroopu ati Amẹrika. Bi awọn iṣupọ ṣe ndagba, agbegbe naa le pin, ati lẹhinna olupin Prometheus ipele kasikedi yoo han ni agbegbe nla tuntun kọọkan. Pẹlu ilana yii, o le ṣe iwọn laisiyonu bi o ṣe nilo.

• Central ipele

Olupin Prometheus ti aarin sopọ si gbogbo awọn olupin kasikedi ati ṣe akopọ data ikẹhin. Fun igbẹkẹle, awọn igba aarin Prometheus meji ni a gbe dide ni awọn agbegbe oriṣiriṣi, ti o sopọ si awọn olupin kasikedi kanna.

Iresi. 10. Agbaye olona-ipele ibojuwo faaji da lori Prometheus federation siseto

Akopọ

Awọn solusan awọsanma ti o da lori Kubernetes tẹsiwaju lati yi ile-iṣẹ wa pada. Iṣẹ eiyan Alibaba Cloud pese aabo, igbẹkẹle ati alejo gbigba iṣẹ giga - o jẹ ọkan ninu alejo gbigba awọsanma Kubernetes ti o dara julọ. Ẹgbẹ Alibaba Cloud gbagbọ ni agbara ninu awọn ipilẹ ti Orisun Ṣii ati agbegbe orisun ṣiṣi. A yoo dajudaju tẹsiwaju lati pin imọ wa ni aaye ti ṣiṣiṣẹ ati iṣakoso awọn imọ-ẹrọ awọsanma.

orisun: www.habr.com