Cube-on-cube, metaclusters, honeycombs, kev faib khoom

Rice. 1. Kubernetes ecosystem ntawm Alibaba Huab

Txij li xyoo 2015, Alibaba Cloud Container Service rau Kubernetes (ACK) tau yog ib qho kev pabcuam huab ceev tshaj plaws hauv Alibaba Cloud. Nws pab ntau tus neeg siv khoom thiab tseem txhawb nqa Alibaba cov txheej txheem sab hauv thiab lub tuam txhab lwm cov kev pabcuam huab.

Raws li nrog cov kev pabcuam ntim zoo sib xws los ntawm cov chaw muab kev pabcuam huab cua thoob ntiaj teb, peb qhov tseem ceeb tshaj plaws yog kev ntseeg siab thiab muaj. Yog li ntawd, lub platform uas muaj peev xwm loj thiab siv tau thoob ntiaj teb tau tsim rau kaum tawm txhiab tus Kubernetes pawg.

Hauv tsab xov xwm no, peb yuav qhia peb cov kev paub dhau los ntawm kev tswj hwm ntau tus Kubernetes pawg ntawm huab kev tsim kho vaj tse, nrog rau kev tsim qauv ntawm lub hauv paus platform.

nkag

Kubernetes tau dhau los ua tus qauv de facto rau ntau yam kev ua haujlwm hauv huab. Raws li qhia hauv Fig. 1 saum toj no, ntau thiab ntau daim ntawv thov Alibaba Cloud tam sim no tau khiav ntawm Kubernetes pawg: cov ntawv thov tsis muaj lub xeev thiab tsis muaj xeev, nrog rau cov thawj tswj hwm daim ntawv thov. Kubernetes kev tswj hwm ib txwm yog ib lub ntsiab lus nthuav thiab loj ntawm kev sib tham rau cov kws tsim khoom tsim thiab tswj kev tsim vaj tsev. Thaum nws los txog rau cov chaw muab kev pabcuam huab zoo li Alibaba Cloud, qhov teeb meem ntawm kev ntsuas tau los ua ntej. Yuav ua li cas tswj Kubernetes pawg ntawm qhov ntsuas no? Peb twb tau hais txog cov kev coj ua zoo tshaj plaws rau kev tswj hwm 10-node Kubernetes pawg. Tau kawg, qhov no yog qhov teeb meem nthuav dav. Tab sis muaj lwm qhov ntsuas: kom muaj nuj nqis cov pawg lawv tus kheej.

Peb tau tham txog lub ntsiab lus no nrog ntau tus neeg siv ACK. Lawv feem ntau xaiv khiav ntau ntau, yog tias tsis yog ntau pua, ntawm cov me me lossis nruab nrab Kubernetes pawg. Muaj cov laj thawj zoo rau qhov no: txwv tsis pub muaj kev puas tsuaj, cais pawg rau ntau pawg, tsim cov pawg virtual rau kev sim. Yog tias ACK lub hom phiaj los ua haujlwm rau cov neeg tuaj saib thoob ntiaj teb nrog cov qauv siv no, nws yuav tsum ntseeg siab thiab ua haujlwm tau zoo los tswj cov pawg loj hauv ntau dua 20 thaj chaw.

Rice. 2. Cov teeb meem ntawm kev tswj hwm tus lej ntawm Kubernetes pawg

Dab tsi yog cov teeb meem tseem ceeb ntawm kev tswj cov pawg ntawm qhov ntsuas no? Raws li pom hauv daim duab, muaj plaub qhov teeb meem los daws:

• Heterogeneity

ACK yuav tsum txhawb ntau hom pawg, suav nrog tus qauv, serverless, Edge, Windows, thiab ntau lwm tus. Cov pawg sib txawv xav tau cov kev xaiv sib txawv, cov khoom siv, thiab cov qauv hosting. Qee cov neeg siv khoom xav tau kev pab nrog kev kho kom haum rau lawv cov xwm txheej tshwj xeeb.

• Ntau pawg loj

Cov pawg sib txawv hauv qhov loj: los ntawm ob peb ntawm cov nodes nrog ob peb lub pods mus rau kaum tawm txhiab tus nodes nrog ntau txhiab pods. Cov kev xav tau kev pab kuj txawv heev. Kev faib cov peev txheej tsis raug tuaj yeem cuam tshuam kev ua haujlwm lossis ua rau tsis ua haujlwm.

• Txawv versions

Kubernetes tau hloov zuj zus sai heev. Cov ntawv tshiab tau tso tawm txhua ob peb lub hlis. Cov neeg siv khoom yeej ib txwm kam sim cov yam ntxwv tshiab. Yog li lawv xav tso qhov kev xeem thauj khoom ntawm Kubernetes cov qauv tshiab thiab cov khoom ntim ntawm cov khoom ruaj khov. Txhawm rau ua kom tau raws li qhov yuav tsum tau ua no, ACK yuav tsum txuas ntxiv xa cov qauv tshiab ntawm Kubernetes rau cov neeg siv khoom thaum tuav cov qauv ruaj khov.

• Ua raws li kev ruaj ntseg

Cov pawg tau faib thoob plaws cheeb tsam sib txawv. Yog li ntawd, lawv yuav tsum ua raws li ntau yam kev nyab xeeb thiab kev cai lij choj. Piv txwv li, ib pawg hauv Tebchaws Europe yuav tsum ua raws li GDPR, thaum huab cua nyiaj txiag hauv Suav teb yuav tsum muaj kev tiv thaiv ntxiv. Cov kev cai no yog qhov yuav tsum tau ua thiab nws tsis tuaj yeem lees txais tsis quav ntsej lawv, vim qhov no ua rau muaj kev pheej hmoo loj rau cov neeg siv khoom ntawm huab platform.

ACK platform yog tsim los daws cov teeb meem saum toj no feem ntau. Nws tam sim no ntseeg tau thiab ruaj khov tswj ntau dua 10 txhiab Kubernetes pawg thoob ntiaj teb. Cia peb saib seb qhov no tau ua tiav li cas, suav nrog los ntawm ob peb lub ntsiab lus tseem ceeb ntawm kev tsim qauv / kev tsim vaj tsev.

tsim

Cub-on-cube thiab honeycomb

Tsis zoo li lub hauv paus hierarchy, cell-based architecture feem ntau yog siv los ntsuas lub platform dhau ib lub chaw cov ntaub ntawv lossis nthuav dav qhov kev rov qab los ntawm kev puas tsuaj.

Txhua cheeb tsam hauv Alibaba Huab muaj ntau thaj chaw (AZ) thiab feem ntau sib raug rau ib qho chaw tshwj xeeb. Hauv cheeb tsam loj (xws li Huangzhou), feem ntau muaj ntau txhiab tus neeg siv khoom Kubernetes pawg khiav ACK.

ACK tswj cov Kubernetes pawg no siv Kubernetes nws tus kheej, txhais tau tias peb muaj Kubernetes metacluster khiav los tswj cov neeg siv khoom Kubernetes pawg. Qhov no architecture tseem hu ua "kube-on-kube" (KoK). KoK architecture ua kom yooj yim rau kev tswj hwm cov neeg siv khoom vim tias kev xa tawm pawg yog qhov yooj yim thiab txiav txim siab. Qhov tseem ceeb tshaj, peb tuaj yeem rov siv cov yam ntxwv Kubernetes ib txwm muaj. Piv txwv li, tswj API servers los ntawm kev xa tawm, siv tus neeg teb xov tooj thiab lwm yam los tswj ntau yam thiab lwm yam. Xws li recursion ib txwm coj kev zoo siab tshwj xeeb.

Ob peb Kubernetes metaclusters raug xa mus rau hauv ib cheeb tsam, nyob ntawm seb cov neeg siv khoom muaj pes tsawg. Peb hu cov kab mob metaclusters. Txhawm rau tiv thaiv qhov tsis ua haujlwm ntawm tag nrho ib cheeb tsam, ACK txhawb nqa ntau qhov kev xa tawm hauv ib cheeb tsam: lub metacluster faib Kubernetes cov neeg siv khoom sib koom ua ke thoob plaws ntau thaj chaw thiab khiav lawv ib txhij, uas yog, hauv ntau hom kev ua haujlwm. Txhawm rau kom ntseeg tau qhov kev ntseeg siab thiab kev ua haujlwm ntawm tus tswv, ACK optimizes qhov kev tso kawm ntawm cov khoom thiab xyuas kom meej tias API server thiab lwm yam nyob ze rau ib leeg.

Cov qauv no tso cai rau koj los tswj Kubernetes kom zoo, yoog raws thiab ntseeg tau.

Kev npaj peev txheej metacluster

Raws li peb twb tau hais lawm, tus naj npawb ntawm cov metaclusters hauv txhua cheeb tsam nyob ntawm cov neeg siv khoom. Tab sis ntawm dab tsi taw tes ntxiv ib qho metacluster tshiab? Qhov no yog ib qho teeb meem kev npaj peev txheej. Raws li txoj cai, nws yog kev cai los tsim ib qho tshiab thaum metaclusters uas twb muaj lawm tau tag nrho lawv cov peev txheej.

Cia peb muab cov peev txheej hauv network, piv txwv. Hauv KoK architecture, Kubernetes cov khoom siv los ntawm cov neeg siv khoom siv tau siv los ua pods hauv metacluster. Peb siv Terway (Daim duab 3) yog lub plugin ua haujlwm siab tsim los ntawm Alibaba Cloud rau kev tswj hwm lub thawv. Nws muab cov txheej txheem kev nyab xeeb nplua nuj thiab tso cai rau koj txuas rau cov neeg siv khoom 'virtual private clouds (VPCs) los ntawm Alibaba Cloud Elastic Networking Interface (ENI). Txhawm rau faib cov peev txheej sib txuas tau zoo thoob plaws ntawm nodes, pods thiab cov kev pabcuam hauv metacluster, peb yuav tsum ua tib zoo saib xyuas lawv cov kev siv hauv metacluster ntawm virtual private huab. Thaum cov kev pab cuam network los txog qhov kawg, ib lub xov tooj tshiab raug tsim.

Txhawm rau txiav txim siab tus naj npawb zoo ntawm cov neeg siv khoom hauv txhua qhov metacluster, peb kuj suav nrog peb cov nqi, kev xav tau ceev, cov peev txheej quota, kev ntseeg siab thiab kev txheeb cais. Kev txiav txim siab los tsim ib qho metacluster tshiab yog ua los ntawm tag nrho cov ntaub ntawv no. Thov nco ntsoov tias pawg me me tuaj yeem nthuav dav heev nyob rau yav tom ntej, yog li kev siv peev txheej nce ntxiv txawm tias tus lej ntawm pawg tseem tsis hloov pauv. Peb feem ntau tso qhov chaw dawb txaus rau txhua pawg kom loj hlob.

Rice. 3. Terway network architecture

Scaling wizard Cheebtsam hla cov neeg siv khoom

Wizard Cheebtsam muaj cov kev xav tau sib txawv. Lawv nyob ntawm tus naj npawb ntawm cov nodes thiab pods hauv pawg, tus naj npawb ntawm cov tswj tsis tau tus qauv / tus neeg ua haujlwm cuam tshuam nrog APIServer.

Hauv ACK, txhua tus neeg siv khoom Kubernetes sib txawv ntawm qhov loj thiab lub sijhawm ua haujlwm. Tsis muaj universal configuration rau tso wizard Cheebtsam. Yog tias peb yuam kev teeb tsa cov peev txheej qis rau cov neeg siv khoom loj, ces nws pawg yuav tsis tuaj yeem tiv nrog cov khoom thauj. Yog tias koj teeb tsa qhov kev txwv siab rau txhua pawg, cov peev txheej yuav raug pov tseg.

Txhawm rau nrhiav kev hloov pauv hloov pauv ntawm kev ntseeg siab thiab tus nqi, ACK siv hom kab ke. Namely, peb txhais peb hom pawg: me, nruab nrab thiab loj. Txhua hom muaj nyias qhov kev faib cov peev txheej profile. Hom yog txiav txim siab raws li qhov load ntawm wizard Cheebtsam, tus naj npawb ntawm cov nodes, thiab lwm yam. Hom pawg yuav hloov raws sijhawm. ACK tsis tu ncua saib xyuas cov xwm txheej no thiab tuaj yeem nce / nqis hom raws li. Thaum hom pawg tau hloov pauv, kev faib cov peev txheej tau hloov kho tshiab nrog kev cuam tshuam cov neeg siv tsawg.

Peb tab tom ua haujlwm los txhim kho cov txheej txheem no nrog kev ua kom zoo-grained scaling thiab ntau meej hom kev hloov kho kom cov kev hloov no tshwm sim zoo dua thiab ua kom muaj txiaj ntsig zoo dua.

Rice. 4. Kev txawj ntse ntau theem hom hloov

Evolution ntawm cov neeg siv khoom pawg ntawm qhov ntsuas

Cov ntu yav dhau los tau hais txog qee yam ntawm kev tswj hwm ntau ntawm Kubernetes pawg. Txawm li cas los xij, muaj lwm qhov teeb meem uas yuav tsum tau daws: kev hloov pauv ntawm pawg.

Kubernetes yog "Linux" ntawm huab ntiaj teb. Nws yog tsis tu ncua hloov tshiab thiab ua ntau modular. Peb yuav tsum niaj hnub xa cov ntawv tshiab rau peb cov neeg siv khoom, txhim kho qhov tsis zoo thiab hloov kho cov pawg uas twb muaj lawm, nrog rau kev tswj hwm ntau yam cuam tshuam (CSI, CNI, Device Plugin, Scheduler Plugin thiab ntau lwm tus).

Cia peb coj Kubernetes kev tswj hwm cov khoom ua piv txwv. Yuav pib nrog, peb tau tsim lub hauv paus system rau kev sau npe thiab tswj tag nrho cov khoom txuas nrog no.

Rice. 5. Yooj yim thiab pluggable Cheebtsam

Ua ntej mus tom ntej, koj yuav tsum xyuas kom meej tias qhov hloov tshiab tau ua tiav. Txhawm rau ua qhov no, peb tau tsim ib qho system rau kev tshuaj xyuas cov haujlwm ntawm cov khoom. Qhov kos yog ua ua ntej thiab tom qab hloov tshiab.

Rice. 6. Kev kuaj ua ntej ntawm pawg pawg

Txhawm rau hloov kho cov khoom no sai thiab ntseeg tau, lub kaw lus xa mus tas li ua haujlwm nrog kev txhawb nqa rau kev nce qib ib nrab (greyscale), ncua sijhawm thiab lwm yam haujlwm. Standard Kubernetes controllers tsis zoo haum rau cov ntaub ntawv siv no. Yog li ntawd, txhawm rau tswj cov khoom hauv pawg, peb tau tsim cov txheej txheem tshwj xeeb ntawm cov tswj hwm, suav nrog lub plugin thiab kev pabcuam tswj hwm (kev tswj xyuas tsheb).

Piv txwv li, BroadcastJob maub los yog tsim los hloov cov khoom ntawm txhua tus neeg ua haujlwm lub tshuab lossis kuaj cov nodes ntawm txhua lub tshuab. Txoj haujlwm tshaj tawm xov xwm khiav ib lub pod ntawm txhua qhov hauv pawg, zoo li DaemonSet. Txawm li cas los xij, DaemonSet ib txwm ua kom lub plhaub taum ua haujlwm ntev, thaum BroadcastJob tsoo nws. Tus Tswj Kev Tshaj Tawm kuj tseem tso tawm cov pods ntawm cov tshiab koom nrog cov nodes thiab pib cov nodes nrog cov khoom tsim nyog. Thaum Lub Rau Hli 2019, peb qhib qhov chaws ntawm OpenKruise automation engine, uas peb tus kheej siv hauv lub tuam txhab.

Rice. 7. OpenKurise teeb tsa kev ua tiav ntawm Broadcast txoj haujlwm ntawm txhua lub pob

Txhawm rau pab cov neeg siv khoom xaiv cov kev teeb tsa tsim nyog, peb kuj muab cov txheej txheem ua ntej, suav nrog Serverless, Edge, Windows, thiab Bare Metal profiles. Raws li cov toj roob hauv pes nthuav dav thiab peb cov neeg siv khoom xav tau loj hlob, peb yuav ntxiv cov profiles kom yooj yim rau cov txheej txheem teeb tsa tsis yooj yim.

Rice. 8. Advanced thiab hloov tau yooj yim pawg profiles rau ntau yam scenarios

Kev soj ntsuam thoob ntiaj teb thoob plaws cov chaw khaws ntaub ntawv

Raws li qhia hauv qab no fig. 9, Alibaba Cloud Container huab kev pabcuam tau xa mus rau nees nkaum thaj chaw thoob ntiaj teb. Muab qhov ntsuas no, ib lub hom phiaj tseem ceeb ntawm ACK yog kom yooj yim saib xyuas lub xeev ntawm cov pawg khiav haujlwm kom yog tias pawg neeg siv khoom ntsib teeb meem, peb tuaj yeem teb sai sai rau qhov xwm txheej. Hauv lwm lo lus, koj yuav tsum tuaj nrog cov kev daws teeb meem uas yuav tso cai rau koj kom muaj txiaj ntsig zoo thiab ruaj ntseg sau cov txheeb cais hauv lub sijhawm tiag tiag los ntawm cov neeg siv khoom hauv txhua cheeb tsam - thiab pom cov txiaj ntsig tau pom.

Rice. 9. Kev xa tawm thoob ntiaj teb ntawm Alibaba Cloud Container kev pabcuam hauv nees nkaum cheeb tsam

Zoo li ntau Kubernetes kev saib xyuas, peb siv Prometheus ua peb lub cuab yeej tseem ceeb. Rau txhua tus metacluster, Prometheus cov neeg sawv cev sau cov kev ntsuas hauv qab no:

• OS metrics xws li kev pab tswv yim (CPU, nco, disk, thiab lwm yam) thiab network bandwidth.
• Metrics rau cov metacluster thiab cov neeg siv kev tswj hwm pawg, xws li kube-apiserver, kube-controller-manager thiab kube-scheduler.
• Metrics los ntawm kubernetes-xeev-metrics thiab cadvisor.
• etcd metrics xws li disk sau lub sij hawm, database loj, throughput ntawm kev sib txuas ntawm nodes, thiab lwm yam.

Cov ntaub ntawv txheeb cais thoob ntiaj teb tau sau los ntawm kev siv ntau txheej txheej sib sau ua qauv. Kev soj ntsuam cov ntaub ntawv los ntawm txhua qhov metacluster yog thawj zaug sib sau ua ke hauv txhua cheeb tsam thiab tom qab ntawd xa mus rau lub server hauv nruab nrab uas qhia txog tag nrho cov duab. Txhua yam ua haujlwm los ntawm lub koom haum mechanism. Ib tus neeg rau zaub mov Prometheus hauv txhua qhov chaw khaws ntaub ntawv khaws cov kev ntsuas los ntawm qhov chaw cov ntaub ntawv, thiab lub hauv paus Prometheus server yog lub luag haujlwm rau kev sib sau cov ntaub ntawv soj ntsuam. AlertManager txuas mus rau hauv nruab nrab Prometheus thiab xa cov ntawv ceeb toom raws li xav tau ntawm DingTalk, email, SMS, thiab lwm yam. Visualization - Siv Grafana.

Hauv daim duab 10, kev saib xyuas tuaj yeem muab faib ua peb theem:

• Ciam teb theem

Lub txheej nyob deb tshaj ntawm qhov chaw. Lub Prometheus Edge Server khiav hauv txhua qhov metacluster, sau cov ntsuas los ntawm cov meta thiab cov neeg siv khoom hauv tib lub network sau.

• Cascade theem

Lub luag haujlwm ntawm Prometheus cascade txheej yog khaws cov ntaub ntawv soj ntsuam los ntawm ntau thaj tsam. Cov servers no ua haujlwm nyob rau theem ntawm thaj chaw loj dua xws li Tuam Tshoj, Asia, Europe thiab Asmeskas. Raws li pawg loj hlob tuaj, thaj av tuaj yeem muab faib, thiab tom qab ntawd cov neeg rau zaub mov cascade Prometheus yuav tshwm sim hauv txhua cheeb tsam loj tshiab. Nrog rau lub tswv yim no, koj tuaj yeem ua raws li qhov xav tau.

• Central theem

Lub hauv paus Prometheus server txuas mus rau txhua qhov cascade servers thiab ua tiav cov ntaub ntawv kawg. Rau kev ntseeg siab, ob lub hauv paus Prometheus tau tsa nyob rau hauv ntau thaj chaw, txuas nrog tib lub cascade servers.

Rice. 10. Ntiaj teb no multi-level soj ntsuam architecture raws li Prometheus federation mechanism

Txoj kev xaus

Kubernetes-raws li huab kev daws teeb meem txuas ntxiv hloov peb txoj kev lag luam. Alibaba Cloud container service muab kev ruaj ntseg, txhim khu kev qha thiab ua haujlwm siab hosting - nws yog ib qho zoo tshaj plaws Kubernetes huab hosting. Pab pawg Alibaba Cloud ntseeg siab rau cov hauv paus ntsiab lus ntawm Open Source thiab qhib lub zej zog. Peb yuav twv yuav raug hu txuas ntxiv mus qhia peb cov kev paub hauv kev ua haujlwm thiab tswj huab technologies.

Tau qhov twg los: www.hab.com