Cube-on-cube, metaclusters, mahe a linotsi, kabo ea lisebelisoa

Raese. 1. Kubernetes ecosystem ho Alibaba Cloud

Ho tloha ka 2015, Alibaba Cloud Container Service bakeng sa Kubernetes (ACK) esale e le e 'ngoe ea litšebeletso tsa maru tse holang ka potlako ho Alibaba Cloud. E sebeletsa bareki ba bangata hape e ts'ehetsa lisebelisoa tsa kahare tsa Alibaba le lits'ebeletso tse ling tsa leru tsa k'hamphani.

Joalo ka lits'ebeletso tse ts'oanang tsa lits'ebeletso tse tsoang ho bafani ba maru ba maemo a lefats'e, lintho tse tlang pele bophelong ba rona ke ho ts'epahala le ho fumaneha. Ka hona, sethala se ka senyehang le se fumanehang lefatšeng ka bophara se entsoe bakeng sa lihlopha tse mashome a likete tsa Kubernetes.

Sehloohong sena, re tla arolelana phihlelo ea rona ea ho laola palo e kholo ea lihlopha tsa Kubernetes holim'a lisebelisoa tsa maru, hammoho le meralo ea sethala se ka tlaase.

ho kena

Kubernetes e fetohile tekanyetso ea de facto bakeng sa mefuta e fapaneng ea mesebetsi marung. Joalokaha ho bontšitsoe ho Feiga. 1 e kaholimo, lits'ebetso tse ngata tsa Alibaba Cloud li se li sebetsa ho lihlopha tsa Kubernetes: lits'ebetso tse hlakileng le tse se nang palo, hammoho le batsamaisi ba lits'ebetso. Tsamaiso ea Kubernetes esale e le taba e khahlisang le e tebileng eo ho buisanoang ka eona bakeng sa baenjiniere ba ahang le ho boloka meaho. Ha ho tluoa ho bafani ba maru joalo ka Alibaba Cloud, taba ea ho lekanya e hlaha ka pele. Mokhoa oa ho laola lihlopha tsa Kubernetes ka tekanyo ee? Re se re buile ka mekhoa e metle ea ho laola lihlopha tse kholo tsa 10-node Kubernetes. Ha e le hantle, ena ke bothata bo thahasellisang ba ho eketsa. Empa ho na le sekala se seng: bongata lihlopha ka botsona.

Re buisane ka taba ena le basebelisi ba bangata ba ACK. Bongata ba bona ba khetha ho tsamaisa lihlopha tse ngata, haeba e se tse makholo, tsa lihlopha tse nyane kapa tse mahareng tsa Kubernetes. Ho na le mabaka a utloahalang a sena: ho fokotsa tšenyo e ka bang teng, ho arola lihlopha bakeng sa lihlopha tse fapaneng, ho theha lihlopha tsa sebele bakeng sa tlhahlobo. Haeba ACK e ikemiselitse ho sebeletsa bamameli ba lefats'e ka mokhoa ona oa tšebeliso, e tlameha ho laola palo e kholo ea lihlopha ho feta libaka tsa 20 ka botšepehi le ka katleho.

Raese. 2. Mathata a ho laola palo e kholo ea lihlopha tsa Kubernetes

Liqholotso tsa mantlha tsa ho laola lihlopha sekaleng see ke life? Joalokaha ho bontšitsoe setšoantšong, ho na le lintlha tse 'nè tse lokelang ho sebetsanoa le tsona:

• Heterogeneity

ACK e lokela ho ts'ehetsa mefuta e fapaneng ea lihlopha, ho kenyeletsoa maemo, a se nang seva, Edge, Windows, le tse ling tse 'maloa. Lihlopha tse fapaneng li hloka likhetho tse fapaneng, likarolo, le mefuta ea ho amohela. Bareki ba bang ba hloka thuso ea ho itlhophisa bakeng sa linyeoe tsa bona tse ikhethileng.

• Mefuta e fapaneng ea lihlopha

Lihlopha li fapana ka boholo, ho tloha ho li-node tse 'maloa tse nang le li-pods tse' maloa ho ea ho li-node tse likete tse mashome tse nang le li-pods tse likete. Litlhoko tsa lisebelisoa le tsona li fapana haholo. Kabo e fosahetseng ea lisebelisoa e ka ama ts'ebetso kapa ea baka ho hloleha.

• Liphetolelo tse fapaneng

Kubernetes e ntse e tsoela pele ka potlako haholo. Liphetolelo tse ncha li lokolloa likhoeli tse ling le tse ling tse seng kae. Bareki ba lula ba ikemiselitse ho leka likarolo tse ncha. Kahoo ba batla ho beha mojaro oa teko liphetolelong tse ncha tsa Kubernetes le mojaro oa tlhahiso ho tse tsitsitseng. Ho fihlela tlhokahalo ena, ACK e tlameha ho lula e fana ka mefuta e mecha ea Kubernetes ho bareki ha e ntse e boloka liphetolelo tse tsitsitseng.

• Ts'ireletso ea Tšireletso

Lihlopha li ajoa libakeng tse fapaneng. Ka hona, ba tlameha ho latela litlhoko tse fapaneng tsa polokeho le melaoana ea semmuso. Ka mohlala, sehlopha sa Europe se tlameha ho lumellana le GDPR, athe leru la lichelete Chaena le tlameha ho ba le likarolo tse eketsehileng tsa tšireletso. Litlhoko tsena ke tse tlamang 'me ha hoa amoheleha ho li hlokomoloha, kaha sena se baka likotsi tse kholo ho bareki ba sethaleng sa leru.

Sethala sa ACK se etselitsoe ho rarolla boholo ba mathata a ka holimo. Hajoale e laola ka ts'epo le ka botsitso lihlopha tse fetang likete tse 10 tsa Kubernetes ho pota lefatše. Ha re shebeng hore na sena se fihletsoe joang, ho kenyeletsoa ka melao-motheo e 'maloa ea bohlokoa ea moralo / meralo.

moralo

Cube-on-cube le mahe a linotsi

Ho fapana le bolaoli bo bohareng, meaho e thehiloeng ho lisele hangata e sebelisetsoa ho lekanya sethala ka nģ'ane ho setsi se le seng sa data kapa ho atolosa sebaka sa ho hlaphoheloa ha likoluoa.

Sebaka se seng le se seng ho Alibaba Cloud se na le libaka tse 'maloa (AZ) mme hangata se tsamaisana le setsi se itseng sa data. Sebakeng se seholo (joalo ka Huangzhou), hangata ho na le lihlopha tse likete tsa bareki ba Kubernetes tse tsamaisang ACK.

ACK e laola lihlopha tsena tsa Kubernetes e sebelisa Kubernetes ka boeona, ho bolelang hore re na le Kubernetes metacluster e sebetsang ho laola lihlopha tsa bareki ba Kubernetes. Meaho ena e boetse e bitsoa "kube-on-kube" (KoK). Moralo oa KoK o nolofatsa tsamaiso ea lihlopha tsa bareki hobane ho tsamaisoa ha lihlopha ho bonolo ebile ho ikemiselitse. Habohlokoa le ho feta, re ka sebelisa likarolo tsa tlhaho tsa Kubernetes hape. Mohlala, ho laola li-server tsa API ka ho tsamaisoa, ho sebelisa opareitara ea etcd ho laola li-multiple etcd. Ho iphetetsa ho joalo kamehla ho tlisa thabo e khethehileng.

Li-metacluster tse 'maloa tsa Kubernetes li kentsoe sebakeng se le seng, ho latela palo ea bareki. Re bitsa lisele tsena tsa metacluster. E le ho sireletsa khahlanong le ho hlōleha ha sebaka sohle, ACK e tšehetsa li-deployments tse ngata sebakeng se le seng: metacluster e aba likarolo tse kholo tsa lihlopha tsa bareki ba Kubernetes ho pholletsa le libaka tse ngata le ho li tsamaisa ka nako e le 'ngoe, ke hore, ka mokhoa o sebetsang ka bongata. Ho netefatsa ho ts'epahala le ho sebetsa hantle ha monghali, ACK e ntlafatsa ho beoa ha likarolo le ho netefatsa hore seva sa API le etcd li haufi.

Moetso ona o o lumella ho laola Kubernetes ka nepo, ka mokhoa o bonolo le ka ts'epo.

Moralo oa lisebelisoa tsa Metacluster

Joalokaha re se re boletse, palo ea metacluster sebakeng ka seng e itšetlehile ka palo ea bareki. Empa ke nako efe ea ho eketsa metacluster e ncha? Ena ke bothata bo tloaelehileng ba moralo oa lisebelisoa. E le molao, ke tloaelo ho theha e ncha ha metacluster e teng e felisitse lisebelisoa tsohle tsa bona.

Ha re nke lisebelisoa tsa marang-rang, mohlala. Ka moralo oa KoK, likarolo tsa Kubernetes tse tsoang ho lihlopha tsa bareki li tsamaisoa e le li-pods ka har'a metacluster. Re sebelisa Terway (Setšoantšo sa 3) ke plugin ea ts'ebetso e phahameng e entsoeng ke Alibaba Cloud bakeng sa tsamaiso ea marang-rang ea lijana. E fana ka melaoana e mengata ea ts'ireletso 'me e u lumella ho hokahana le maru a ikemetseng a bareki (VPCs) ka Alibaba Cloud Elastic Networking Interface (ENI). Ho aba ka nepo lisebelisoa tsa marang-rang ho pholletsa le li-node, li-pods le lits'ebeletso ka har'a metacluster, re tlameha ho beha leihlo ts'ebeliso ea tsona ka hloko ka har'a metacluster ea maru a ikemetseng. Ha lisebelisoa tsa marang-rang li fela, ho thehoa sele e ncha.

Ho fumana palo e nepahetseng ea lihlopha tsa bareki ho metacluster e 'ngoe le e' ngoe, re boetse re nahanela litšenyehelo tsa rona, litlhoko tsa density, quota ea lisebelisoa, litlhoko tsa botšepehi le lipalo-palo. Qeto ea ho theha metacluster e ncha e etsoa ho latela tlhaiso-leseling ena kaofela. Ka kopo hlokomela hore lihlopha tse nyenyane li ka atoloha haholo nakong e tlang, kahoo tšebeliso ea lisebelisoa e eketseha le haeba palo ea lihlopha e ntse e sa fetohe. Hangata re siea sebaka se lekaneng sa mahala hore sehlopha ka seng se hole.

Raese. 3. Mehaho ea marang-rang ea Terway

Ho eketsa likarolo tsa wizate ho pholletsa le lihlopha tsa bareki

Likarolo tsa Wizard li na le litlhoko tse fapaneng tsa lisebelisoa. Li itšetlehile ka palo ea li-node le li-pods ka har'a sehlopha, palo ea balaoli ba sa tloaelehang / basebetsi ba sebelisanang le APIServer.

Ho ACK, sehlopha se seng le se seng sa bareki ba Kubernetes se fapana ka boholo le litlhoko tsa nako ea ho sebetsa. Ha ho na tlhophiso e akaretsang ea ho beha likarolo tsa wizate. Haeba ka phoso re beha moeli o tlase oa lisebelisoa bakeng sa moreki e moholo, joale sehlopha sa eona se ke ke sa khona ho sebetsana ka katleho le mojaro. Haeba u beha moeli o phahameng ka mokhoa o hlokolosi bakeng sa lihlopha tsohle, lisebelisoa li tla senyeha.

Ho fumana khoebo e poteletseng pakeng tsa ho tšepahala le litšenyehelo, ACK e sebelisa mokhoa oa mofuta. E leng, re hlalosa mefuta e meraro ea lihlopha: tse nyenyane, tse mahareng le tse kholo. Mofuta o mong le o mong o na le profil e arohaneng ea kabo ea lisebelisoa. Mofuta o khethoa ho latela mojaro oa likarolo tsa wizard, palo ea li-node le lintlha tse ling. Mofuta oa sehlopha o ka fetoha ha nako e ntse e ea. ACK e lula e beha leihlo lintlha tsena 'me e khona ho ngola holimo/tlase ka tsela e nepahetseng. Hang ha mofuta oa sehlopha o fetotsoe, kabo ea lisebelisoa e nchafatsoa ka bo eona ka ho kenella ho fokolang ha basebelisi.

Re ntse re sebeletsa ho ntlafatsa sistimi ena ka mokhoa o hlakileng haholoanyane le ntlafatso ea mofuta o hlakileng haholoanyane e le hore liphetoho tsena li etsahale ka thelelo le ho ba le kelello haholoanyane moruong.

Raese. 4. Intelligent multi-stage mofuta switjha

Phetoho ea lihlopha tsa bareki ka tekanyo

Likarolo tse fetileng li ne li akaretsa likarolo tse ling tsa ho laola palo e kholo ea lihlopha tsa Kubernetes. Leha ho le joalo, ho na le bothata bo bong bo lokelang ho rarolloa: ho fetoha ha lihlopha.

Kubernetes ke "Linux" ea lefats'e la maru. E ntlafatsoa khafetsa 'me e fetoha modular haholoanyane. Re tlameha ho lula re fana ka mefuta e mecha ho bareki ba rona, ho lokisa bofokoli le ho nchafatsa lihlopha tse seng li ntse li le teng, hammoho le ho laola palo e kholo ea likarolo tse amanang (CSI, CNI, plugin ea sesebelisoa, Scheduler Plugin le tse ling tse ngata).

Ha re nke mohlala oa tsamaiso ea karolo ea Kubernetes. Ho qala, re thehile sistimi e bohareng bakeng sa ho ngolisa le ho laola likarolo tsena tsohle tse hokahaneng.

Raese. 5. Likarolo tse feto-fetohang le tse khonang

Pele o fetela pele, o hloka ho etsa bonnete ba hore ntlafatso e atlehile. Ho etsa sena, re thehile sistimi ea ho lekola ts'ebetso ea likarolo. Cheke e etsoa pele le ka mor'a ntlafatso.

Raese. 6. Tlhahlobo ea pele ea likarolo tsa lihlopha

Ho nchafatsa likarolo tsena ka potlako le ka mokhoa o ts'eptjoang, sistimi e tsoelang pele ea phepelo e sebetsa ka tšehetso bakeng sa tsoelo-pele e sa fellang (greyscale), likhefu le mesebetsi e meng. Balaoli ba Standard Kubernetes ha ba tšoanelehe bakeng sa nyeoe ena ea tšebeliso. Ka hona, ho laola likarolo tsa lihlopha, re thehile sehlopha sa balaoli ba khethehileng, ho kenyeletsoa plugin le module ea ho laola e thusang (tsamaiso ea li-sidecar).

Ka mohlala, molaoli oa BroadcastJob o etselitsoe ho ntlafatsa likarolo mochine o mong le o mong oa basebetsi kapa ho hlahloba li-node mochine o mong le o mong. Mosebetsi oa Phatlalatso o tsamaisa pod sebakeng se seng le se seng sehlopheng, joalo ka DaemonSet. Leha ho le joalo, DaemonSet e lula e boloka pod e sebetsa nako e telele, ha BroadcastJob e e senya. Molaoli oa Phatlalatso o boetse o hlahisa li-pods ho li-node tse sa tsoa kopanngoa le ho qala li-node ka likarolo tse hlokahalang. Ka Phuptjane 2019, re ile ra bula khoutu ea mohloli oa enjene ea othomathike ea OpenKruise, eo rona re e sebelisang ka har'a k'hamphani.

Raese. 7. OpenKurise e hlophisa ho phethahatsoa ha mosebetsi oa Broadcast ho li-node tsohle

Ho thusa bareki ho khetha litlhophiso tse nepahetseng tsa sehlopha, re boetse re fana ka li-profiles tse boletsoeng esale pele, ho kenyeletsoa li-profiles tsa Serverless, Edge, Windows, le Bare Metal. Ha sebaka se ntse se hola le litlhoko tsa bareki ba rona li ntse li hola, re tla eketsa lintlha tse ling ho nolofatsa ts'ebetso ea ho seta e tenang.

Raese. 8. Li-profile tsa lihlopha tse tsoetseng pele le tse feto-fetohang bakeng sa maemo a fapaneng

Ho bonahala lefatšeng ka bophara ho litsi tsa data

Joalokaha ho bontšitsoe ka tlase feiga. 9, tšebeletso ea leru ea Alibaba Cloud Container e kentsoe libakeng tse mashome a mabeli ho pota lefatše. Ho fanoe ka tekanyo ena, e 'ngoe ea lipakane tsa bohlokoa tsa ACK ke ho shebella boemo ba lihlopha tse sebetsang habonolo e le hore haeba sehlopha sa bareki se kopana le bothata, re ka potlakela ho arabela boemo boo. Ka mantsoe a mang, u hloka ho tla le tharollo e tla u lumella ho bokella lipalo-palo ka nako ea nnete ho tsoa ho lihlopha tsa bareki libakeng tsohle - 'me u hlahise liphetho ka mahlo.

Raese. 9. Tšebeliso ea lefats'e ea tšebeletso ea Alibaba Cloud Container libakeng tse mashome a mabeli

Joalo ka lits'ebetso tse ngata tsa ho beha leihlo tsa Kubernetes, re sebelisa Prometheus joalo ka sesebelisoa sa rona sa mantlha. Bakeng sa metacluster ka 'ngoe, baemeli ba Prometheus ba bokella metrics e latelang:

• Melemo ea OS joalo ka lisebelisoa tse amohelang (CPU, memori, disk, joalo-joalo) le marang-rang a marang-rang.
• Metrics bakeng sa metacluster le tsamaiso ea sehlopha sa bareki, joalo ka kube-apiserver, kube-controller-manager le kube-scheduler.
• Metrics e tsoang ho kubernetes-state-metrics le cadvisor.
• joalo-joalo joalo ka nako ea ho ngola disk, boholo ba database, khokahanyo lipakeng tsa li-node, joalo-joalo.

Lipalo-palo tsa lefats'e li bokelloa ka mokhoa o tloaelehileng oa ho kopanya likarolo tse ngata. Lintlha tsa ho beha leihlo ho tsoa ho metacluster ka 'ngoe li kopanngoa pele sebakeng se seng le se seng ebe li romelloa ho seva e bohareng e bonts'ang setšoantšo se akaretsang. Ntho e 'ngoe le e' ngoe e sebetsa ka mochine oa federal. Seva ea Prometheus setsing se seng le se seng sa data se bokella metrics ho tsoa setsing seo sa data, 'me seva se bohareng sa Prometheus se na le boikarabello ba ho bokella lintlha tsa tlhahlobo. AlertManager e hokela ho Prometheus e bohareng mme, ha ho hlokahala, e romela litlhokomeliso ka DingTalk, imeile, SMS, joalo-joalo Visualization - sebelisa Grafana.

Setšoantšong sa 10, tsamaiso ea tlhokomelo e ka aroloa ka mekhahlelo e meraro:

• Boemo ba moeli

Lera le hole haholo ho tloha bohareng. Prometheus Edge Server e sebetsa ka har'a metacluster e 'ngoe le e' ngoe, e bokella metrics ho tsoa meta le lihlopha tsa bareki ka har'a sebaka se le seng sa marang-rang.

• Boemo ba Cascade

Mosebetsi oa Prometheus cascade layer ke ho bokella lintlha tsa ho beha leihlo ho tsoa libakeng tse ngata. Li-server tsena li sebetsa boemong ba likarolo tse kholo tsa libaka tse kang China, Asia, Europe le Amerika. Ha lihlopha li ntse li hola, sebaka se ka aroloa, ebe seva sa Prometheus se tla hlaha sebakeng se seng le se seng se seholo. Ka leano lena, o ka khona ho theola boima kamoo ho hlokahalang.

• Boemo bo bohareng

Seva e bohareng ea Prometheus e hokela ho li-server tsohle tsa cascade mme e etsa pokello ea data ea ho qetela. Bakeng sa ho ts'epahala, maemo a mabeli a bohareng a Prometheus a phahamisitsoe libakeng tse fapaneng, tse hokahaneng le li-server tse tšoanang tsa cascade.

Raese. 10. Mehaho ea lefats'e ea mekhoa e mengata ea ho beha leihlo ho latela mokhoa oa mokhatlo oa Prometheus

Kakaretso

Litharollo tsa leru tse thehiloeng ho Kubernetes li ntse li tsoela pele ho fetola indasteri ea rona. Ts'ebeletso ea setshelo sa Alibaba Cloud e fana ka moamoheli o bolokehileng, o ts'epahalang le o sebetsang hantle haholo - ke e 'ngoe ea tse ntle ka ho fetisisa tsa Kubernetes cloud hosting. Sehlopha sa Alibaba Cloud se lumela ka matla melao-motheong ea Open Source le sechaba sa mohloli o bulehileng. Ka sebele re tla tsoela pele ho arolelana tsebo ea rona tšimong ea ho sebetsa le ho laola theknoloji ea maru.

Source: www.habr.com