Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ

Rịba ama. ntụgharị asụsụ.: Dailymotion bụ otu n'ime ọrụ nnabata vidiyo kachasị n'ụwa yana yabụ onye ọrụ Kubernetes ama ama. N'ime ihe a, onye na-ese ụkpụrụ ụlọ David Donchez na-ekerịta nsonaazụ nke ịmepụta ụlọ ọrụ mmepụta ihe nke dabeere na K8s, nke malitere site na ntinye igwe ojii na GKE wee kwụsị dị ka ngwọta ngwakọ, nke na-enye ohere maka oge nzaghachi ka mma na ego na-akwụ ụgwọ akụrụngwa.

Na-ekpebi iwughachi isi API Dailymotion afọ atọ gara aga, anyị chọrọ ịmepụta ụzọ dị mma iji kwado ngwa ma mee ka ọ dịkwuo mfe usoro na mmepe na mmepụta. N'ihi nke a, anyị kpebiri iji a akpa orchestration ikpo okwu na ndammana họọrọ Kubernetes.

Kedu ihe kpatara o ji baa uru iwulite ikpo okwu nke gị dabere na Kubernetes?

API ọkwa nrụpụta n'oge na-adịghị na iji Google Cloud

Oge okpomọkụ 2016

Afọ atọ gara aga, ozugbo Dailymotion zụtara ya Vivendi, Ndị otu injinia anyị lekwasịrị anya n'otu ebumnuche zuru ụwa ọnụ: imepụta ngwaahịa Dailymotion ọhụrụ kpamkpam.

Dabere na nyocha anyị nke arịa, ngwọta orchestration, na ahụmịhe anyị gara aga, anyị kwenyesiri ike na Kubernetes bụ nhọrọ ziri ezi. Ụfọdụ ndị mmepe enweelarị nghọta nke echiche ndị bụ isi ma mara otú e si eji ya eme ihe, nke bụ nnukwu uru maka mgbanwe akụrụngwa.

Site n'echiche akụrụngwa, achọrọ usoro dị ike na nke na-agbanwe agbanwe iji kwado ụdị ngwa ọhụrụ nke igwe ojii. Anyị họọrọ ịnọ n'ígwé ojii na mmalite nke njem anyị ka anyị nwee ike iji udo nke obi wuo ikpo okwu kacha sie ike n'elu ụlọ. Anyị kpebiri ibugharị ngwa anyị site na iji Google Kubernetes Engine, n'agbanyeghị na anyị maara na n'oge na-adịghị anya anyị ga-akwaga na ebe data nke anyị ma tinye usoro ngwakọ.

Kedu ihe kpatara ịhọrọ GKE?

Anyị mere nhọrọ a tumadi n'ihi teknuzu ebumnuche. Na mgbakwunye, ọ dị mkpa ịnye ngwa ngwa ngwa ngwa na-egbo mkpa azụmahịa nke ụlọ ọrụ. Anyị nwere ụfọdụ ihe achọrọ maka ngwa nnabata, dị ka nkesa ala, scalability na nnabata mmejọ.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ
Ụyọkọ GKE na Dailymotion

Ebe Dailymotion bụ ikpo okwu vidiyo dị n'ụwa niile, anyị chọrọ n'ezie ịkwalite ogo ọrụ ahụ site na ibelata oge nchere (latency)... Na mbụ API anyị dị naanị na Paris, nke kacha mma. Achọrọ m inwe ike ịnabata ngwa ọ bụghị naanị na Europe, kamakwa na Eshia na USA.

Mmetụta a maka ịla azụ pụtara na a ga-arụrịrị ọrụ siri ike na nhazi netwọk nke ikpo okwu. Ọ bụ ezie na ọtụtụ ọrụ igwe ojii na-amanye gị ịmepụta netwọk nke gị na mpaghara ọ bụla wee jikọọ ha site na VPN ma ọ bụ ụdị ọrụ a na-achịkwa, Google Cloud nyere gị ohere ịmepụta otu netwọk zuru oke na-ekpuchi mpaghara Google niile. Nke a bụ nnukwu gbakwunyere na ọrụ na arụmọrụ nke usoro.

Na mgbakwunye, ọrụ netwọkụ na ndị na-ebu ibu sitere na Google Cloud na-arụ ọrụ magburu onwe ya. Ha na-ahapụ gị ka ị jiri adreesị IP ọha na-ezighi ezi sitere na mpaghara ọ bụla, usoro BGP mara mma na-elekọta ndị ọzọ (ya bụ na-ebugharị ndị ọrụ gaa na ụyọkọ kacha nso). N'ụzọ doro anya, ọ bụrụ na ọdịda dara, okporo ụzọ ga-aga na mpaghara ọzọ ozugbo na-enweghị enyemaka mmadụ.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ
Nleba anya n'ihe gbasara ibu Google

Ikpokoro anyị na-ejikwa GPU eme ihe nke ukwuu. Google Cloud na-enye gị ohere iji ha nke ọma ozugbo na ụyọkọ Kubernetes.

N'oge ahụ, ndị otu akụrụngwa lekwasịrị anya na nchịkọta ihe nketa etinyere na sava anụ ahụ. Ya mere iji ọrụ a na-achịkwa (gụnyere Kubernetes masters) mezuru ihe anyị chọrọ ma nye anyị ohere ịzụ ndị otu ka ha na ụyọkọ mpaghara na-arụ ọrụ.

N'ihi ya, anyị nwere ike ịmalite ịnweta okporo ụzọ mmepụta ihe na akụrụngwa Google Cloud naanị ọnwa 6 ka mmalite nke ọrụ gasịrị.

Otú ọ dị, n'agbanyeghị ọtụtụ uru, ịrụ ọrụ na onye na-eweta igwe ojii na-ejikọta ya na ụgwọ ụfọdụ, nke nwere ike ịbawanye dabere na ibu ahụ. Ọ bụ ya mere anyị ji jiri nlezianya nyochaa ọrụ ọ bụla a na-ejikwa, na-atụ anya imezu ha na ụlọ n'ọdịnihu. N'ezie, mmejuputa nke ụyọkọ mpaghara malitere na njedebe nke 2016 na atụmatụ ngwakọ malitere n'otu oge ahụ.

Mwepụta ikpo okwu nhazi ihe mkpofu mpaghara Dailymotion

Mgbụsị akwụkwọ 2016

N'ọnọdụ mgbe nchịkọta dum dị njikere maka mmepụta, ma rụọ ọrụ na API gara n'ihu, ọ bụ oge itinye uche na ụyọkọ mpaghara.

N'oge ahụ, ndị ọrụ na-ekiri ihe karịrị ijeri vidiyo 3 kwa ọnwa. N'ezie, anyị enweela nnukwu netwọk nnyefe ọdịnaya ruo ọtụtụ afọ. Anyị chọrọ iji ọnọdụ a mee ihe ma tinye ụyọkọ Kubernetes na ebe data dị.

Akụrụngwa Dailymotion nwere ihe karịrị puku sava 2,5 na ebe data isii. A na-ahazi ha niile site na iji Saltstack. Anyị malitere ịkwadebe usoro ntụziaka niile dị mkpa maka ịmepụta ọnụ ọgụgụ nna ukwu na ndị ọrụ, yana ụyọkọ wdgd.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ

Akụkụ netwọk

A chụpụrụ netwọk anyị kpamkpam. Ihe nkesa ọ bụla na-akpọsa IP ya na netwọk site na iji Exabgp. Anyị tụlere ọtụtụ plugins netwọkụ na naanị otu nke na-egbo mkpa niile (n'ihi ụzọ L3 eji). calico. Ọ dabara nke ọma na ụdị akụrụngwa netwọkụ dị adị.

Ebe ọ bụ na anyị chọrọ iji ihe akụrụngwa niile dịnụ, ihe mbụ anyị ga-eme bụ ịchọpụta ọrụ netwọk ụlọ anyị na-emepụta (eji na sava niile): jiri ya na-akpọsa ọkwa adreesị IP na netwọk na Kubernetes nodes. Anyị kwere Calico ikenye adreesị IP na pọd, mana o meghị ma ka na-ejighị ya maka nnọkọ BGP na akụrụngwa netwọkụ. N'ezie, ọ bụ Exabgp na-ahụ maka njem, nke na-akpọsa subnet nke Calico na-eji. Nke a na-enye anyị ohere iru pod ọ bụla site na netwọk dị n'ime (na karịsịa site na ndị na-ebu ibu).

Otu anyị si ejikwa okporo ụzọ mbata

Iji bugharịa arịrịọ mbata na ọrụ achọrọ, e kpebiri iji Ingress Controller n'ihi njikọta ya na akụrụngwa ingress Kubernetes.

Afọ atọ gara aga, nginx-ingress-controller bụ onye njikwa tozuru oke: Nginx anọwo ogologo oge ma mara ya maka nkwụsi ike na arụmọrụ ya.

Na sistemụ anyị, anyị kpebiri idobe ndị njikwa na sava 10-Gigabit raara onwe ya nye. Ejikọrọ onye njikwa ọ bụla na njedebe kube-apiserver nke ụyọkọ kwekọrọ. Sava ndị a jikwa Exabgp kpọsaa adreesị IP ọha ma ọ bụ nkeonwe. Topology netwọkụ anyị na-enye anyị ohere iji BGP sitere na ndị njikwa ndị a na-ebugharị okporo ụzọ niile ozugbo na pọd na-ejighi ọrụ dịka NodePort. Ụzọ a na-enyere aka izere okporo ụzọ kwụ n'etiti ọnụ ọnụ ma na-emeziwanye arụmọrụ.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ
Ntugharị okporo ụzọ site na ịntanetị gaa na pọd

Ugbu a anyị ghọtara ikpo okwu ngwakọ anyị, anyị nwere ike banye miri emi na usoro mbugharị okporo ụzọ n'onwe ya.

Mbugharị okporo ụzọ site na Google Cloud gaa na akụrụngwa Dailymotion

Mgbụsị akwụkwọ 2018

Mgbe ihe fọrọ nke nta ka ọ bụrụ afọ abụọ nke iwu ụlọ, nnwale, na nlegharị anya, anyị mechara nweta nchịkọta Kubernetes zuru ezu dị njikere ịnakwere ụfọdụ okporo ụzọ.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ

Atụmatụ ịkwọ ụgbọ mmiri dị ugbu a dị nnọọ mfe, mana zuru ezu iji gboo mkpa. Na mgbakwunye na IP ọha (na Google Cloud na Dailymotion), AWS Route 53 na-eji ịtọ atumatu na ibugharị ndị ọrụ na ụyọkọ nke nhọrọ anyị.

Kubernetes adventure Dailymotion: ịmepụta akụrụngwa n'ime igwe ojii + n'ime ụlọ
Amụma ntụgharị amụma iji ụzọ 53

Site na Google Cloud, nke a dị mfe ka anyị na-ekerịta otu IP n'ofe ụyọkọ niile, a na-ebugharị onye ọrụ gaa na ụyọkọ GKE kacha nso. Maka ụyọkọ anyị teknụzụ dị iche, ebe ọ bụ na IP ha dị iche.

N'oge njem ahụ, anyị na-achọ ịnyegharị arịrịọ mpaghara na ụyọkọ kwesịrị ekwesị ma nyochaa uru nke usoro a.

N'ihi na a na-ahazi ụyọkọ GKE anyị ka ọ bụrụ autoscale site na iji Metrics Custom, ha na-ebuli / gbadata dabere na okporo ụzọ na-abata.

Na ọnọdụ nkịtị, a na-eduzi okporo ụzọ mpaghara niile na ụyọkọ mpaghara, GKE na-ejekwa ozi dị ka ebe nchekwa ma ọ bụrụ na enwere nsogbu (nlele ahụike na-eme site na ụzọ 53).

...

N'ọdịniihu, anyị chọrọ ịmegharị atumatu ntugharị n'ụzọ zuru oke iji nweta atụmatụ ngwakọ kwụụrụ onwe nke na-aga n'ihu na-eme ka ndị ọrụ nweta ohere. N'akụkụ gbakwunyere, ọnụ ahịa igwe ojii ebelatala nke ukwuu yana ebelatala oge nzaghachi API. Anyị tụkwasịrị n'elu ikpo okwu igwe ojii na-esi na ya pụta ma dị njikere ibugharịkwu okporo ụzọ na ya ma ọ bụrụ na ọ dị mkpa.

PS sitere na onye ntụgharị

Ị nwekwara ike inwe mmasị na mgbasa ozi Dailymotion ọzọ na-adịbeghị anya gbasara Kubernetes. A raara ya nye ntinye ngwa na Helm n'ọtụtụ ụyọkọ Kubernetes na e bipụtara ya ihe dị ka otu ọnwa gara aga.

Gụọkwa na blọọgụ anyị:

isi: www.habr.com

Tinye a comment