{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Kubernetes kaland Dailymotion: infrastrukt\u00fara l\u00e9trehoz\u00e1sa felh\u0151kben + helysz\u00edni megold\u00e1sok","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kubernetes
\n
\nMegjegyz\u00e9s ford\u00edt\u00e1s.<\/b>: Dailymotion \u2014 a vil\u00e1g egyik legnagyobb vide\u00f3hosting szolg\u00e1ltat\u00e1sa, \u00e9s emiatt kiemelked\u0151 felhaszn\u00e1l\u00f3ja a Kubernetesnek. Ebben az anyagban David Donchez, a rendszerarchitekt, megosztja a c\u00e9g K8s alap\u00fa production-platformj\u00e1nak l\u00e9trehoz\u00e1s\u00e1nak eredm\u00e9nyeit, amely egy felh\u0151 alap\u00fa telep\u00edt\u00e9ssel indult a GKE-n, \u00e9s v\u00e9g\u00fcl hibrid megold\u00e1sk\u00e9nt z\u00e1rult, lehet\u0151v\u00e9 t\u00e9ve a jobb reakci\u00f3id\u0151k el\u00e9r\u00e9s\u00e9t \u00e9s az infrastruktur\u00e1lis k\u00f6lts\u00e9gek cs\u00f6kkent\u00e9s\u00e9t.<\/i><\/p>\n

A f\u0151 API \u00e1talak\u00edt\u00e1s\u00e1r\u00f3l hozott d\u00f6nt\u00e9skor Dailymotion<\/a><\/noindex> h\u00e1rom \u00e9vvel ezel\u0151tt szeretn\u00e9nk egy hat\u00e9konyabb alkalmaz\u00e1sbehelyez\u00e9si m\u00f3d kidolgoz\u00e1s\u00e1ra, \u00e9s megk\u00f6nny\u00edteni a fejleszt\u00e9si \u00e9s production folyamatokat.<\/a><\/noindex>Ehhez a c\u00e9lhoz kont\u00e9nerorchestr\u00e1l\u00f3 platformot d\u00f6nt\u00f6tt\u00fcnk haszn\u00e1lni, \u00e9s term\u00e9szetes m\u00f3don a Kubernetes mellett d\u00f6nt\u00f6tt\u00fcnk.<\/p>\n

Mi\u00e9rt \u00e9rdemes saj\u00e1t Kubernetes alap\u00fa platformot l\u00e9trehozni?<\/a><\/noindex><\/p>\n

API production szintje a lehet\u0151 legr\u00f6videbb id\u0151n bel\u00fcl a Google Cloud seg\u00edts\u00e9g\u00e9vel.<\/h2>\n

<\/p>\n

2016 nyara<\/p><\/blockquote>\n

\nH\u00e1rom \u00e9vvel ezel\u0151tt, k\u00f6zvetlen\u00fcl a Dailymotion Vivendi \u00e1ltali megv\u00e1s\u00e1rl\u00e1sa ut\u00e1n Vivendi<\/a><\/noindex>, m\u00e9rn\u00f6ki csapataink egy glob\u00e1lis c\u00e9lra \u00f6sszpontos\u00edtottak: egy teljesen \u00faj Dailymotion term\u00e9k l\u00e9trehoz\u00e1s\u00e1ra.<\/p>\n

A kont\u00e9nerek, az orchestration megold\u00e1sok elemz\u00e9se \u00e9s kor\u00e1bbi tapasztalataink alapj\u00e1n meger\u0151s\u00edtett\u00fck, hogy a Kubernetes a megfelel\u0151 v\u00e1laszt\u00e1s. N\u00e9h\u00e1ny fejleszt\u0151nknek m\u00e1r volt ismerete az alapvet\u0151 fogalmakr\u00f3l, \u00e9s tudt\u00e1k, hogyan kell haszn\u00e1lni, ami \u00f3ri\u00e1si el\u0151nyt jelentett az infrastruktur\u00e1lis \u00e1talak\u00edt\u00e1s sor\u00e1n.<\/p>\n

Infrastrukt\u00fara szempontj\u00e1b\u00f3l egy er\u0151teljes \u00e9s rugalmas rendszerre volt sz\u00fcks\u00e9g\u00fcnk az \u00faj t\u00edpus\u00fa felh\u0151alap\u00fa alkalmaz\u00e1sok telep\u00edt\u00e9s\u00e9re. Az utaz\u00e1sunk kezdet\u00e9n \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy a felh\u0151ben maradunk, hogy nyugodtan fel\u00e9p\u00edthess\u00fck a lehet\u0151 legmegb\u00edzhat\u00f3bb helyi platformot. Alkalmaz\u00e1sainkat a Google Kubernetes Engine seg\u00edts\u00e9g\u00e9vel szerett\u00fck volna telep\u00edteni, b\u00e1r tudtuk, hogy el\u0151bb-ut\u00f3bb saj\u00e1t adatk\u00f6zpontba fogunk \u00e1tt\u00e9rni, \u00e9s hibrid strat\u00e9gi\u00e1t fogunk alkalmazni.<\/p>\n

Mi\u00e9rt v\u00e1lasztottuk a GKE-t?<\/h3>\n

\nEls\u0151sorban technikai megfontol\u00e1sok alapj\u00e1n hoztuk ezt a d\u00f6nt\u00e9st. Ezen k\u00edv\u00fcl gyorsan kellett biztos\u00edtanunk olyan infrastrukt\u00far\u00e1t, amely megfelel a v\u00e1llalat \u00fczleti ig\u00e9nyeinek. Volt n\u00e9h\u00e1ny k\u00f6vetelm\u00e9ny\u00fcnk az alkalmaz\u00e1sbehelyez\u00e9ssel kapcsolatban, p\u00e9ld\u00e1ul a f\u00f6ldrajzi elosztotts\u00e1g, a sk\u00e1l\u00e1zhat\u00f3s\u00e1g \u00e9s a hibabiztoss\u00e1g.<\/p>\n

\"Kubernetes
\nGKE klaszterek Dailymotionn\u00e1l<\/i><\/p>\n

Mivel a Dailymotion egy vil\u00e1gszerte el\u00e9rhet\u0151 videoplatform, kiemelten fontos volt sz\u00e1munkra a szolg\u00e1ltat\u00e1s min\u0151s\u00e9g\u00e9nek jav\u00edt\u00e1sa a v\u00e1rakoz\u00e1si id\u0151 cs\u00f6kkent\u00e9se \u00e9rdek\u00e9ben. (latency)<\/i>Kor\u00e1bban a API-nk<\/a><\/noindex> csak P\u00e1rizsban volt el\u00e9rhet\u0151, ami nem volt optim\u00e1lis. Azt szerettem volna, hogy az alkalmaz\u00e1sokat ne csak Eur\u00f3p\u00e1ban, hanem \u00c1zsi\u00e1ban \u00e9s az Egyes\u00fclt \u00c1llamokban is telep\u00edthess\u00fck.<\/p>\n

Ez a k\u00e9sleltet\u00e9s ir\u00e1nti \u00e9rz\u00e9kenys\u00e9g azt jelentette, hogy komolyan kell dolgozni a platform h\u00e1l\u00f3zati architekt\u00far\u00e1j\u00e1n. M\u00edg a legt\u00f6bb felh\u0151szolg\u00e1ltat\u00e1s megk\u00f6vetelte, hogy saj\u00e1t h\u00e1l\u00f3zatot hozzunk l\u00e9tre minden r\u00e9gi\u00f3ban, \u00e9s azt VPN-en vagy valamilyen kezel\u0151szolg\u00e1ltat\u00e1son kereszt\u00fcl \u00f6sszekapcsoljuk, a Google Cloud lehet\u0151v\u00e9 tette egy teljesen ir\u00e1ny\u00edthat\u00f3, egyetlen h\u00e1l\u00f3zat l\u00e9trehoz\u00e1s\u00e1t, amely minden Google r\u00e9gi\u00f3t \u00e1tfog. Ez nagy el\u0151ny a rendszer \u00fczemeltet\u00e9se \u00e9s hat\u00e9konys\u00e1ga szempontj\u00e1b\u00f3l.<\/p>\n

Tov\u00e1bb\u00e1, a Google Cloud h\u00e1l\u00f3zati szolg\u00e1ltat\u00e1sai \u00e9s terhel\u00e9seloszt\u00f3i is kiv\u00e1l\u00f3an teljes\u00edtenek. Csak lehet\u0151v\u00e9 teszik a nyilv\u00e1nos IP-c\u00edmek \u00f6nk\u00e9nyes haszn\u00e1lat\u00e1t minden r\u00e9gi\u00f3b\u00f3l, \u00e9s a csod\u00e1latos BGP protokoll gondoskodik minden m\u00e1sr\u00f3l (azaz \u00e1tir\u00e1ny\u00edtja a felhaszn\u00e1l\u00f3kat a legk\u00f6zelebbi klaszterhez). Nyilv\u00e1nval\u00f3, hogy hiba eset\u00e9n a forgalom automatikusan egy m\u00e1sik r\u00e9gi\u00f3ba ir\u00e1nyul emberi beavatkoz\u00e1s n\u00e9lk\u00fcl.<\/p>\n

\"Kubernetes
\nA Google terhel\u00e9seloszt\u00e1s\u00e1nak figyel\u00e9se<\/i><\/p>\n

Platformunk szint\u00e9n akt\u00edvan alkalmaz grafikus feldolgoz\u00f3 egys\u00e9geket. A Google Cloud lehet\u0151v\u00e9 teszi, hogy ezeket rendk\u00edv\u00fcl hat\u00e9konyan haszn\u00e1ljuk a Kubernetes klaszterekben.<\/p>\n

Abban az id\u0151ben az infrastrukt\u00fara csapat t\u00f6bbs\u00e9g\u00e9ben a r\u00e9gi stack-re \u00f6sszpontos\u00edtott, amely fizikai szervereken volt telep\u00edtve. Ez\u00e9rt a kezelt szolg\u00e1ltat\u00e1s haszn\u00e1lata (ide\u00e9rtve a Kubernetes master komponenseket) megfelelt az ig\u00e9nyeinknek, \u00e9s lehet\u0151v\u00e9 tette a csapatok k\u00e9pz\u00e9s\u00e9t a helyi klaszterekkel val\u00f3 munk\u00e1ra.<\/p>\n

Ennek eredm\u00e9nyek\u00e9nt mind\u00f6ssze 6 h\u00f3nap eltelt\u00e9vel elkezdt\u00fck elfogadni a production forgalmat a Google Cloud infrastrukt\u00far\u00e1n.<\/p>\n

Azonban a sz\u00e1mos el\u0151ny ellen\u00e9re a felh\u0151szolg\u00e1ltat\u00f3val val\u00f3 munka h\u00e1rmas k\u00f6lts\u00e9gekkel j\u00e1r, amelyek a terhel\u00e9st\u0151l f\u00fcgg\u0151en n\u00f6vekedhetnek. Ez\u00e9rt alaposan elemezt\u00fck az \u00f6sszes kezelt szolg\u00e1ltat\u00e1st, hogy a j\u00f6v\u0151ben megval\u00f3s\u00edthassuk azokat on-premises. Val\u00f3j\u00e1ban a helyi klaszterek bevezet\u00e9se 2016 v\u00e9g\u00e9n kezd\u0151d\u00f6tt, \u00e9s akkor indult el a hibrid strat\u00e9gia is.<\/p>\n

A Dailymotion helyi t\u00e1rol\u00f3 kont\u00e9ner-orchestr\u00e1l\u00f3 platformj\u00e1nak elind\u00edt\u00e1sa<\/h2>\n

<\/p>\n

2016 \u0151sz\u00e9n<\/p><\/blockquote>\n

\nAbban a helyzetben, amikor az eg\u00e9sz stack k\u00e9szen \u00e1llt a production-ra, \u00e9s a munka az API-n tov\u00e1bb folytat\u00f3dott<\/a><\/noindex>, elj\u00f6tt az id\u0151, hogy a region\u00e1lis klaszterekre \u00f6sszpontos\u00edtsunk.<\/p>\n

Ekkor a felhaszn\u00e1l\u00f3k havonta t\u00f6bb mint 3 milli\u00e1rd vide\u00f3t n\u00e9ztek meg. Term\u00e9szetesen m\u00e1r t\u00f6bb \u00e9ve m\u0171k\u00f6d\u00f6tt a saj\u00e1t kiterjedt Content Delivery Network rendszer\u00fcnk. Ki akartuk haszn\u00e1lni ezt a lehet\u0151s\u00e9get, \u00e9s Kubernetes klasztereket szeretn\u00e9nk telep\u00edteni a megl\u00e9v\u0151 adatk\u00f6zpontokban.<\/p>\n

A Dailymotion infrastrukt\u00far\u00e1ja t\u00f6bb mint 2500 szerverb\u0151l \u00e1llt hat adatk\u00f6zpontban. Mindegyiket Saltstack seg\u00edts\u00e9g\u00e9vel konfigur\u00e1ltuk. Elkezdj\u00fck el\u0151k\u00e9sz\u00edteni az \u00f6sszes sz\u00fcks\u00e9ges receptet a master \u00e9s worker csom\u00f3pontok, valamint az etcd klaszter l\u00e9trehoz\u00e1s\u00e1hoz.<\/p>\n

\"Kubernetes
\n<\/p>\n

H\u00e1l\u00f3zati r\u00e9sz<\/h3>\n

\nA h\u00e1l\u00f3zatunk teljes m\u00e9rt\u00e9kben routolhat\u00f3. Minden szerver az Exabgp seg\u00edts\u00e9g\u00e9vel jelzi az IP-c\u00edm\u00e9t a h\u00e1l\u00f3zatban. \u00d6sszehasonl\u00edtottunk t\u00f6bb h\u00e1l\u00f3zati plugint, \u00e9s az egyetlen, amely kiel\u00e9g\u00edtette az \u00f6sszes ig\u00e9ny\u00fcnket (a haszn\u00e1lt L3 szint\u0171 megk\u00f6zel\u00edt\u00e9s miatt), az volt, Calico<\/a><\/noindex>. T\u00f6k\u00e9letesen illeszkedett a megl\u00e9v\u0151 infrastrukt\u00fara h\u00e1l\u00f3zati modellj\u00e9be.<\/p>\n

Mivel azt szerett\u00fck volna, hogy minden megl\u00e9v\u0151 infrastrukt\u00faraelemet felhaszn\u00e1ljunk, el\u0151sz\u00f6r is tiszt\u00e1zni kellett a saj\u00e1t fejleszt\u00e9s\u0171 h\u00e1l\u00f3zati eszk\u00f6z\u00fcnkkel (amelyet az \u00f6sszes szerveren haszn\u00e1lunk): ezt felhaszn\u00e1lva be kell jelenteni az IP-c\u00edmek tartom\u00e1nyait a Kubernetes csom\u00f3pontokkal rendelkez\u0151 h\u00e1l\u00f3zatban. Enged\u00e9lyezt\u00fck a Calico sz\u00e1m\u00e1ra, hogy IP-c\u00edmeket rendeljen a podokhoz, de BGP-sesszi\u00f3khoz a h\u00e1l\u00f3zati berendez\u00e9seken nem haszn\u00e1ltuk \u00e9s m\u00e1ig sem haszn\u00e1ljuk. Val\u00f3j\u00e1ban a forgalomir\u00e1ny\u00edt\u00e1st az Exabgp v\u00e9gzi, amely bejelenti azokat az alh\u00e1l\u00f3zatokat, amelyeket a Calico haszn\u00e1l. Ez lehet\u0151v\u00e9 teszi, hogy el\u00e9rj\u00fck b\u00e1rmelyik podot a bels\u0151 h\u00e1l\u00f3zaton kereszt\u00fcl (t\u00f6bbek k\u00f6z\u00f6tt a terhel\u00e9smegoszt\u00f3kt\u00f3l is).<\/p>\n

Hogyan kezelj\u00fck az ingress forgalmat<\/h3>\n

\nA bej\u00f6v\u0151 k\u00e9r\u00e9sek megc\u00e9lzott szolg\u00e1ltat\u00e1sra t\u00f6rt\u00e9n\u0151 \u00e1tir\u00e1ny\u00edt\u00e1s\u00e1hoz az Ingress Controller haszn\u00e1lata mellett d\u00f6nt\u00f6tt\u00fcnk, mivel integr\u00e1l\u00f3dik a Kubernetes ingress-er\u0151forr\u00e1saihoz.<\/p>\n

H\u00e1rom \u00e9vvel ezel\u0151tt az nginx-ingress-vez\u00e9rl\u0151 volt a legfejlettebb vez\u00e9rl\u0151: az Nginx-t r\u00e9g\u00f3ta haszn\u00e1lt\u00e1k, \u00e9s ismert volt stabilit\u00e1s\u00e1r\u00f3l \u00e9s teljes\u00edtm\u00e9ny\u00e9r\u0151l.<\/p>\n

Rendszer\u00fcnkben \u00fagy d\u00f6nt\u00f6tt\u00fcnk, hogy a kontroller\u00fcnket dedik\u00e1lt 10 gigabites blade szervereken helyezz\u00fck el. Minden kontroller csatlakozott a megfelel\u0151 klaszter kube-apiserver v\u00e9gpontj\u00e1hoz. Ezeken a szervereken az Exabgp is haszn\u00e1latban volt a nyilv\u00e1nos vagy priv\u00e1t IP-c\u00edmek bejelent\u00e9s\u00e9re. H\u00e1l\u00f3zati topol\u00f3gi\u00e1nk lehet\u0151v\u00e9 teszi, hogy a BGP-t ezekb\u0151l a controllerekr\u0151l haszn\u00e1ljuk a forgalom k\u00f6zvetlen ir\u00e1ny\u00edt\u00e1s\u00e1ra a podok fel\u00e9, an\u00e9lk\u00fcl, hogy NodePort t\u00edpus\u00fa szolg\u00e1ltat\u00e1st ig\u00e9nybe venn\u00e9nk. Ez a megk\u00f6zel\u00edt\u00e9s seg\u00edt elker\u00fclni a horizont\u00e1lis forgalmat a csom\u00f3pontok k\u00f6z\u00f6tt, \u00e9s n\u00f6veli a hat\u00e9konys\u00e1got.<\/p>\n

\"Kubernetes
\nForgalom az internetr\u0151l a podokhoz<\/i><\/p>\n

Most, hogy tiszt\u00e1ztuk a hibrid platformunkat, m\u00e9lyebbre \u00e1shatunk a forgalom migr\u00e1l\u00e1si folyamat\u00e1ba.<\/p>\n

A forgalom migr\u00e1l\u00e1sa a Google Cloud-b\u00f3l a Dailymotion infrastrukt\u00far\u00e1j\u00e1ba<\/h2>\n

<\/p>\n

2018 \u0151sz\u00e9n<\/p><\/blockquote>\n

\nMajdnem k\u00e9t \u00e9v fejleszt\u00e9s, tesztel\u00e9s \u00e9s be\u00e1ll\u00edt\u00e1s ut\u00e1n v\u00e9gre megkaptuk a teljes Kubernetes stacket, amely k\u00e9szen \u00e1ll a forgalom egy r\u00e9sz\u00e9nek kezel\u00e9s\u00e9re.<\/p>\n

\"Kubernetes
\n
\nJelenlegi forgalomir\u00e1ny\u00edt\u00e1si strat\u00e9gi\u00e1nk meglehet\u0151sen egyszer\u0171, de teljesen kiel\u00e9g\u00edti az ig\u00e9nyeket. A nyilv\u00e1nos IP-c\u00edmeken (Google Cloud-ban \u00e9s Dailymotion-ban) k\u00edv\u00fcl az AWS Route 53-at haszn\u00e1ljuk politik\u00e1k meghat\u00e1roz\u00e1s\u00e1ra \u00e9s a felhaszn\u00e1l\u00f3k \u00e1tir\u00e1ny\u00edt\u00e1s\u00e1ra a v\u00e1lasztott klaszter\u00fcnk fel\u00e9.<\/p>\n

\"Kubernetes
\nP\u00e9lda ir\u00e1ny\u00edt\u00e1si politik\u00e1ra Route 53 haszn\u00e1lat\u00e1val<\/i><\/p>\n

A Google Cloud-dal ez egyszer\u0171, mivel egyetlen IP-t haszn\u00e1lunk az \u00f6sszes klaszterhez, \u00e9s a felhaszn\u00e1l\u00f3 a legk\u00f6zelebbi GKE klaszterhez van \u00e1tir\u00e1ny\u00edtva. A klaszterink m\u00e1s technol\u00f3gi\u00e1t haszn\u00e1lnak, mivel az IP-c\u00edm\u00fck elt\u00e9r.<\/p>\n

A migr\u00e1l\u00e1s sor\u00e1n arra t\u00f6rekedt\u00fcnk, hogy a region\u00e1lis k\u00e9r\u00e9seket a megfelel\u0151 klaszterekhez ir\u00e1ny\u00edtsuk, \u00e9s \u00e9rt\u00e9kelt\u00fck ennek a megk\u00f6zel\u00edt\u00e9snek az el\u0151nyeit.<\/p>\n

Mivel GKE klasztereink automatikus sk\u00e1l\u00e1z\u00e1sra vannak konfigur\u00e1lva egyedi metrik\u00e1k seg\u00edts\u00e9g\u00e9vel, a bej\u00f6v\u0151 forgalom alapj\u00e1n n\u00f6velik\/cs\u00f6kkentik a kapacit\u00e1sukat.<\/p>\n

Norm\u00e1l m\u0171k\u00f6d\u00e9s eset\u00e9n a region\u00e1lis forgalom teljes m\u00e9rt\u00e9kben a helyi klaszterre ir\u00e1nyul, m\u00edg a GKE tartal\u00e9kot jelent probl\u00e9m\u00e1k eset\u00e9n (eg\u00e9szs\u00e9gellen\u0151rz\u00e9seket a Route 53 v\u00e9gez).<\/p>\n

\u2026<\/h2>\n

\nA j\u00f6v\u0151ben teljesen automatiz\u00e1lni szeretn\u00e9nk a forgalomir\u00e1ny\u00edt\u00e1si politik\u00e1kat, hogy egy \u00f6n\u00e1ll\u00f3 hibrid strat\u00e9gi\u00e1t val\u00f3s\u00edtsunk meg, amely folyamatosan jav\u00edtja a felhaszn\u00e1l\u00f3k el\u00e9rhet\u0151s\u00e9g\u00e9t. Az el\u0151ny\u00f6k k\u00f6z\u00f6tt eml\u00edt\u00e9st nyer, hogy jelent\u0151sen cs\u00f6kkentek a felh\u0151kiad\u00e1sok, \u00e9s siker\u00fclt m\u00e9g az API v\u00e1laszidej\u00e9t is cs\u00f6kkenteni. B\u00edzunk a kialakult felh\u0151platformban, \u00e9s k\u00e9szen \u00e1llunk, hogy sz\u00fcks\u00e9g eset\u00e9n t\u00f6bb forgalmat ir\u00e1ny\u00edtsunk r\u00e1.<\/p>\n

Fejleszt\u00e9si eszk\u00f6z\u00f6k, amelyek Kubernetesben futnak<\/h2>\n

\nLehet, hogy egy m\u00e1sik, nemr\u00e9g megjelent Dailymotion publik\u00e1ci\u00f3 is \u00e9rdekli \u00f6nt a Kubernetesr\u0151l. Ez a Helm alkalmaz\u00e1sok t\u00f6meges telep\u00edt\u00e9s\u00e9vel foglalkozik t\u00f6bb Kubernetes klaszteren kereszt\u00fcl, \u00e9s megjelent<\/a><\/noindex> k\u00f6r\u00fclbel\u00fcl egy h\u00f3nappal ezel\u0151tt.<\/p>\n

Olvasson tov\u00e1bbi inform\u00e1ci\u00f3kat a blogunkban:<\/p>\n