{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Kubernetes dobrodru\u017estv\u00ed Dailymotion: vytv\u00e1\u0159en\u00ed infrastruktury v cloudech + on-premises","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kubernetes
\n
\nPozn. p\u0159ek.<\/b>: Dailymotion \u2014 jeden z nejv\u011bt\u0161\u00edch video hostingov\u00fdch slu\u017eeb na sv\u011bt\u011b a v\u00fdznamn\u00fd u\u017eivatel Kubernetes. V tomto \u010dl\u00e1nku sd\u00edl\u00ed syst\u00e9mov\u00fd architekt David Donchez v\u00fdsledky vytv\u00e1\u0159en\u00ed produk\u010dn\u00ed platformy spole\u010dnosti na b\u00e1zi K8s, kter\u00e1 za\u010d\u00ednala jako cloudov\u00e1 instalace v GKE a skon\u010dila jako hybridn\u00ed \u0159e\u0161en\u00ed, co\u017e vedlo k lep\u0161\u00edmu \u010dasu odezvy a \u00faspor\u00e1m na infrastrukturn\u00edch n\u00e1kladech.<\/i><\/p>\n

P\u0159i rozhodov\u00e1n\u00ed o p\u0159estavb\u011b hlavn\u00edho API Dailymotion<\/a><\/noindex> p\u0159ed t\u0159emi lety jsme cht\u011bli vyvinout efektivn\u011bj\u0161\u00ed zp\u016fsob nasazov\u00e1n\u00ed aplikac\u00ed a usnadnit procesy ve v\u00fdvoji a produkci.<\/a><\/noindex>Za t\u00edmto c\u00edlem jsme se rozhodli vyu\u017e\u00edt platformu pro orchestraci kontejner\u016f a p\u0159irozen\u011b jsme zvolili Kubernetes.<\/p>\n

Pro\u010d vytv\u00e1\u0159et vlastn\u00ed platformu na b\u00e1zi Kubernetes?<\/a><\/noindex><\/p>\n

API produk\u010dn\u00ed \u00farovn\u011b v rekordn\u00edm \u010dase pomoc\u00ed Google Cloud<\/h2>\n

<\/p>\n

L\u00e9to 2016<\/p><\/blockquote>\n

\nP\u0159ed t\u0159emi lety, hned po koupi Dailymotion spole\u010dnost\u00ed Vivendi<\/a><\/noindex>, se na\u0161e in\u017een\u00fdrsk\u00e9 t\u00fdmy soust\u0159edily na jeden glob\u00e1ln\u00ed c\u00edl: vytvo\u0159it zcela nov\u00fd produkt Dailymotion.<\/p>\n

Na z\u00e1klad\u011b anal\u00fdzy kontejner\u016f, \u0159e\u0161en\u00ed pro orchestraci a na\u0161ich p\u0159edchoz\u00edch zku\u0161enost\u00ed jsme se ujistili, \u017ee Kubernetes je spr\u00e1vn\u00e1 volba. N\u011bkte\u0159\u00ed v\u00fdvoj\u00e1\u0159i u\u017e m\u011bli pov\u011bdom\u00ed o z\u00e1kladn\u00edch konceptech a v\u011bd\u011bli, jak ho pou\u017e\u00edt, co\u017e bylo obrovskou v\u00fdhodou pro infrastrukturn\u00ed transformaci.<\/p>\n

Z pohledu infrastruktury byla pot\u0159ebn\u00e1 v\u00fdkonn\u00e1 a flexibiln\u00ed syst\u00e9m pro nasazen\u00ed nov\u00fdch typ\u016f cloud-native aplikac\u00ed. Na za\u010d\u00e1tku na\u0161\u00ed cesty jsme se rozhodli z\u016fstat v cloudu, abychom klidn\u011b vytvo\u0159ili co nejspolehliv\u011bj\u0161\u00ed lok\u00e1ln\u00ed platformu. Rozhodli jsme se nasazovat na\u0161e aplikace pomoc\u00ed Google Kubernetes Engine, i kdy\u017e jsme v\u011bd\u011bli, \u017ee d\u0159\u00edve \u010di pozd\u011bji p\u0159ejdeme na vlastn\u00ed datov\u00e1 centra a zavedeme hybridn\u00ed strategii.<\/p>\n

Pro\u010d jsme zvolili GKE?<\/h3>\n

\nToto rozhodnut\u00ed jsme u\u010dinili hlavn\u011b z technick\u00fdch d\u016fvod\u016f. Krom\u011b toho bylo t\u0159eba rychle poskytnout infrastrukturu, kter\u00e1 vyhovovala pot\u0159eb\u00e1m podnik\u00e1n\u00ed spole\u010dnosti. M\u011bli jsme n\u011bkolik po\u017eadavk\u016f na nasazen\u00ed aplikac\u00ed, jako je geografick\u00e1 rozlo\u017eitelnost, \u0161k\u00e1lovatelnost a odolnost proti poruch\u00e1m.<\/p>\n

\"Kubernetes
\nShluky GKE v Dailymotion<\/i><\/p>\n

Jeliko\u017e je Dailymotion glob\u00e1ln\u00ed video platforma, velmi jsme cht\u011bli zlep\u0161it kvalitu slu\u017eby sn\u00ed\u017een\u00edm doby \u010dek\u00e1n\u00ed. (latence)<\/i>D\u0159\u00edve na\u0161e API<\/a><\/noindex> byl dostupn\u00fd pouze v Pa\u0159\u00ed\u017ei, co\u017e nebylo optim\u00e1ln\u00ed. Cht\u011bli jsme m\u00edt mo\u017enost nasazovat aplikace nejen v Evrop\u011b, ale tak\u00e9 v Asii a USA.<\/p>\n

Tato citlivost na zpo\u017ed\u011bn\u00ed znamenala, \u017ee bude nutn\u00e9 v\u00e1\u017en\u011b pracovat na s\u00ed\u0165ov\u00e9 architektu\u0159e platformy. Zat\u00edmco v\u011bt\u0161ina cloudov\u00fdch slu\u017eeb vy\u017eadovala vytvo\u0159en\u00ed vlastn\u00ed s\u00edt\u011b v ka\u017ed\u00e9m regionu a n\u00e1sledn\u00e9 jejich propojen\u00ed p\u0159es VPN nebo n\u011bjakou \u0159\u00edzenou slu\u017ebu, Google Cloud umo\u017enil vytvo\u0159it pln\u011b sm\u011brovatelnou jednotnou s\u00ed\u0165 pokr\u00fdvaj\u00edc\u00ed v\u0161echny regiony Google. To je velk\u00e9 plus z hlediska provozu a efektivity syst\u00e9mu.<\/p>\n

Krom\u011b toho si s touto prac\u00ed skv\u011ble porad\u00ed s\u00ed\u0165ov\u00e9 slu\u017eby a vyrovn\u00e1va\u010de z\u00e1t\u011b\u017ee od Google Cloud. Umo\u017e\u0148uj\u00ed jednodu\u0161e pou\u017e\u00edvat libovoln\u00e9 ve\u0159ejn\u00e9 IP adresy z ka\u017ed\u00e9ho regionu, a \u00fa\u017easn\u00fd protokol BGP se postar\u00e1 o v\u0161e ostatn\u00ed (tj. p\u0159esm\u011bruje u\u017eivatele na nejbli\u017e\u0161\u00ed cluster). Je z\u0159ejm\u00e9, \u017ee v p\u0159\u00edpad\u011b selh\u00e1n\u00ed bude provoz automaticky p\u0159esm\u011brov\u00e1n do jin\u00e9ho regionu bez jak\u00e9hokoliv z\u00e1sahu \u010dlov\u011bka.<\/p>\n

\"Kubernetes
\nMonitoring vyrovn\u00e1v\u00e1n\u00ed z\u00e1t\u011b\u017ee v Google<\/i><\/p>\n

Na\u0161e platforma tak\u00e9 aktivn\u011b vyu\u017e\u00edv\u00e1 grafick\u00e9 procesory. Google Cloud umo\u017e\u0148uje velmi efektivn\u011b je pou\u017e\u00edvat p\u0159\u00edmo v clusterech Kubernetes.<\/p>\n

P\u0159es to se infrastrukturn\u00ed t\u00fdm p\u0159ev\u00e1\u017en\u011b soust\u0159edil na star\u00fd stack nasazen\u00fd na fyzick\u00fdch serverech. Pr\u00e1v\u011b proto pou\u017eit\u00ed \u0159\u00edzen\u00e9 slu\u017eby (v\u010detn\u011b hlavn\u00edch komponent\u016f Kubernetes) vyhovovalo na\u0161im po\u017eadavk\u016fm a umo\u017enilo \u0161kolit t\u00fdmy pracovat s lok\u00e1ln\u00edmi clustery.<\/p>\n

V d\u016fsledku toho jsme mohli za\u010d\u00edt p\u0159ij\u00edmat produk\u010dn\u00ed provoz na infrastruktu\u0159e Google Cloud pouze 6 m\u011bs\u00edc\u016f po zah\u00e1jen\u00ed pr\u00e1ce.<\/p>\n

Nicm\u00e9n\u011b i p\u0159es \u0159adu v\u00fdhod je pr\u00e1ce s cloudov\u00fdm poskytovatelem spojena s ur\u010dit\u00fdmi n\u00e1klady, kter\u00e9 mohou nar\u016fstat v z\u00e1vislosti na z\u00e1t\u011b\u017ei. Proto jsme pe\u010dliv\u011b analyzovali ka\u017edou pou\u017e\u00edvanou \u0159\u00edzenou slu\u017ebu, abychom v budoucnu mohli realizovat tyto slu\u017eby u sebe on-premises. Vskutku implementace lok\u00e1ln\u00edch cluster\u016f za\u010dala na konci roku 2016 a tehdy byla zah\u00e1jena hybridn\u00ed strategie.<\/p>\n

Spu\u0161t\u011bn\u00ed lok\u00e1ln\u00ed platformy pro orchestraci kontejner\u016f Dailymotion<\/h2>\n

<\/p>\n

Podzim 2016<\/p><\/blockquote>\n

\nV podm\u00ednk\u00e1ch, kdy byl cel\u00fd stack p\u0159ipraven na produkci, a pr\u00e1ce na API trvala<\/a><\/noindex>, bylo \u010das se soust\u0159edit na region\u00e1ln\u00ed clustery.<\/p>\n

V t\u00e9 dob\u011b u\u017eivatel\u00e9 m\u011bs\u00ed\u010dn\u011b sledovali v\u00edce ne\u017e 3 miliardy vide\u00ed. Samoz\u0159ejm\u011b, \u017ee na\u0161e rozs\u00e1hl\u00e1 Content Delivery Network fungovala u\u017e n\u011bkolik let. Cht\u011bli jsme t\u00e9to situace vyu\u017e\u00edt a nasadit Kubernetes clustery v existuj\u00edc\u00edch datov\u00fdch centrech.<\/p>\n

Infrastruktura Dailymotion zahrnovala v\u00edce ne\u017e 2,5 tis\u00edce server\u016f v \u0161esti datov\u00fdch centrech. V\u0161echny jsou konfigurov\u00e1ny pomoc\u00ed Saltstacku. Za\u010dali jsme p\u0159ipravovat v\u0161echny pot\u0159ebn\u00e9 recepty pro vytvo\u0159en\u00ed master a worker uzl\u016f, stejn\u011b jako clusteru etcd.<\/p>\n

\"Kubernetes
\n<\/p>\n

S\u00ed\u0165ov\u00e1 \u010d\u00e1st<\/h3>\n

\nNa\u0161e s\u00ed\u0165 je pln\u011b sm\u011brovateln\u00e1. Ka\u017ed\u00fd server oznamuje svou IP adresu v s\u00edti pomoc\u00ed Exabgp. Porovnali jsme n\u011bkolik s\u00ed\u0165ov\u00fdch plugin\u016f a jedin\u00fd, kter\u00fd splnil v\u0161echny pot\u0159eby (kv\u016fli pou\u017eit\u00e9mu L3 p\u0159\u00edstupu), byl Calico<\/a><\/noindex>. Skv\u011ble zapadl do existuj\u00edc\u00ed s\u00ed\u0165ov\u00e9 struktury infrastruktury.<\/p>\n

Proto\u017ee jsme cht\u011bli vyu\u017e\u00edt v\u0161echny dostupn\u00e9 prvky infrastruktury, museli jsme nejprve pochopit na\u0161i vlastn\u00ed s\u00ed\u0165ovou utilitu (pou\u017e\u00edvanou na v\u0161ech serverech): vyu\u017e\u00edt ji k inzeraci rozsah\u016f IP adres v s\u00edti s uzly Kubernetes. Umo\u017enili jsme Calico p\u0159i\u0159azovat IP adresy pod\u016fm, ale dosud jsme jej nepou\u017e\u00edvali pro BGP relace na s\u00ed\u0165ov\u00e9m za\u0159\u00edzen\u00ed. Ve skute\u010dnosti se o sm\u011brov\u00e1n\u00ed star\u00e1 Exabgp, kter\u00fd inzeruje pods\u00edt\u011b pou\u017e\u00edvan\u00e9 Calico. To n\u00e1m umo\u017e\u0148uje p\u0159istupovat k jak\u00e9mukoli podu z vnit\u0159n\u00ed s\u00edt\u011b (a to zejm\u00e9na od load balancer\u016f).<\/p>\n

Jak spravujeme ingress traffic<\/h3>\n

\nPro p\u0159esm\u011brov\u00e1n\u00ed p\u0159\u00edchoz\u00edch po\u017eadavk\u016f na spr\u00e1vnou slu\u017ebu jsme se rozhodli pou\u017e\u00edt Ingress Controller d\u00edky jeho integraci s ingress zdroji Kubernetes.<\/p>\n

P\u0159ed t\u0159emi lety byl nginx-ingress-controller nejvysp\u011blej\u0161\u00edm kontrolerem: Nginx byl pou\u017e\u00edv\u00e1n ji\u017e dlouho a byl zn\u00e1m\u00fd svou stabilitou a v\u00fdkonem.<\/p>\n

V na\u0161em syst\u00e9mu jsme se rozhodli um\u00edstit kontrolery na vyhrazen\u00e9 10gigabitov\u00e9 blade servery. Ka\u017ed\u00fd kontroler byl p\u0159ipojen k endpointu kube-apiserver odpov\u00eddaj\u00edc\u00edho clusteru. Na t\u011bchto serverech se tak\u00e9 pou\u017e\u00edval Exabgp k inzeraci ve\u0159ejn\u00fdch nebo soukrom\u00fdch IP adres. Topologie na\u0161\u00ed s\u00edt\u011b umo\u017e\u0148uje pou\u017e\u00edt BGP z t\u011bchto kontroler\u016f pro sm\u011brov\u00e1n\u00ed ve\u0161ker\u00e9ho provozu p\u0159\u00edmo na pody, ani\u017e bychom pou\u017e\u00edvali slu\u017ebu typu NodePort. Tento p\u0159\u00edstup pom\u00e1h\u00e1 vyhnout se horizont\u00e1ln\u00edmu provozu mezi uzly a zvy\u0161uje efektivitu.<\/p>\n

\"Kubernetes
\nProvoz z internetu k pod\u016fm<\/i><\/p>\n

Nyn\u00ed, kdy\u017e jsme se sezn\u00e1mili s na\u0161\u00ed hybridn\u00ed platformou, m\u016f\u017eeme se pono\u0159it do samotn\u00e9ho procesu migrace provozu.<\/p>\n

Migrace provozu z Google Cloud do infrastruktury Dailymotion<\/h2>\n

<\/p>\n

Podzim 2018<\/p><\/blockquote>\n

\nPo t\u00e9m\u011b\u0159 dvou letech v\u00fdvoje, testov\u00e1n\u00ed a nastaven\u00ed jsme kone\u010dn\u011b z\u00edskali pln\u00fd stack Kubernetes, p\u0159ipraven\u00fd p\u0159ijmout \u010d\u00e1st provozu.<\/p>\n

\"Kubernetes
\n
\nAktu\u00e1ln\u00ed strategie sm\u011brov\u00e1n\u00ed je pom\u011brn\u011b jednoduch\u00e1, ale zcela vyhovuje na\u0161im pot\u0159eb\u00e1m. Krom\u011b ve\u0159ejn\u00fdch IP (v Google Cloud a Dailymotion) pou\u017e\u00edv\u00e1me AWS Route 53 k ur\u010den\u00ed politik a p\u0159esm\u011brov\u00e1n\u00ed u\u017eivatel\u016f k clusteru dle na\u0161eho v\u00fdb\u011bru.<\/p>\n

\"Kubernetes
\nP\u0159\u00edklad politiky sm\u011brov\u00e1n\u00ed s pou\u017eit\u00edm Route 53<\/i><\/p>\n

S Google Cloud je to jednoduch\u00e9, proto\u017ee pou\u017e\u00edv\u00e1me jedinou IP pro v\u0161echny clustery, a u\u017eivatel je p\u0159esm\u011brov\u00e1n k nejbli\u017e\u0161\u00edmu clusteru GKE. U na\u0161ich cluster\u016f je technologie jin\u00e1, proto\u017ee jejich IP se li\u0161\u00ed.<\/p>\n

B\u011bhem migrace jsme usilovali o p\u0159esm\u011brov\u00e1n\u00ed region\u00e1ln\u00edch dotaz\u016f na p\u0159\u00edslu\u0161n\u00e9 clustery a zhodnotili jsme v\u00fdhody tohoto p\u0159\u00edstupu.<\/p>\n

Jeliko\u017e jsou na\u0161e GKE clustery nakonfigurov\u00e1ny na automatick\u00e9 \u0161k\u00e1lov\u00e1n\u00ed pomoc\u00ed Custom Metrics, p\u0159id\u00e1vaj\u00ed\/odeb\u00edraj\u00ed kapacity podle p\u0159\u00edchoz\u00edho provozu.<\/p>\n

V norm\u00e1ln\u00edm re\u017eimu je ve\u0161ker\u00fd region\u00e1ln\u00ed provoz sm\u011brov\u00e1n do m\u00edstn\u00edho clusteru, zat\u00edmco GKE slou\u017e\u00ed jako z\u00e1loha pro p\u0159\u00edpad probl\u00e9m\u016f (health-checky prov\u00e1d\u00ed Route 53).<\/p>\n

\u2026<\/h2>\n

\nV budoucnu chceme pln\u011b automatizovat routingov\u00e9 politiky, abychom z\u00edskali autonomn\u00ed hybridn\u00ed strategii, kter\u00e1 neust\u00e1le zlep\u0161uje dostupnost pro u\u017eivatele. Pokud jde o v\u00fdhody: n\u00e1klady na cloud se v\u00fdrazn\u011b sn\u00ed\u017eily a dokonce se poda\u0159ilo zkr\u00e1tit dobu reakce API. D\u016fv\u011b\u0159ujeme z\u00edskan\u00e9 cloudov\u00e9 platform\u011b a jsme p\u0159ipraveni v p\u0159\u00edpad\u011b pot\u0159eby na n\u00ed sm\u011brovat v\u00edce provozu.<\/p>\n

P.S. od p\u0159ekladatele<\/h2>\n

\nMo\u017en\u00e1 v\u00e1s tak\u00e9 zaujme dal\u0161\u00ed ned\u00e1vn\u00fd p\u0159\u00edsp\u011bvek Dailymotion na t\u00e9ma Kubernetes. Ten se v\u011bnuje nasazen\u00ed aplikac\u00ed pomoc\u00ed Helm na v\u00edce Kubernetes clusterech a publikov\u00e1no<\/a><\/noindex> asi p\u0159ed m\u011bs\u00edcem.<\/p>\n

P\u0159e\u010dt\u011bte si tak\u00e9 n\u00e1\u0161 blog:<\/p>\n