{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Kubernetes dobrodru\u017estvo Dailymotion: vytvorenie infra\u0161trukt\u00fary v cloude + na vlastn\u00fdch serveroch","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kubernetes
\n
\nPozn. prekl.<\/b>: Dailymotion \u2014 jeden z najv\u00e4\u010d\u0161\u00edch svetov\u00fdch slu\u017eieb na hosting vide\u00ed a preto v\u00fdrazn\u00fd pou\u017e\u00edvate\u013e Kubernetes. V tomto materi\u00e1li syst\u00e9mov\u00fd architekt David Donchez zdie\u013ea v\u00fdsledky vytvorenia produk\u010dnej platformy spolo\u010dnosti na z\u00e1klade K8s, ktor\u00e1 za\u010d\u00ednala ako cloudov\u00e1 in\u0161tal\u00e1cia v GKE a skon\u010dila ako hybridn\u00e9 rie\u0161enie, \u010do n\u00e1m umo\u017enilo dosiahnu\u0165 lep\u0161\u00ed \u010das odozvy a u\u0161etri\u0165 na infra\u0161trukt\u00farnych n\u00e1kladoch.<\/i><\/p>\n

Pri rozhodovan\u00ed o prestavbe hlavn\u00e9ho API Dailymotion<\/a><\/noindex> pred tromi rokmi sme chceli vyvin\u00fa\u0165 efekt\u00edvnej\u0161\u00ed sp\u00f4sob nasadzovania aplik\u00e1ci\u00ed a zjednodu\u0161i\u0165 procesy vo v\u00fdvoji a produkcii<\/a><\/noindex>. Na tento \u00fa\u010del sme sa rozhodli vyu\u017ei\u0165 platformu orchestr\u00e1cie kontajnerov a prirodzene sme si vybrali Kubernetes.<\/p>\n

Pre\u010do by ste mali vytvori\u0165 vlastn\u00fa platformu na b\u00e1ze Kubernetes?<\/a><\/noindex><\/p>\n

API produk\u010dnej \u00farovne v najkrat\u0161om mo\u017enom \u010dase s pomocou Google Cloud<\/h2>\n

<\/p>\n

Leto 2016<\/p><\/blockquote>\n

\nPred tromi rokmi, hne\u010f po akviz\u00edcii Dailymotion spolo\u010dnos\u0165ou Vivendi<\/a><\/noindex>, na\u0161e in\u017einierske t\u00edmy sa zamerali na jeden glob\u00e1lny cie\u013e: vytvori\u0165 \u00faplne nov\u00fd produkt Dailymotion.<\/p>\n

Na z\u00e1klade anal\u00fdzy kontajnerov, rie\u0161en\u00ed pre orchestr\u00e1ciu a na\u0161ich predch\u00e1dzaj\u00facich sk\u00fasenost\u00ed sme dospeli k presved\u010deniu, \u017ee Kubernetes je spr\u00e1vna vo\u013eba. Niektor\u00ed v\u00fdvoj\u00e1ri u\u017e mali predstavu o z\u00e1kladn\u00fdch konceptoch a vedeli, ako ho pou\u017e\u00edva\u0165, \u010do bolo obrovskou v\u00fdhodou pre infra\u0161trukt\u00farnu transform\u00e1ciu.<\/p>\n

Z poh\u013eadu infra\u0161trukt\u00fary bola potrebn\u00e1 mocn\u00e1 a flexibiln\u00e1 s\u00fastava na nasadzovanie nov\u00fdch typov cloudov\u00fdch (cloud-native) aplik\u00e1ci\u00ed. Prednostne sme chceli osta\u0165 v cloude na za\u010diatku na\u0161ej cesty, aby sme pokojne postavili maxim\u00e1lne spo\u013eahliv\u00fa lok\u00e1lnu platformu. Na\u0161e aplik\u00e1cie sme sa rozhodli nasadi\u0165 pomocou Google Kubernetes Engine, aj ke\u010f sme vedeli, \u017ee sk\u00f4r \u010di nesk\u00f4r prejdeme na vlastn\u00e9 d\u00e1tov\u00e9 centr\u00e1 a uplatn\u00edme hybridn\u00fa strat\u00e9giu.<\/p>\n

Pre\u010do sme si vybrali GKE?<\/h3>\n

\nToto rozhodnutie sme prijali predov\u0161etk\u00fdm z technick\u00fdch d\u00f4vodov. Okrem toho bolo potrebn\u00e9 r\u00fdchlo poskytn\u00fa\u0165 infra\u0161trukt\u00faru, ktor\u00e1 by vyhovovala potreb\u00e1m podnikania spolo\u010dnosti. Mali sme niektor\u00e9 po\u017eiadavky na nasadzovanie aplik\u00e1ci\u00ed, ako napr\u00edklad geografick\u00e1 rozdelenos\u0165, \u0161k\u00e1lovate\u013enos\u0165 a odolnos\u0165 vo\u010di zlyhaniu.<\/p>\n

\"Kubernetes
\nKlastery GKE v Dailymotion<\/i><\/p>\n

Ke\u010f\u017ee Dailymotion je video platforma dostupn\u00e1 po celom svete, ve\u013emi sme chceli zlep\u0161i\u0165 kvalitu slu\u017eieb skr\u00e1ten\u00edm doby \u010dakania (latencia)<\/i>. Predt\u00fdm na\u0161e API<\/a><\/noindex> bola dostupn\u00e1 iba v Par\u00ed\u017ei, \u010do nebolo optim\u00e1lne. Chceli sme ma\u0165 mo\u017enos\u0165 hosti\u0165 aplik\u00e1cie nielen v Eur\u00f3pe, ale aj v \u00c1zii a v USA.<\/p>\n

Toto citlivos\u0165 na oneskorenia znamenala, \u017ee budeme musie\u0165 v\u00e1\u017ene pracova\u0165 na sie\u0165ovej architekt\u00fare platformy. Zatia\u013e \u010do v\u00e4\u010d\u0161ina cloudov\u00fdch slu\u017eieb n\u00fatila vytv\u00e1ra\u0165 vlastn\u00fa sie\u0165 v ka\u017edom regi\u00f3ne a potom ich prepoji\u0165 cez VPN alebo nejak\u00fa spravovan\u00fa slu\u017ebu, Google Cloud umo\u017enil vytvori\u0165 plne smerovate\u013en\u00fa jednotn\u00fa sie\u0165, ktor\u00e1 pokr\u00fdvala v\u0161etky regi\u00f3ny Google. To je ve\u013ek\u00e9 plus z h\u013eadiska prev\u00e1dzky a efektivity syst\u00e9mu.<\/p>\n

Okrem toho, so svojou pr\u00e1cou skvele zvl\u00e1daj\u00fa sie\u0165ov\u00e9 slu\u017eby a vyva\u017eova\u010de z\u00e1\u0165a\u017ee od Google Cloud. Jednoducho umo\u017e\u0148uj\u00fa pou\u017e\u00edva\u0165 \u013eubovo\u013en\u00e9 verejn\u00e9 IP adresy z ka\u017ed\u00e9ho regi\u00f3nu, a \u00fa\u017easn\u00fd protokol BGP sa postar\u00e1 o v\u0161etko ostatn\u00e9 (t.j. presmeruje pou\u017e\u00edvate\u013eov k najbli\u017e\u0161iemu klastru). Je jasn\u00e9, \u017ee v pr\u00edpade poruchy bude prev\u00e1dzka automaticky smerova\u0165 do in\u00e9ho regi\u00f3nu bez ak\u00e9hoko\u013evek z\u00e1sahu \u010dloveka.<\/p>\n

\"Kubernetes
\nMonitorovanie vyva\u017eovania z\u00e1\u0165a\u017ee v Google<\/i><\/p>\n

Na\u0161a platforma tie\u017e akt\u00edvne vyu\u017e\u00edva grafick\u00e9 procesory. Google Cloud umo\u017e\u0148uje ve\u013emi efekt\u00edvne ich pou\u017eitie priamo v klastroch Kubernetes.<\/p>\n

V tom \u010dase sa infra\u0161trukt\u00farny t\u00edm preva\u017ene s\u00fastredil na star\u00fd stack, nasaden\u00fd na fyzick\u00fdch serveroch. Preto pou\u017eitie spravovanej slu\u017eby (vr\u00e1tane master komponentov Kubernetes) sp\u013a\u0148alo na\u0161e po\u017eiadavky a umo\u017enilo vy\u0161kolenie t\u00edmov na pr\u00e1cu s lok\u00e1lnymi klastrami.<\/p>\n

V d\u00f4sledku toho sme dok\u00e1zali za\u010da\u0165 prij\u00edma\u0165 produk\u010dn\u00fd prenos na infra\u0161trukt\u00fare Google Cloud len \u0161es\u0165 mesiacov po za\u010diatku pr\u00e1c.<\/p>\n

Av\u0161ak napriek niektor\u00fdm v\u00fdhod\u00e1m, pr\u00e1ca so cloudov\u00fdm poskytovate\u013eom je spojen\u00e1 s ur\u010dit\u00fdmi n\u00e1kladmi, ktor\u00e9 m\u00f4\u017eu narasta\u0165 v z\u00e1vislosti od z\u00e1\u0165a\u017ee. Preto sme starostlivo analyzovali ka\u017ed\u00fa pou\u017e\u00edvan\u00fa spravovan\u00fa slu\u017ebu, pri\u010dom sme pl\u00e1novali v bud\u00facnosti ich realiz\u00e1ciu na na\u0161ich zariadeniach. V skuto\u010dnosti implement\u00e1cia lok\u00e1lnych klastrov za\u010dala koncom roka 2016 a v tom \u010dase bola iniciovan\u00e1 hybridn\u00e1 strat\u00e9gia.<\/p>\n

Spustenie lok\u00e1lnej platformy orchestrace kontajnerov Dailymotion<\/h2>\n

<\/p>\n

Jese\u0148 2016<\/p><\/blockquote>\n

\nV podmienkach, ke\u010f bol cel\u00fd stack pripraven\u00fd na produkciu, a pr\u00e1ca na API pokra\u010dovala<\/a><\/noindex>, pri\u0161iel \u010das s\u00fastredi\u0165 sa na region\u00e1lne klastre.<\/p>\n

V tom \u010dase pou\u017e\u00edvatelia mesa\u010dne sledovali viac ako 3 miliardy vide\u00ed. Samozrejme, \u017ee na\u0161a rozsiahla Content Delivery Network u\u017e fungovala nieko\u013eko rokov. Chceli sme vyu\u017ei\u0165 t\u00fato skuto\u010dnos\u0165 a zriadi\u0165 klastre Kubernetes v existuj\u00facich d\u00e1tov\u00fdch centr\u00e1ch.<\/p>\n

Infrastrukt\u00fara Dailymotion pozost\u00e1vala z viac ne\u017e 2,5 tis\u00edc serverov v \u0161iestich d\u00e1tov\u00fdch centr\u00e1ch. V\u0161etky boli konfigurovan\u00e9 pomocou Saltstack. Za\u010dali sme pripravova\u0165 v\u0161etky potrebn\u00e9 recepty na vytvorenie master a worker uzlov, ako aj klastru etcd.<\/p>\n

\"Kubernetes
\n<\/p>\n

Sie\u0165ov\u00e1 \u010das\u0165<\/h3>\n

\nNa\u0161a sie\u0165 je plne smerovate\u013en\u00e1. Ka\u017ed\u00fd server vyhlasuje svoju IP adresu v sieti pomocou Exabgp. Porovnali sme nieko\u013eko sie\u0165ov\u00fdch pluginov a jedin\u00fdm, ktor\u00fd sp\u013e\u0148oval v\u0161etky po\u017eiadavky (kv\u00f4li pr\u00edstupu na \u00farovni L3), bol Calico<\/a><\/noindex>. Skvele zapadol do existuj\u00faceho sie\u0165ov\u00e9ho modelu infra\u0161trukt\u00fary.<\/p>\n

Ke\u010f\u017ee sme chceli vyu\u017ei\u0165 v\u0161etky dostupn\u00e9 prvky infra\u0161trukt\u00fary, museli sme najprv porozumie\u0165 na\u0161ej dom\u00e1cej sie\u0165ovej utilite (pou\u017e\u00edvanej na v\u0161etk\u00fdch serveroch): pou\u017ei\u0165 ju na oznamovanie rozsahov IP adries v sieti s uzlami Kubernetes. Umo\u017enili sme Calico prira\u010fova\u0165 IP adresy podom, ale doteraz sme ho a st\u00e1le ho nepou\u017e\u00edvame na BGP rel\u00e1cie na sie\u0165ov\u00fdch zariadeniach. V skuto\u010dnosti sa o smerovanie star\u00e1 Exabgp, ktor\u00fd oznamuje podsiete pou\u017e\u00edvan\u00e9 Calico. To n\u00e1m umo\u017e\u0148uje dosta\u0165 sa k ak\u00e9muko\u013evek podu z vn\u00fatornej siete (a konkr\u00e9tne od vyrovn\u00e1va\u010dov za\u0165a\u017eenia).<\/p>\n

Ako spravujeme ingress traffic<\/h3>\n

\nNa presmerovanie prich\u00e1dzaj\u00facich po\u017eiadaviek na spr\u00e1vny servis sme sa rozhodli pou\u017ei\u0165 Ingress Controller kv\u00f4li jeho integr\u00e1cii s ingress zdrojmi Kubernetes.<\/p>\n

Pred tromi rokmi bol nginx-ingress-controller najzrel\u0161\u00edm kontrol\u00e9rom: Nginx bol u\u017e dlho pou\u017e\u00edvan\u00fd a bol zn\u00e1my svojou stabilitou a v\u00fdkonnos\u0165ou.<\/p>\n

V na\u0161om syst\u00e9me sme sa rozhodli umiestni\u0165 kontrol\u00e9ry na vyhraden\u00e9 10-gigabitov\u00e9 blade servery. Ka\u017ed\u00fd kontrol\u00e9r bol pripojen\u00fd k endpointu kube-apiserver pr\u00edslu\u0161n\u00e9ho klastra. Na t\u00fdchto serveroch sa tie\u017e pou\u017e\u00edval Exabgp na oznamovanie verejn\u00fdch alebo s\u00fakromn\u00fdch IP adries. Topol\u00f3gia na\u0161ej siete umo\u017e\u0148uje vyu\u017e\u00edva\u0165 BGP z t\u00fdchto kontrol\u00e9rov na smerovanie cel\u00e9ho prenosu priamo na pody bez pou\u017eitia slu\u017eby typu NodePort. Tak\u00fdto pr\u00edstup pom\u00e1ha vyhn\u00fa\u0165 sa horizont\u00e1lnemu prenosu medzi uzlami a zvy\u0161uje efekt\u00edvnos\u0165.<\/p>\n

\"Kubernetes
\nPrenos prev\u00e1dzky z internetu na pody<\/i><\/p>\n

Teraz, ke\u010f sme sa obozn\u00e1mili s na\u0161ou hybridnou platformou, m\u00f4\u017eeme sa hlb\u0161ie ponori\u0165 do samotn\u00e9ho procesu migr\u00e1cie prev\u00e1dzky.<\/p>\n

Migr\u00e1cia prev\u00e1dzky z Google Cloudu do infra\u0161trukt\u00fary Dailymotion<\/h2>\n

<\/p>\n

Jese\u0148 2018<\/p><\/blockquote>\n

\nPo takmer dvoch rokoch vytv\u00e1rania, testovania a nastavenia sme kone\u010dne z\u00edskali kompletn\u00fd z\u00e1sobn\u00edk Kubernetes, pripraven\u00fd prija\u0165 \u010das\u0165 prev\u00e1dzky.<\/p>\n

\"Kubernetes
\n
\nS\u00fa\u010dasn\u00e1 strat\u00e9gia smerovania je pomerne jednoduch\u00e1, ale \u00faplne vyhovuje potreb\u00e1m. Okrem verejn\u00fdch IP (v Google Cloude a Dailymotion) sa pou\u017e\u00edva AWS Route 53 na ur\u010denie polit\u00edk a presmerovanie pou\u017e\u00edvate\u013eov ku klastrom pod\u013ea na\u0161ej vo\u013eby.<\/p>\n

\"Kubernetes
\nPr\u00edklad politiky smerovania s pou\u017eit\u00edm Route 53<\/i><\/p>\n

S Google Cloudom je to jednoduch\u00e9, preto\u017ee pou\u017e\u00edvame jednotn\u00fa IP pre v\u0161etky klastry a pou\u017e\u00edvate\u013e je presmerovan\u00fd k najbli\u017e\u0161iemu klastrom GKE. Pre na\u0161e klastry je technol\u00f3gia in\u00e1, preto\u017ee ich IP sa l\u00ed\u0161ia.<\/p>\n

Po\u010das migr\u00e1cie sme sa sna\u017eili o presmerovanie region\u00e1lnych po\u017eiadaviek na pr\u00edslu\u0161n\u00e9 klastry a posudzovali sme v\u00fdhody tak\u00e9ho pr\u00edstupu.<\/p>\n

Ke\u010f\u017ee na\u0161e GKE klastry s\u00fa nakonfigurovan\u00e9 na automatick\u00e9 \u0161k\u00e1lovanie pomocou vlastn\u00fdch metr\u00edk, zvy\u0161uj\u00fa\/zni\u017euj\u00fa v\u00fdkon v z\u00e1vislosti od prich\u00e1dzaj\u00facej prev\u00e1dzky.<\/p>\n

V norm\u00e1lnom re\u017eime je cel\u00e1 region\u00e1lna prev\u00e1dzka smerovan\u00e1 do lok\u00e1lneho klastra, pri\u010dom GKE sl\u00fa\u017ei ako z\u00e1loha v pr\u00edpade probl\u00e9mov (health-checky sa vykon\u00e1vaj\u00fa cez Route 53).<\/p>\n

\u2026<\/h2>\n

\nV bud\u00facnosti chceme plne automatizova\u0165 politiky smerovania, aby sme z\u00edskali auton\u00f3mnu hybridn\u00fa strat\u00e9giu, ktor\u00e1 neust\u00e1le zlep\u0161uje dostupnos\u0165 pre pou\u017e\u00edvate\u013eov. \u010co sa t\u00fdka v\u00fdhod: v\u00fdrazne sa zn\u00ed\u017eili n\u00e1klady na cloud a podarilo sa skr\u00e1ti\u0165 \u010das reakcie API. D\u00f4verujeme v\u00fdslednej cloudovej platforme a sme pripraven\u00ed v pr\u00edpade potreby presmerova\u0165 na \u0148u viac prev\u00e1dzky.<\/p>\n

P.S. od prekladate\u013ea<\/h2>\n

\nMo\u017eno v\u00e1s e\u0161te zaujme in\u00fd ned\u00e1vny pr\u00edspevok Dailymotion o Kubernetes. Je venovan\u00fd nasadzovaniu aplik\u00e1ci\u00ed s Helm na mno\u017estve Kubernetes klastri a zverejnen\u00e1<\/a><\/noindex> asi pred mesiacom.<\/p>\n

Pre\u010d\u00edtajte si tie\u017e na na\u0161om blogu:<\/p>\n