{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Dailymotion'i Kubernetes seiklus: infrastruktuuri loomine pilvedes + on-premises","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Dailymotion'i
\n
\nM\u00e4rk. t\u00f5lge.<\/b>: Dailymotion \u2014 \u00fcks maailma suurimaid videohostingu teenuseid ja seet\u00f5ttu silmapaistev Kubernetes'i kasutaja. Selles artiklis jagab s\u00fcsteemiarhitekt David Donchez kogemusi ettev\u00f5tte produktsiooniplatvormi loomise protsessist, mis algas pilveinstallatsiooniga GKE-s ja l\u00f5ppes h\u00fcbriidlahenduse loomisega, mis v\u00f5imaldas saavutada parema reageerimisaja ja v\u00e4hendada infrastruktuuri kulusid.<\/i><\/p>\n

Otsustades p\u00f5hijuhise \u00fcmberkujundamise \u00fcle Dailymotion<\/a><\/noindex> kolm aastat tagasi, soovisime v\u00e4lja t\u00f6\u00f6tada t\u00f5husama viisi rakenduste paigutamiseks ja lihtsustada protsesside haldamist arenduses ja tootmises.<\/a><\/noindex>Selle eesm\u00e4rki silmas pidades otsustasime kasutada konteinerite orkestreerimise platvormi ning loomulikult valisime Kubernetes'e.<\/p>\n

Miks on kasulik luua oma platvorm Kubernetes'e baasil?<\/a><\/noindex><\/p>\n

API tootmisstandardi tasemel kiiresti Google Cloud'i abil.<\/h2>\n

<\/p>\n

Suvi 2016<\/p><\/blockquote>\n

\nKolm aastat tagasi, kohe p\u00e4rast Dailymotion'i ostmist ettev\u00f5tte poolt Vivendi<\/a><\/noindex>, meie insenerimeeskonnad keskendusid \u00fchele globaalsetele eesm\u00e4rkidele: luua t\u00e4iesti uus Dailymotion'i toode.<\/p>\n

Konteinerite, orkestreerimise lahenduste ja meie varasema kogemuse anal\u00fc\u00fcsi tulemusena oleme veendunud, et Kubernetes on \u00f5ige valik. Osad arendajad olid juba tuttavad p\u00f5him\u00f5istedega ja teadlikud, kuidas seda kasutada, mis oli infrastruktuuri transformatsiooni jaoks suur eelis.<\/p>\n

Infrastruktuuri seisukohalt vajasime v\u00f5imsat ja paindlikku s\u00fcsteemi uute pilvep\u00f5histe (cloud-native) rakenduste majutamiseks. Otsustasime alustada pilves, et rahulikult ehitada v\u00e4lja v\u00f5imalikult usaldusv\u00e4\u00e4rne kohalik platvorm. Otsustasime oma rakendusi juurutada Google Kubernetes Engine'i abil, kuigi teadisime, et varem v\u00f5i hiljem liigume oma andmekeskustesse ja rakendame h\u00fcbriidstrategiat.<\/p>\n

Miks valisime GKE?<\/h3>\n

\nTehniliste kaalutluste t\u00f5ttu tegime selle valiku. Peale selle oli vajalik kiiresti pakkuda infrastruktuuri, mis vastaks ettev\u00f5tte \u00e4ri vajadustele. Meil olid m\u00f5ned rakenduste majutamise n\u00f5uded, nagu geograafiline jaotus, skaleeritavus ja t\u00f5rkekindlus.<\/p>\n

\"Dailymotion'i
\nGKE klastrid Dailymotionis<\/i><\/p>\n

Kuna Dailymotion on globaalne videoplatvorm, soovisime t\u00f5eliselt parandada teenuse kvaliteeti, v\u00e4hendades ooteaega. (latency)<\/i>. Varem meie API<\/a><\/noindex> oli saadaval ainult Pariisis, mis polnud optimaalne. Soovisime, et rakendusi saaks paigutada mitte ainult Euroopas, vaid ka Aasias ja Ameerikas.<\/p>\n

See tundlikkus viivituste suhtes t\u00e4hendas, et pidime t\u00f5siselt t\u00f6\u00f6le asuma platvormi v\u00f5rguarhitektuuri kallal. Kuigi enamik pilveteenuseid sundis looma oma v\u00f5rku igas piirkonnas ja seej\u00e4rel need \u00fchendama VPN-i v\u00f5i muu haldus teenusega, v\u00f5imaldas Google Cloud luua t\u00e4ielikult suunatava \u00fchtse v\u00f5rgu, mis katab k\u00f5ik Google'i piirkonnad. See on suur pluss s\u00fcsteemi ekspluateerimise ja efektiivsuse seisukohalt.<\/p>\n

Lisaks toimivad Google Cloudi v\u00f5rgu teenused ja koormuse tasakaalustajad suurep\u00e4raselt. Need v\u00f5imaldavad lihtsalt kasutada iga piirkonna avalikke IP-aadresse, samas kui suurep\u00e4rane BGP-protokoll hoolitseb muu eest (st suunab kasutajad l\u00e4himale klastrile). Kui tekib t\u00f5rge, suunatakse liiklus automaatselt teise piirkonda ilma inimsekkumiseta.<\/p>\n

\"Dailymotion'i
\nGoogle'i koormuse tasakaalustamise j\u00e4lgimine<\/i><\/p>\n

Meie platvorm kasutab aktiivselt ka graafikaprotsessoreid. Google Cloud v\u00f5imaldab neid \u00fcsna efektiivselt kasutada otse Kubernetes\u2019e klastrites.<\/p>\n

Samuti keskendus infrastruktuuri meeskond peamiselt vanale tehnoloogiakogumile, mis oli paigaldatud f\u00fc\u00fcsilistele serveritele. Seet\u00f5ttu vastas hallatav teenus (sealhulgas Kubernetes'e master-komponendid) meie n\u00f5udmistele ja v\u00f5imaldas meeskondadel \u00f5ppida t\u00f6\u00f6tama kohalike klastritega.<\/p>\n

Seet\u00f5ttu suutsime alustada tootmist liiklust Google Cloudi infrastruktuuril vaid 6 kuud p\u00e4rast t\u00f6\u00f6 alustamist.<\/p>\n

Kuid hoolimata mitmetest eelistest kaasnevad pilveteenuse pakkujaga t\u00f6\u00f6tamisel ka teatud kulud, mis v\u00f5ivad koormuse suurenedes kasvada. Just seet\u00f5ttu oleme hoolikalt anal\u00fc\u00fcsinud iga kasutatavat hallatavat teenust, kavandades tulevikus nende rakendamist oma serverites. Tegelikult algas kohalike klastrite juurutamine 2016. aasta l\u00f5pus ning siis k\u00e4ivitus ka h\u00fcbriidstrateegia.<\/p>\n

Kohaliku konteinerite orkestreerimise platvormi Dailymotion k\u00e4ivitamine<\/h2>\n

<\/p>\n

2016. aasta s\u00fcgis<\/p><\/blockquote>\n

\nOlukordades, kus kogu tehnoloogia m\u00fc\u00fcki valmis, j\u00e4tkati t\u00f6\u00f6d API tegevust<\/a><\/noindex>, oli aeg keskenduda piirkondlikele klastritele.<\/p>\n

Sel ajal vaatasid kasutajad igakuiselt \u00fcle 3 miljardi videoklippi. Loomulikult oli meil juba aastaid tegutsenud oma ulatuslik sisu edastamise v\u00f5rk. Soovisime seda olukorda \u00e4ra kasutada ja paigaldada Kubernetes klastreid olemasolevatesse andmekeskustesse.<\/p>\n

Dailymotioni infrastruktuur koosneb enam kui 2500 serverist kuues andmekeskuses. K\u00f5ik need on konfigureeritud Saltstacki abil. Oleme alustanud k\u00f5igi vajalike retseptide ettevalmistamist master- ja worker-s\u00f5lmede ning etcd-klastrite loomiseks.<\/p>\n

\"Dailymotion'i
\n<\/p>\n

V\u00f5rgus\u00fcsteem<\/h3>\n

\nMeie v\u00f5rk on t\u00e4ielikult suunatav. Iga server kuulutab oma IP-aadressi v\u00f5rgu kaudu Exabgp abil. Oleme v\u00f5rrelnud mitmeid v\u00f5rgu pluginaid ja ainus, mis vastas k\u00f5ikidele n\u00f5udmistele (kasutatava L3-taseme l\u00e4henemise t\u00f5ttu), on Calico<\/a><\/noindex>. See sobib suurep\u00e4raselt olemasolevasse infrastruktuuri v\u00f5rgu mudelisse.<\/p>\n

\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0448\u0435\u0439 \u0434\u043e\u043c\u043e\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445): \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0435\u0439 \u0434\u043b\u044f \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u0432 IP-\u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0432 \u0441\u0435\u0442\u0438 \u0441 Kubernetes-\u0443\u0437\u043b\u0430\u043c\u0438. \u041c\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 Calico \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c IP-\u0430\u0434\u0440\u0435\u0441\u0430 pod’\u0430\u043c, \u043d\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0438 \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0434\u043b\u044f BGP-\u0441\u0435\u0441\u0441\u0438\u0439 \u043d\u0430 \u0441\u0435\u0442\u0435\u0432\u043e\u043c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0438. \u041f\u043e \u0444\u0430\u043a\u0442\u0443 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f Exabgp, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0434\u0441\u0435\u0442\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 Calico. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043a \u043b\u044e\u0431\u043e\u043c\u0443 pod’\u0443 \u0438\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u0435\u0442\u0438 (\u0438 \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438).<\/p>\n

Kuidas me hallame ingressi liiklust<\/h3>\n

\nSissetulevate p\u00e4ringute suunamiseks soovitud teenusele otsustasime kasutada Ingress Controller'i t\u00e4nu selle integreerimisele Kubernetes'i ingress-resurssidega.<\/p>\n

Kolm aastat tagasi oli nginx-ingress-controller k\u00f5ige k\u00fcpsem kontrollija: Nginx'i kasutati juba pikka aega ja see oli tuntud oma stabiilsuse ja j\u00f5udluse poolest.<\/p>\n

\u0412 \u0441\u0432\u043e\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u044b \u043d\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 10-\u0433\u0438\u0433\u0430\u0431\u0438\u0442\u043d\u044b\u0445 \u0431\u043b\u0435\u0439\u0434-\u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445. \u041a\u0430\u0436\u0434\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u043a endpoint’\u0443 kube-apiserver \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u041d\u0430 \u044d\u0442\u0438\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f Exabgp \u0434\u043b\u044f \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 IP-\u0430\u0434\u0440\u0435\u0441\u043e\u0432. \u0422\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0435\u0442\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c BGP \u0438\u0437 \u044d\u0442\u0438\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 pod’\u044b \u0431\u0435\u0437 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0442\u0438\u043f\u0430 NodePort. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u0443\u0437\u043b\u0430\u043c\u0438 \u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n

\"Dailymotion'i
\n\u0414\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u043a pod’\u0430\u043c<\/i><\/p>\n

N\u00fc\u00fcd, kui oleme selgeks teinud meie h\u00fcbriidplatvormi, saame s\u00fcveneda liikumise migratsiooni protsessi.<\/p>\n

Liiklus migreerimine Google Cloudist Dailymotioni infrastruktuuri<\/h2>\n

<\/p>\n

2018. aasta s\u00fcgis<\/p><\/blockquote>\n

\nPeaaegu kahe aasta jooksul loomisest, testimisest ja seadistamisest oleme l\u00f5puks saanud t\u00e4ieliku Kubernetes'i staki, mis on valmis osa liiklusest vastu v\u00f5tma.<\/p>\n

\"Dailymotion'i
\n
\nPraegune suunamisstrateegia on \u00fcsna lihtne, kuid t\u00e4iesti piisav meie vajadustele. Lisaks avalikele IP-dele (Google Cloudis ja Dailymotionis) kasutatakse AWS Route 53 poliitikate m\u00e4\u00e4ramiseks ja kasutajate suunamiseks meie valitud klastrisse.<\/p>\n

\"Dailymotion'i
\nN\u00e4idispoliitika marsruutimise kohta Route 53 abil<\/i><\/p>\n

Google Cloudi puhul on see lihtne, kuna kasutame k\u00f5igile klastritele \u00fchte IP-aadressi ja kasutajad suunatakse l\u00e4himasse GKE klastrisse. Meie klastrite puhul on tehnoloogia muu, kuna nende IP-d on erinevad.<\/p>\n

Migrationi ajal p\u00fc\u00fcdlesime piirkondlike p\u00e4ringute suunamise poole vastavatesse klastritesse ja hindasime selle l\u00e4henemise eeliseid.<\/p>\n

Kuna meie GKE-klastrid on seadistatud automaatseks skaleerimiseks kohandatud m\u00f5\u00f5dikute abil, suurendavad v\u00f5i v\u00e4hendavad nad ressursse s\u00f5ltuvalt sisenevast liiklusest.<\/p>\n

\u0412 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0435\u0441\u044c \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0430 GKE \u0441\u043b\u0443\u0436\u0438\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043e\u043c \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c (health-check’\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442\u0441\u044f Route 53).<\/p>\n

\u2026<\/h2>\n

\nTulevikus soovime t\u00e4ielikult automatiseerida marsruutimisreegleid, et luua iseseisev h\u00fcbriidstrateegia, mis pidevalt parandab kasutajate k\u00e4ttesaadavust. Plussidest: pilvekulud on oluliselt v\u00e4henenud ja API reageerimise aega on isegi \u00f5nnestunud l\u00fchendada. Me usaldame saadud pilveplatvormi ja oleme valmis vajadusel suunama sellele rohkem liiklust.<\/p>\n

P.S. t\u00f5lkija m\u00e4rkused<\/h2>\n

\nV\u00f5ib-olla huvitab teid ka hiljutine Dailymotioni v\u00e4ljaanne Kubernetesest. See k\u00e4sitleb rakenduste juurutamist Helmiga mitmetes Kubernetes-klastrites ja oli avaldatud<\/a><\/noindex> umbes kuu aega tagasi.<\/p>\n

Lugege ka meie blogist:<\/p>\n