{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Kubernetesi seiklus Dailymotionis: infrastruktuuri loomine pilvedes + kohalikes serverites","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kubernetesi
\n
\nM\u00e4rkus t\u00f5lke kohta.<\/b>: Dailymotion \u2014 \u00fcks suurimaid videohostimise teenuseid maailmas ja seet\u00f5ttu silmapaistev Kubernetes kasutaja. Selles artiklis jagab s\u00fcsteemi arhitekt David Donchez ettev\u00f5tte tootmisplatvormi loomise tulemusi K8sil, mis algas GKE pilveinstallatsiooniga ja l\u00f5ppes h\u00fcbriidlahenduse loomisega, mille t\u00f5ttu saavutati parem reageerimiskiirus ja kokkuhoid infrastruktuurikuludelt.<\/i><\/p>\n

Otsustades p\u00f5hiteenuste API \u00fcmberkorraldamise \u00fcle Dailymotion<\/a><\/noindex> kolm aastat tagasi, soovisime v\u00e4lja t\u00f6\u00f6tada t\u00f5husama rakenduste paigutamise viisi ja lihtsustada arendus- ja tootmisprotsesse.<\/a><\/noindex>Selle eesm\u00e4rgi saavutamiseks otsustasime kasutada konteinerite orkestreerimise platvormi ja loomulikult valisime Kubernetes'i.<\/p>\n

Miks tasub luua oma platvorm Kubernetes'i p\u00f5hjal?<\/a><\/noindex><\/p>\n

API-tootmisastme tasemel kiiresti Google Cloudi abil<\/h2>\n

<\/p>\n

Suvi 2016<\/p><\/blockquote>\n

\nKolm aastat tagasi, kohe p\u00e4rast Dailymotion'i ostmist ettev\u00f5tte Vivendi<\/a><\/noindex>, keskendusid meie insenerir\u00fchmad \u00fchele globaalsele eesm\u00e4rgile: luua t\u00e4iesti uus Dailymotion'i toode.<\/p>\n

P\u00e4rast konteinerite, orkestreerimislahenduste anal\u00fc\u00fcsimist ja meie varasemat kogemust olime veendunud, et Kubernetes on \u00f5ige valik. Osal inseneridest oli juba ettekujutus baaskontseptsioonidest ja nad teadsid, kuidas seda rakendada, mis oli infrastruktuuri \u00fclemineku jaoks tohutu eelis.<\/p>\n

Infrastruktuuri poolelt oli vajalik v\u00f5imas ja paindlik s\u00fcsteem uute t\u00fc\u00fcpi pilve (cloud-native) rakenduste majutamiseks. Soovisime oma teekonna alguses j\u00e4\u00e4da pilve, et rahulikult luua maksimaalselt usaldusv\u00e4\u00e4rne kohalik platvorm. Otsustasime oma rakendusi k\u00e4itada Google Kubernetes Engine'i kaudu, kuigi teadsime, et varem v\u00f5i hiljem \u00fcle l\u00e4heme oma andmekeskustele ja rakendame h\u00fcbriidstrateegiat.<\/p>\n

Miks valisime GKE?<\/h3>\n

\nTegime selle valiku peamiselt tehniliste kaalutluste t\u00f5ttu. Lisaks oli vajalik kiiresti pakkuda infrastruktuuri, mis vastaks ettev\u00f5tte \u00e4ri vajadustele. Meil olid m\u00f5ned rakenduste paigutamise n\u00f5uded, nagu geograafiline jaotamine, skaleeritavus ja t\u00f5rke taluvus.<\/p>\n

\"Kubernetesi
\nGKE klastrid Dailymotion'is<\/i><\/p>\n

Kuna Dailymotion on videoplatvorm, mis on saadaval \u00fcle maailma, soovisime v\u00e4ga parandada teenuse kvaliteeti, v\u00e4hendades ooteaega (latency)<\/i>. Varem oli meie API<\/a><\/noindex> oli saadaval ainult Pariisis, mis ei olnud optimaalne. Soovi oli rakendusi paigutada mitte ainult Euroopas, vaid ka Aasias ja Ameerikas.<\/p>\n

See viivitustundlikkus t\u00e4hendas, et tuli t\u00f5siselt t\u00f6\u00f6tada platvormi v\u00f5rguarhitektuuri kallal. Kui enamik pilveteenuseid sundisid looma oma v\u00f5rku igas piirkonnas ja seej\u00e4rel neid VPN-i v\u00f5i m\u00f5ne hallatava teenuse kaudu \u00fchendama, siis Google Cloud v\u00f5imaldas luua t\u00e4ielikult marsruutitava \u00fchtse v\u00f5rgu, mis katab k\u00f5ik Google'i piirkonnad. See on suur pluss s\u00fcsteemi haldamise ja efektiivsuse m\u00f5ttes.<\/p>\n

Lisaks toimivad Google Cloudi v\u00f5rgu teenused ja koormuse tasakaalustajad suurep\u00e4raselt. Need v\u00f5imaldavad kasutada m\u00f5nes piirkonnas juhuslikke avalikke IP-aadresse ning suurep\u00e4rane BGP-protokoll hoolitseb \u00fclej\u00e4\u00e4nud eest (st suunab kasutajad l\u00e4hima klastrini). On selge, et rikke korral suunatakse liiklus automaatselt teise piirkonda ilma igasuguse inimsekkumiseta.<\/p>\n

\"Kubernetesi
\nGoogle'i koormuse tasakaalustamise j\u00e4lgimine<\/i><\/p>\n

Meie platvorm kasutab aktiivselt ka grafiitt\u00f6\u00f6tlusprotsessoreid. Google Cloud v\u00f5imaldab neid kasutada v\u00e4ga t\u00f5husalt otse Kubernetes'i klastrites.<\/p>\n

Sel ajal keskendus infrastruktuuri meeskond peamiselt vanale virnastusele, mis oli paigaldatud f\u00fc\u00fcsilistele serveritele. Just seet\u00f5ttu vastas hallatava teenuse kasutamine (sealhulgas Kubernetes'i peakomponendid) meie n\u00f5udmistele ja v\u00f5imaldas meeskondadel \u00f5ppida t\u00f6\u00f6le kohalikes klastrites.<\/p>\n

Kokkuv\u00f5ttes suutsime hakata vastu v\u00f5tma tootmisliiklust Google Cloudi infrastruktuuris vaid kuue kuu jooksul p\u00e4rast t\u00f6\u00f6 alustamist.<\/p>\n

Kuid vaatamata mitmetele eelistele on pilveteenuse kasutamisel teatud kulud, mis v\u00f5ivad s\u00f5ltuvalt koormusest suureneda. Seet\u00f5ttu anal\u00fc\u00fcsisime hoolikalt iga kasutatavat hallatavat teenust, kavandades tulevikus nende rakendamist meie enda infrastruktuuris. Tegelikult algas kohalike klastrite rakendamine 2016. aasta l\u00f5pus ja siis m\u00e4\u00e4ratlesime h\u00fcbriidstrateegia.<\/p>\n

Dailymotioni kohaliku konteinerite orkestreerimise platvormi k\u00e4ivitamine<\/h2>\n

<\/p>\n

2016. aasta s\u00fcgis<\/p><\/blockquote>\n

\nOlles valmis kogu virnastusega tootmiseks, j\u00e4tkus t\u00f6\u00f6 API kallal p\u00fcsis<\/a><\/noindex>, oli aeg keskenduda piirkondlikele klastritele.<\/p>\n

Sel ajal vaatasid kasutajad igakuiselt \u00fcle enam kui 3 miljardit videot. Loomulikult oli meil juba mitu aastat toimiv oma laialdane sisuteenuse v\u00f5rk. Soovisime seda v\u00f5imalust kasutada ja luua Kubernetes klastrid olemasolevates andmekeskustes.<\/p>\n

Dailymotioni infrastruktuur koosnes enam kui 2500 serverist kuues andmekeskuses. K\u00f5ik need konfigureeritakse Saltstacki abil. Alustasime vajalike retseptide ettevalmistamist meistri- ja t\u00f6\u00f6deldava s\u00f5lme ning etcd klastrite jaoks.<\/p>\n

\"Kubernetesi
\n<\/p>\n

V\u00f5rgufaas<\/h3>\n

\nMeie v\u00f5rk on t\u00e4iesti marsruutitav. Iga server kuulutab oma IP aadressi v\u00f5rgus Exabgp abil. V\u00f5rdlesime mitmeid v\u00f5rgu pluginaid ja ainus, mis vastas k\u00f5igile n\u00f5udmistele (kasutatava L3 taseme l\u00e4henemise t\u00f5ttu), oli Calico<\/a><\/noindex>. See sobis suurep\u00e4raselt olemasolevasse v\u00f5rgu mudelisse.<\/p>\n

\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0435\u0441\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u043e\u044f\u043b\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0430\u0448\u0435\u0439 \u0434\u043e\u043c\u043e\u0440\u043e\u0449\u0435\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445): \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0435\u0439 \u0434\u043b\u044f \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u0432 IP-\u0430\u0434\u0440\u0435\u0441\u043e\u0432 \u0432 \u0441\u0435\u0442\u0438 \u0441 Kubernetes-\u0443\u0437\u043b\u0430\u043c\u0438. \u041c\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 Calico \u043f\u0440\u0438\u0441\u0432\u0430\u0438\u0432\u0430\u0442\u044c IP-\u0430\u0434\u0440\u0435\u0441\u0430 pod’\u0430\u043c, \u043d\u043e \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0438 \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0434\u043b\u044f BGP-\u0441\u0435\u0441\u0441\u0438\u0439 \u043d\u0430 \u0441\u0435\u0442\u0435\u0432\u043e\u043c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0438. \u041f\u043e \u0444\u0430\u043a\u0442\u0443 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f Exabgp, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0434\u0441\u0435\u0442\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 Calico. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u043a \u043b\u044e\u0431\u043e\u043c\u0443 pod’\u0443 \u0438\u0437 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0439 \u0441\u0435\u0442\u0438 (\u0438 \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442 \u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438).<\/p>\n

Kuidas me hallame ingressi liiklust<\/h3>\n

\nSisenenud p\u00e4ringute suunamiseks vajalikku teenust otsustati kasutada Ingress Controllerit, kuna see integreerub Kubernetes ingress-resurssidega.<\/p>\n

Kolm aastat tagasi oli nginx-ingress-controller k\u00f5ige k\u00fcpsem kontrollija: Nginx oli juba pikka aega kasutusel ja tuntud oma stabiilsuse ja j\u00f5udluse poolest.<\/p>\n

\u0412 \u0441\u0432\u043e\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u044b \u043d\u0430 \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0445 10-\u0433\u0438\u0433\u0430\u0431\u0438\u0442\u043d\u044b\u0445 \u0431\u043b\u0435\u0439\u0434-\u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445. \u041a\u0430\u0436\u0434\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u043b\u0441\u044f \u043a endpoint’\u0443 kube-apiserver \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430. \u041d\u0430 \u044d\u0442\u0438\u0445 \u0441\u0435\u0440\u0432\u0435\u0440\u0430\u0445 \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f Exabgp \u0434\u043b\u044f \u0430\u043d\u043e\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u043d\u044b\u0445 IP-\u0430\u0434\u0440\u0435\u0441\u043e\u0432. \u0422\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0435\u0442\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c BGP \u0438\u0437 \u044d\u0442\u0438\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u043b\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0441\u0435\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430 pod’\u044b \u0431\u0435\u0437 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0442\u0438\u043f\u0430 NodePort. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u043c\u0435\u0436\u0434\u0443 \u0443\u0437\u043b\u0430\u043c\u0438 \u0438 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n

\"Kubernetesi
\n\u0414\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u0440\u0430\u0444\u0438\u043a\u0430 \u0438\u0437 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0430 \u043a pod’\u0430\u043c<\/i><\/p>\n

N\u00fc\u00fcd, kui oleme aru saanud meie h\u00fcbriidplatvormist, saame s\u00fcveneda liikluse migreerimise protsessi.<\/p>\n

Liikluse migreerimine Google Cloudist Dailymotioni infrastruktuuri<\/h2>\n

<\/p>\n

2018. aasta s\u00fcgis<\/p><\/blockquote>\n

\nPeaaegu kahe aasta arendamise, testimise ja seadistamise j\u00e4rel saime l\u00f5puks t\u00e4ismahu Kubernetes'i, mis on valmis vastu v\u00f5tma osa liiklusest.<\/p>\n

\"Kubernetesi
\n
\nPraegune marsruutimisstrateegia on \u00fcsna lihtne, kuid rahuldab t\u00e4ielikult vajadusi. Lisaks avalikele IP-dele (Google Cloudis ja Dailymotionis) kasutatakse AWS Route 53 poliitikate m\u00e4\u00e4ramiseks ja kasutajate suunamiseks meie valitud klastrisse.<\/p>\n

\"Kubernetesi
\nN\u00e4ide marsruutimispoliitikast Route 53 kasutades<\/i><\/p>\n

Google Cloudiga on see lihtne, kuna kasutame k\u00f5igi klastrite jaoks \u00fchte IP-aadressi ning kasutaja suunatakse l\u00e4himasse GKE klastrisse. Meie klastrite puhul on tehnoloogia erinev, kuna nende IP-d on erinevad.<\/p>\n

Migrationi k\u00e4igus p\u00fc\u00fcdlesime regionaalsete p\u00e4ringute suunamise poole vastavatesse klastritesse ja hindasime sellise l\u00e4henemise eeliseid.<\/p>\n

Kuna meie GKE klastrid on konfigureeritud automaatseks skaleerimiseks kasutades Custom Metrics, suurendavad nad\/v\u00e4hendavad j\u00f5udlust s\u00f5ltuvalt sissetulevast liiklusest.<\/p>\n

\u0412 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0432\u0435\u0441\u044c \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0440\u0430\u0444\u0438\u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0442\u0435\u0440, \u0430 GKE \u0441\u043b\u0443\u0436\u0438\u0442 \u0440\u0435\u0437\u0435\u0440\u0432\u043e\u043c \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c (health-check’\u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442\u0441\u044f Route 53).<\/p>\n

\u2026<\/h2>\n

\nTulevikus soovime t\u00e4ielikult automatiseerida marsruutimispoliitikat, et saavutada autonoomne h\u00fcbriidstrateegia, mis pidevalt parandab kasutajate k\u00e4ttesaadavust. Plusspoolelt on m\u00e4rkimisv\u00e4\u00e4rselt v\u00e4henenud kulud pilveteenustele ja \u00f5nnestunud on isegi v\u00e4hendada API reageerimisaega. Usume meie loodud pilveplatvormi ja oleme valmis vajadusel suunama sellele rohkem liiklust.<\/p>\n

P.S. t\u00f5lkijalt<\/h2>\n

\nV\u00f5ib-olla huvitab teid veel \u00fcks hiljutine Dailymotioni artikkel Kubernetesest. See k\u00e4sitleb rakenduste juurutamist Helmi kaudu mitmesugustes Kubernetes klastrites ja oli avaldatud<\/a><\/noindex> umbes kuu tagasi.<\/p>\n

Lugege ka meie blogist:<\/p>\n