{"id":36484,"date":"2019-10-31T22:11:54","date_gmt":"2019-10-31T19:11:54","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises\/"},"modified":"2019-10-31T22:11:54","modified_gmt":"2019-10-31T19:11:54","slug":"kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/kubernetes-priklyuchenie-dailymotion-sozdanie-infrastruktury-v-oblakah-on-premises","title":{"rendered":"Tranzi\u021bia Tinder la Kubernetes","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Tranzi\u021bia
\n
\nNota traduc\u0103torului.<\/b>: Dailymotion \u2014 unul dintre cele mai mari servicii de g\u0103zduire video din lume \u0219i, prin urmare, un utilizator de seam\u0103 al Kubernetes. \u00cen acest material, arhitectul de sistem David Donchez \u00eemp\u0103rt\u0103\u0219e\u0219te rezultatele cre\u0103rii platformei de produc\u021bie a companiei bazat\u0103 pe K8s, care a \u00eenceput cu o instalare \u00een cloud \u00een GKE \u0219i a culminat cu o solu\u021bie hibrid\u0103, ce a permis ob\u021binerea unor timpi de reac\u021bie mai buni \u0219i economii pe costurile de infrastructur\u0103.<\/i><\/p>\n

\u00cen luarea deciziei de reconfigurare a API-ului principal Dailymotion<\/a><\/noindex> cu trei ani \u00een urm\u0103, am dorit s\u0103 dezvolt\u0103m o modalitate mai eficient\u0103 de a g\u0103zdui aplica\u021bii \u0219i s\u0103 simplific\u0103m procesele din dezvoltare \u0219i produc\u021bie<\/a><\/noindex>. \u00cen acest scop, am decis s\u0103 folosim o platform\u0103 de orchestrare a containerelor \u0219i, \u00een mod natural, am ales Kubernetes.<\/p>\n

De ce ar merita s\u0103 crea\u021bi o platform\u0103 proprie bazat\u0103 pe Kubernetes?<\/a><\/noindex><\/p>\n

API de nivel de produc\u021bie \u00een cel mai scurt timp cu ajutorul Google Cloud<\/h2>\n

<\/p>\n

Vara anului 2016<\/p><\/blockquote>\n

\nTrei ani \u00een urm\u0103, imediat dup\u0103 achizi\u021bia Dailymotion de c\u0103tre Vivendi<\/a><\/noindex>, echipele noastre de inginerie s-au concentrat asupra unui singur obiectiv global: s\u0103 cre\u0103m un produs complet nou pentru Dailymotion.<\/p>\n

\u00cen urma analizei containerelor, solu\u021biilor de orchestrare \u0219i a experien\u021bei noastre anterioare, am realizat c\u0103 Kubernetes este alegerea corect\u0103. O parte dintre dezvoltatori deja aveau no\u021biuni de baz\u0103 \u0219i \u0219tiau cum s\u0103-l foloseasc\u0103, ceea ce a fost un avantaj imens pentru transformarea infrastructurii.<\/p>\n

Din perspectiva infrastructurii, era nevoie de un sistem puternic \u0219i flexibil pentru a g\u0103zdui noi tipuri de aplica\u021bii cloud-native. Am preferat s\u0103 r\u0103m\u00e2nem \u00een cloud la \u00eenceputul c\u0103l\u0103toriei noastre, pentru a construi cu calm o platform\u0103 local\u0103 c\u00e2t mai fiabil\u0103. Am decis s\u0103 desf\u0103\u0219ur\u0103m aplica\u021biile prin Google Kubernetes Engine, de\u0219i \u0219tiam c\u0103 mai devreme sau mai t\u00e2rziu ne vom muta \u00een propriile centre de date \u0219i vom aplica o strategie hibrid\u0103.<\/p>\n

De ce am ales GKE?<\/h3>\n

\nAm f\u0103cut aceast\u0103 alegere \u00een principal din motive tehnice. \u00cen plus, era necesar s\u0103 oferim rapid o infrastructur\u0103 care s\u0103 r\u0103spund\u0103 nevoilor de afaceri ale companiei. Aveam c\u00e2teva cerin\u021be pentru g\u0103zduirea aplica\u021biilor, cum ar fi distribu\u021bia geografic\u0103, scalabilitatea \u0219i disponibilitatea.<\/p>\n

\"Tranzi\u021bia
\nClusterele GKE \u00een Dailymotion<\/i><\/p>\n

Fiindc\u0103 Dailymotion este o platform\u0103 video disponibil\u0103 \u00een \u00eentreaga lume, ne-am dorit foarte mult s\u0103 \u00eembun\u0103t\u0103\u021bim calitatea serviciului, reduc\u00e2nd timpul de a\u0219teptare (latency)<\/i>. Anterior API-ul nostru<\/a><\/noindex> a fost disponibil doar \u00een Paris, ceea ce era suboptim. Ar fi fost de dorit s\u0103 avem posibilitatea de a plasa aplica\u021bii nu doar \u00een Europa, ci \u0219i \u00een Asia \u0219i SUA.<\/p>\n

Aceast\u0103 sensibilitate la \u00eent\u00e2rziere a \u00eensemnat c\u0103 trebuia s\u0103 lucr\u0103m serios la arhitectura re\u021belei platformei. \u00cen timp ce majoritatea serviciilor cloud obligau la crearea unei re\u021bele proprii \u00een fiecare regiune \u0219i apoi la conectarea lor prin VPN sau un serviciu gestionat, Google Cloud permitea crearea unei re\u021bele complet ruteizabile unice, care acoper\u0103 toate regiunile Google. Aceasta este un mare avantaj \u00een ceea ce prive\u0219te operarea \u0219i eficien\u021ba sistemului.<\/p>\n

\u00cen plus, serviciile de re\u021bea \u0219i echilibratoarele de \u00eenc\u0103rcare de la Google Cloud \u00ee\u0219i fac treaba excelent. Ele permit pur \u0219i simplu utilizarea oric\u0103ror IP-uri publice din fiecare regiune, iar minunatul protocol BGP se va ocupa de tot restul (adic\u0103 va redirec\u021biona utilizatorii c\u0103tre cel mai apropiat cluster). Este evident c\u0103, \u00een caz de defec\u021biune, traficul va merge automat \u00een alt\u0103 regiune f\u0103r\u0103 nicio interven\u021bie uman\u0103.<\/p>\n

\"Tranzi\u021bia
\nMonitorizarea echilibr\u0103rii \u00eenc\u0103rc\u0103rilor \u00een Google<\/i><\/p>\n

Platforma noastr\u0103 folose\u0219te de asemenea intens procesoare grafice. Google Cloud permite utilizarea lor \u00eentr-un mod foarte eficient chiar \u00een clusterele Kubernetes.<\/p>\n

\u00cen acel moment, echipa de infrastructur\u0103 se concentra \u00een principal pe vechiul stiv\u0103 desf\u0103\u0219urat\u0103 pe servere fizice. De aceea, utilizarea unui serviciu gestionat (inclusiv componentele master ale Kubernetes) r\u0103spundea cerin\u021belor noastre \u0219i le permitea echipelor s\u0103 se familiarizeze cu clusterele locale.<\/p>\n

Ca rezultat, am reu\u0219it s\u0103 \u00eencepem s\u0103 primim trafic \u00een produc\u021bie pe infrastructura Google Cloud la doar 6 luni dup\u0103 \u00eenceperea lucr\u0103rii.<\/p>\n

Cu toate acestea, \u00een ciuda unei serii de avantaje, colaborarea cu un furnizor de cloud implic\u0103 anumite costuri, care pot cre\u0219te \u00een func\u021bie de \u00eenc\u0103rcare. De aceea, am analizat cu aten\u021bie fiecare serviciu gestionat utilizat, planific\u00e2nd s\u0103 le implement\u0103m \u00een viitor on-premises. De fapt, implementarea clusterelor locale a \u00eenceput la sf\u00e2r\u0219itul anului 2016 \u0219i atunci a fost ini\u021biat\u0103 strategia hibrid\u0103.<\/p>\n

Lansarea platformei locale de orchestrare a containerelor Dailymotion<\/h2>\n

<\/p>\n

Toamna anului 2016<\/p><\/blockquote>\n

\n\u00cen condi\u021biile \u00een care \u00eentreaga stiv\u0103 era gata pentru produc\u021bie, iar munca la API continu\u0103<\/a><\/noindex>, a fost o vreme s\u0103 ne concentr\u0103m pe clusterele regionale.<\/p>\n

\u00cen acel moment, utilizatorii vizionau lunar peste 3 miliarde de videoclipuri. Desigur, aveam \u00een func\u021biune de mai bine de un an o re\u021bea de livrare de con\u021binut bine dezvoltat\u0103. Am dorit s\u0103 profit\u0103m de aceast\u0103 ocazie pentru a implementa clustere Kubernetes \u00een centrele noastre de date existente.<\/p>\n

Infrastructura Dailymotion const\u0103 \u00een peste 2,5 mii de servere \u00een \u0219ase centre de date. Toate acestea sunt configurate cu ajutorul Saltstack. Am \u00eenceput s\u0103 preg\u0103tim toate re\u021betele necesare pentru creare de noduri master \u0219i worker, precum \u0219i a clusterei etcd.<\/p>\n

\"Tranzi\u021bia
\n<\/p>\n

Partea de re\u021bea<\/h3>\n

\nRe\u021beaua noastr\u0103 este complet rutabil\u0103. Fiecare server \u00ee\u0219i anun\u021b\u0103 IP-ul \u00een re\u021bea prin Exabgp. Am comparat mai multe pluginuri de re\u021bea \u0219i singurul care satisf\u0103cea toate cerin\u021bele (datorit\u0103 abord\u0103rii utilizate la nivel L3) a fost Calico<\/a><\/noindex>. S-a integrat perfect \u00een modelul de re\u021bea existent al infrastructurii.<\/p>\n

Pentru a folosi toate elementele de infrastructur\u0103 disponibile, mai \u00eent\u00e2i am trebuit s\u0103 ne familiariz\u0103m cu utilitarul nostru de re\u021bea (utilizat pe toate serverele): s\u0103-l folosim pentru a anun\u021ba intervalele de adrese IP \u00een re\u021beaua cu noduri Kubernetes. Am permis lui Calico s\u0103 aloce adrese IP pod-urilor, dar nu l-am folosit, \u0219i nu \u00eel folosim p\u00e2n\u0103 \u00een prezent pentru sesiunile BGP pe echipamentele de re\u021bea. De fapt, rutarea este gestionat\u0103 de Exabgp, care anun\u021b\u0103 subre\u021belele utilizate de Calico. Acest lucru ne permite s\u0103 acces\u0103m orice pod din re\u021beaua intern\u0103 (\u00een special de la echilibratoarele de \u00eenc\u0103rcare).<\/p>\n

Cum gestion\u0103m traficul ingress<\/h3>\n

\nPentru a redirec\u021biona cererile de intrare c\u0103tre serviciul dorit, s-a decis s\u0103 folosim Ingress Controller datorit\u0103 integr\u0103rii sale cu resursele ingress ale Kubernetes.<\/p>\n

Acum trei ani, nginx-ingress-controller era cel mai matur controler: Nginx era folosit de mult timp \u0219i era cunoscut pentru stabilitatea \u0219i performan\u021ba sa.<\/p>\n

\u00cen sistemul nostru, am decis s\u0103 plas\u0103m controlerele pe blade servere dedicate de 10 gigabi\u021bi. Fiecare controler era conectat la endpoint-ul kube-apiserver-ului corespunz\u0103tor clusterului. Pe aceste servere a fost utilizat \u0219i Exabgp pentru a anun\u021ba adresele IP publice sau private. Topologia re\u021belei noastre permite utilizarea BGP din aceste controlere pentru rutarea \u00eentregului trafic direct c\u0103tre pod-uri f\u0103r\u0103 a folosi un serviciu de tip NodePort. Aceast\u0103 abordare ajut\u0103 la evitarea traficului orizontal \u00eentre noduri \u0219i \u00eembun\u0103t\u0103\u021be\u0219te eficien\u021ba.<\/p>\n

\"Tranzi\u021bia
\nTraficul din internet c\u0103tre pod-uri<\/i><\/p>\n

Acum c\u0103 am \u00een\u021beles platforma noastr\u0103 hibrid\u0103, putem aprofunda procesul de migra\u021bie a traficului.<\/p>\n

Migrarea traficului din Google Cloud \u00een infrastructura Dailymotion<\/h2>\n

<\/p>\n

Toamna anului 2018<\/p><\/blockquote>\n

\nDup\u0103 aproape doi ani de creare, testare \u0219i configurare, am ob\u021binut \u00een sf\u00e2r\u0219it un stack complet Kubernetes, gata s\u0103 primeasc\u0103 o parte din trafic.<\/p>\n

\"Tranzi\u021bia
\n
\nStrategia actual\u0103 de rutare este destul de simpl\u0103, dar satisface nevoile. Pe l\u00e2ng\u0103 IP-urile publice (\u00een Google Cloud \u0219i Dailymotion), se folose\u0219te AWS Route 53 pentru a defini politicile \u0219i a redirec\u021biona utilizatorii c\u0103tre clusterul ales de noi.<\/p>\n

\"Tranzi\u021bia
\nExemplu de politic\u0103 de rutare utiliz\u00e2nd Route 53<\/i><\/p>\n

Din Google Cloud este simplu, deoarece folosim un singur IP pentru toate clusterele, iar utilizatorul este redirec\u021bionat c\u0103tre cel mai apropiat cluster GKE. Pentru clusterele noastre tehnologia este diferit\u0103, deoarece IP-urile lor sunt distincte.<\/p>\n

\u00cen timpul migra\u021biei, ne-am str\u0103duit s\u0103 redirec\u021bion\u0103m cererile regionale c\u0103tre clusterele corespunz\u0103toare \u0219i am evaluat beneficiile acestei abord\u0103ri.<\/p>\n

Av\u00e2nd \u00een vedere c\u0103 GKE-urile noastre sunt configurate pentru scalare automat\u0103 folosind metrici personalizate, acestea adaug\u0103\/reduc resursele \u00een func\u021bie de traficul entrant.<\/p>\n

\u00cen mod normal, tot traficul regional este direc\u021bionat c\u0103tre clusterul local, iar GKE serve\u0219te ca rezerv\u0103 \u00een caz de probleme (verific\u0103rile de s\u0103n\u0103tate sunt efectuate prin Route 53).<\/p>\n

\u2026<\/h2>\n

\n\u00cen viitor, ne dorim s\u0103 automatiz\u0103m complet politicile de rutare pentru a ob\u021bine o strategie hibrid\u0103 autonom\u0103 care \u00eembun\u0103t\u0103\u021be\u0219te constant disponibilitatea pentru utilizatori. Avantajele constau \u00een reducerea semnificativ\u0103 a costurilor pentru cloud \u0219i chiar \u00een scurtarea timpului de r\u0103spuns API. Avem \u00eencredere \u00een platforma cloud ob\u021binut\u0103 \u0219i suntem preg\u0103ti\u021bi s\u0103 redirec\u021bion\u0103m mai mult trafic spre aceasta, dac\u0103 este necesar.<\/p>\n

P.S. de la traduc\u0103tor<\/h2>\n

\nPoate v-a interesat \u0219i o alt\u0103 publica\u021bie recent\u0103 Dailymotion despre Kubernetes. Aceasta este dedicat\u0103 desf\u0103\u0219ur\u0103rii aplica\u021biilor cu Helm pe mai multe clustere Kubernetes \u0219i a fost publicat\u0103<\/a><\/noindex> aproximativ cu o lun\u0103 \u00een urm\u0103.<\/p>\n

Citi\u021bi \u0219i \u00een blogul nostru:<\/p>\n