Deployment av applikationer i VM, Nomad och Kubernetes

Hej alla! Jag heter Pavel Agaletsky. Jag arbetar som teamledare i ett team som utvecklar Lamodas leveranssystem. År 2018 talade jag pĂ„ konferensen HighLoad++, och idag vill jag presentera en transkription av mitt föredrag.

Min Àmne handlar om vÄr företags erfarenhet av att distribuera system och tjÀnster i olika miljöer. FrÄn vÄra förhistoriska tider, nÀr vi distribuerade alla system pÄ vanliga virtuella servrar, till den gradvisa övergÄngen frÄn Nomad till distribution i Kubernetes. Jag kommer att berÀtta om varför vi gjorde detta och vilka problem vi hade under processen.

Spela video

Distribution av applikationer pÄ VM

Vi börjar med att konstatera att för tre Är sedan distribuerades alla företagets system och tjÀnster pÄ vanliga virtuella servrar. Tekniskt sett organiserades det sÄ att all kod för vÄra system lÄg och byggdes via automatiserad byggprocess med hjÀlp av Jenkins. Med Ansible distribuerades den frÄn vÄrt versionskontrollsystem till de virtuella servrarna. Varje system som fanns i vÄrt företag distribuerades pÄ minst tvÄ servrar: en av dem var head och den andra var tail. Dessa tvÄ system var helt identiska med avseende pÄ alla sina instÀllningar, kapacitet, konfiguration och sÄ vidare. Skillnaden mellan dem var endast att head tog emot anvÀndartjÀnst, medan tail aldrig fick nÄgot anvÀndartrafik.

Varför gjorde vi detta?

NÀr vi distribuerade nya versioner av vÄr applikation ville vi sÀkerstÀlla att det fanns en sömlös distribution, det vill sÀga utan mÀrkbara konsekvenser för anvÀndarna. Detta uppnÄddes genom att den senaste sammanstÀllda versionen med hjÀlp av Ansible distribuerades till tail. DÀr kunde de personer som ansvarade för distributionen kontrollera och se till att allt fungerade bra: alla mÀtvÀrden, sektioner och applikationer fungerade; nödvÀndiga skript kördes. Endast efter att de var övertygade om att allt var i ordning, vÀxlades trafiken. Den började gÄ till den server som tidigare var tail. Och den som tidigare var head förblev utan anvÀndartjÀnst, men hade den tidigare versionen av vÄr applikation.

DÀrmed var det sömlöst för anvÀndarna. Eftersom vÀxlingen Àr omedelbar, dÄ det bara handlar om att byta lastbalanserare. Det Àr mycket enkelt att ÄtergÄ till en tidigare version genom att helt enkelt byta tillbaka lastbalanseraren. Vi kunde ocksÄ försÀkra oss om applikationens kapabiliteter i produktion innan den fick anvÀndartrafik, vilket var ganska bekvÀmt.

Vilka fördelar sÄg vi i allt detta?

  1. Framför allt Àr det ganska enkelt att fÄ det att fungera. Det Àr tydligt för alla hur ett sÄdant distributionsschema fungerar, eftersom de flesta mÀnniskor har distribuerat pÄ vanliga virtuella servrar nÄgon gÄng.
  2. Det Àr ganska pÄlitligt, eftersom distributionsmetoden Àr enkel och har prövats av tusentals företag. Miljoner servrar distribueras pÄ detta sÀtt. Det Àr svÄrt att bryta nÄgot.
  3. Och slutligen kunde vi fÄ atomÀra distributioner. Distributioner som sker för anvÀndarna samtidigt, utan en mÀrkbar övergÄng mellan den gamla och nya versionen.

Men i allt detta sÄg vi ocksÄ nÄgra nackdelar:

  1. Förutom produktionsmiljön och utvecklingsmiljön finns det Àven andra miljöer. Till exempel QA och preproduktion. Vid det tillfÀllet hade vi mÄnga servrar och cirka 60 tjÀnster. DÀrför var vi tvungna att bibehÄlla den aktuella versionen av den virtuella maskinen för varje tjÀnst. Dessutom, om du vill uppdatera bibliotek eller installera nya beroenden, mÄste du göra det i alla miljöer. Tidpunkten för nÀr du tÀnker distribuera den nya versionen av din applikation mÄste ocksÄ synkroniseras med tidpunkten dÄ devops utför de nödvÀndiga konfigurationerna av miljön. I sÄdana fall Àr det lÀtt att hamna i en situation dÀr miljön ser helt olika ut i alla miljöer direkt efter varandra. Till exempel kan det finnas en uppsÀttning bibliotek i QA-miljön, medan det finns en annan i produktion, vilket kan leda till problem.
  2. SvÄrigheten med att uppdatera beroenden av din applikation. Det beror inte pÄ dig, utan pÄ ett annat team. NÀmligen devops-teamet, som stöder servrarna. Du mÄste ge dem en lÀmplig uppgift och beskriva vad du vill Ästadkomma.
  3. Vid den tiden ville vi ocksÄ dela upp vÄra stora monoliter i mindre tjÀnster, eftersom vi insÄg att antalet skulle öka stÀndigt. DÄ hade vi redan över 100 sÄdana. För varje ny tjÀnst behövde vi skapa en ny virtuell maskin, som ocksÄ mÄste underhÄllas och distribueras. Dessutom behövdes det inte bara en maskin, utan minst tvÄ. Dessutom tillkom en QA-miljö. Detta skapar problem och gör det mer komplicerat, kostsamt och tidskrÀvande att skapa och lansera nya system.

DÀrför beslutade vi att det skulle vara mer praktiskt att övergÄ frÄn att distribuera vanliga virtuella maskiner till att köra vÄra applikationer i Docker-containrar. Med Docker behövs ett system som kan köra applikationen i ett kluster, eftersom man inte bara kan starta en container utan vidare. Vanligtvis vill man hÄlla koll pÄ hur mÄnga containrar som Àr aktiva, sÄ att de startas automatiskt. Av den anledningen behövde vi vÀlja ett administrationssystem.

Vi funderade lÀnge pÄ vilket av dem som skulle vara lÀmpligt. Problemet var att vÄr deployment-stack för vanliga virtuella servrar vid den tiden var nÄgot förÄldrad, eftersom det fanns inte de senaste versionerna av operativsystemen. Vid nÄgot tillfÀlle hade vi till och med FreeBSD, som var ganska besvÀrligt att underhÄlla. Vi insÄg att vi behövde migrera till Docker sÄ snart som möjligt. VÄrt DevOps-team tittade pÄ sin befintliga erfarenhet av olika lösningar och valde ett system som Nomad.

ÖvergĂ„ngen till Nomad

Nomad Àr en produkt frÄn företaget "HashiCorp". De Àr ocksÄ kÀnda för sina andra lösningar:

Deployment av applikationer i VM, Nomad och Kubernetes

"Consul" — ett verktyg för tjĂ€nstedetektering.

"Terraform" — ett system för serverhantering som lĂ„ter dig konfigurera dem via kod, sĂ„ kallad infrastructure-as-code.

"Vagrant" möjliggör lokal eller moln-baserad distribution av virtuella maskiner genom specifika konfigurationsfiler.

Nomad verkade vid den tiden vara en ganska enkel lösning att snabbt övergÄ till utan att Àndra hela infrastrukturen. Dessutom Àr det ganska lÀtt att lÀra sig. DÀrför valde vi just det som vÄrt filtreringssystem för containrar.

Vad behövs för att överhuvudtaget distribuera ditt system i Nomad?

  1. Först och frĂ€mst behövs en docker image din applikation. Den mĂ„ste byggas och placeras i dockerbildens lagring. I vĂ„rt fall Ă€r det artifactory — en sĂ„dan system som gör det möjligt att pusha olika typer av artefakter. Det kan lagra arkiv, dockerbilder, PHP Composer-paket, NPM-paket och sĂ„ vidare.
  2. Det Àr ocksÄ nödvÀndigt konfigurationsfilen, vilket talar om för Nomad vad, var och i vilken mÀngd du vill distribuera.

NÀr vi pratar om Nomad anvÀnds HCL som format för informationsfilen, vilket stÄr för HashiCorp Configuration Language. Det Àr en övermÀngd av Yaml som lÄter dig beskriva din tjÀnst i termer av Nomad.

Deployment av applikationer i VM, Nomad och Kubernetes

Det tillÄter dig att ange hur mÄnga containrar du vill distribuera, frÄn vilka bilder, och för att överföra olika parametrar vid distribution. PÄ sÄ sÀtt matar du in denna fil till Nomad, och den startar containrar i produktion i enlighet med den.

I vÄrt fall insÄg vi att det inte skulle vara praktiskt att skriva helt identiska HCL-filer för varje tjÀnst, eftersom det finns sÄ mÄnga tjÀnster och ibland vill man uppdatera dem. Det hÀnder att en tjÀnst distribueras i flera exemplar, inte bara ett. Till exempel har ett av systemen som ligger i produktion över 100 instanser i drift. De körs frÄn samma bilder, men med olika konfigurationsinstÀllningar och konfigurationsfiler.

DĂ€rför bestĂ€mde vi att det skulle vara praktiskt att lagra alla vĂ„ra konfigurationsfiler för distribution i ett gemensamt förrĂ„d. PĂ„ sĂ„ sĂ€tt kan de granskas: de Ă€r lĂ€tta att underhĂ„lla och man kan se vilka system vi har. Vid behov Ă€r det inte svĂ„rt att uppdatera eller Ă€ndra nĂ„got. Att lĂ€gga till ett nytt system Ă€r heller inget problem — det rĂ€cker med att skapa en konfigurationsfil i en ny mapp. Inuti den finns filerna: service.hcl, som innehĂ„ller beskrivningen av vĂ„r tjĂ€nst, och vissa env-filer, som gör att denna tjĂ€nst, nĂ€r den vĂ€l Ă€r distribuerad i produktion, kan konfigureras.

Deployment av applikationer i VM, Nomad och Kubernetes

Men nÄgra av vÄra system Àr inte distribuerade i produktion i ett exemplar utan i flera samtidigt. DÀrför beslutade vi att det skulle vara bekvÀmt att lagra inte konfigurerade filer i sin rena form, utan i deras templatiserade form. Som sprÄk för templatisering valde vi jinja 2. I detta format lagras bÄde konfigurationerna för tjÀnsten och de env-filer som den behöver.

Dessutom har vi inkluderat ett gemensamt skript för distribution i repositoryt för alla projekt, vilket gör att du kan starta och distribuera din tjÀnst till produktion, i rÀtt miljö och till rÀtt mÄl. NÀr vi omvandlade vÄr HCL-konfiguration till en mall, sÄg HCL-filen, som tidigare var en vanlig Nomad-konfiguration, lite annorlunda ut.

Deployment av applikationer i VM, Nomad och Kubernetes

Det vill sÀga att vi ersatte vissa variabler i konfigurationen med insÀttningar av variabler som hÀmtas frÄn env-filer eller andra kÀllor. Dessutom fick vi möjlighet att dynamiskt sammanstÀlla HCL-filer, vilket innebÀr att vi kan anvÀnda mer Àn bara vanliga variabelinsÀttningar. Eftersom Jinja stödjer loopar och villkor, kan vi Àven skapa konfigurationsfiler som Àndras beroende pÄ var du faktiskt distribuerar dina applikationer.

Till exempel, om du vill distribuera din tjÀnst till pre-production och produktion. Anta att du i pre-production inte vill köra cron-skript utan bara vill se tjÀnsten pÄ en separat domÀn för att kontrollera att den fungerar. För alla som distribuerar en tjÀnst ser processen mycket enkel och transparent ut. Det rÀcker med att köra filen deploy.sh, ange vilken tjÀnst du vill distribuera och till vilket mÄl. Till exempel, om du vill distribuera ett visst system till Ryssland, Vitryssland eller Kazakstan. För att göra detta rÀcker det att bara Àndra en av parametrarna, sÄ kommer rÀtt konfigurationsfil att skapas.

NÀr NomadtjÀnsten redan Àr distribuerad i din kluster ser den ut pÄ följande sÀtt.

Deployment av applikationer i VM, Nomad och Kubernetes

Först behöver du en viss extern lastbalanserare som kommer att ta emot all anvÀndartjÀnsttrafik. Den kommer att arbeta tillsammans med Consul och frÄga den var, pÄ vilken nod, med vilken IP-adress den specifika tjÀnsten som motsvarar det specifika domÀnnamnet finns. TjÀnsterna i Consul dyker upp frÄn Nomad sjÀlv. Eftersom detta Àr produkter frÄn samma företag Àr de vÀl integrerade. Man kan sÀga att Nomad direkt stödjer registreringen av alla tjÀnster som startas i Consul.

NĂ€r din externa lastbalanserare har fĂ„tt reda pĂ„ vilken tjĂ€nst den ska skicka trafik till, omdirigerar den trafiken till motsvarande container eller flera containrar som hör till din applikation. SjĂ€lvklart mĂ„ste man ocksĂ„ tĂ€nka pĂ„ sĂ€kerheten. Även om alla tjĂ€nster körs pĂ„ samma virtuella maskiner i containrar, krĂ€vs det vanligtvis att man förbjuder obehörig tillgĂ„ng frĂ„n en tjĂ€nst till en annan. Vi Ă„stadkom detta genom segmentering. Varje tjĂ€nst kördes i sitt egna virtuella nĂ€tverk, dĂ€r regler för routing och regler för Ă„tkomsttillstĂ„nd/blockering till andra system och tjĂ€nster var definierade. De kunde befinna sig bĂ„de inom denna kluster och utanför. Till exempel, om du vill förbjuda en tjĂ€nst att koppla upp sig mot en viss databas, kan detta göras genom segmentering pĂ„ nĂ€tverksnivĂ„. Det innebĂ€r att du inte av misstag kan koppla upp dig frĂ„n testmiljön till din produktionsdatabas.

Vad kostade övergÄngsprocessen i form av personalresurser?

ÖvergĂ„ngen av hela företaget till Nomad tog ungefĂ€r 5-6 mĂ„nader. Vi genomförde det tjĂ€nst för tjĂ€nst, men i ett ganska snabbt tempo. Varje team var tvungna att skapa sina egna containrar för sina tjĂ€nster.

Vi har antagit en sÄdan tillvÀgagÄngssÀtt dÀr varje team ansvarar för docker images av sina system sjÀlva. DevOps tillhandahÄller den gemensamma infrastrukturen som Àr nödvÀndig för distribution, det vill sÀga stöd för sjÀlva klustret, stöd för CI-systemet och sÄ vidare. Vid den tiden hade över 60 system flyttat över till Nomad, vilket resulterade i ungefÀr 2 000 containrar.

DevOps ansvarar för den gemensamma infrastrukturen för allt som rör distribution och servrar. Varje utvecklingsteam ansvarar i sin tur för implementeringen av containrar för sitt specifika system, eftersom det Àr just teamet som vet vad de behöver i den eller den containern.

Orsaker till att avbryta anvÀndningen av Nomad

Vilka fördelar fick vi av att övergÄ till distribution via Nomad och Docker?

  1. Vi sÀkra likvÀrdiga villkor för alla miljöer. I utveckling, QA-miljöer, förproduktionen och produktionen anvÀnds samma containerbilder, med samma beroenden. SÄledes har ni knappt nÄgon chans att det som hamnar i produktion Àr nÄgot annat Àn vad ni tidigare har testat lokalt eller i testmiljön.
  2. Vi har ocksÄ upptÀckt att det Àr tillrÀckligt enkelt att lÀgga till en ny tjÀnst. Alla nya system kan enkelt startas upp nÀr det kommer till deployment. Det rÀcker att gÄ till det repository som lagrar konfigurationerna, lÀgga till en ny konfigurationsfil för ert system, och sÄ Àr ni klara. Ni kan deploya ert system till produktion utan ytterligare anstrÀngningar frÄn DevOps.
  3. Alla konfigurationsfiler i ett gemensamt repository visade sig vara överskÄdliga. I det ögonblicket vi deployade vÄra system med hjÀlp av virtuella servrar, anvÀnde vi Ansible, dÀr konfigurationerna lÄg i samma repository. Men för de flesta utvecklare var det lite mer komplicerat att arbeta med detta. Volymen av konfigurationer och kod som ni behöver lÀgga till för att deploya tjÀnsten har blivit mycket mindre. Dessutom Àr det vÀldigt enkelt för DevOps att justera eller Àndra detta. Vid övergÄngar, till exempel till en ny version av Nomad, kan de enkelt massuppdatera alla operativa filer som ligger pÄ samma stÀlle.

Men vi stötte ocksÄ pÄ flera nackdelar:

Det visade sig att vi inte kunde uppnÄ sömlös deployment i fallet med Nomad. Vid utrullning av containrar frÄn olika miljöer kunde det hÀnda att den blev körd, och Nomad uppfattade den som redo att ta emot trafik. Detta hÀnde innan applikationen inne i den hade tid att starta. PÄ grund av detta började systemet under en kort tid att ge 500-fel, eftersom trafiken började gÄ till en container som Ànnu inte var redo att ta emot den.

Vi stötte pĂ„ nĂ„gra buggarDet mest betydande felet Ă€r att Nomad inte hanterar stora kluster sĂ€rskilt bra om du har mĂ„nga system och containrar. NĂ€r du vill ta en av servrarna i klustret Nomad ur drift finns det en ganska stor sannolikhet att klustret inte mĂ„r sĂ€rskilt bra och gĂ„r sönder. Vissa containrar kan till exempel falla och inte starta igen – det kan bli vĂ€ldigt dyrt för dig senare om alla dina system Ă€r i produktion just i klustret som hanteras av Nomad.

DÀrför bestÀmde vi oss för att tÀnka pÄ vad vi skulle göra hÀrnÀst. Vid den tidpunkten insÄg vi mycket bÀttre vad vi ville uppnÄ. NÀmligen: vi vill ha pÄlitlighet, lite fler funktioner Àn vad Nomad erbjuder, och ett mer moget, stabilt system.

I detta avseende valde vi Kubernetes som den mest populÀra plattformen för att köra kluster. SÀrskilt med tanke pÄ att storleken och antalet av vÄra containrar var ganska stort. För sÄdana ÀndamÄl verkade Kubernetes vara det mest lÀmpliga systemet av de vi kunde övervÀga.

ÖvergĂ„ng till Kubernetes

Jag ska kort berÀtta om de grundlÀggande begreppen i Kubernetes och vad som skiljer dem frÄn Nomad.

Deployment av applikationer i VM, Nomad och Kubernetes

Först och frÀmst Àr det mest grundlÀggande begreppet i Kubernetes begreppet pod. Pod Àr en grupp av en eller flera containrar som alltid körs tillsammans. Och de fungerar som om de alltid strikt finns pÄ en och samma virtuella maskin. De Àr tillgÀngliga för varandra via IP-adressen 127.0.0.1 pÄ olika portar.

Anta att du har en PHP-applikation som bestĂ„r av nginx och php-fpm – en klassisk konfiguration. Du kommer sannolikt att vilja att bĂ„de nginx- och php-fpm-containrar alltid Ă€r tillsammans. Kubernetes gör det möjligt att uppnĂ„ detta genom att beskriva dem som en gemensam pod. Precis det kunde vi inte fĂ„ till stĂ„nd med hjĂ€lp av Nomad.

Det andra begreppet Ă€r deployment. PoĂ€ngen Ă€r att pod sjĂ€lv Ă€r en flyktig sak, den startar och försvinner. Vill du först döda alla dina tidigare containrar och sedan starta om nya versioner, eller vill du rulla ut dem gradvis – just denna process hanteras av begreppet deployment. Det beskriver hur du distribuerar dina podar, i vilken mĂ€ngd och hur du uppdaterar dem.

Det tredje begreppet Àr service. Ditt service Àr faktiskt ditt system som tar emot viss trafik och sedan dirigerar den till en eller flera poddar som motsvarar ditt service. Det betyder att den lÄter dig specificera att all inkommande trafik till en sÄdan tjÀnst med ett visst namn ska skickas till just dessa poddar. Och samtidigt sÀkerstÀller den att du fÄr en lastbalansering. Det innebÀr att du kan starta tvÄ poddar av din applikation, och all inkommande trafik kommer att balanseras jÀmnt mellan de poddar som tillhör denna tjÀnst.

Och det fjĂ€rde grundlĂ€ggande begreppet — Ingress. Det Ă€r en tjĂ€nst som körs i ett Kubernetes-kluster. Den fungerar som en extern lastbalanserare som tar emot alla förfrĂ„gningar. Med hjĂ€lp av API:n i Kubernetes Ingress kan den avgöra vart dessa förfrĂ„gningar ska skickas. Dessutom gör den det vĂ€ldigt flexibelt. Du kan sĂ€ga att alla förfrĂ„gningar till denna vĂ€rd och denna URL skickas till denna tjĂ€nst. Och dessa förfrĂ„gningar som kommer till denna vĂ€rd och till en annan URL skickas till en annan tjĂ€nst.

Det mest fantastiska ur perspektivet för den som utvecklar applikationen — Ă€r att du kan hantera allt detta sjĂ€lv. Genom att sĂ€tta upp Ingress-konfigurationen kan du skicka all trafik som kommer till en viss API till separata containrar, till exempel skrivna i Go. Och den hĂ€r trafiken som kommer till samma domĂ€n, men till en annan URL, kan skickas till containrar skrivna i PHP, dĂ€r det finns mycket logik, men som inte Ă€r sĂ€rskilt snabba.

Om man jÀmför alla dessa begrepp med Nomad kan man sÀga att de tre första begreppen tillsammans utgör Service. Det sista begreppet finns inte i Nomad. Vi har anvÀnt en extern lastbalanserare för detta: det kan vara haproxy, nginx, nginx+ och sÄ vidare. I fallet med Kubernetes behöver du inte införa detta ytterligare begrepp separat. Men om du tittar pÄ Ingress inuti, sÄ Àr det antingen nginx, haproxy eller traefik, men inbyggt i Kubernetes.

Alla de begrepp jag nĂ€mnt Ă€r i stort sett resurser som finns inom Kubernetes-klustret. För att beskriva dem i Kubernetes anvĂ€nds yaml-format, som Ă€r mer lĂ€sbart och bekant Ă€n HCL-filerna i Nomad. Men strukturellt beskriver de, till exempel för en pod, i princip detsamma. De sĂ€ger — jag vill distribuera sĂ„dana poddar dit, med sĂ„dana bilder, i sĂ„dant antal.

Deployment av applikationer i VM, Nomad och Kubernetes

Dessutom insÄg vi att vi inte ville skapa varje enskild resurs för hand: deployment, tjÀnster, Ingress och sÄ vidare. IstÀllet ville vi vid deployment beskriva varje system vi har i termer av Kubernetes, sÄ att vi inte behöver Äterskapa alla nödvÀndiga resursberoenden i rÀtt ordning manuellt. För detta ÀndamÄl valde vi Helm som system.

GrundlÀggande begrepp i Helm

Helm Àr paketchef för Kubernetes. Det liknar hur paketförvaltare fungerar i programmeringssprÄk. De lÄter dig lagra en tjÀnst som bestÄr av exempelvis en deployment för nginx, en deployment för php-fpm, en konfiguration för Ingress och configmaps (detta Àr en enhet som lÄter dig ange env och andra parametrar för ditt system) i form av sÄ kallade charts. Helm fungerar ovanpÄ Kubernetes. Det Àr alltsÄ inget system som stÄr vid sidan av, utan bara en annan tjÀnst som körs inuti klustret. Du interagerar med det via dess API genom kommandoraden. Dess bekvÀmlighet och fördelar ligger i att Àven om helm skulle krascha eller du tar bort det frÄn klustret, sÄ försvinner inte dina tjÀnster, eftersom helm i princip bara tjÀnar till att starta systemet. SjÀlva Kubernetes ansvarar för tjÀnsternas funktion och tillstÄnd.

Vi insÄg ocksÄ att mallning, som vi tidigare var tvungna att göra sjÀlva genom att införa jinja i vÄra konfigurationer, Àr en av de viktigaste funktionerna i helm. Alla konfigurationer du skapar för dina system lagras i helm i form av mallar, liknande jinja, men som egentligen anvÀnder mallningssprÄket Go, som helm Àr skrivet pÄ, precis som Kubernetes.

Helm lÀgger till ett par ytterligare begrepp.

Diagram — detta Ă€r en beskrivning av din tjĂ€nst. I andra paketförvaltare skulle detta kallas paket, bundle eller nĂ„got liknande. HĂ€r kallas det chart.

Values – det Ă€r variabler som du vill anvĂ€nda för att bygga dina konfigurationer frĂ„n mallar.

ReleaseVarje gĂ„ng en tjĂ€nst som deployas med hjĂ€lp av helm fĂ„r en inkrementell version av releasen. Helm kommer ihĂ„g vilken konfiguration tjĂ€nsten hade vid tidigare och föregĂ„ende releaser. DĂ€rför rĂ€cker det med att köra kommandot helm callback och ange den tidigare versionen av releasen för att Ă„terstĂ€lla. Även om den motsvarande konfigurationen inte Ă€r tillgĂ€nglig i ditt repository vid tidpunkten för Ă„terstĂ€llning, kommer helm fortfarande att komma ihĂ„g vilken den var och Ă„terstĂ€lla ditt system till det tillstĂ„nd det var i vid den tidigare releasen.

NÀr vi anvÀnder helm omvandlas vanliga konfigurationer för Kubernetes ocksÄ till mallar, dÀr det finns möjlighet att anvÀnda variabler, funktioner och tillÀmpa villkorssatser. PÄ sÄ sÀtt kan du bygga konfigurationen av din tjÀnst beroende pÄ miljön.

Deployment av applikationer i VM, Nomad och Kubernetes

I praktiken har vi valt att göra nÄgot annorlunda Àn vad vi gjorde i fallet med Nomad. Om i Nomad alla konfigurationer för deployment och n-variabler som behövs för att deploya vÄr tjÀnst lagrades i ett och samma repository, sÄ har vi hÀr valt att dela upp dem i tvÄ separata repositories. I repositoryt 'deploy' lagras endast n-variablerna som behövs för deployment, medan repositoryt 'helm' innehÄller konfigurationer eller charts.

Deployment av applikationer i VM, Nomad och Kubernetes

Vad gav detta oss?

Trots att vi inte lagrar nÄgra verkligt kÀnsliga uppgifter i konfigurationsfilerna, till exempel databasanvÀndarnamn och lösenord, som lagras som secrets i Kubernetes, finns det ÀndÄ sÀrskilda saker dit vi inte vill ge Ätkomst för alla. DÀrför Àr tillgÄngen till repositoryt 'deploy' mer begrÀnsad, medan repositoryt 'helm' bara innehÄller en beskrivning av tjÀnsten. Av denna anledning kan vi ge tillgÄng till det pÄ ett sÀkert sÀtt till en större krets av personer.

Eftersom vi har inte bara produktionsmiljöer utan Ă€ven andra miljöer, kan vi tack vare denna uppdelning Ă„teranvĂ€nda vĂ„ra helm-charts för att deploya tjĂ€nster inte bara i produktion, utan Ă€ven till exempel i QA-miljöer. Även för att driftsĂ€tta dem lokalt med hjĂ€lp av Minikube — det Ă€r en sĂ„dan grej för lokal körning av Kubernetes.

Inom varje repository har vi gjort en uppdelning i separata kataloger för varje tjÀnst. Det betyder att inom varje katalog finns mallar som Àr relaterade till motsvarande diagram och beskriver de resurser som behöver distribueras för att starta vÄrt system. I repositoryt "deploy" har vi endast lÀmnat envars. I detta fall har vi inte anvÀnt mallning med jinja, eftersom helm sjÀlv erbjuder mallning direkt - det Àr en av dess grundlÀggande funktioner.

Vi har lÀmnat ett skript för distribution - deploy.sh, som förenklar och standardiserar start av distribution med hjÀlp av helm. SÄledes ser distributionsgrÀnssnittet ut exakt som det gjorde i fallet med distribution via Nomad. Samma deploy.sh, namnet pÄ din tjÀnst och dit du vill distribuera den. Detta resulterar i att helm körs inuti. Den samlar konfigurationer frÄn mallarna, ersÀtter dem med nödvÀndiga values-filer och distribuerar dem i Kubernetes.

Slutsatser

Kubernetes-tjÀnsten verkar mer komplex Àn Nomad.

Deployment av applikationer i VM, Nomad och Kubernetes

HÀr kommer utgÄende trafik in i Ingress. Det Àr just frontkontrollern som tar emot alla förfrÄgningar och skickar dem vidare till de tjÀnster som Àr relevanta för de aktuella förfrÄgningarna. Den bestÀmmer dessa baserat pÄ konfigurationer som Àr en del av beskrivningen av din applikation i helm och som utvecklarna specificerar sjÀlva. TjÀnsten skickar förfrÄgningar till sina pods, det vill sÀga specifika containrar, och balanserar den inkommande trafiken mellan alla containrar som tillhör den aktuella tjÀnsten. Och naturligtvis fÄr vi inte glömma att sÀkerheten pÄ nÀtverksnivÄ Àr avgörande. DÀrför Àr det segmentering i Kubernetes-klustret, som baseras pÄ taggning. Alla tjÀnster har specifika taggar, till vilka rÀttigheter för tjÀnsternas tillgÄng till olika externa/interna resurser inuti eller utanför klustret Àr kopplade.

NÀr vi genomförde övergÄngen sÄg vi att Kubernetes har alla funktioner som Nomad, som vi tidigare anvÀnde, hade, och dessutom lÀgger till mycket nytt. Det kan utvidgas genom plugins och faktiskt genom anpassade resurstyper. Det innebÀr att du inte bara kan anvÀnda det som följer med Kubernetes utanför boxen, utan ocksÄ skapa din egen resurs och tjÀnst som kommer att lÀsa din resurs. Detta ger ytterligare möjligheter att utöka ditt system utan att behöva installera om Kubernetes och utan behov av förÀndringar.

Ett exempel pÄ sÄdan anvÀndning Àr Prometheus, som körs inom vÄr Kubernetes-kluster. För att det ska börja samla in metrik frÄn en viss tjÀnst behöver vi lÀgga till en extra resurstyp i tjÀnstbeskrivningen, sÄ kallad servicemonitor. Eftersom Prometheus kan lÀsa anpassade resurstyper nÀr det körs i Kubernetes, börjar det automatiskt samla in metrik frÄn det nya systemet. Det Àr ganska praktiskt.

Den första deployment vi gjorde i Kubernetes var i mars 2018. Och under den tiden har vi aldrig haft nÄgra problem med det. Det fungerar ganska stabilt utan betydande buggar. Dessutom kan vi vidareutveckla det. Idag rÀcker de möjligheter som finns i det, och vi gillar verkligen hastigheten pÄ utvecklingen av Kubernetes. För nÀrvarande finns det mer Àn 3000 containrar i Kubernetes. Klustret bestÄr av flera noder. Vidare Àr det underhÄllit, stabilt och mycket kontrollerat.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster