PÄ internet (service mesh), och hÀr Àr en till. Hurrra! Men varför? För att jag vill uttrycka min Äsikt att det hade varit bÀttre om service-meshar hade dykt upp för 10 Är sedan, innan containerplattformar som Docker och Kubernetes kom. Jag hÀvdar inte att min Äsikt Àr bÀttre eller sÀmre Àn andra, men eftersom service-meshar Àr ganska komplexa fenomen, kommer en mÄngfald av perspektiv att hjÀlpa till att förstÄ dem bÀttre.
Jag kommer att berÀtta om plattformen dotCloud, som byggdes pÄ mer Àn hundra mikrotjÀnster och stödde tusentals applikationer i containrar. Jag kommer att förklara de problem vi stötte pÄ under utvecklingen och lanseringen, och hur service-meshar kunde ha hjÀlpt (eller inte hjÀlpt).
Historien om dotCloud
Jag har redan skrivit om historien bakom dotCloud och valet av arkitektur för denna plattform, men jag har berĂ€ttat lite om nĂ€tverksnivĂ„n. Om du inte vill dyka ner i lĂ€sningen om dotCloud, sĂ„ hĂ€r Ă€r kĂ€rnan: det Ă€r en plattform-som-en-tjĂ€nst PaaS, som lĂ„ter kunder köra ett brett spektrum av applikationer (Java, PHP, PythonâŠ), med stöd för ett brett spektrum av datatjĂ€nster (MongoDB, MySQL, RedisâŠ) och arbetsflöde som Heroku: du laddar upp din kod till plattformen, den bygger containerbilder och distribuerar dem.
Jag kommer att berÀtta hur trafiken dirigerades till plattformen dotCloud. Inte för att det var sÀrskilt imponerande (Àven om systemet fungerade ganska bra för sin tid!), utan framför allt för att med moderna verktyg kan en sÄdan design enkelt genomföras pÄ kort tid av ett blygsamt team, om de behöver en lösning för att dirigera trafik mellan en mÀngd mikrotjÀnster eller applikationer. PÄ sÄ sÀtt kan man jÀmföra alternativ: vad fÄr man om man utvecklar allt sjÀlva eller anvÀnder en befintlig service-mesh. Standardvalet: göra sjÀlv eller köpa.
Trafikdirigering för hosted-applikationer
Applikationer pÄ dotCloud kan erbjuda HTTP- och TCP-slutpunkter.
HTTP-slutpunkter lÀggs dynamiskt till i konfigurationen av lastbalanserarkluster . Det liknar vad resurser gör idag i Kubernetes och lastbalanserare som .
Kunder ansluter till HTTP-slutpunkter via motsvarande domÀner under förutsÀttning att domÀnnamnet pekar pÄ dotClouds lastbalanserare. Inget sÀrskilt.
TCP-slutpunkter Àr kopplade till portnumret, som sedan överförs till alla containrar inom denna stapel via miljövariabler.
Kunder kan ansluta till TCP-slutpunkter med hjÀlp av motsvarande vÀrdnamn (nÄgot i stil med gateway-X.dotcloud.com) och portnummer.
Detta vÀrdnamn löses upp till en klustertjÀnst "nats" (har inget att göra med ), som kommer att dirigera inkommande TCP-anslutningar till rÀtt container (eller, i fallet med tjÀnster med lastbalansering, till rÀtt containrar).
Om du Àr bekant med Kubernetes kommer det troligen att pÄminna dig om tjÀnster .
Det fanns inget motsvarande för tjÀnster pÄ dotCloud-plattformen : för enkelhetens skull skedde Ätkomsten till tjÀnster pÄ samma sÀtt bÄde inifrÄn och utanför plattformen.
Allt var organiserat ganska enkelt: de ursprungliga implementationerna av HTTP- och TCP-routingnÀtverk, sannolikt bara nÄgra hundra rader Python. Enkla (jag skulle sÀga naiva) algoritmer som förbÀttrades i takt med plattformens tillvÀxt och framvÀxten av ytterligare krav.
Omfattande omstrukturering av den befintliga koden var inte nödvÀndig. I synnerhet kan direkt anvÀnda adressen som erhÄllits via miljövariabler.
Hur skiljer detta sig frÄn moderna service-mesh-system?
BegrÀnsad observabilitet. Vi hade överhuvudtaget inga mÀtverktyg för TCP-routingnÀtet. NÀr det gÀller HTTP-routing i senare versioner introducerades detaljerade HTTP-mÀtvÀrden med felkoder och svarstider, men moderna service-mesh-system gÄr Ànnu lÀngre genom att erbjuda integration med system för mÀtinsamling, som Prometheus, till exempel.
Observabilitet Àr viktigt inte bara ur ett operativt perspektiv (för att hjÀlpa till med felsökning), utan ocksÄ vid lanseringen av nya funktioner. Det handlar om sÀker och .
Routingens effektivitet Àr ocksÄ begrÀnsad. I dotClouds routingnÀtverk mÄste all trafik passera genom en kluster av dedikerade routingnoder. Det innebar potentiell korsning av flera AZ-grÀnser (tillgÀnglighetszoner) och en avsevÀrt ökad fördröjning. Jag minns att jag felsökte kod som gjorde mer Àn hundra SQL-frÄgor per sida och för varje frÄga öppnade en ny anslutning till SQL-servern. Vid lokal körning laddas sidan omedelbart, men i dotCloud tar det flera sekunder att ladda, eftersom varje TCP-anslutning (och efterföljande SQL-frÄga) tar flera tiodelar av en millisekund. I detta specifika fall löstes problemet med permanenta anslutningar.
Moderna servicemeshar hanterar sĂ„dana problem bĂ€ttre. Först och frĂ€mst kontrollerar de att anslutningarna dirigeras till kĂ€llan. Den logiska strömmen Ă€r densamma: klient â mesh â service, men nu arbetar mesh lokalt istĂ€llet för pĂ„ avlĂ€gsna noder, sĂ„ anslutningen klient â mesh Ă€r lokal och mycket snabb (mikroskunder istĂ€llet för millisekunder).
Moderna servicemeshar implementerar ocksÄ smartare lastbalanseringsalgoritmer. Genom att övervaka backendens hÀlsa kan de skicka mer trafik till snabbare backends, vilket resulterar i ökad total prestanda.
SÀkerhet Àr ocksÄ bÀttre. DotClouds routingnÀtverk fungerade helt pÄ EC2 Classic och krypterade inte trafiken (baserat pÄ antagandet att om nÄgon lyckas installera en sniffer pÄ EC2:s nÀtverkstrafik har du redan stora problem). Moderna servicemeshar skyddar transparent hela vÄr trafik, till exempel med ömsesidig TLS-autentisering och efterföljande kryptering.
Routing av trafik för plattformstjÀnster
Okej, vi har diskuterat trafiken mellan applikationerna, men hur Àr det med sjÀlva dotCloud-plattformen?
SjÀlva plattformen bestod av ungefÀr hundra mikrotjÀnster som svarade för olika funktioner. Vissa tog emot förfrÄgningar frÄn andra, och vissa var bakgrundsarbetsare som kopplade till andra tjÀnster men inte sjÀlva tog emot anslutningar. I vilket fall som helst mÄste varje tjÀnst veta slutpunkterna för adresserna som den behöver ansluta till.
MĂ„nga högkvalitativa tjĂ€nster kan anvĂ€nda det routingnĂ€t som beskrivs ovan. Faktum Ă€r att mĂ„nga av mer Ă€n hundra mikrotjĂ€nster pĂ„ dotCloud har implementerats som vanliga applikationer pĂ„ dotCloud-plattformen. Men ett fĂ„tal lĂ„g-nivĂ„ tjĂ€nster (sĂ€rskilt de som implementerar detta routingnĂ€t) behövde nĂ„got enklare, med fĂ€rre beroenden (eftersom de inte kunde vara beroende av sig sjĂ€lva â det gamla goda hönan och Ă€gget-problemet).
Dessa lÄg-nivÄ viktiga tjÀnster implementerades genom att köra containrar direkt pÄ flera nyckelnoder. Detta involverade inte de standardtjÀnster som plattformen erbjuder: schemalÀggaren, planeraren och runner. Om man vill jÀmföra med moderna containrarplattformar, Àr detta likt att köra kontrollplanet med docker run direkt pÄ noderna, istÀllet för att delegera uppgiften till Kubernetes. Det Àr ganska likt konceptet. , som anvÀnds av eller vid uppstart av en fristÄende kluster.
Dessa tjÀnster exponerades pÄ ett enkelt och grovt sÀtt: deras namn och adresser listades i en YAML-fil; varje klient skulle ta en kopia av denna YAML-fil för deployment.
à ena sidan Àr detta extremt pÄlitligt, eftersom det inte krÀver stöd för ett externt nyckel/vÀrde-lagringssystem som Zookeeper (kom ihÄg, vid den tiden fanns det fortfarande inget etcd eller Consul). à andra sidan försvÄrade det flytten av tjÀnster. Varje gÄng en flytt gjordes, var alla kunder tvungna att fÄ den uppdaterade YAML-filen (och potentiellt starta om). Inte sÄ praktiskt!
Senare började vi implementera ett nytt schema dÀr varje klient kopplade upp sig mot en lokal proxyserver. IstÀllet för adress och port rÀcker det med att veta tjÀnstens portnummer och koppla upp sig genom localhost. Den lokala proxyservern hanterar denna anslutning och dirigerar den till den faktiska servern. Nu nÀr backend flyttas till en annan maskin eller skalar, behöver man istÀllet för att uppdatera alla kunder bara uppdatera dessa lokala proxys; och omstart Àr inte lÀngre nödvÀndig.
(Det var ocksÄ planerat att kapsla in trafiken i TLS-anslutningar och sÀtta en till proxyserver pÄ mottagarsidan, samt att kontrollera TLS-certifikat utan att involvera den mottagande tjÀnsten, som Àr instÀlld för att ta emot anslutningar endast pÄ localhost. Mer om detta senare).
Det liknar mycket frÄn Airbnb, men den viktiga skillnaden Àr att SmartStack Àr implementerat och distribuerat i produktion, medan det interna routingsystemet dotCloud lades ner nÀr dotCloud blev Docker.
Jag anser personligen att SmartStack Àr en av föregÄngarna till system som Istio, Linkerd och Consul Connect, eftersom alla följer samma mönster:
- Kör en proxy pÄ varje nod.
- Klienterna ansluter till proxyn.
- Kontrollplanet uppdaterar proxyserverns konfiguration nÀr backend förÀndras.
- ⊠Vinst!
Modern implementation av service mesh
Om vi behöver implementera ett sÄdant nÀtverk idag kan vi anvÀnda liknande principer. Till exempel kan vi stÀlla in en intern DNS-zon som kopplar tjÀnsternas namn till adresser i omrÄdet 127.0.0.0/8. Sedan kan vi köra HAProxy pÄ varje nod i klustret, som tar emot anslutningar pÄ varje tjÀnstadress (i detta subnÀt 127.0.0.0/8) och omdirigerar/balanserar lasten till motsvarande backends. Konfigurationen av HAProxy kan hanteras , vilket gör att man kan lagra information om backend i etcd eller Consul och automatiskt pusha den uppdaterade konfigurationen till HAProxy nÀr det behövs.
SÄ hÀr fungerar Istio ungefÀr! Men med vissa skillnader:
- AnvÀnder i stÀllet för HAProxy.
- Lagrar backendkonfigurationen via Kubernetes API istÀllet för etcd eller Consul.
- TjÀnster tilldelas adresser i det interna subnÀtet (Kubernetes ClusterIP adresser) istÀllet för 127.0.0.0/8.
- Har en extra komponent (Citadel) för att möjliggöra ömsesidig TLS-autentisering mellan klient och servrar.
- Stöder nya funktioner som circuit breaking, distribuerad spÄrning, kanardepployment m.m.
LÄt oss kort övervÀga nÄgra skillnader.
Envoy Proxy
Envoy Proxy skrevs av Lyft [en konkurrent till Uber pĂ„ taximarknaden â övers. anm.]. Det liknar till stor del andra proxys (som HAProxy, Nginx, TraefikâŠ), men Lyft skrev sin egen eftersom de behövde funktioner som saknades i andra proxys, och det verkade mer rimligt att göra en ny Ă€n att utvidga en befintlig.
Envoy kan anvÀndas sjÀlvstÀndigt. Om jag har en specifik tjÀnst som behöver ansluta till andra tjÀnster kan jag konfigurera den för att koppla till Envoy och sedan göra dynamiska konfigurationer och omkonfigurationer av Envoy med andra tjÀnsters placeringar, samtidigt som jag fÄr mÄnga utmÀrkta tillÀggsfunktioner, som exempelvis insyn. IstÀllet för att anvÀnda en anpassad klientbibliotek eller infoga kod för spÄrning av anrop, dirigerar vi trafiken till Envoy, som samlar in statistik för oss.
Men Envoy kan ocksÄ fungera som dataplan (data plane) för service mesh. Det betyder att för denna service mesh konfigureras Envoy kontrollplan (control plane).
Kontrollplanen
I kontrollplanen förlitar sig Istio pÄ Kubernetes API. Detta skiljer sig inte mycket frÄn att anvÀnda confd, som förlitar sig pÄ etcd eller Consul för att se en uppsÀttning nycklar i datalagret. Istio lÀser en uppsÀttning Kubernetes-resurser via Kubernetes API.
Under tiden: personligen tyckte jag att detta var anvÀndbart , som sÀger:
Kubernetes API-servern Àr en "dum server" som tillhandahÄller lagring, versionering, validering, uppdatering och semantisk hantering av API-resurser.
Istio Àr utformat för att arbeta med Kubernetes; och om du vill anvÀnda det utanför Kubernetes mÄste du köra en instans av Kubernetes API-servern (och den stödjande tjÀnsten etcd).
TjÀnsadresser
Istio förlitar sig pÄ adresser ClusterIP som tilldelas av Kubernetes, sÄ tjÀnster i Istio fÄr en intern adress (inte i intervallet 127.0.0.0/8).
Trafik till ClusterIP-adressen för en viss tjÀnst i Kubernetes-klustret utan Istio fÄngas av kube-proxy och dirigeras till backend av denna proxy. Om du Àr intresserad av tekniska detaljer, sÄ stÀller kube-proxy in iptables-regler (eller IPVS belastningsbalanserare beroende pÄ hur den Àr konfigurerad) för att skriva om destinations-IP-adresser för anslutningar som gÄr till ClusterIP-adressen.
Efter installationen av Istio i Kubernetes-klustret förÀndras inget förrÀn det uttryckligen aktiveras för en specifik anvÀndare eller till och med hela namnrymden, genom att introducera en container sidecar i anpassade pods. Denna container kommer att starta en instans av Envoy och stÀlla in en uppsÀttning iptables-regler för att fÄnga trafiken som gÄr till andra tjÀnster och omdirigera den trafiken till Envoy.
Vid integrering med Kubernetes DNS innebÀr det att vÄr kod kan ansluta med tjÀnstens namn, och allt "bara fungerar". Med andra ord, vÄr kod gör förfrÄgningar av typen http://api/v1/users/4242, dÄ api löses förfrÄgan till 10.97.105.48, reglerna för iptables fÄngar upp anslutningar frÄn 10.97.105.48 och omdirigerar dem till den lokala proxyservicen Envoy, och den lokala proxyn skickar förfrÄgan till den faktiska API-backenden. Phuh!
Ytterligare detaljer
Istio erbjuder ocksÄ end-to-end kryptering och autentisering via mTLS (ömsesidig TLS). Detta ansvarar en komponent som kallas Citadel.
Det finns ocksÄ en komponent Mixer, som Envoy kan begÀra för varje begÀran, för att fatta ett specialbeslut om denna förfrÄgan beroende pÄ olika faktorer, sÄsom headers, backend-belastning, osv... (oroliga inte: det finns mÄnga medel för att sÀkerstÀlla att Mixer fungerar, och Àven om det skulle krascha kommer Envoy fortsatt fungera normalt som proxy).
Och, naturligtvis, vi nÀmnde spÄrbarhet: Envoy samlar in en enorm mÀngd metrik, samtidigt som det erbjuder distribuerad spÄrning. I en mikrotjÀnstarkitektur, om en API-förfrÄgan mÄste gÄ genom mikrotjÀnsterna A, B, C och D, sÄ vid systemets ingÄng lÀgger den distribuerade spÄrningen till en unik identifierare till förfrÄgan och behÄller denna identifierare genom undersökningar till alla dessa mikrotjÀnster, vilket möjliggör registrering av alla relaterade anrop, deras latens, osv.
Utveckla eller köpa
Istio har ett rykte av att vara ett komplext system. TvÀrtom, att bygga det routingnÀtverk som jag beskrev i början av det hÀr inlÀgget Àr relativt enkelt med hjÀlp av befintliga verktyg. SÄ, finns det en poÀng i att istÀllet skapa sin egen service mesh?
Om vi har blygsamma behov (inga krav pÄ spÄrbarhet, kedjebrytare och andra detaljer) sÄ tÀnker man pÄ att utveckla sitt eget verktyg. Men om vi anvÀnder Kubernetes kan det till och med vara onödigt, eftersom Kubernetes redan tillhandahÄller grundlÀggande verktyg för tjÀnstedetektering och lastbalansering.
Men om vi har avancerade krav, sÄ framstÄr "köpandet" av en service mesh som ett mycket bÀttre alternativ. (Det Àr inte alltid just ett "köp", eftersom Istio Àr open source, men vi mÄste fortfarande investera ingenjörstid för att förstÄ hur det fungerar, distribuera och hantera det).
Vad ska man vÀlja: Istio, Linkerd eller Consul Connect?
Hittills har vi bara pratat om Istio, men det Àr inte den enda service mesh. Ett populÀrt alternativ Àr , och det finns Àven .
Vad ska man vÀlja?
Ărligt talat vet jag inte. För tillfĂ€llet tycker jag inte att jag Ă€r tillrĂ€ckligt kompetent för att svara pĂ„ den frĂ„gan. Det finns flera jĂ€mförelser av dessa verktyg och Ă€ven .
Ett av de lovande tillvĂ€gagĂ„ngssĂ€tten Ă€r att anvĂ€nda ett verktyg som . Det implementerar ett abstraheringslager för att förenkla och enhetliggöra API:erna som tillhandahĂ„lls av service meshes. IstĂ€llet för att behöva lĂ€ra oss specifika (och, enligt mig, relativt komplicerade) API:er frĂ„n olika service meshes, kan vi anvĂ€nda de enklare konstruktionerna i SuperGloo â och lĂ€tt vĂ€xla frĂ„n en till en annan, som om vi har ett mellanformat för konfiguration som beskriver HTTP-grĂ€nssnitt och backend, som kan generera faktisk konfiguration för Nginx, HAProxy, Traefik, ApacheâŠ
Jag har lekt lite med Istio och SuperGloo, och i nÀsta artikel vill jag visa hur man lÀgger till Istio eller Linkerd i en befintlig kluster med hjÀlp av SuperGloo, och hur bra det senare klarar av att göra sitt jobb, det vill sÀga möjligheten att vÀxla mellan service meshes utan att behöva skriva om konfigurationerna.
KĂ€lla: habr.com
