Kontejneri, mikroslužbe i servisni mesh-ovi

Na internetu hrpa članaka o usluga-mreža (service mesh), i evo još jednog. Hurá! Ali zašto? Zato što želim izložiti svoje mišljenje da bi bilo bolje da su usluge-mreža nastale pre 10 godina, pre nego što su se pojavile platforme za kontejnere poput Dockera i Kubernetesa. Ne tvrdim da je moje stanovište bolje ili lošije od drugih, ali s obzirom na to da su usluge-mreža prilično složene, raznolikost perspektiva će pomoći da ih bolje razumemo.

Pričaću o platformi dotCloud, koja je bila izgrađena na više od stotinu mikroservisa i podržavala hiljade aplikacija u kontejnerima. Objasniću probleme sa kojima smo se susreli tokom njene izrade i pokretanja, i kako bi usluge-mreža mogle pomoći (ili ne).

Istorija dotCloud

Već sam pisao o istoriji dotCloud i izboru arhitekture za ovu platformu, ali malo sam govorio o mrežnom nivou. Ako ne želite da se upuštate u čitanje prošlog članka o dotCloud, u kratkim crtama evo suštine: to je platforma-kao-usluga PaaS, koja omogućava klijentima da pokreću širok spektar aplikacija (Java, PHP, Python…), sa podrškom za širok spektar servisa podataka (MongoDB, MySQL, Redis…) i radnim tokom poput Herokua: otpremate svoj kod na platformu, ona gradi slike kontejnera i raspoređuje ih.

Pričaću kako je usmeravan saobraćaj na platformu dotCloud. Ne zato što je to bilo posebno sjajno (iako je za svoje vreme sistem radio dobro!), već pre svega zato što uz moderne alate takav dizajn može lako realizovati skromni tim u kratkom vremenu, ako im treba način za usmeravanje saobraćaja između hrpe mikroservisa ili gomile aplikacija. Tako se mogu poredati opcije: šta se desi ako sve razvijate sami ili koristite postojeću uslugu-mrežu. Standardni izbor: uraditi sami ili kupiti.

Usmeravanje saobraćaja za hosted-aplikacije

Aplikacije na dotCloud mogu pružati HTTP i TCP tačke krajnje tačke.

HTTP tačke krajnje tačke dinamički se dodaju u konfiguraciju klastera balansirnih opterećenja Hipache. To je slično onome što danas rade resursi Ingress u Kubernetesu i balansirnik opterećenja poput Traefik.

Klijenti se povezaju na HTTP tačke krajnje tačke preko odgovarajućih domena pod uslovom da domena pokazuje na balansirnike opterećenja dotCloud. Ništa posebno.

TCP tačke krajnje tačke vezani za broj porta, koji se zatim prenosi svim kontejnerima ove steke putem varijabli okruženja.

Klijenti se mogu povezati na TCP krajnje tačke koristeći odgovarajuće ime hosta (nešto poput gateway-X.dotcloud.com) i broj porta.

Ovo ime hosta se rešava na klaster servera “nats“ (nije povezan sa NATS), koji će usmeravati dolazne TCP konekcije u pravi kontejner (ili, u slučaju usluga sa balansiranjem opterećenja, u prave kontejnere).

Ako ste upoznati sa Kubernetesom, verovatno će vam ovo zvučati kao usluge NodePort.

Na platformi dotCloud nije bilo ekvivalenta za usluge ClusterIP: za pojednostavljenje, pristup uslugama se odvijao podjednako iznutra i spolja platforme.

Sve je bilo organizovano dovoljno jednostavno: prvobitne implementacije mreža usmeravanja HTTP i TCP, verovatno svega nekoliko stotina linija Pythona. Jednostavni (rekla bih, naivni) algoritmi, koji su dorađivani kako je platforma rasla i pojavili su se dodatni zahtevi.

Obimno preuređivanje postojećeg koda nije bilo potrebno. Konkretno, 12-faktorske aplikacije mogu direktno koristiti adresu dobijenu putem varijabli okruženja.

Kako se to razlikuje od savremenog servis-šupljeg?

Ograničena preglednost. Nismo imali nikakve metrike za TCP mrežno usmeravanje. Što se tiče HTTP usmeravanja, u kasnijim verzijama su uvedene detaljne HTTP metrike sa kodovima grešaka i vremenom odziva, ali savremeni servis-šuplji idu još dalje, obezbeđujući integraciju sa sistemima za prikupljanje metrika, poput Prometheusa.

Preglednost nije važna samo sa operativnog stanovišta (da pomogne u rešavanju problema), već i prilikom lansiranja novih funkcija. Riječ je o sigurnom plavom-zelenom implementacijom i kanarskom implementacijom.

Efikasnost usmeravanja također je ograničena. U dotCloud mreži usmjeravanja sav promet morao je prolaziti kroz klaster posvećenih čvorova usmjeravanja. To je značilo potencijalno prelaženje nekoliko granica AZ (zona dostupnosti) i značajno povećanje latencije. Sjećam se kako sam otklanjao probleme s kodom koji je izvodio više od stotinu SQL upita po stranici i za svaki upit otvarao novu vezu s SQL poslužiteljem. Kada se pokrene lokalno, stranica se učitava trenutno, ali u dotCloudu učitavanje traje nekoliko sekundi jer svaka TCP veza (i sljedeći SQL upit) zahtijeva desetke milisekundi. U ovom konkretnom slučaju problem su riješila stalna povezivanja.

Moderne servisne mreže bolje se nose s ovakvim problemima. Prije svega, provjeravaju da li se veze usmjeravaju iz izvora. Logički tok je isti: klijent → mreža → usluga, ali sada mreža radi lokalno, a ne na udaljenim čvorovima, tako da je veza klijent → mreža lokalna i vrlo brza (mikrosekunde umjesto milisekundi).

Moderne servisne mreže također implementiraju pametnije algoritme raspodjele opterećenja. Prateći radnost backend-a, mogu slati više prometa na brže backende, što rezultira poboljšanjem ukupne izvodljivosti.

Sigurnost također je bolja. Mreža usmjeravanja dotCloud radila je isključivo na EC2 Classic i nije šifrirala promet (na temelju pretpostavke da ako je netko uspio postaviti sniffer na mrežni promet EC2, već imate velike probleme). Moderne servisne mreže transparentno štite sav naš promet, na primjer, uz uzajamnu TLS autentifikaciju i daljnje šifriranje.

Usmjeravanje prometa za usluge platforme

Dobro, razgovarali smo o prometu između aplikacija, ali što je s samom dotCloud platformom?

Sama platforma se sastojala od otprilike stotinu mikrousloga koji su odgovarali za različite funkcije. Neki su primali zahtjeve od drugih, a neki su bili pozadinski radnici koji su se povezivali s drugim uslugama, ali sami nisu primali veze. U svakom slučaju, svaka usluga mora znati krajnje točke adresa s kojima se treba povezati.

Mnoge visoke usluge mogu koristiti mrežu usmjeravanja opisanu iznad. U stvarnosti, mnoge od više od stotinu mikroslužbi dotCloud su raspoređene kao obične aplikacije na samoj platformi dotCloud. Međutim, mali broj niskonivo usluga (posebno onih koje implementiraju ovu mrežu usmjeravanja) trebale su nešto jednostavnije, s manjim zavisnostima (jer nisu mogle ovisiti same o sebi – stara dobra problematika kokoške i jajeta).

Ove niskonivo, važne usluge su raspoređene pokretanjem kontejnera direktno na nekoliko ključnih čvorova. Pri tome nisu korištene standardne usluge platforme: uslužni program, raspoređivač i runner. Ako želite usporediti s modernim kontejnerskim platformama, ovo je slično pokretanju upravljačke ravnine sa docker run direktno na čvorovima, umjesto delegiranja zadatka Kubernetesa. To je prilično slično konceptu statističkih modula (podova), koji koristi kubeadm ili bootkube pri pokretanju autonomnog klastera.

Ove usluge su prikazane na jednostavan i grub način: u YAML datoteci su navedena njihova imena i adrese; a svaki klijent je morao preuzeti kopiju ove YAML datoteke za implementaciju.

S jedne strane, to je izuzetno pouzdano, jer ne zahtijeva podršku vanjskog skladišta ključeva/vrijednosti, poput Zookeepera (ne zaboravite, tada još nisu postojali etcd ili Consul). S druge strane, to je otežavalo premještanje usluga. Svaki put kada se usluga premjesti, svi klijenti su morali dobiti ažuriranu YAML datoteku (i potencijalno ponovno se pokrenuti). Nije baš zgodno!

Kasnije smo počeli implementirati novu shemu, gdje se svaki klijent povezivao na lokalni proxy server. Umjesto adrese i porta, dovoljno mu je bilo znati samo broj porta usluge, i povezati se preko localhost. Lokalni proxy server obrađuje ovu vezu i usmjerava je na stvarni server. Sada prilikom premještanja backend-a na drugu mašinu ili skaliranja, umjesto ažuriranja svih klijenata, potrebno je ažurirati samo sve te lokalne proksije; i ponovno pokretanje više nije potrebno.

(Planirano je također da se enkapsulira promet u TLS vezama i instalira još jedan proxy server na prijemnoj strani, te provjerava TLS certifikate bez učešća usluge koja je postavljena za prihvatanje veza samo na localhost. O tome kasnije).

Vrlo je slično SmartStack iz Airbnba, ali suštinska razlika je u tome što je SmartStack implementiran i pokrenut u produkciji, dok je interna routing sistem dotCloud stavljena u ladicu kada je dotCloud postao Docker.

Lično smatram da je SmartStack jedan od predhodnika sistema poput Istio, Linkerd i Consul Connect, jer svi oni prate jedan obrazac:

  • Pokretanje proxy-a na svakoj čvoru.
  • Klijenti se povezuju na proxy.
  • Kontrolna ploča ažurira konfiguraciju proxy servera kada se promijene backend-ovi.
  • … Profit!

Savremena implementacija servisne mreže

Ako danas trebamo implementirati sličnu mrežu, možemo koristiti slične principe. Na primjer, postaviti internu DNS zonu koja mapira imena usluga na adrese u prostoru 127.0.0.0/8. Zatim pokrenuti HAProxy na svakoj čvoru klastera, prihvatajući veze na svaku adresu usluge (u ovoj podmreži 127.0.0.0/8) i preusmjeravajući/balansirajući opterećenje na odgovarajuće backend-ove. Konfiguracija HAProxy-a može se upravljati confd, omogućavajući pohranjivanje informacija o backend-u u etcd ili Consul i automatsko slanje ažurirane konfiguracije na HAProxy kada je to potrebno.

Otprilike ovako funkcioniše Istio! Ali s nekim razlikama:

  • Koristi Envoy Proxy umjesto HAProxy.
  • Čuva konfiguraciju backend-a putem Kubernetes API-a umjesto etcd ili Consul.
  • Uslugama se dodjeljuju adrese u unutrašnjoj podmreži (adrese Kubernetes ClusterIP) umjesto 127.0.0.0/8.
  • Ima dodatnu komponentu (Citadel) za dodavanje međusobne provjere autentičnosti TLS između klijenta i servera.
  • Podržava nove funkcije poput prekida veze (circuit breaking), distribuirane praćenja, uvoza kanarinca i dr.

Hajde da ukratko razmotrimo neke razlike.

Envoy Proxy

Envoy Proxy je napisala kompanija Lyft [konkurent Ubera na tržištu taksija – nap. prev.]. Po mnogočemu je sličan drugim proxy-ima (kao što su HAProxy, Nginx, Traefik…), ali je Lyft napisao svoj, jer su im potrebne funkcije koje nedostaju u drugim proxy-ima, a činilo se razumnije napraviti novi nego proširivati postojeći.

Envoy se može koristiti samostalno. Ako imam određenu uslugu koja bi trebala povezati se s drugim uslugama, mogu je konfigurirati za povezivanje na Envoy, a zatim dinamički konfigurirati i ponovo konfigurirati Envoy s lokacijom drugih usluga, pri čemu dobijam mnoge sjajne dodatne funkcije, kao što je preglednost. Umjesto prilagođene klijentske biblioteke ili ugrađivanja u kod praćenja poziva, usmjeravamo promet na Envoy, koji prikuplja metrike za nas.

Ali Envoy također može raditi kao data plane za servisni mesh. To znači da se sada za ovaj servisni mesh Envoy konfigurira control plane. Kontrolna ravnina

U kontrolnoj ravnini, Istio se oslanja na Kubernetes API.

To se ne razlikuje mnogo od korištenja confd , koji se oslanja na etcd ili Consul za pregled skupa ključeva u skladištu podataka. Istio, preko Kubernetes API-ja, pregleda skup resursa Kubernetes.Usput

: osobno mi se činilo korisnim ovoopis Kubernetes API-ja , koji kaže:Server Kubernetes API je "glupi server" koji nudi skladištenje, upravljanje verzijama, verifikaciju, ažuriranje i semantiku API resursa.

Istio je dizajniran za rad s Kubernetes; i ako ga želite koristiti izvan Kubernetes-a, trebate pokrenuti instancu servera Kubernetes API (i pomoćnu uslugu etcd).

Adrese usluga

Istio se oslanja na adrese ClusterIP koje dodjeljuje Kubernetes, tako da usluge Istio dobijaju unutarnju adresu (ne u rasponu

Promet na adresu ClusterIP za određenu uslugu u Kubernetes klasteru bez Istio se presreće kube-proxy i šalje na pozadinsku stranu ovog proksija. Ako vas zanimaju tehnički detalji, kube-proxy postavlja pravila iptables (ili IPVS ravnoteže opterećenja, ovisno o tome kako je postavljen) kako bi prepisao IP adrese odredišta veze koje dolaze na adresu ClusterIP. 127.0.0.0/8).

Nakon instalacije Istio u Kubernetes klasteru, ništa se ne mijenja, sve dok nije eksplicitno uključeno za određenog korisnika ili čak cijeli namespace, unošenjem kontejnera

sidecar u prilagođene podove. Ovaj kontejner će pokrenuti instancu Envoy i postaviti niz pravila iptables za presretanje prometa koji ide na druge usluge i preusmjeravati taj promet na Envoy. u prilagođene podove. Ova kontejner pokreće instancu Envoya i postavlja niz pravila iptables za presretanje saobraćaja koji ide ka drugim uslugama i preusmeravanje tog saobraćaja na Envoy.

Prilikom integracije s Kubernetes DNS, to znači da se naš kod može povezati putem imena usluge, i sve "samo funkcioniše". Drugim rečima, naš kod generiše upite tipa http://api/v1/users/4242, tada api rezolvira upit na 10.97.105.48, iptables pravila hvataju veze sa 10.97.105.48 i preusmeravaju ih na lokalni proxy Envoy, a ovaj lokalni proxy usmerava upit na stvarni API backend. Uh!

Dodatni dodaci

Istio takođe obezbeđuje end-to-end enkripciju i autentifikaciju preko mTLS (uzajamna TLS). Za to se brine komponente pod nazivom Citadel.

Postoji i komponenta Mixer, koju Envoy može zatražiti za svaki upit kako bi donio posebnu odluku o tom upitu u zavisnosti od raznih faktora, kao što su zaglavlja, opterećenje backenda itd... (ne brinite: postoji puno resursa za osiguranje funkcionalnosti Mixera, a čak i ako otkaže, Envoy će i dalje normalno raditi kao proxy).

I, naravno, spomenuli smo uvid: Envoy prikuplja ogroman broj metrika, obezbeđujući pri tome distribuirano praćenje. U arhitekturi mikroservisa, ako jedan API upit mora proći kroz mikroservise A, B, C i D, tada će, kada uđe u sistem, distribuirano praćenje dodati jedinstveni identifikator upitu i sačuvati taj identifikator kroz podupite svim tim mikroservisima, omogućavajući evidentiranje svih povezanih poziva, njihovih kašnjenja i slično.

Razvijati ili kupiti

Istio ima reputaciju složenog sistema. Nasuprot tome, izgradnja mreže usmeravanja koju sam opisao na početku ovog posta relativno je jednostavna pomoću postojećih alata. Dakle, da li ima smisla napraviti vlastiti servis mesh umesto toga?

Ako imamo skromne potrebe (ne trebamo uvid, prekidač lanca i druge nijanse), dolaze misli o razvoju vlastitog alata. Ali ako koristimo Kubernetes, možda nam čak ni ne bude potreban, jer Kubernetes već obezbeđuje osnovne alate za otkrivanje usluga i balansiranje opterećenja.

Ali ako imamo napredne zahteve, onda se "kupovina" servis mesha čini kao mnogo bolja opcija. (To nije uvek baš "kupovina", jer je Istio dostupan kao open-source, ali ipak je potrebno uložiti inžinjersko vreme da se razume kako funkcioniše, postavi i upravlja njime).

Šta odabrati: Istio, Linkerd ili Consul Connect?

Do sada smo govorili samo o Istio, ali to nije jedini servisni mesh. Popularna alternativa je Linkerd, a tu je i Consul Connect.

Šta odabrati?

Iskreno, ne znam. Trenutno se ne smatram dovoljno kompetentnim da odgovorim na ovo pitanje. Postoji nekoliko zanimljivih članaka upoređenja ovih alata i čak benchmarkova.

Jedan od obećavajućih pristupa je korišćenje alata poput SuperGloo. On implementira sloj apstrakcije za pojednostavljenje i unifikaciju API-ja koje pružaju servisni meshevi. Umesto da istražujemo specifične (i, po mom mišljenju, relativno složene) API-je različitih servisnih mesheva, možemo koristiti jednostavnije konstrukcije SuperGloo - i lako prelaziti s jednog na drugi, kao da imamo međuformat konfiguracije koji opisuje HTTP interfejse i backende, sposoban da generiše stvarnu konfiguraciju za Nginx, HAProxy, Traefik, Apache...

Malo sam se igrao s Istio i SuperGloo, a u sledećem članku želim pokazati kako dodati Istio ili Linkerd u postojeći klaster pomoću SuperGloo, i koliko će se potonji dobro snaći u svom zadatku, tj. omogućiti prebacivanje s jednog servisnog mesa na drugi bez prepisivanja konfiguracija.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster