Prijevod članka:
Ovaj članak mi je bio dovoljno zanimljiv, a budući da se Envoy najčešće koristi kao dio „istio” ili jednostavno kao „ingress controller” Kubernetes-a, većina ljudi nema isto tako izravnu interakciju kao primjerice s tipičnim instalacijama Nginx ili Haproxy. Međutim, ako nešto ne funkcionira, bilo bi dobro razumjeti kako je to interno strukturirano. Pokušao sam prevesti što više teksta na hrvatski, uključujući i specijalne riječi; za one kojima to teško pada, ostavio sam originale u zagradama. Dobrodošli pod kat.
Tehnička dokumentacija niskog nivoa o kodnoj bazi Envoy trenutno je prilično oskudna. Kako bih to ispravio, planiram napraviti seriju blog članaka o različitim podsustavima Envoy-a. Budući da je ovo prvi članak, javite mi što mislite i što bi vas moglo zanimati u sljedećim člancima.
Jedno od najčešćih tehničkih pitanja koja dobivam o Envoy-u je zahtjev za nisko-nivo opisom korištenog modela niti (threading model). U ovom postu opisat ću kako Envoy mapira veze na niti, kao i opis sustava lokalne pohrane niti (Thread Local Storage) koji se koristi unutar njega kako bi se kod učinio paralelnijim i visokoučinkovitim.
Pregled niti (Threading overview)
![[Перевод] Model niti Envoy (Envoy threading model)](/wp-content/uploads/2019/04/c5028463db1eb5b07ccb1a3af1f64a03.jpeg)
Envoy koristi tri različita tipa niti:
- Glavna (Main): Ova nit upravlja pokretanjem i završetkom procesa, obradom XDS (xDiscovery Service) API-ja, uključujući DNS, provjeru radne sposobnosti (health checking), općenito upravljanje klasterima i procesom rada servisa (runtime), resetiranjem statistike, administracijom i općim upravljanjem procesima — Linux signali, vruće ponovno pokretanje (hot restart) itd. Sve što se događa u ovoj niti je asinkrono i „neblokirajuće”. Uglavnom, glavna nit koordinira sve kritične procese funkcionalnosti za čije izvršenje nije potrebno puno CPU-a. To omogućava većini kontrolnog koda da se piše kao da je jednonitni.
- Radna (Worker): Po zadanom, Envoy stvara radnu nit (worker thread) za svaku fizičku nit u sustavu, a to se može kontrolirati pomoću opcije
--concurrency. Svaki radni tok pokreće «neblokirajuću» petlju događaja (event loop) koja je odgovorna za slušanje (listening) svakog slušača (listener). U trenutku pisanja ovog članka (29. srpnja 2017.) ne postoji segmentacija (sharding) slušača (listener), prihvaćanje novih veza, stvaranje instanca stoga filtara za povezivanje i obrada svih operacija ulaza-izlaza (IO) tijekom trajanja veze. Opet, to omogućava većinu koda za obradu veza da se piše kao da je jednonitni. - Datotečni (File flusher): Svaka datoteka koju piše Envoy, prvenstveno dnevnici pristupa (access logs), trenutno ima neovisni blokirajući tok. To je zbog toga što zapisivanje u datoteke koje predmemorira datotečni sustav čak i pri korištenju
O_NONBLOCKmogu ponekad blokirati (uzdah). Kada radni tokovi trebaju zapisati u datoteku, podaci se zapravo premještaju u međuspremnik u memoriji, gdje se na kraju ispuštaju putem toka file flush. Ovo je jedno od područja koda gdje tehnički svi radni tokovi (worker threads) mogu blokirati (block) istu blokadu (lock) pokušavajući napuniti međuspremnik u memoriji.
Obrada veza (Connection handling)
Kao što je kratko raspravljano ranije, svi radni tokovi slušaju sve slušače (listeners) bez bilo kakve segmentacije. Tako se jezgra koristi za uspješno slanje prihvaćenih soketa radnim tokovima. Moderni jezgrenovi sustavi su općenito vrlo dobri u tome, koriste takve funkcije kao što su povećanje prioriteta ulaza-izlaza (IO) kako bi pokušali napuniti tok poslom prije nego što počnu koristiti druge tokove koji također slušaju isti soket, kao i da ne koriste cikličku blokadu (Spinlock) za obradu svakog zahtjeva.
Jednom kada veza bude prihvaćena na radnom toku (worker thread), nikada ne napušta taj tok (thread). Cjela daljnja obrada veze potpuno se obrađuje u radnom toku (worker thread), uključujući svako ponašanje proslijeđivanja (forwarding behavior).
To ima nekoliko važnih posljedica:
- Sve veze u Envoyu pripadaju radnoj niti. Tako, iako HTTP/2 veze uspostavljaju samo jednu vezu s svakim višim hostom odjednom, ako postoji četiri radne niti, bit će četiri HTTP/2 veze prema višem hostu u stabilnom stanju.
- Razlog zbog kojeg Envoy radi na ovaj način je taj što, održavajući sve unutar jedne radne niti, gotovo sav kod može biti napisan bez blokada i kao da je jednonitni. Ovaj dizajn olakšava pisanje velikog broja koda i iznimno se dobro skalira za gotovo neograničen broj radnih niti.
- Međutim, jedan od glavnih zaključaka je da je s točke gledišta učinkovitosti memorijskog i veza u stvari vrlo važno pravilno konfigurirati parametar
--concurrency. Imati više radnih niti nego što je potrebno dovest će do gubitka memorije, stvaranja većeg broja neaktivnih veza i smanjenja brzine dohvata iz skladišta veza. U Lyftu naši envoy sidecar kontejneri rade s vrlo niskim paralelizmom, tako da performanse otprilike odgovaraju uslugama uz koje se nalaze. Pokrećemo Envoy kao rubni proxy samo pri maksimalnom paralelizmu (konkurenciji).
Što znači neblokirajući način (What non-blocking means)
Termin "neblokirajući" korišten je više puta u raspravi o tome kako funkcioniraju glavna i radna nit. Sav kod je napisan pod pretpostavkom da ništa nikada neće biti blokirano. Međutim, to nije potpuno točno (što nije potpuno točno?).
Envoy koristi nekoliko dugotrajnih blokada procesa:
- Kao što je već rečeno, prilikom zapisivanja pristupnih logova sve radne niti dobivaju istu blokadu prije nego što ispune predmemoriju loga u memoriji. Vrijeme zadržavanja blokade treba biti vrlo kratko, ali moguće je da će se ta blokada osporavati pri visokom paralelizmu i velikoj propusnosti.
- Envoy koristi vrlo složen sustav za obradu statistike koji je lokaliziran za tok. Ovo će biti tema zasebnog posta. Ipak, kratko ću spomenuti da kao dio lokalne obrade statistike toka ponekad je potrebno dobiti zaključavanje za središnje „skladište statistike“. Ovo zaključavanje nikada ne bi trebalo biti potrebno.
- Glavni tok povremeno treba koordinaciju sa svim radnim tokovima. To se postiže „objavljivanjem“ iz glavnog toka u radne tokove, a ponekad i iz radnih tokova natrag u glavni tok. Za slanje je potrebno zaključavanje kako bi se objavljena poruka mogla staviti u red za daljnju isporuku. Ova zaključavanja nikada ne bi trebala biti pod ozbiljnom konkurencijom, ali tehnički se mogu zaključati.
- Kada Envoy piše zapis u sustavni tok grešaka (standard error), dobiva zaključavanje cijelog procesa. Općenito, lokalno vođenje evidencije Envoy smatra se lošim s obzirom na performanse, pa se njegovom poboljšanju ne posvećuje mnogo pažnje.
- Postoji nekoliko drugih slučajnih zaključavanja, ali nijedno od njih nije kritično za performanse i nikada ne bi trebalo biti sporno.
Lokalno skladište toka (Thread local storage)
Zbog načina na koji Envoy odvaja odgovornosti glavnog toka od odgovornosti radnog toka, postoji zahtjev da se složena obrada može izvršiti u glavnom toku, a zatim se može pružiti svakom radnom toku s visokim stupnjem paralelizma. U ovom dijelu opisuje se sustav Envoy Thread Local Storage (TLS) na visokoj razini. U sljedećem dijelu ću opisati kako se koristi za upravljanje klasterom.
![[Перевод] Model niti Envoy (Envoy threading model)](/wp-content/uploads/2019/04/a47af1e8eb1f55a4d7609b3ff3ee9ce1.jpeg)
Kao što je već opisano, glavni tok obrađuje gotovo sve funkcije upravljanja i funkcionalnost kontrolne ravni u procesu Envoy. Kontrolna razina ovdje je malo preopterećena, ali ako je gledamo u okviru samog procesa Envoy i usporedimo s prosljeđivanjem koje obavljaju radni tokovi, to se čini razumnim. Kao opće pravilo, proces glavnog toka obavlja neki posao, a zatim je potrebno ažurirati svaki radni tok u skladu s rezultatom tog posla. Pri tome, radnom toku nije potrebno postavljati zaključavanje pri svakom pristupu.
Sistem TLS (Thread local storage) Envoy funkcionira na sljedeći način:
- Kod koji se izvršava u glavnom toku može dodijeliti TLS slot za cijeli proces. Iako je to apstrahirano, u praksi to je indeks u vektoru koji omogućuje pristup O(1).
- Glavni tok može postaviti proizvoljne podatke u svoj slot. Kada se to učini, podaci se objavljuju u svakom radnom toku kao običan događaj u ciklusu događaja.
- Radni tokovi mogu čitati iz svog TLS slota i izvlačiti sve lokalne podatke tokova dostupne tamo.
Iako je ovo vrlo jednostavna i nevjerojatno snažna paradigma, koja je jako slična konceptu zaključavanja RCU (Read-Copy-Update). Suštinski, radni tokovi nikada ne vide nikakve promjene podataka u TLS slotovima tijekom izvršavanja rada. Promjena se događa samo u razdoblju mirovanja između radnih događaja.
Envoy to koristi na dva različita načina:
- Održavanjem različitih podataka u svakom radnom toku, pristup tim podacima se ostvaruje bez bilo kakvog zaključavanja.
- Održavanjem zajedničkog pokazivača na globalne podatke u 'samo za čitanje' režimu u svakom radnom toku. Tako svaki radni tok ima brojač referenci na podatke koji se ne može smanjiti tijekom izvršavanja rada. Samo kada se svi radnici smire i učitaju nove zajedničke podatke, stari podaci će biti uništeni. Ovo je identično RCU.
Thread update clustering
U ovom odjeljku ću opisati kako se TLS (Thread local storage) koristi za upravljanje klasterom. Upravljanje klasterom uključuje obradu API xDS i/ili DNS, kao i provjeru zdravlja (health checking).
![[Перевод] Model niti Envoy (Envoy threading model)](/wp-content/uploads/2019/04/238f5718729e1f12f8f0d6507f16abe8.jpeg)
Upravljanje tokovima klastera uključuje sljedeće komponente i faze:
- Upravitelj klastera je komponenta unutar Envoy koja upravlja svim poznatim upstream-ima klastera, API interfejsom CDS (Cluster Discovery Service), API interfejsima SDS (Secret Discovery Service) i EDS (Endpoint Discovery Service), DNS i aktivnim vanjskim provjerama zdravlja (health checking). Odgovoran je za stvaranje 'konačno usklađenog' (eventually consistent) prikaza svakog upstream-a klastera, koji uključuje otkrivene domaćine, kao i status zdravlja (health status).
- Alat za provjeru funkcionalnosti (health checker) aktivno provodi provjeru funkcionalnosti i obavještava upravitelja klastera o promjenama u stanju funkcionalnosti.
- CDS (Cluster Discovery Service) / SDS (Secret Discovery Service) / EDS (Endpoint Discovery Service) / DNS se koriste za utvrđivanje pripadnosti klasteru. Promjena stanja se vraća menadžeru klastera.
- Svaki radni tok neprekidno prolazi kroz ciklus obrade događaja.
- Kada menadžer klastera utvrdi da se stanje klastera promijenilo, stvara novu snimku stanja klastera, koja je dostupna samo za čitanje, i šalje je svakom radnom toku.
- U sljedećem razdoblju mirovanja, radni tok će ažurirati snimku u dodijeljenom TLS slotu.
- Tijekom događaja ulaz/izlaz, koji treba odrediti domaćina za ravnotežu opterećenja, ravnotežer opterećenja će zatražiti TLS (Thread local storage) slot za dobivanje informacija o domaćinu. Ovdje nisu potrebne nikakve blokade. Također napominjemo da TLS može inicirati događaje prilikom ažuriranja, tako da sustavi za ravnotežu opterećenja i drugi komponente mogu ponovno izračunati cache, strukture podataka itd. Ovo nadilazi opseg ovog posta, ali se koristi na raznim mjestima u kodu.
Koristeći ranije opisanu proceduru, Envoy može obraditi svaki zahtjev bez korištenja bilo kakvih blokada (osim onih koje su ranije opisane). Osim složenosti samog TLS koda, velik dio koda ne mora razumjeti kako radi višestruko procesiranje i može biti napisan u jednoj niti. Ovo olakšava pisanje veće dijela koda uz izvrsne performanse.
Ostali pod sustavi koji koriste TLS (Other subsystems that make use of TLS)
TLS (Thread local storage) i RCU (Read Copy Update) široko se koriste u Envoyu.
Primjeri korištenja:
- Mehanizam promjene funkcionalnosti tijekom izvođenja: Trenutni popis aktivirane funkcionalnosti izračunava se u glavnoj niti. Zatim se svakom radnom toku daje samo-čitanja snimka koristeći RCU semantiku.
- Zamjena ruta.: za tablice ruta koje pruža RDS (Route Discovery Service), tablice ruta se stvaraju u glavnoj niti. Snimak koji se može samo čitati bit će kasnije dostupan svakoj radnoj niti koristeći semantiku RCU (Read Copy Update). To omogućava atomski učinkovite izmjene tablica ruta.
- Keširanje HTTP zaglavlja: Kako se pokazalo, izračunavanje HTTP zaglavlja za svaki zahtjev (pri ~25K+ RPS po jezgri) prilično je skupo. Envoy centralizirano izračunava zaglavlje otprilike svake pola sekunde i pruža ga svakom radniku putem TLS-a i RCU-a.
Postoje i drugi slučajevi, no prethodni primjeri trebali bi pružiti dobar uvid u to za što se koristi TLS.
Poznate performanse
Iako općenito Envoy radi prilično dobro, postoje neka poznata područja koja zahtijevaju pažnju kada se koristi s vrlo visokim paralelizmom i propusnošću:
- Kao što je navedeno u ovom članku, trenutno sve radne niti dobivaju zaključavanje prilikom zapisivanja u memorijski predmemorirani pristupni dnevnik. Pri visokom paralelizmu i visokoj propusnosti bit će potrebno paketirati pristupne dnevnike za svaku radnu nit na račun neuređenih isporuka prilikom zapisivanja u konačnu datoteku. Kao alternativu, moguće je stvoriti zaseban pristupni dnevnik za svaku radnu nit.
- Iako su statistike vrlo optimizirane, pri vrlo visokom paralelizmu i propusnosti, vjerojatno će doći do atomske konkurencije na pojedinačnim statistikama. Rješenje ovog problema su brojači za jednu radnu nit s periodičnim resetiranjem središnjih brojača. Ovo će biti obrađeno u sljedećem postu.
- Postojeća arhitektura neće dobro funkcionirati ako se Envoy implementira u scenariju u kojem ima vrlo malo veza koje zahtijevaju značajne resurse za obradu. Nema jamstva da će veze biti ravnomjerno raspoređene među radnim nitima. To se može riješiti implementacijom uravnoteženja radnih veza, pri čemu će se omogućiti razmjena veza između radnih niti.
Zaključak
Modela tokova Envoy dizajnirana je za olakšavanje programiranja i masovnog paralelizma, uz potencijalno rasipno korištenje memorije i veza ako nisu pravilno konfigurirani. Ova modela omogućava mu da vrlo dobro funkcionira pri izuzetno visokom broju tokova i propusnosti.
Kao što sam kratko spomenuo na Twitteru, dizajn može raditi iznad potpuno funkcionalnog mrežnog stoga u korisničkom režimu, kao što je DPDK (Data Plane Development Kit), što može omogućiti običnim serverima da obrađuju milijune zahtjeva u sekundi uz punu obradu L7. Bit će zanimljivo vidjeti što će biti izgrađeno u narednim godinama.
Jedna brza posljednja napomena: mnogo puta su me pitali zašto smo odabrali C++ za Envoy. Razlog je i dalje taj da je to još uvijek jedini široko rasprostranjen jezik industrijskog nivoa na kojem se može izgraditi arhitektura opisana u ovom postu. C++ definitivno nije prikladan za sve, pa čak ni za mnoge projekte, ali za određene slučajeve upotrebe, to je još uvijek jedini alat koji može obaviti posao.
Links to code
Linkovi na datoteke s sučeljima i implementacijom zaglavlja koji se raspravljaju u ovom postu:
Izvor: habr.com
