[Prevod] Model niti Envoy (Model threading Envoy)

Prevod članka: Envoy model nitovanja — https://blog.envoyproxy.io/envoy-threading-model-a8d44b922310

Ovaj članak mi se učinio prilično zanimljivim, a s obzirom da se Envoy najčešće koristi kao deo "istio" ili jednostavno kao "ingress kontroler" za Kubernetes, većina ljudi nema direktnu interakciju s njim kao što imaju sa standardnim instalacijama Nginx ili Haproxy. Međutim, ako nešto pođe po zlu, bilo bi korisno razumeti kako to funkcioniše iznutra. Pokušao sam prevesti što više teksta na bosanski, uključujući i specijalne termine, a za one koje to boli dušu, ostavio sam originale u zagradama. Dobrodošli u nastavak.

Tehnička dokumentacija niskog nivoa za kodnu bazu Envoy trenutno je prilično oskudna. Kako bih to ispravio, planiram napraviti seriju blog članaka o različitim podsistemima Envoy. Budući da je ovo prvi članak, molim vas javite mi šta mislite i šta bi vas moglo zanimati u sledećim člancima.

Jedno od najčešćih tehničkih pitanja koja dobijam o Envoy-u je zahtev za niskonivovskim opisom korišćenog modela nišenja (threading model). U ovom postu ћу opisati kako Envoy mapira veze na niti, kao i opis sistema lokalne pohrane niti (Thread Local Storage) koji se koristi interno kako bi se kod učinio paralelnijim i visokoučinkovitim.

Pregled niti (Threading overview)

[Prevod] Model niti Envoy (Model threading Envoy)

Envoy koristi tri različita tipa niti:

  • Glavna (Main): Ova nit upravlja pokretanjem i završetkom procesa, celokupnom obradom XDS (xDiscovery Service) API-ja, uključujući DNS, proveru zdravlja (health checking), opšte upravljanje klasterom i procesom rada servisa (runtime), resetovanje statistike, administraciju i opšte upravljanje procesima — Linux signali, topli restart (hot restart) itd. Sve što se dešava u ovoj niti je asinkrono i "neprekidno". Uglavnom, glavna nit koordinira sve kritične procese funkcionalnosti, za čije izvršenje nije potrebno veliko CPU opterećenje. To omogućava većini upravljačkog koda da se piše kao da je jednonitni.
  • Radna (Worker): Podrazumevano, Envoy stvara radnu nit (worker thread) za svaki fizički tok u sistemu, što se može kontrolisati pomoću opcije --concurrency. Svaki radni tok pokreće „neblokirajuću“ petlju događaja (event loop), koja je odgovorna za osluškivanje (listening) svakog slušatelja (listener). U trenutku pisanja ovog članka (29. jula 2017.), ne postoji segmentacija (sharding) slušatelja (listener), primanje novih veza, kreiranje instance steka filtara za vezu i obrada svih operacija ulaza-izlaza (IO) tokom trajanja veze. Opet, to omogućava većinu koda za obradu veza da se piše kao da je jednoprenosni.
  • Fajlni (File flusher): Svaki fajl koji piše Envoy, uglavnom dnevnički podaci (access logs), trenutno ima nezavisni blokirajući tok. To je zato što zapisivanje u fajlove koje kešira fajl sistem čak i kada se koristi O_NONBLOCK ponekad može biti blokirano (uzdah). Kada radnim tokovima zatreba da zapisuju u fajl, podaci se zapravo premeste u bafer u memoriji, gde se na kraju ispuštaju kroz tok file flush. Ovo je jedno od područja koda gde tehnički svi radni tokovi (worker threads) mogu blokirati (block) istu blokadu (lock), pokušavajući da napune bafer memorije.

Obrada veza (Connection handling)

Kao što je kratko objašnjeno gore, svi radni tokovi osluškuju sve slušače (listeners) bez ikakve segmentacije. Tako se jezgro koristi za pametno usmjeravanje prihvaćenih soketa ka radnim tokovima. Savremena jezgra su generalno veoma dobra u tome, koristeći funkcije kao što je povećanje prioriteta ulaza-izlaza (IO) kako bi pokušali napuniti tok poslom pre nego što počnu koristiti druge tokove koji takođe osluškuju isti soket, kao i da ne koriste cikličnu blokadu (Spinlock) za obradu svakog zahteva.
Kada se veza prihvati na radnom toku (worker thread), ona nikada ne napušta taj tok (thread). Cela dalje obrada veze se potpuno obrađuje u radnom toku (worker thread), uključujući bilo kakvo ponašanje preusmeravanja (forwarding behavior).

To ima nekoliko važnih posledica:

  • Sve grupe konekcija u Envoy-u pripadaju radnom toku. Stoga, iako HTTP/2 grupe konekcija uspostavljaju samo jednu konekciju sa svakim višim hostom u jednom trenutku, ako postoje četiri radna toka, postojat će četiri HTTP/2 konekcije sa višim hostom u stabilnom stanju.
  • Razlog zašto Envoy funkcioniše na ovaj način je taj što, održavajući sve u jednom radnom toku, gotovo sav kod može biti napisan bez blokada i kao da je jednoradan. Ovaj dizajn pojednostavljuje pisanje velikog broja koda i izuzetno se dobro skalira za gotovo neograničen broj radnih tokova.
  • Međutim, jedan od glavnih uvida je da, iz ugla efikasnosti, memorijski i konekcijski bazen zapravo veoma zavisi od podešavanja parametra --concurrency. Imati više radnih tokova nego što je potrebno dovest će do gubitka memorije, stvaranja većeg broja neaktivnih konekcija i smanjenja brzine pristupa konekcijskom bazenu. U Lyft-u naši envoy sidecar kontejneri operešu sa vrlo niskim paralelizmom, tako da je performansa otprilike u skladu sa uslugama pored kojih se nalaze. Pokrećemo Envoy kao ivicu proxy servera samo pri maksimalnom paralelizmu.

Šta znači neblokirajući režim (What non-blocking means)

Termin "neblokirajući" je do sada korišćen nekoliko puta prilikom rasprave o tome kako funkcionišu glavni i radni tokovi. Sav kod je napisan uz pretpostavku da ništa nikada ne bude blokirano. Međutim, to nije sasvim tačno (što nije sasvim tačno?).

Envoy koristi nekoliko dugih blokada procesa:

  • Kao što je već rečeno, prilikom beleženja logova pristupa svi radni tokovi dobijaju istu blokadu pre nego što ispune log buffer u memoriji. Vreme zadržavanja blokade treba biti veoma nisko, ali je moguće da će ova blokada biti izazvana pri visokom paralelizmu i visokoj propusnosti.
  • Envoy koristi vrlo složen sustav za obradu statistike, koji je lokaliziran za tok. To će biti tema posebne objave. Ipak, ukratko ću spomenuti da je kao dio lokalne obrade statistike toka ponekad potrebno dobiti zaključavanje za centralno "skladište statistike". Ova zaključavanja nikada ne bi trebala biti potrebna.
  • Glavni tok povremeno treba koordinaciju sa svim radnim tokovima. To se radi putem "objavljivanja" iz glavnog toka u radne tokove, a ponekad i iz radnih tokova nazad u glavni tok. Za slanje je potrebno zaključavanje kako bi objavljena poruka mogla biti stavljena u red za daljnju dostavu. Ova zaključavanja nikada ne bi trebala biti pod ozbiljnom konkurencijom, ali se ipak mogu tehnički blokirati.
  • Kada Envoy zapisuje dnevnik u sistemski tok grešaka (standard error), dobija zaključavanje cijelog procesa. Uglavnom, lokalno vođenje dnevnika Envoy se smatra lošim s aspekta performansi, stoga se njegovom poboljšanju ne posvećuje mnogo pažnje.
  • Postoje nekoliko drugih slučajnih zaključavanja, ali nijedno od njih nije kritično za performanse i nikada ne bi trebala biti osporavana.

Lokalno skladište toka (Thread local storage)

Zbog načina na koji Envoy razdvaja obaveze glavnog toka od obaveza radnog toka, postoji zahtjev da se složena obrada može izvršiti u glavnom toku, a zatim pružiti svakom radnom toku s visokim stepenom paralelizma. U ovom dijelu opisuje se sistem Envoy Thread Local Storage (TLS) na visokom nivou. U sljedećem dijelu ću opisati kako se koristi za upravljanje klasterom.
[Prevod] Model niti Envoy (Model threading Envoy)

Kao što je već opisano, glavni tok obrađuje gotovo sve funkcije upravljanja (management) i funkcionalnost ravni kontrole (control plane) u procesu Envoy. Ravan kontrole ovdje je malo preopterećen, ali ako se razmatra unutar samog procesa Envoy-a i upoređuje sa preusmjeravanjem koje izvode radni tokovi, čini se smislenim. Kao opće pravilo, proces glavnog toka izvršava neki posao, a zatim mora ažurirati svaki radni tok u skladu s rezultatom tog posla. Radni tok ne treba da postavlja zaključavanje pri svakom pristupu..

Sistem TLS (Thread local storage) Envoy funkcioniše na sledeći način:

  • Kod koji se izvršava u glavnom toku može dodeliti TLS slot za čitav proces. Iako je ovo apstraktno, u praksi je to indeks u vektoru koji omogućava pristup O(1).
  • Glavni tok može postaviti proizvoljne podatke u svoj slot. Kada se to uradi, podaci se objavljuju u svakom radnom toku kao običan događaj u okviru događaja.
  • Radni tokovi mogu čitati iz svog TLS slota i izvući sve lokalne podatke o tokom koji su dostupni tamo.

Iako je ovo veoma jednostavna i nevjerojatno moćna paradigma koja je veoma slična konceptu zaključavanja RCU (Read-Copy-Update). U suštini, radni tokovi nikada ne vide nikakve promene podataka u TLS slotovima tokom izvršavanja posla. Promena se dešava samo u periodu odmora između događaja rada.

Envoy to koristi na dva različita načina:

  • Čuvajući različite podatke za svaki radni tok, pristup tim podacima se vrši bez ikakvog zaključavanja.
  • Čuvajući zajednički pokazivač na globalne podatke u režimu ‘samo za čitanje’ na svakom radnom toku. Tako svaki radni tok ima brojač referenci na podatke koji ne može da se smanji tokom izvršavanja posla. Samo kada se svi radnici smire i učitaju nove zajedničke podatke, stari podaci će biti uništeni. Ovo je identično RCU.

Tok ažuriranja klastera (Cluster update threading)

U ovom delu ću opisati kako se TLS (Thread local storage) koristi za upravljanje klasterom. Upravljanje klasterom uključuje obradu API xDS i / ili DNS, kao i proveru zdravstvenog stanja (health checking).
[Prevod] Model niti Envoy (Model threading Envoy)

Upravljanje tokovima klastera obuhvata sledeće komponente i faze:

  1. Menadžer klastera je komponenta unutar Envoy-a koja upravlja svim poznatim upstrimovima (upstream) klastera, API interfejsom CDS (Cluster Discovery Service), API interfejsima SDS (Secret Discovery Service) i EDS (Endpoint Discovery Service), DNS-om i aktivnim spoljnim proverama zdravstvenog stanja (health checking). Odgovoran je za kreiranje ‘konačno doslednog’ (eventually consistent) prikaza svakog upstrima (upstream) klastera, koji uključuje otkrivene hostove, kao i stanje zdravstvenog stanja (health status).
  2. Sredstvo provjere radnog stanja (health checker) aktivno provodi provjeru radnog stanja i izvještava o promjenama stanja radnog stanja klasterskom menadžeru.
  3. CDS (Cluster Discovery Service) / SDS (Secret Discovery Service) / EDS (Endpoint Discovery Service) / DNS koriste se za određivanje pripadnosti klasteru. Promjena stanja vraća se menadžeru klastera.
  4. Svaka radna nit neprekidno izvodi ciklus obrade događaja.
  5. Kada menadžer klastera utvrdi da se stanje klastera promijenilo, stvara novu sliku stanja klastera koja je dostupna samo za čitanje i šalje je svakoj radnoj niti.
  6. Tokom narednog razdoblja mirovanja, radna nit će ažurirati sliku u dodijeljenom TLS slotu.
  7. Tokom događaja ulaz-izlaz koji treba odrediti host za balansiranje opterećenja, balansirni uređaj će tražiti TLS slot (Thread local storage) kako bi dobio informacije o hostu. Za to nisu potrebne blokade. Također, imajte na umu da TLS može inicirati događaje prilikom ažuriranja, tako da podsystemi za balansiranje opterećenja i drugi komponente mogu ponovo izračunati kešove, strukture podataka itd. Ovo premašuje opseg ove objave, ali se koristi na različitim mjestima u kodu.

Korištenjem gore opisane procedure, Envoy može obraditi svaki zahtjev bez ikakvih blokada (osim onih koje su ranije opisane). Pored složenosti samog TLS koda, većina koda ne mora razumjeti kako funkcioniše višestruko povezivanje i može biti napisana u jednom nitnom režimu. To olakšava pisanje većine koda uz vrhunske performanse.

Druge pod-sisteme koje koriste TLS (Other subsystems that make use of TLS)

TLS (Thread local storage) i RCU (Read Copy Update) široko se koriste u Envoy.

Primeri upotrebe:

  • Mehanizam promjene funkcionalnosti u toku izvršenja: Trenutna lista aktivne funkcionalnosti izračunava se u glavnoj niti. Zatim se svakoj radnoj niti pruža slika samo za čitanje koristeći RCU semantiku.
  • Zamjena tabela ruta: za rute koje pruža RDS (Route Discovery Service), tabele ruta se kreiraju u glavnoj niti. Snimak koji je samo za čitanje biće kasnije dostupan svakoj radnoj niti koristeći semantiku RCU (Read Copy Update). Ovo čini promene tabela ruta atomskim i efikasnim.
  • Keširanje HTTP zaglavlja: Kako se ispostavilo, izračunavanje HTTP zaglavlja za svaku zahtev (pri obavljanju ~25K+ RPS po jezgri) prilično je skupo. Envoy centralizovano izračunava zaglavlje otprilike svake polovine sekunde i pruža ga svakom radniku putem TLS-a i RCU-a.

Postoje i drugi slučajevi, ali prethodni primeri bi trebali pružiti dobro razumevanje za šta se koristi TLS.

Poznate zamke u performansama (Known performance pitfalls)

Iako Envoy generalno dobro funkcioniše, postoje neka poznata područja koja zahtevaju pažnju kada se koristi sa vrlo visokim paralelizmom i propusnošću:

  • Kao što je već opisano u ovom članku, trenutno sve radne niti dobijaju zaključavanje pri pisanju u memorijski bafer pristupnog dnevnika. Pri visokom paralelizmu i velikoj propusnosti, biće potrebno paketirati pristupne dnevnike za svaku radnu nit uz neurednu dostavu pri pisanju u konačnu datoteku. Kao alternativu, može se kreirati poseban pristupni dnevnik za svaku radnu nit.
  • Iako su statistike jako optimizovane, pri vrlo visokom paralelizmu i propusnosti, verovatno će doći do atomskih konkurencija na individualnim statistikama. Rešenje ovog problema su brojači po radnoj niti sa periodičnim resetovanjem centralnih brojača. Ovo će biti obrađeno u narednoj objavi.
  • Postojeća arhitektura neće dobro funkcionisati ako je Envoy implementiran u scenariju sa jako malo veza, što zahteva značajne resurse za obradu. Nema garancije da će veze biti ravnomerno raspodeljene među radnim nitima. Ovo se može rešiti implementacijom balansiranja radnih veza, pri čemu će biti omogućena razmena veza između radnih niti.

Zaključak (Conclusion)

Modela tokova Envoy je razvijena za jednostavnost programiranja i masovni paralelizam uz potencijalno rasipno korišćenje memorije i veza, ako nisu pravilno konfigurirane. Ova modela omogućava veoma dobru efikasnost pri veoma visokom broju tokova i propusnosti.
Kao što sam kratko spomenuo na Tviteru, dizajn takođe može raditi na punom funkcionalnom mrežnom steku u korisničkom režimu, kao što je DPDK (Data Plane Development Kit), što može omogućiti običnim serverima da obrađuju milione zahteva u sekundi uz punu obradu L7. Biće veoma zanimljivo videti šta će biti izgrađeno u narednih nekoliko godina.
Jedan poslednji brzi komentar: često su me pitali zašto smo izabrali C++ za Envoy. Razlog ostaje da je to i dalje jedini široko rasprostranjeni jezik industrijskog nivoa koji može podržati arhitekturu opisanu u ovom postu. C++ definitivno nije pogodan za sve ili čak za mnoge projekte, ali za određene slučajeve upotrebe to je još uvek jedini alat za obavljanje posla.

Linkovi na kod

Linkovi na datoteke sa interfejsima i implementacijom zaglavlja koja se razmatraju u ovom postu:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster