[Preklad] Model vlákien Envoy (Envoy threading model)

Preklad článku: Model vlákien Envoy — https://blog.envoyproxy.io/envoy-threading-model-a8d44b922310

Tento článok sa mi zdá dosť zaujímavý, a pretože sa Envoy najčastejšie používa ako súčasť „istio“ alebo jednoducho ako „ingress controller“ Kubernetes, väčšina ľudí nemá s ním také priame interakcie ako napríklad s typovými inštaláciami Nginx alebo Haproxy. Avšak, ak sa niečo pokazí, bolo by dobre rozumieť, ako to funguje zvnútra. Snažil som sa preložiť čo najviac textu do slovenčiny, vrátane špeciálnych slov; pre tých, ktorým na to bolí pozerať, som nechal originály v zátvorkách. Vitajte pod kat.

Technická dokumentácia na nízkej úrovni o kódovej báze Envoy je v súčasnosti celkom skromná. Aby som to napravil, plánujem vytvoriť sériu článkov na blogu o rôznych subsystémoch Envoy. Keďže ide o prvý článok, dajte mi prosím vedieť, čo si o tom myslíte a čo by vás mohlo zaujímať v nasledujúcich článkoch.

Jedna z najčastejších technických otázok, ktoré dostávam o Envoy, je žiadosť o nízkoúrovňový popis používaného modelu vlákien (threading model). V tomto príspevku opíšem, ako Envoy priraďuje pripojenia k vláknam, ako aj popis systému lokálneho úložiska vlákien (Thread Local Storage), ktorý sa používa zvnútra na zefektívnenie kódu a jeho vyššiu výkonnosť.

Prehľad vlákien (Threading overview)

[Preklad] Model vlákien Envoy (Envoy threading model)

Envoy používa tri rôzne typy vlákien:

  • Hlavné (Main): Toto vlákno riadi štart a zastavenie procesu, celú správu XDS (xDiscovery Service) API vrátane DNS, kontrolu zdravotného stavu (health checking), všeobecnú správu klastrov a proces spustenia služby (runtime), resetovanie štatistiky, administráciu a celkovú správu procesov — Linux signály, horúce reštartovanie (hot restart) atď. Všetko, čo sa deje v tomto vlákne, je asynchrónne a „neblokujúce“. V podstate hlavné vlákno koordinuje všetky kritické procesy, na ktoré nie je potrebný veľký výkon CPU. To umožňuje väčšine riadiaceho kódu byť napísané tak, ako keby bolo jednovláknové.
  • Pracovné (Worker): Envoy v predvolenom nastavení vytvára pracovné vlákno (worker thread) pre každý hardvérový vlákno v systéme, čo je možné kontrolovať pomocou možnosti --concurrency. Každý pracovný tok spúšťa „neblokujúcu“ slučku udalostí (event loop), ktorá zodpovedá za odpočúvanie (listening) každého odpočúvača (listener). K dnešnému dňu (29. júla 2017) neexistuje segmentácia (sharding) odpočúvača (listener), príjem nových spojení, vytvorenie inštancie zásobníka filtrov na pripojenie a spracovanie všetkých operácií vstupu-výstupu (IO) počas existencie spojenia. Opäť to umožňuje napísať väčšinu kódu na spracovanie spojení tak, akoby bol jednoprvkový.
  • Súborový (File flusher): Každý súbor, ktorý zapisuje Envoy, hlavne prístupové denníky (access logs), v súčasnosti má nezávislý blokujúci tok. To je spôsobené tým, že zápis do súborov je vyrovnávaný súborovým systémom, aj keď sa využíva O_NONBLOCK , môže sa niekedy blokovať (ach). Keď pracovným tokom je potrebné zapísať súbor, dáta sa skutočne presúvajú do vyrovnávacej pamäte v pamäti, kde sa nakoniec vyprázdnia prostredníctvom toku file flush. Toto je jedna z oblastí kódu, kde technicky môžu všetky pracovné toky (worker threads) zablokovať (block) tú istú zámku (lock), snažiac sa vyplniť vyrovnávaciu pamäť.

Spracovanie spojení (Connection handling)

Ako bolo stručne spomenuté vyššie, všetky pracovné toky odpočúvajú všetkých odpočúvačov (listeners) bez akejkoľvek segmentácie. Takto je jadro používané na efektívne odosielanie prijatých soketov do pracovných tokov. Moderné jadrá sú vo všeobecnosti veľmi dobré v tomto, používajú také funkcie, ako je zvýšenie priority vstupu-výstupu (IO), aby sa pokúsili naplniť tok prácou skôr, ako začnú používať iné toky, ktoré takisto odpočúvajú ten istý soket, a taktiež neopakujú cyklickú blokáciu (Spinlock) pre spracovanie každého požiadavku.
Akonáhle je spojenie prijaté na pracovnom toku (worker thread), nikdy neopustí tento tok (thread). Celé ďalšie spracovanie spojenia je úplne realizované v pracovnom toku (worker thread), vrátane akéhokoľvek správania preposielania (forwarding behavior).

To má niekoľko dôležitých následkov:

  • Všetky prístupové pooly v Envoy sa týkajú pracovného toku. Tým pádom, hoci HTTP/2 prístupové pooly vytvárajú len jedno spojenie s každým nadriadeným hostiteľom naraz, ak existujú štyri pracovné toky, v stabilnom stave bude štyri HTTP/2 spojenia na nadriadeného hostiteľa.
  • Dôvod, prečo Envoy funguje týmto spôsobom, spočíva v tom, že udržiavaním všetkého v jednom pracovnom toku môže byť takmer celý kód napísaný bez blokovania a akoby bol jednovláknový. Tento dizajn zjednodušuje písanie veľkého množstva kódu a mimoriadne dobre sa škáluje pre takmer neobmedzený počet pracovných tokov.
  • Jedným z hlavných zistení je však to, že z hľadiska efektivity poolu pamäte a spojení je v skutočnosti veľmi dôležité nastaviť parameter --concurrency. Viac pracovných tokov, než je potrebné, povedie k plytvaniu pamäťou, vytváraniu väčšieho počtu nevyužitých spojení a znižovaniu rýchlosti vstupe do prístupového poolu. V Lyft našich envoy sidecar kontajneroch pracujeme s veľmi nízkym paralelizmom, takže výkon sa približne rovná službám, pri ktorých sú umiestnené. Spúšťame Envoy ako hraničný proxy server (edge) iba pri maximálnom paralelizme (concurrency).

Čo znamená neblokujúci režim

Termín «neblokujúci» bol doteraz niekoľkokrát použitý pri diskusii o tom, ako fungujú hlavný a pracovný tok. Celý kód je napísaný s predpokladom, že nič nikdy nie je blokované. Avšak to nie je celkom pravda.

Envoy využíva niekoľko dlhých blokád procesu:

  • Ako už bolo povedané, pri zapisovaní prístupových záznamov všetky pracovné toky získajú rovnakú blokáciu pred zaplnením bufferu záznamov v pamäti. Čas držania blokácie by mal byť veľmi nízky, ale je možné, že táto blokácia bude napádaná pri vysokom paralelizme a vysokej priepustnosti.
  • Envoy používa veľmi zložitý systém na spracovanie štatistiky, ktorý je lokálny pre tok. To bude téma samostatného príspevku. Napriek tomu stručne spomeniem, že ako súčasť lokálneho spracovania štatistiky toku je občas potrebné získať zámok pre centrálnu „úložisko štatistiky“. Tento zámok by nikdy nemal byť potrebný.
  • Hlavný tok si občas vyžaduje koordináciu so všetkými pracovnými tokmi. To sa robí prostredníctvom „publikovania“ z hlavného toku do pracovných tokov, a občas aj z pracovných tokov späť do hlavného toku. Na odoslanie je potrebný zámok, aby publikovaná správa mohla byť umiestnená do fronty na neskoršie doručenie. Tieto zámky nikdy by nemali podliehať vážnej konkurencii, ale stále môžu technicky zamknúť.
  • Keď Envoy zapisuje záznam do systémového toku chýb (standard error), získa zámok celého procesu. Ako celok sa lokálne vedenie záznamov Envoy považuje za strašné z hľadiska výkonu, preto sa jeho zlepšeniu nevenuje veľká pozornosť.
  • Existuje niekoľko ďalších náhodných zámkov, ale žiadny z nich nie je kritický pre výkon a nikdy by nemal byť sporný.

Lokálne úložisko vlákna (Thread local storage)

Vzhľadom na spôsob, akým Envoy oddeluje úlohy hlavného toku od úloh pracovného toku, existuje požiadavka, že zložitá správa môže byť vykonaná v hlavnom toku a potom poskytnutá každému pracovnému toku s vysokým stupňom paralelizmu. V tejto sekcii je opísaný systém Envoy Thread Local Storage (TLS) na vysokej úrovni. V nasledujúcej sekcii popíšem, ako sa používa na správu klastera.
[Preklad] Model vlákien Envoy (Envoy threading model)

Ako už bolo popísané, hlavný tok spracováva takmer všetky funkcie správy (management) a funkcionalitu riadiacej roviny (control plane) v procese Envoy. Riadiaca rovina je tu trochu preťažená, ale ak ju berieme v rámci samotného procesu Envoy a porovnáme s presunom, ktorý vykonávajú pracovné toky, zdá sa to rozumné. Ako pravidlo platí, že proces hlavného toku vykonáva určitú prácu a potom je potrebné aktualizovať každý pracovný tok v súlade s výsledkom tejto práce. práce vlákna nemusí při každém přístupu nastavovat zámek.

Systém TLS (Thread local storage) Envoy funguje následujícím způsobem:

  • Kód, který běží v hlavním vlákně, může alokovat slot TLS pro celý proces. I když je to abstraktní, v praxi to znamená index ve vektoru, který poskytuje přístup O(1).
  • Hlavní vlákno může do svého slotu zapsat libovolná data. Jakmile je to provedeno, data se zveřejní v každém pracovním vlákně jako běžná událost cyklu událostí.
  • Pracovní vlákna mohou číst ze svého slotu TLS a extrahovat jakákoliv místní data vláken, která jsou tam dostupná.

I když je to velmi jednoduchá a nesmírně mocná paradigma, která velmi připomíná koncept zámku RCU (Read-Copy-Update). V podstatě pracovní vlákna nikdy nevidí žádné změny dat v slotech TLS během provádění práce. Změna nastává pouze v době klidu mezi pracovními událostmi.

Envoy to využívá dvěma různými způsoby:

  • Uchováváním různých dat na každém pracovním vlákně, přístup k těmto datům je prováděn bez jakéhokoliv zámku.
  • Uchováváním společného ukazatele na globální data v režimu „pouze pro čtení“ na každém pracovním vlákně. Tímto způsobem má každé pracovní vlákno počítadlo odkazů na data, které nemůže být sníženo během provádění práce. Až když se všechny pracovníky zklidní a načtou nová společná data, budou stará data zničena. To je identické s RCU.

Vlákno aktualizace clusteru (Cluster update threading)

V této části popíšu, jak se TLS (Thread local storage) používá pro správu clusteru. Správa clusteru zahrnuje zpracování API xDS a / nebo DNS, jakož i kontrolu zdraví (health checking).
[Preklad] Model vlákien Envoy (Envoy threading model)

Správa vláken clustru zahrnuje následující komponenty a fáze:

  1. Manažer clusteru je komponenta uvnitř Envoy, která spravuje všechny známé upstreamy (upstream) clusteru, API rozhraní CDS (Cluster Discovery Service), API rozhraní SDS (Secret Discovery Service) a EDS (Endpoint Discovery Service), DNS a aktivní externí kontroly zdraví (health checking). Odpovídá za vytváření „eventuálně konzistentního“ (eventually consistent) zobrazení každého upstreamu clusteru, které zahrnuje objevené hostitele a také stav zdraví (health status).
  2. Nástroj na kontrolu stavu (health checker) vykonáva aktívnu kontrolu stavu a informuje správcu clustra o zmenách stavu.
  3. CDS (Cluster Discovery Service) / SDS (Secret Discovery Service) / EDS (Endpoint Discovery Service) / DNS sa vykonávajú na určenie príslušnosti k clustrmu. Zmena stavu sa vracia správcovi clustra.
  4. Každý pracovný tok neustále vykonáva cyklus spracovania udalostí.
  5. Keď správca clustra zistí, že sa stav clustra zmenil, vytvorí nový snímok stavu clustra, ktorý je dostupný iba na čítanie, a pošle ho každému pracovnému toku.
  6. Počas nasledujúceho obdobia pokoja pracovný tok aktualizuje snímok vo vyhradenom slote TLS.
  7. Počas udalosti vstupu/výstupu, ktorá má určiť hostiteľa pre vyvažovanie záťaže, vyvažovač záťaže požiada slot TLS (Thread local storage) o informácie o hostiteľovi. Na to nie sú potrebné zámky. Všimnite si tiež, že TLS môže iniciovať udalosti pri aktualizácii, takže subsystémy na vyvažovanie záťaže a ďalšie komponenty môžu prepočítavať cache, dátové štruktúry atď. To presahuje rámec tohto príspevku, ale používa sa na rôznych miestach v kóde.

Použitím vyššie popísanej procedúry môže Envoy spracovávať každú žiadosť bez akýchkoľvek zámkov (okrem predtým popísaných). Okrem zložitosti samotného kódu TLS, väčšine kódu na pochopenie, ako funguje viacvláknovosť, nie je potrebné, a môže byť napísaný v jednovláknovom režime. To uľahčuje písanie väčšiny kódu spolu s vynikajúcou výkonnosťou.

Iné subsystémy, ktoré využívajú TLS (Other subsystems that make use of TLS)

TLS (Thread local storage) a RCU (Read Copy Update) sú široko používané v Envoy.

Príklady použitia:

  • Mechanizmus zmeny funkčnosti za behu: Aktuálny zoznam zapnutej funkcionality sa vypočíta v hlavnom vlákne. Potom sa každému pracovnému toku poskytne snímok iba na čítanie s použitím semantiky RCU.
  • Nahradenie tabuliek routingu: pre tabuľky trás poskytovaných RDS (Route Discovery Service) sa tabuľky trás vytvárajú v hlavnom vlákne. Následne bude každému pracovnému vláknu poskytnutý iba na čítanie snímok pomocou semantiky RCU (Read Copy Update). To robí zmenu tabuliek trás atomárne efektívnou.
  • HTTP hlavičky caching: Ako sa ukazuje, výpočet hlavičky HTTP pre každý požiadavok (pri vykonávaní ~25K+ RPS na jadro) je pomerne nákladný. Envoy centrálne počíta hlavičku zhruba každých pol sekundy a poskytuje ju každému pracovníkovi prostredníctvom TLS a RCU.

Existujú aj iné prípady, ale predchádzajúce príklady by mali poskytnúť dobré pochopenie toho, na čo sa TLS používa.

Známé výkonnostné úskalia (Known performance pitfalls)

Aj keď vo všeobecnosti Envoy funguje dostatočne dobre, existuje niekoľko známych oblastí, ktoré si vyžadujú pozornosť pri jeho použití s veľmi vysokým paralelizmom a priepustnosťou:

  • Ako už bolo opísané v tomto článku, v súčasnosti všetky pracovné vlákna získavajú zámok pri zápise do pamäťového bufra prístupu k záznamom. Pri vysokom paralelizme a vysokej priepustnosti bude potrebné vykonať balíkovanie prístupov k záznamom pre každé pracovné vlákno na úkor neusporiadanej dodávky pri zápise do konečného súboru. Ako alternatívu je možné vytvoriť samostatný prístupový záznam pre každé pracovné vlákno.
  • Aj keď sú štatistiky veľmi silno optimalizované, pri veľmi vysokom paralelizme a priepustnosti pravdepodobne dôjde k atomárnej konkurencii na individuálnych štatistikách. Riešením tohto problému sú počítadlá na jedno pracovné vlákno s pravidelným resetovaním centrálnych počítadiel. To bude diskutované v ďalšom príspevku.
  • Existujúca architektúra nebude dobre fungovať, ak je Envoy nasadený v scenári, v ktorom je veľmi málo spojení, vyžadujúcich významné zdroje na spracovanie. Nie je zaručené, že spojenia budú rovnomerne rozložené medzi pracovnými vláknami. Toto sa môže riešiť implementáciou vyváženia pracovných spojení, pri ktorom sa implementuje možnosť výmeny spojení medzi pracovnými vláknami.

Záver (Conclusion)

Model toku Envoy bola navrhnutá na zabezpečenie jednoduchosti programovania a hromadného paralelizmu, čo môže viesť k potenciálne nezmyselnému využívaniu pamäte a pripojení, ak nie sú správne nastavené. Tento model mu umožňuje veľmi dobrú funkčnosť pri veľmi vysokých počtoch vlákien a priepustnosti.
Ako som stručne spomenul na Twitteri, dizajn môže fungovať aj nad plnohodnotným sieťovým zásobníkom v užívateľskom režime, ako je DPDK (Data Plane Development Kit), čo môže viesť k tomu, že bežné servery budú spracovávať milióny požiadaviek za sekundu pri plnom spracovaní L7. Bude veľmi zaujímavé sledovať, čo sa vybuduje v nasledujúcich rokoch.
Jedný posledný rýchly komentár: mnohokrát sa ma pýtali, prečo sme pre Envoy zvolili C++. Dôvodom je, že to je stále jedný z mála široko rozšírených jazykov na úrovni priemyslu, v ktorom je možné postaviť architektúru opísanú v tomto príspevku. C++ rozhodne nie je vhodné pre všetky alebo ani väčšinu projektov, ale pre určité prípady použitia je to stále jediné riešenie, ako vykonať prácu.

Odkazy na kód

Odkazy na súbory s rozhraním a implementáciou hlavičiek, ktoré sú diskutované v tomto príspevku:

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster