Talofa, o aʻu o Sergey Elantsev, ou te atiaʻe i Yandex.Cloud. I le taimi muamua, na ou taʻitaʻia le atinaʻeina o le paleni L7 mo le faitotoa o Yandex - o uo e ula e tusa lava po o le a le mea ou te faia, e foliga mai o se paleni. O le a ou taʻu atu i le aufaitau a Habr pe faʻafefea ona pulea le uta i luga o le ao, mea tatou te vaʻaia o se meafaigaluega sili mo le ausiaina o lenei sini, ma pe faʻafefea ona tatou agai atu i le fausiaina o lenei meafaigaluega.
Muamua, seʻi o tatou faʻaalia nisi o faaupuga:
- VIP (Virtual IP) - tuatusi IP paleni
- Server, pito i tua, faʻataʻitaʻiga - o se masini komepiuta e faʻaogaina se talosaga
- RIP (Real IP) - tuatusi IP server
- Healthcheck - siaki le saunia o le server
- Avanoa Sone, AZ - fa'ato'a fa'ateteleina i totonu o se nofoaga autu o fa'amaumauga
- Itulagi - o se faʻapotopotoga o AZ eseese
E fa'amalieina e tagata paleni uta ni galuega autu se tolu: latou te faia le faapaleniina o ia lava, fa'aleleia le fa'apalepale masei o le tautua, ma fa'afaigofie lona fuaina. O le fa'apalepale fa'aletonu e fa'amautinoa e ala i le fa'atonutonuina o ta'avale otometi: e mata'ituina e le tagata paleni le tulaga o le talosaga ma e le aofia ai fa'ata'ita'iga mai le paleni e le pasia le siaki ola. E fa'amautinoa le fa'avasegaina e ala i le tufatufaina tutusa o le uta i fa'asologa, fa'apea fo'i ma le fa'afouina o le lisi o fa'ata'ita'iga ile lele. Afai e le lava le tutusa o le paleni, o nisi o tulaga o le a maua se uta e sili atu i lo latou gafatia tapulaa, ma o le auaunaga o le a faʻaitiitia le faʻatuatuaina.
O le paleni o uta e masani ona faʻavasegaina e le protocol layer mai le faʻataʻitaʻiga OSI o loʻo taʻavale ai. O le Cloud Balancer o loʻo galue i le TCP tulaga, lea e fetaui ma le lona fa, L4.
Se'i o tatou aga'i atu i se aotelega o le fausaga o le paleni o le ao. O le a faasolosolo malie ona tatou faateleina le tulaga o auiliiliga. Matou te vaevaeina vaega paleni i ni vasega se tolu. Ole vasega va'alele config e nafa ma fegalegaleai tagata fa'aoga ma teuina le tulaga fa'atatau ole faiga. E teuina e le va'alele fa'atonu le tulaga o lo'o i ai nei o le faiga ma fa'atautaia faiga mai le vasega va'alele fa'amatalaga, lea e nafa tonu lava ma le fa'aolaina o felauaiga mai tagata fa'atau i au tulaga.
Vaalele fa'amaumauga
E fa'ai'u le ta'avale i masini taugata e ta'ua o 'auala tuaoi. Ina ia faʻateleina le faʻapalepale faʻaletonu, o le tele o ia masini e faʻaogaina i le taimi e tasi i totonu o le nofoaga autu e tasi. O le isi, o le auala e alu i paleni, lea e faʻasalalau soʻo se tuatusi IP i AZ uma e ala i le BGP mo tagata faʻatau.
E faʻasalalauina le taʻavale i luga o le ECMP - o se taʻiala taʻavale lea e mafai ona i ai le tele o auala lelei i le faʻamoemoe (i la matou tulaga, o le faʻamoemoe o le tuatusi IP o loʻo i ai) ma e mafai ona lafo faʻatasi ma soʻo se tasi oi latou. Matou te lagolagoina foi galuega i le tele o sone avanoa e tusa ai ma le polokalame o loʻo i lalo: matou te faʻasalalau se tuatusi i sone taʻitasi, o fefaʻatauaiga e alu i le lata ane ma e le sili atu i ona tapulaa. Mulimuli ane i le pou o le a tatou vaʻavaʻai atili i mea e tupu i fefaʻatauaiga.
Config vaalele
O le vaega autu o le config vaalele o le API, lea e faia ai galuega faavae ma paleni: fatuina, tapeina, suia le tuufaatasiga o tulaga, mauaina o taunuuga o siaki soifua maloloina, ma isi. I le tasi itu, o le REST API lea, ma luga isi, matou i totonu o le Ao e masani ona faʻaaogaina le faʻavae gRPC, o lea matou te "faaliliu" REST i le gRPC ona faʻaaogaina lea naʻo le gRPC. Soʻo se talosaga e taʻitaʻia ai le faʻatulagaina o se faʻasologa o galuega asynchronous idempotent o loʻo faʻatinoina i luga o se vaitaele masani o tagata faigaluega Yandex.Cloud. Ua tusia galuega i se auala e mafai ai ona taofi i soo se taimi ona toe amata ai lea. Ole mea lea e fa'amautinoa ai le scalability, toe fa'afouina ma le fa'amauina o galuega.
O le iʻuga, o le galuega mai le API o le a faia se talosaga i le faʻatonuina o auaunaga paleni, lea e tusia i le Go. E mafai ona faʻaopoopo ma aveese paleni, suia le tuʻufaʻatasiga o pito i tua ma faʻatulagaga.
O lo'o teuina e le 'au'aunaga lona setete i le Yandex Database, o se fa'amaumauga tu'ufa'atasi fa'atautaia lea e le o toe umi ae mafai ona e fa'aogaina. I le Yandex.Cloud, e pei ona uma , o le manatu o meaʻai a taifau e faʻaaoga: afai tatou te faʻaogaina a tatou auaunaga, o le a fiafia foi a tatou tagata faʻatau e faʻaoga. Yandex Database o se faʻataʻitaʻiga o le faʻatinoina o sea manatu. Matou te teuina uma a matou faʻamatalaga i le YDB, ma matou te le tau mafaufau e uiga i le tausia ma le faʻavasegaina o faʻamaumauga: o nei faʻafitauli ua foia mo i matou, matou te faʻaogaina le database o se tautua.
Se'i tatou toe fo'i i le pule paleni. O lana galuega o le faʻasaoina o faʻamatalaga e uiga i le paleni ma tuʻuina atu se galuega e siaki ai le saunia o le masini masini i le pule o le siakiina o le soifua maloloina.
Pulea siaki soifua maloloina
Na te mauaina talosaga e sui tulafono siaki, faʻasaoina i le YDB, tufatufa galuega i nodes healtcheck ma faʻaputu faʻaiʻuga, ona faʻasaoina lea i le database ma auina atu i le loadbalancer controller. E, i le isi itu, auina atu se talosaga e sui le tuufaatasiga o le fuifui i le vaalele faamatalaga i le loadbalancer-node, lea o le a ou talanoaina i lalo.
Se'i o tatou talanoa atili e uiga ile siakiina ole soifua maloloina. E mafai ona vaevaeina i ni vasega se tele. E eseese tulaga manuia o su'ega. O siaki TCP e mana'omia le fa'amautuina lelei o se feso'ota'iga i totonu o se taimi fa'atulagaina. O siaki HTTP e manaʻomia uma se fesoʻotaʻiga manuia ma se tali i se 200 code code.
E le gata i lea, o siaki e eseese i le vasega o gaioiga - latou te toaga ma fa'agasolo. O siaki fa'apitoa e na'o le mata'ituina o mea o lo'o tupu i femalagaiga e aunoa ma le faia o se gaioiga fa'apitoa. E le aoga tele lenei mea i le L4 aua e fa'alagolago i le fa'aogaina o tulafono maualuga: i luga ole L4 e leai se fa'amatalaga e uiga i le umi na fai ai le ta'aloga pe lelei pe leaga le fa'amae'aina o feso'ota'iga. O siaki fa'agaoioi e mana'omia ai le paleni e lafo talosaga i fa'ata'ita'iga ta'itasi.
Ole tele ole load balancers e faia lava siaki ola. I Cloud, na matou filifili e vavae ese nei vaega o le faiga e faʻateleina ai le faʻalauteleina. O lenei faiga o le a mafai ai ona matou faʻateleina le numera o paleni aʻo faʻamautu le numera o talosaga mo le siakiina o le soifua maloloina i le auaunaga. O siaki e faia i pona eseese e siaki ai le soifua maloloina, lea e vaelua ai sini siaki ma toe fai. E le mafai ona e faia siaki mai le tasi talimalo, aua e le mafai. Ona tatou le maua lea o le tulaga o mea na ia siakiina. Matou te faia su'esu'ega i so'o se fa'ata'ita'iga mai le itiiti ifo ma le tolu node siaki soifua maloloina. Matou te faʻasoa faʻamoemoega o siaki i le va o nodes e faʻaaoga ai algorithms hashing faifai pea.
O le tuueseeseina o le paleni ma le siakiina o le soifua maloloina e mafai ona oo atu ai i faafitauli. Afai e faia e le healthcheck node ni talosaga i le faʻataʻitaʻiga, e ala i le pasi atu i le paleni (lea e leʻo faʻaaogaina felauaiga i le taimi nei), ona tulaʻi mai lea o se tulaga uiga ese: o le punaoa e foliga mai o loʻo ola, ae o le auala e le oʻo atu i ai. Matou te foia lenei faʻafitauli i le auala lenei: matou te faʻamaonia e amataina le siakiina o le soifua maloloina e ala i paleni. I se isi faaupuga, o le polokalame mo le faʻanofoina o paʻu ma fefaʻatauaiga mai tagata faʻatau ma mai suʻesuʻega faʻalesoifua maloloina e matuaʻi ese lava: i tulaga uma e lua, o le a oʻo atu pusa i paleni, lea o le a tuʻuina atu i latou i punaoa faʻatatau.
O le ese'esega o tagata fa'atau e fai talosaga ile VIP, a'o su'esu'ega fa'alesoifua maloloina e fai talosaga i tagata ta'ito'atasi RIP. O se faʻafitauli manaia e tulaʻi mai iinei: matou te tuʻuina atu ia matou tagata faʻaoga le avanoa e fatuina ai punaoa i fesoʻotaʻiga IP grey. Se'i tatou manatu e iai ni ao eseese e lua na natia a latou auaunaga i tua o paleni. E tofu i latou ma punaoa i le 10.0.0.1/24 subnet, ma tuatusi tutusa. E manaʻomia le mafai ona e faʻavasegaina i latou, ma o iinei e te manaʻomia e faʻafefe i totonu o le fausaga o le Yandex.Cloud virtual network. E sili atu le suʻeina o faʻamatalaga atili i totonu , e taua mo i tatou i le taimi nei o le fesoʻotaʻiga e tele-layered ma e iai tunnels e mafai ona faʻamaonia e le subnet id.
Healthcheck nodes fa'afeso'ota'i tagata paleni e fa'aoga ai tuatusi quasi-IPv6. O le quasi-address o se tuatusi IPv6 ma se tuatusi IPv4 ma fa'aoga subnet id o lo'o fa'apipi'i i totonu. E oʻo atu le taʻavale i le paleni, lea e aveese mai ai le tuatusi punaoa IPv4, sui le IPv6 ma le IPv4 ma auina atu le pusa i le fesoʻotaʻiga a le tagata faʻaoga.
O le fa'afeagai o femalagaiga e alu i le ala lava e tasi: e va'aia e le tagata paleni o le mea e alu i ai o se feso'ota'iga efuefu mai tagata siaki soifua maloloina, ma fa'aliliu le IPv4 i le IPv6.
VPP - le fatu o le vaalele faʻamatalaga
O le paleni o loʻo faʻatinoina e faʻaaoga ai le Vector Packet Processing (VPP) tekinolosi, o se faʻavae mai Cisco mo le faʻagasologa o fefaʻatauaiga o fesoʻotaʻiga. I la matou tulaga, o loʻo galue le faʻavae i luga o le potutusi o le faʻaogaina o masini fesoʻotaʻiga faʻaoga - Faʻamatalaga Fuafuaga Atinaʻe (DPDK). Ole mea lea e mautinoa ai le maualuga ole fa'agaioiga o pusa: e itiiti ni fa'alavelave e tupu ile fatu, ma e leai ni suiga ole tala ile va ole avanoa ole fatu ma le avanoa e fa'aoga ai.
O le VPP o loʻo alu atili ma faʻamalosi atili faʻatinoga mai le faiga e ala i le tuʻufaʻatasia o afifi i vaega. O fa'amanuiaga fa'atinoga e maua mai i le fa'aogaina fa'amalosi o fa'aoga i luga o masini fa'aonaponei. O faʻamaumauga uma e lua o loʻo faʻaogaina (faʻapipiʻi pepa i "vectors", o faʻamatalaga e latalata le tasi i le isi) ma faʻatonuga faʻaoga: i le VPP, faʻasologa o paʻu e mulimuli i se kalafi, o ona pona o loʻo i ai galuega e faʻatino ai le galuega lava e tasi.
Mo se faʻataʻitaʻiga, o le faʻaogaina o paʻu IP i le VPP e tupu i le faʻasologa o loʻo i lalo: muamua, o faʻauluulu pepa e faʻapipiʻiina i le node parsing, ona auina atu lea i le node, lea e faʻafeiloaʻi ai paʻu i luma e tusa ai ma laulau taʻavale.
O sina malo malosi. O tusitala o le VPP e le faʻafeiloaʻi fetuunaiga i le faʻaogaina o masini faʻapipiʻi, o lea la o le tulafono masani mo le faʻaogaina o se vector o paʻu o loʻo i ai le faʻaogaina o le tusi: o loʻo i ai se faʻaogaina o le faʻaogaina o se tulaga e pei o le "e fa a matou pepa i le laina" o loʻo faʻagasoloina, ona tutusa lea mo le lua, ona - mo le tasi. E masani ona fa'aoga fa'atonuga muamua e fa'apipi'i ai fa'amaumauga i totonu o fa'amaumauga e fa'avave ai le avanoa i ai i fa'amatalaga mulimuli ane.
n_left_from = frame->n_vectors;
while (n_left_from > 0)
{
vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
// ...
while (n_left_from >= 4 && n_left_to_next >= 2)
{
// processing multiple packets at once
u32 next0 = SAMPLE_NEXT_INTERFACE_OUTPUT;
u32 next1 = SAMPLE_NEXT_INTERFACE_OUTPUT;
// ...
/* Prefetch next iteration. */
{
vlib_buffer_t *p2, *p3;
p2 = vlib_get_buffer (vm, from[2]);
p3 = vlib_get_buffer (vm, from[3]);
vlib_prefetch_buffer_header (p2, LOAD);
vlib_prefetch_buffer_header (p3, LOAD);
CLIB_PREFETCH (p2->data, CLIB_CACHE_LINE_BYTES, STORE);
CLIB_PREFETCH (p3->data, CLIB_CACHE_LINE_BYTES, STORE);
}
// actually process data
/* verify speculative enqueues, maybe switch current next frame */
vlib_validate_buffer_enqueue_x2 (vm, node, next_index,
to_next, n_left_to_next,
bi0, bi1, next0, next1);
}
while (n_left_from > 0 && n_left_to_next > 0)
{
// processing packets by one
}
// processed batch
vlib_put_next_frame (vm, node, next_index, n_left_to_next);
}O lea la, Healthchecks talanoa i luga o le IPv6 i le VPP, lea e liliu ai i latou i le IPv4. E faia lenei mea e se node i le kalafi, lea tatou te taʻua algorithmic NAT. Mo fefaʻatauaʻiga feʻaveaʻi (ma le liua mai le IPv6 i le IPv4) o loʻo i ai le algorithmic NAT node tutusa.
Fefa'ataua'iga tuusa'o mai tagata fa'atau paleni e ui atu i nodes o le kalafi, lea e fa'atino ai le paleni lava ia.
O le node muamua o sauniga pipii. E teuina le hash o mo sauniga faatulagaina. 5-tuple e aofia ai le tuatusi ma le taulaga o le kalani lea e tuʻuina atu ai faʻamatalaga, o le tuatusi ma ports o punaoa o loʻo avanoa mo le mauaina o fefaʻatauaiga, faʻapea foʻi ma le fesoʻotaʻiga fesoʻotaʻiga.
O le 5-tuple hash e fesoasoani ia i tatou e faʻaitiitia le faʻatusatusaina i le node hashing faifaipea mulimuli ane, faʻapea foʻi ma le sili atu o le taulimaina o suiga o punaoa i tua o le paleni. A o'o mai se afifi e leai se sauniga i le paleni, e lafo i le node hashing faifaipea. O le mea lea e tupu ai le faapaleniina e ala i le faʻaogaina faifaipea: matou te filifilia se punaoa mai le lisi o punaoa "ola" avanoa. O le isi, e lafo atu pepa i le NAT node, lea e suia moni ai le tuatusi o loʻo i ai ma toe faʻatatauina siaki tupe. E pei ona mafai ona e vaʻai, matou te mulimulitaʻia tulafono a le VPP - e fiafia i ai, faʻavasega faʻatusatusaga tutusa e faʻateleina ai le lelei o le faʻaogaina o masini.
Hashing faifai pea
Aisea na tatou filifilia ai ma o le a foi? Muamua, sei o tatou mafaufau i le galuega muamua - filifilia o se punaoa mai le lisi.
Faatasi ai ma le faʻafefeteina le fetaui, o le hash o le afifi o loʻo sau e fuafua, ma o se punaoa e filifilia mai le lisi i le vaega o totoe o le vaevaeina o lenei hash i le numera o punaoa. O le a lava le umi e le suia ai le lisi, o lenei polokalame e aoga lelei: matou te auina atu i taimi uma ia pepa e tutusa le 5-tuple i le taimi lava e tasi. Afai, mo se faʻataʻitaʻiga, o nisi punaoa na taofia le tali atu i suʻesuʻega faʻalesoifua maloloina, ona mo se vaega taua o faʻailoga o le a suia le filifiliga. O feso'ota'iga TCP a le kalani o le a motusia: o se afifi na o'o muamua i le fa'ata'ita'iga A e ono amata ona o'o atu i le fa'ata'ita'iga B, lea e le masani i le vasega mo lenei afifi.
O le fa'aogaina fa'atasi e fo'ia ai le fa'afitauli fa'amatala. O le auala pito sili ona faigofie e faʻamatalaina ai lenei manatu o le: mafaufau o loʻo i ai sau mama e te tufatufa atu ai punaoa e ala i le hash (mo se faʻataʻitaʻiga, IP:port). Filifilia o se punaoa o le liliuina o le uili i se tulimanu, lea e fuafua i le hash o le afifi.
Ole mea lea e fa'aitiitia ai le toe tufatufaina atu o ta'avale pe a suia le tu'ufa'atasiga o punaoa. O le tapeina o se puna'oa o le a na'o le vaega o le mama hashing faifaipea sa i ai le punaoa. O le fa'aopoopoina o se puna'oa e suia ai fo'i le tufatufaga, ae o lo'o i ai le node o sauniga fa'apipi'i, lea e mafai ai ona tatou le fesuia'i vasega ua uma ona fa'atulagaina i punaoa fou.
Na matou vaʻavaʻai i le mea e tupu i le faʻatonuina o fefaʻatauaiga i le va o le paleni ma punaoa. Se'i o tatou va'ai i le toe fo'i mai. O lo'o mulimulita'i i le fa'ata'ita'iga e pei o siaki fe'avea'i - e ala i le algorithmic NAT, o lona uiga, e ala i le fesuia'i NAT 44 mo fefa'ataua'iga o tagata fa'atau ma e ala i le NAT 46 mo le siakiina o le soifua maloloina. Matou te tausisi i la matou lava polokalame: matou te tuʻufaʻatasia feoaiga siaki soifua maloloina ma fefaʻatauaiga moni a tagata faʻaoga.
Loadbalancer-node ma vaega faʻapipiʻi
O le tuufaatasiga o paleni ma punaoa i le VPP o loʻo lipotia mai e le auaunaga faʻapitonuʻu - loadbalancer-node. E lesitala i le vaitafe o mea na tutupu mai loadbalancer-pulea ma e mafai ona taupulepule le eseesega i le va o le tulaga o loo i ai nei VPP ma le tulaga taulaʻi maua mai le pule. Matou te maua se faiga tapuni: mea na tutupu mai le API e oʻo mai i le paleni paleni, lea e tuʻuina atu galuega i le siakiina o le soifua maloloina e siaki le "ola" o punaoa. O lena, i le isi itu, e tu'uina atu galuega i le healthcheck-node ma fa'aputuina fa'ai'uga, a mae'a ona toe fa'afo'i atu lea i le pule paleni. Loadbalancer-node e lesitala i mea na tutupu mai le pule ma suia le tulaga o le VPP. I sea faiga, e iloa e au'aunaga ta'itasi na'o mea e mana'omia e uiga i auaunaga tuaoi. Ole numera o feso'ota'iga e fa'atapula'aina ma o lo'o ia i tatou le agava'a e fa'agaoioia ma fua fa'atatau vaega 'ese'ese tuto'atasi.
O a ni mataupu na alofia?
O a matou 'au'aunaga uma i le va'alele fa'atonutonu o lo'o tusia i le Go ma e lelei le fa'avasegaina ma le fa'amaoni uiga. O lo'o iai le tele o faletusi puna'oa mo le fausiaina o faiga fa'asoa. Matou te faʻaaogaina le GRPC, o vaega uma o loʻo i ai se faʻamatalaga tatala o le faʻatinoina o auaunaga - o matou auʻaunaga e mataʻituina le faʻatinoga a le tasi ma le isi, e mafai ona suia a latou faʻasologa, ma matou faʻafesoʻotaʻi ma le paleni GRPC. Mo metrics, matou te fa'aogaina fo'i se vaifofo matala. I le vaalele faʻamatalaga, matou te maua le faʻatinoga lelei ma le tele o punaoa faʻaagaga: na foliga mai e matua faigata lava ona faʻapipiʻi se tulaga e mafai ona matou faʻalagolago i le faʻatinoina o se VPP, nai lo se kata fesoʻotaʻiga uʻamea.
Faafitauli ma Fofo
O le a le mea na le aoga tele? O le alu e otometi le puleaina o manatuaga, ae o loʻo tupu pea le galo. O le auala pito sili ona faigofie e taulimaina ai o le taʻavale goroutine ma manatua e faʻamutaina. Aveese: Mataʻituina le taumafaina o mea e manatua e lau polokalame Go. E masani lava o se faʻailoga lelei o le numera o goroutine. O loʻo i ai se faʻaopoopoga i lenei tala: i Go e faigofie ona maua faʻamaumauga taimi - faʻaaogaina manatuaga, numera o taʻavale goroutine, ma le tele o isi taʻiala.
E le gata i lea, o le Go atonu e le o se filifiliga sili lea mo suʻega faʻatinoga. E fai si fa'aupuga, ma o le faiga masani o le "ta'avale mea uma i le CI i se vaega" e le fetaui lelei mo i latou. O le mea moni o suʻega faʻatinoga e sili atu le manaʻomia o punaoa ma mafua ai taimi faʻagata. Ona o lea mea, e ono toilalo su'ega ona o lo'o pisi le PPU i su'ega iunite. Fa'ai'uga: Afai e mafai, fai 'ese'ese su'ega "mamafa" mai su'ega iunite.
E sili atu le lavelave le faʻataʻitaʻiga o mea e fai a le Microservice nai lo le monolith: o le aoina o ogalaau i luga o le tele o masini eseese e le faigofie tele. Fa'ai'uga: afai e te faia microservices, vave mafaufau e uiga i le su'eina.
O a tatou fuafuaga
O le a matou faʻalauiloaina se paleni i totonu, o le IPv6 paleni, faʻaopoopo le lagolago mo tusitusiga Kubernetes, faʻaauau pea ona faʻasalalau a matou auaunaga (i le taimi nei naʻo le healthcheck-node ma le healthcheck-ctrl o loʻo faʻapipiʻiina), faʻaopoopo siaki fou o le soifua maloloina, ma faʻatino le faʻapipiʻi atamai o siaki. O loʻo matou mafaufau i le avanoa e faia ai a matou auaunaga ia sili atu le tutoʻatasi - ina ia latou le fesoʻotaʻi saʻo le tasi i le isi, ae faʻaaoga se laina feʻau. E le'i leva ona fa'aalia se auaunaga e fetaui ma le SQS i le Ao .
Talu ai nei, na faia ai le faʻasalalauga lautele o Yandex Load Balancer. Su'esu'e i le auaunaga, pulea paleni i se auala talafeagai mo oe ma faʻateleina le faʻapalepale sese o au galuega faatino!
puna: www.habr.com