Lumela, ke Sergey Elantsev, ke nts'etsapele ho Yandex.Cloud. Nakong e fetileng, ke ile ka etella pele nts'etsopele ea tekanyo ea L7 bakeng sa portal ea Yandex - basebetsi-'moho le bona ba soasoa hore ho sa tsotellehe hore na ke etsa eng, ho bonahala eka ke motho ea leka-lekaneng. Ke tla bolella babali ba Habr mokhoa oa ho laola mojaro sethaleng sa leru, seo re se bonang e le sesebelisoa se loketseng sa ho finyella pakane ena, le hore na re ntse re tsoela pele joang ho haha sesebelisoa sena.
Pele, a re ke re tsebiseng mareo a mang:
- VIP (Virtual IP) - aterese ea IP ea balancer
- Seva, backend, mohlala - mochini o sebetsang o sebelisang sesebelisoa
- RIP (IP ea sebele) - aterese ea IP ea seva
- Healthcheck - ho hlahloba boemo ba seva
- Availability Zone, AZ - lisebelisoa tse ikhethileng setsing sa data
- Sebaka - kopano ea li-AZ tse fapaneng
Li-balancers tsa mojaro li rarolla mesebetsi e meraro ea mantlha: li etsa ho leka-lekanya, li ntlafatsa mamello ea ts'ebeletso, le ho nolofatsa sekhahla sa eona. Mamello ea liphoso e netefatsoa ka taolo ea sephethephethe ea othomathike: ea leka-lekana e beha leihlo boemo ba ts'ebeliso mme ha e kenyelle maemo a ho leka-lekanya a sa feteng tlhahlobo ea bophelo. Ho eketsa maemo ho netefatsoa ka ho aba meroalo ka ho lekana maemong ohle, hammoho le ho nchafatsa lethathamo la maemo a fofang. Haeba ho leka-lekanya ho sa tšoane ka ho lekaneng, maemo a mang a tla fumana mojaro o fetang moeli oa matla a bona, 'me tšebeletso e tla fokotseha haholo.
Hangata balancer ea mojaro e khetholloa ka lera la protocol ho tloha ho mohlala oa OSI oo e sebetsang ho oona. Cloud Balancer e sebetsa boemong ba TCP, e lumellanang le lera la bone, L4.
Ha re feteleng ka kakaretso ea boqapi ba Cloud balancer. Re tla eketsa butle-butle boemo ba lintlha. Re arola likarolo tsa balancer ka lihlopha tse tharo. Sehlopha sa config plane se na le boikarabelo ba ho sebelisana le basebelisi 'me se boloka boemo bo reretsoeng ba tsamaiso. Sefofane sa taolo se boloka boemo ba hajoale ba sistimi mme se laola lits'ebetso ho tsoa sehlopheng sa lifofane tsa data, tse ikarabellang ka kotloloho ho isa sephethephethe ho tsoa ho bareki ho ea maemong a hau.
Sefofane sa data
Sephethephethe se qetella ka lisebelisoa tse theko e boima tse bitsoang li-border routers. Ho eketsa mamello ea liphoso, lisebelisoa tse 'maloa tse joalo li sebetsa ka nako e le' ngoe setsing se le seng sa data. Ka mor'a moo, sephethephethe se ea ho li-balancers, tse phatlalatsang liaterese tsa IP leha e le life ho li-AZ tsohle ka BGP bakeng sa bareki.
Sephethephethe se fetisoa holim'a ECMP - lena ke leano la ho tsamaisa ho latela moo ho ka bang le litsela tse 'maloa tse ntle ka ho lekana ho ea moo ho lebelloang teng (ho rona, sepheo e tla ba aterese ea IP ea moo e eang) mme lipakete li ka romelloa ho efe kapa efe ea tsona. Re boetse re ts'ehetsa mosebetsi libakeng tse 'maloa tse fumanehang ho latela morero o latelang: re phatlalatsa aterese sebakeng se seng le se seng, sephethephethe se ea sebakeng se haufi mme ha se fetele meeli ea sona. Hamorao posong re tla sheba ka botlalo se etsahalang ka sephethephethe.
Lokisa sefofane
Karolo ea bohlokoa ea sefofane sa config ke API, eo ka eona ts'ebetso ea mantlha e nang le li-balancers e etsoang: ho theha, ho tlosa, ho fetola sebopeho sa maemo, ho fumana liphello tsa bophelo bo botle, joalo-joalo. Ka lehlakoreng le leng, ena ke REST API, le tse ling, rona ba Cloud hangata re sebelisa moralo oa gRPC, kahoo re "fetolela" REST ho gRPC ebe re sebelisa gRPC feela. Kopo efe kapa efe e lebisa ho thehoeng ha letoto la mesebetsi e sa sebetseng e sa sebetseng e etsoang letamong le tloaelehileng la basebetsi ba Yandex.Cloud. Mesebetsi e ngoloa ka tsela eo ka eona e ka fanyehoang ka nako leha e le efe ebe e qala hape. Sena se netefatsa scalability, pheta-pheta le ho rengoa ha lits'ebetso.
Ka lebaka leo, mosebetsi o tsoang ho API o tla etsa kopo ho molaoli oa tšebeletso ea balancer, e ngotsoeng ho Go. E ka eketsa le ho tlosa li-balancers, ea fetola sebopeho sa li-backend le li-setting.
Ts'ebeletso e boloka boemo ba eona ho Yandex Database, database e tsamaisoang e ajoang eo haufinyane u tla khona ho e sebelisa. Ho Yandex.Cloud, joalo ka ha re se re ntse re le teng , khopolo ea lijo tsa ntja e sebetsa: haeba rona ka borona re sebelisa litšebeletso tsa rona, joale bareki ba rona le bona ba tla thabela ho li sebelisa. Yandex Database ke mohlala oa ts'ebetsong ea mohopolo o joalo. Re boloka lintlha tsohle tsa rona ho YDB, 'me ha ho hlokahale hore re nahane ka ho boloka le ho lekanya database: mathata ana a rarolloa bakeng sa rona, re sebelisa database e le tšebeletso.
Ha re khutlele ho "balancer controller". Mosebetsi oa eona ke ho boloka tlhahisoleseding e mabapi le balancer le ho romela mosebetsi ho hlahloba ho itokisa ha mochine oa sebele ho molaoli oa bophelo bo botle.
Molaoli oa tlhahlobo ea bophelo bo botle
E amohela likopo tsa ho fetola melao ea cheke, e li boloka ho YDB, e aba mesebetsi har'a li-node tsa healtcheck ebe e kopanya liphetho, ebe li bolokoa ho database ebe li romelloa ho molaoli oa loadbalancer. E, ka lehlakoreng le leng, e romela kopo ea ho fetola sebopeho sa sehlopha sa sefofane sa data ho ea ho loadbalancer-node, eo ke tla e tšohla ka tlase.
Ha re bue haholoanyane ka tlhahlobo ea bophelo bo botle. Li ka aroloa ka lihlopha tse 'maloa. Litlhahlobo li na le mekhoa e fapaneng ea katleho. Licheke tsa TCP li hloka ho theha khokahano ka katleho ka nako e behiloeng. Licheke tsa HTTP li hloka khokahano e atlehileng le karabo e nang le khoutu ea maemo a 200.
Hape, licheke li fapana ka sehlopha sa ts'ebetso - li sebetsa ebile ha li etse letho. Licheke tse sa sebetseng li beha leihlo feela se etsahalang ka sephethephethe ntle le ho nka khato e khethehileng. Sena ha se sebetse hantle ho L4 hobane se ipapisitse le mohopolo oa liprothokholo tsa boemo bo holimo: ho L4 ha ho na tlhahisoleseling mabapi le hore na ts'ebetso e nkile nako e kae kapa hore na ho phethoa ha khokahano ho ne ho le ntle kapa ho le mpe. Licheke tse sebetsang li hloka hore motho ea leka-lekaneng a romelle likopo ketsahalong ka 'ngoe ea seva.
Boholo ba li-balancers tsa mojaro li etsa tlhahlobo ea bophelo ka botsona. Ho Cloud, re nkile qeto ea ho arola likarolo tsena tsa sistimi ho eketsa scalability. Mokhoa ona o tla re lumella ho eketsa palo ea ba leka-lekaneng ha re ntse re boloka palo ea likopo tsa tlhahlobo ea bophelo bo botle tšebeletsong. Licheke li etsoa ka li-node tse arohaneng tsa tlhahlobo ea bophelo, moo lipehelo tsa cheke li aroloang le ho phetoa. U ke ke ua etsa licheke ho tsoa ho moamoheli a le mong, kaha e kanna ea hloleha. Joale ha re na ho fumana boemo ba liketsahalo tseo a li hlahlobileng. Re etsa licheke maemong afe kapa afe ho tsoa bonyane li-node tse tharo tsa tlhahlobo ea bophelo. Re arola merero ea licheke lipakeng tsa li-node re sebelisa li-algorithms tse sa fetoheng tsa hashing.
Ho arola ho leka-lekanya le ho hlahloba bophelo bo botle ho ka baka mathata. Haeba node ea healthcheck e etsa likōpo ho mohlala, ho feta tekanyo (eo hona joale e sa sebeletseng sephethephethe), joale boemo bo makatsang bo hlaha: mohloli o bonahala o phela, empa sephethephethe se ke ke sa fihla ho sona. Re rarolla bothata bona ka tsela ena: re tiiselitsoe ho qala sephethephethe sa tlhahlobo ea bophelo bo botle ka li-balancers. Ka mantsoe a mang, leano la ho tsamaisa lipakete tse nang le sephethephethe ho tsoa ho bareki le ho tsoa litsing tsa bophelo bo botle li fapana hanyane: maemong ana ka bobeli, lipakete li tla fihla ho li-balancers, tse tla li isa mehloling e lebelletsoeng.
Phapang ke hore bareki ba etsa likopo ho VIP, athe litsebi tsa bophelo bo botle li etsa likopo ho motho ka mong RIP. Ho hlaha bothata bo khahlisang mona: re fa basebelisi ba rona monyetla oa ho theha lisebelisoa ho marang-rang a grey IP. Ha re nahane hore ho na le beng ba maru ba babeli ba fapaneng ba patileng litšebeletso tsa bona ka mor'a li-balancers. E 'ngoe le e' ngoe ea tsona e na le lisebelisoa ho subnet ea 10.0.0.1/24, e nang le liaterese tse tšoanang. U hloka ho khona ho li khetholla ka tsela e itseng, 'me mona u hloka ho kenella ka har'a sebopeho sa marang-rang a Yandex.Cloud. Ho molemo ho fumana lintlha tse ling ho , ke habohlokoa ho rona hona joale hore marang-rang a na le lihlopha tse ngata 'me a na le lithanele tse ka khetholloang ka subnet id.
Healthcheck nodes ikopanye le li-balancers ho sebelisa seo ho thoeng ke liaterese tsa quasi-IPv6. Aterese ea quasi ke aterese ea IPv6 e nang le aterese ea IPv4 le id subnet ea mosebelisi e kentsoeng ka hare ho eona. Sephethephethe se fihla ho balancer, e ntšang aterese ea mohloli oa IPv4 ho eona, e nkela IPv6 sebaka ka IPv4 ebe e romela pakete ho marang-rang a mosebedisi.
Sephethephethe se ka morao se tsamaea ka tsela e ts'oanang: balancer e bona hore moo ho eang teng ke marang-rang a grey ho tloha ho healthcheckers, 'me e fetola IPv4 ho IPv6.
VPP - pelo ea sefofane sa data
Balancer e sebelisoa ho sebelisa theknoloji ea Vector Packet Processing (VPP), moralo o tsoang ho Cisco bakeng sa ts'ebetso ea batch ea sephethephethe sa marang-rang. Tabeng ea rona, moralo o sebetsa ka holim'a laebrari ea tsamaiso ea lisebelisoa tsa marang-rang tsa basebelisi - Data Plane Development Kit (DPDK). Sena se tiisa ts'ebetso e phahameng ea ts'ebetso ea lipakete: ho na le litšitiso tse fokolang haholo ho kernel, 'me ha ho na li-switches tsa maemo pakeng tsa sebaka sa kernel le sebaka sa mosebelisi.
VPP e ea hole le ho feta mme e pepesetsa ts'ebetso le ho feta ts'ebetsong ka ho kopanya liphutheloana ka lihlopha. Melemo ea ts'ebetso e tsoa ts'ebelisong e mabifi ea li-cache ho li-processor tsa sejoale-joale. Li-cache tsa data ka bobeli li sebelisoa (lipakete li sebetsoa ka "li-vectors", lintlha li haufi le tse ling) le li-cache tsa litaelo: ho VPP, ts'ebetso ea pakete e latela graph, li-node tse nang le mesebetsi e etsang mosebetsi o tšoanang.
Ka mohlala, ts'ebetso ea lipakete tsa IP ho VPP e etsahala ka tatellano e latelang: pele, lihlooho tsa liphutheloana li arotsoe ka node ea ho arola, ebe li romeloa ho node, e fetisetsang lipakete ka ho eketsehileng ho ea ka litafole tsa ho tsamaisa.
E nyane e thata. Bangoli ba VPP ha ba mamelle ho sekisetsa ts'ebelisong ea li-cache tsa processor, kahoo khoutu e tloaelehileng ea ho sebetsana le vector ea lipakete e na le vectorization ea bukana: ho na le loop ea ts'ebetso eo ho eona boemo bo kang "re na le lipakete tse 'ne moleng" e sebetsoa, ebe ho tšoana ho tse peli, ebe - bakeng sa e le 'ngoe. Litaelo tsa ho lata pele hangata li sebelisoa ho kenya data ho li-cache ho potlakisa phihlello ho tsona ka makhetlo a latelang.
n_left_from = frame->n_vectors;
while (n_left_from > 0)
{
vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next);
// ...
while (n_left_from >= 4 && n_left_to_next >= 2)
{
// processing multiple packets at once
u32 next0 = SAMPLE_NEXT_INTERFACE_OUTPUT;
u32 next1 = SAMPLE_NEXT_INTERFACE_OUTPUT;
// ...
/* Prefetch next iteration. */
{
vlib_buffer_t *p2, *p3;
p2 = vlib_get_buffer (vm, from[2]);
p3 = vlib_get_buffer (vm, from[3]);
vlib_prefetch_buffer_header (p2, LOAD);
vlib_prefetch_buffer_header (p3, LOAD);
CLIB_PREFETCH (p2->data, CLIB_CACHE_LINE_BYTES, STORE);
CLIB_PREFETCH (p3->data, CLIB_CACHE_LINE_BYTES, STORE);
}
// actually process data
/* verify speculative enqueues, maybe switch current next frame */
vlib_validate_buffer_enqueue_x2 (vm, node, next_index,
to_next, n_left_to_next,
bi0, bi1, next0, next1);
}
while (n_left_from > 0 && n_left_to_next > 0)
{
// processing packets by one
}
// processed batch
vlib_put_next_frame (vm, node, next_index, n_left_to_next);
}Kahoo, Healthchecks e bua ka IPv6 ho VPP, e ba fetolang IPv4. Sena se etsoa ka node ho graph, eo re e bitsang algorithmic NAT. Bakeng sa sephethephethe se ka morao (le phetoho ho tloha IPv6 ho IPv4) ho na le node e tšoanang ea algorithmic NAT.
Sephethephethe se tobileng se tsoang ho bareki ba balancer se feta ka li-graph node, tse etsang ho leka-lekanya ka boeona.
Node ea pele ke li-session tse khomarelang. E boloka hashe ea bakeng sa liboka tse hlophisitsoeng. 5-tuple e kenyelletsa aterese le koung ea moreki eo tlhahisoleseling e fetisoang ho eona, aterese le likou tsa lisebelisoa tse fumanehang bakeng sa ho amohela sephethephethe, hammoho le protocol ea marang-rang.
The 5-tuple hash e re thusa ho etsa computation e fokolang sebakeng se latelang sa hashing, hammoho le liphetoho tse ntle tsa lethathamo la lisebelisoa ka mor'a ho leka-lekanya. Ha pakete e se nang seboka e fihla ho balancer, e romelloa ho node e tsitsitseng ea hashing. Mona ke moo ho leka-lekanya ho hlahang ho sebelisa hashing e tsitsitseng: re khetha mohloli ho tsoa lethathamong la lisebelisoa tse fumanehang "phela". Ka mor'a moo, lipakete li romelloa node ea NAT, e hlileng e nkang aterese ea moo e eang teng le ho bala li-checksums hape. Joalo ka ha u bona, re latela melao ea VPP - re rata ho rata, ho hlophisa lipalo tse tšoanang ho eketsa katleho ea li-cache tsa processor.
Hashing e tsitsitseng
Ke hobane'ng ha re e khethile 'me ke eng hape? Pele, a re nahaneng ka mosebetsi o fetileng - ho khetha mohloli ho tsoa lethathamong.
Ka hashing e sa tsitsang, hash ea pakete e kenang e baloa, 'me mohloli o khethoa lethathamong ka karolo e setseng ea ho arola hashe ena ka palo ea lisebelisoa. Ha feela lenane le ntse le sa fetohe, morero ona o sebetsa hantle: kamehla re romella lipakete tse nang le 5-tuple e tšoanang ketsahalong e le 'ngoe. Haeba, ka mohlala, mohloli o mong o emisitse ho arabela litlhahlobo tsa bophelo bo botle, joale bakeng sa karolo e kholo ea li-hashes khetho e tla fetoha. Lihokelo tsa TCP tsa moreki li tla robeha: sephutheloana se fihletsoeng pejana mohlala A se ka qala ho fihla mohlala oa B, o sa tloaelaneng le thuto ea pakete ena.
Hashing e tsitsitseng e rarolla bothata bo hlalositsoeng. Tsela e bonolo ka ho fetisisa ea ho hlalosa khopolo ena ke ena: nahana hore u na le selikalikoe seo u fanang ka sona lisebelisoa ka hash (mohlala, ka IP: port). Ho khetha mohloli ke ho fetola lebili ka angle, e khethiloeng ke hashe ea pakete.
Sena se fokotsa kabo ea sephethephethe ha sebopeho sa lisebelisoa se fetoha. Ho hlakola sesebelisoa ho tla ama feela karolo ea li-hashing ring e tsitsitseng eo mohloli o neng o le ho eona. Ho eketsa sesebelisoa ho boetse ho fetola kabo, empa re na le node ea linako tse khomarelang, e re lumellang hore re se ke ra fetolela mananeo a seng a ntse a thehiloe mehloling e mecha.
Re ile ra sheba se etsahalang ho tsamaisa sephethephethe pakeng tsa balancer le lisebelisoa. Joale a re shebeng sephethephethe se khutlang. E latela mokhoa o ts'oanang le oa sephethe-phethe - ka algorithmic NAT, ke hore, ka morao NAT 44 bakeng sa sephethephethe sa bareki le ka NAT 46 bakeng sa sephethephethe sa tlhahlobo ea bophelo. Re latela morero oa rona: re kopanya sephethephethe sa bophelo bo botle le sephethephethe sa 'nete sa basebelisi.
Loadbalancer-node le likarolo tse kopaneng
Sebopeho sa li-balancers le lisebelisoa ho VPP se tlalehoa ke tšebeletso ea sebaka seo - loadbalancer-node. E ngolisa liketsahalo tse ngata ho tloha ho loadbalancer-controller 'me e khona ho rera phapang pakeng tsa boemo ba hona joale ba VPP le boemo bo reretsoeng bo amoheloang ke molaoli. Re fumana tsamaiso e koetsoeng: liketsahalo tse tsoang ho API li tla ho balalancer controller, e fanang ka mesebetsi ho molaoli oa bophelo bo botle ho hlahloba "liveness" ea lisebelisoa. Seo, se fana ka mesebetsi ho "healthcheck-node" mme se kopanya liphetho, ka mor'a moo se li khutlisetsa ho "balancer controller". Loadbalancer-node e ngolisa liketsahalo ho tsoa ho molaoli mme e fetola boemo ba VPP. Tsamaisong e joalo, tšebeletso ka 'ngoe e tseba feela se hlokahalang mabapi le litšebeletso tsa boahelani. Palo ea likhokahano e lekanyelitsoe mme re na le bokhoni ba ho sebetsa le ho lekanya likarolo tse fapaneng ka boikemelo.
Ke litaba life tse ileng tsa qojoa?
Litšebeletso tsohle tsa rona sefofaneng sa taolo li ngotsoe ho Go 'me li na le litšobotsi tse ntle tsa ho lekanya le ho tšepahala. Go na le lilaeborari tse ngata tse bulehileng tsa ho aha litsamaiso tse ajoang. Re sebelisa GRPC ka mafolofolo, likarolo tsohle li na le ts'ebetsong ea mohloli o bulehileng oa ho sibolla lits'ebeletso - lits'ebeletso tsa rona li beha leihlo tšebetso ea tse ling, li ka fetola sebopeho sa tsona ka matla, 'me re hokahanya sena le ho leka-lekanya GRPC. Bakeng sa metrics, re boetse re sebelisa tharollo ea mohloli o bulehileng. Sefofaneng sa data, re ile ra fumana ts'ebetso e hlomphehang le polokelo e kholo ea lisebelisoa: ho ile ha e-ba thata haholo ho bokella boemo boo re neng re ka itšetleha ka ts'ebetso ea VPP, ho e-na le karete ea marang-rang ea tšepe.
Mathata le Litharollo
Ke eng e sa kang ea sebetsa hantle hakaalo? Go e na le taolo ya memori ya othomathike, empa ho dutla ha memori ho ntse ho etsahala. Tsela e bonolo ka ho fetisisa ea ho sebetsana le tsona ke ho tsamaisa li-goroutines le ho hopola ho li felisa. Takeaway: Shebella tšebeliso ea memori ea mananeo a hau a Go. Hangata pontšo e ntle ke palo ea li-goroutines. Ho na le tlatsetso paleng ena: ho Go ho bonolo ho fumana data ea nako ea ho sebetsa - ts'ebeliso ea memori, palo ea li-goroutines tse sebetsang, le liparamente tse ling tse ngata.
Hape, Go e kanna ea se be khetho e ntle ka ho fetisisa bakeng sa liteko tsa ts'ebetso. Li na le mantsoe a mangata, 'me mokhoa o tloaelehileng oa "ho tsamaisa ntho e' ngoe le e 'ngoe ho CI ka sehlopha" ha o ba loketse haholo. 'Nete ke hore liteko tse sebetsang li hloka lisebelisoa haholo' me li baka nako ea sebele. Ka lebaka lena, liteko li ka 'na tsa hlōleha hobane CPU e tšoarehile ka liteko tsa yuniti. Qetello: Haeba ho khonahala, etsa liteko tse "maholo" ka thoko ho liteko tsa liyuniti.
Mehaho ea liketsahalo tsa Microservice e rarahane ho feta monolith: ho bokella lifate ka mechine e mengata e fapaneng ha ho bonolo haholo. Qetello: haeba u etsa li-microservices, hang-hang nahana ka ho ts'oara.
Merero ea rona
Re tla qala sekala sa ka hare, se leka-lekaneng sa IPv6, re kenye tšehetso bakeng sa mangolo a Kubernetes, re tsoele pele ho arola litšebeletso tsa rona (hona joale ke feela healthcheck-node le healthcheck-ctrl tse sharded), re kenye licheke tse ncha tsa bophelo bo botle, hape re kenye lisebelisoa tse bohlale tsa licheke. Re ntse re nahana ka monyetla oa ho etsa hore litšebeletso tsa rona li ikemele le ho feta - e le hore li se ke tsa buisana ka ho toba, empa li sebelisa mokoloko oa melaetsa. Tšebeletso e lumellanang le SQS e sa tsoa hlaha Cloud .
Haufinyane tjena, ho ile ha lokolloa phatlalatsa Yandex Load Balancer. Hlahloba ho ts'ebeletso, laola li-balancers ka tsela e u loketseng 'me u eketse ho mamella liphoso tsa merero ea hau!
Source: www.habr.com