Web HighLoad - ki jan nou jere trafik pou dè dizèn de milye domèn

Trafik lejitim sou rezo DDoS-Guard la dènyèman depase yon santèn gigabit pou chak segonn. Kounye a, 50% nan tout trafik nou an pwodwi pa sèvis entènèt kliyan yo. Sa yo se anpil dizèn de milye de domèn, trè diferan ak nan pifò ka yo mande pou yon apwòch endividyèl.

Anba koupe a se fason nou jere nœuds devan yo ak bay sètifika SSL pou dè santèn de milye sit.

Mete kanpe yon devan pou yon sèl sit, menm yon sèl trè gwo, se fasil. Nou pran nginx oswa haproxy oswa lighttpd, konfigirasyon li dapre gid yo epi bliye sou li. Si nou bezwen chanje yon bagay, nou fè yon rechaje epi bliye ankò.

Tout bagay chanje lè ou trete gwo volim trafik sou vole, evalye lejitimite demann yo, konpresyon ak kachèt kontni itilizatè, epi an menm tan chanje paramèt plizyè fwa pa segonn. Itilizatè a vle wè rezilta a sou tout nœuds ekstèn imedyatman apre li te chanje paramèt yo nan kont pèsonèl li. Yon itilizatè ka telechaje tou plizyè mil (e pafwa dè dizèn de milye) domèn ak paramèt pwosesis trafik endividyèl atravè API a. Tout bagay sa a ta dwe travay tou imedyatman nan Amerik, ak nan Ewòp, ak nan pwovens Lazi - travay la se pa trivial la, konsidere ke nan Moskou pou kont li gen plizyè nœuds filtraj fizikman separe.

Poukisa gen anpil gwo nœuds serye atravè mond lan?

• Kalite sèvis pou trafik kliyan - demann ki soti nan Etazini yo bezwen trete nan USA a (ki gen ladan pou atak, analiz ak lòt anomali), epi yo pa rale Moskou oswa Ewòp, enprevizib ogmante reta nan pwosesis.

• Sikilasyon atak yo dwe lokalize - operatè transpò piblik yo ka degrade pandan atak, volim nan yo souvan depase 1 Tbps. Transpò trafik atak sou lyen transatlantik oswa transazyatik se pa yon bon lide. Nou te gen ka reyèl lè operatè Tier-1 te di: "Volim atak ou resevwa yo danjere pou nou." Se poutèt sa nou aksepte kouran k ap vini pi pre sous yo ke posib.

• Kondisyon strik pou kontinwite nan sèvis - sant netwayaj pa ta dwe depann ni youn sou lòt oswa sou evènman lokal yo nan mond nou an k ap chanje rapidman. Èske ou koupe kouran nan tout 11 etaj MMTS-9 pou yon semèn? - pa gen pwoblèm. Pa gen yon sèl kliyan ki pa gen yon koneksyon fizik nan kote an patikilye sa a ap soufri, ak sèvis entènèt yo pa pral soufri nan okenn sikonstans.

Ki jan yo jere tout bagay sa yo?

Konfigirasyon sèvis yo ta dwe distribye nan tout nœuds devan yo pi vit posib (depreferans imedyatman). Ou pa ka jis pran ak rebati konfigirasyon tèks yo ak rdemare demon yo nan chak chanjman - menm nginx la kenbe pwosesis fèmen (travayè fèmen) pou kèk minit plis (oswa petèt èdtan si gen sesyon websocket long).

Lè w rechaje konfigirasyon nginx la, foto sa a se byen nòmal:

Sou itilizasyon memwa:

Travayè fin vye granmoun manje moute memwa, ki gen ladan memwa ki pa lineyèman depann sou kantite koneksyon - sa a se nòmal. Lè koneksyon kliyan yo fèmen, memwa sa a pral libere.

Poukisa sa a pa t 'yon pwoblèm lè nginx te jis kòmanse? Pa te gen okenn HTTP/2, pa gen okenn WebSocket, pa gen okenn koneksyon masiv long kenbe-viv. 70% nan trafik entènèt nou an se HTTP/2, ki vle di koneksyon trè long.

Solisyon an se senp - pa sèvi ak nginx, pa jere fron ki baze sou dosye tèks, epi sètènman pa voye konfigirasyon tèks zip sou chanèl transpasifik. Chanèl yo, nan kou, garanti ak rezève, men sa pa fè yo nenpòt ki mwens transkontinantal.

Nou gen pwòp sèvè-balanse devan nou an, entèn yo mwen pral pale sou nan atik sa yo. Bagay pwensipal lan ke li ka fè se aplike dè milye de chanjman konfigirasyon pou chak segonn sou vole a, san yo pa rekòmanse, rechaje, ogmantasyon toudenkou nan konsomasyon memwa, ak tout sa. Sa a trè menm jan ak Hot Code Reload, pou egzanp nan Erlang. Done yo estoke nan yon baz done jeo distribye kle-valè epi li imedyatman pa actuators devan yo. Moun sa yo. ou telechaje sètifika SSL la atravè koòdone entènèt la oswa API nan Moskou, epi nan kèk segond li pare pou ale nan sant netwayaj nou an nan Los Angeles. Si yon gè mondyal rive toudenkou epi entènèt la disparèt nan tout mond lan, nœuds nou yo ap kontinye travay otonòm ak repare sèvo fann nan le pli vit ke youn nan chanèl yo dedye Los Angeles-Amsterdam-Moskou, Moskou-Amstèdam-Hong Kong-. Los-Los vin disponib.Anjeles oswa omwen youn nan superpozisyon backup GRE yo.

Menm mekanis sa a pèmèt nou imedyatman bay ak renouvle sètifika Let's Encrypt. Trè tou senpleman li travay tankou sa a:

1. Le pli vit ke nou wè omwen yon demann HTTPS pou domèn kliyan nou an san yon sètifika (oswa ak yon sètifika ekspire), ne ekstèn ki aksepte demann lan rapòte sa a bay otorite sètifikasyon entèn la.

   

2. Si itilizatè a pa entèdi emisyon Let's Encrypt, otorite sètifikasyon an jenere yon CSR, resevwa yon siy konfimasyon nan men LE epi voye li nan tout fwon sou yon chanèl chiffres. Koulye a, nenpòt ne ka konfime yon demann validation soti nan LE.

   

3. Nan kèk moman, nou pral resevwa sètifika ki kòrèk la ak kle prive epi voye li nan devan yo nan menm fason an. Ankò, san rekòmanse demon yo

   

4. 7 jou anvan dat ekspirasyon an, pwosedi pou re-resevwa sètifika a kòmanse

Kounye a nou ap wotasyon sètifika 350k an tan reyèl, konplètman transparan pou itilizatè yo.

Nan atik sa yo nan seri a, mwen pral pale sou lòt karakteristik nan pwosesis an tan reyèl nan gwo trafik entènèt - pou egzanp, sou analiz RTT lè l sèvi avèk done enkonplè pou amelyore kalite sèvis pou kliyan transpò piblik yo ak an jeneral sou pwoteje trafik transpò piblik kont atak terabit, sou livrezon ak agrégasyon enfòmasyon trafik, sou WAF, CDN prèske san limit ak anpil mekanis pou optimize livrezon kontni.

Se sèlman itilizatè ki anrejistre ki ka patisipe nan sondaj la. Enskri, tanpri.

Kisa ou ta renmen konnen an premye?

• 14,3%Algoritm pou gwoupman ak analize kalite trafik entènèt <3

• 33,3%Entèn balans DDoS-Guard7

• 9,5%Pwoteksyon transpò piblik L3/L4 trafik2

• 0,0%Pwoteje sit entènèt sou trafik transpò piblik0

• 14,3%Aplikasyon Web Firewall3

• 28,6%Pwoteksyon kont analiz ak klike sou6

21 itilizatè yo te vote. 6 itilizatè te absteni.

Sous: www.habr.com