It-traffiku leġittimu fuq in-netwerk DDoS-Guard dan l-aħħar qabeż il-mitt gigabit kull sekonda. Bħalissa, 50% tat-traffiku kollu tagħna huwa ġġenerat mis-servizzi tal-web tal-klijenti. Dawn huma ħafna għexieren ta' eluf ta' oqsma, differenti ħafna u fil-biċċa l-kbira tal-każijiet jeħtieġu approċċ individwali.
Taħt il-qatgħa hemm kif niġġestixxu n-nodi ta 'quddiem u noħorġu ċertifikati SSL għal mijiet ta' eluf ta 'siti.
It-twaqqif ta 'faċċata għal sit wieħed, anki wieħed kbir ħafna, huwa faċli. Nieħdu nginx jew haproxy jew lighttpd, ikkonfigurawha skont il-gwidi u ninsewha. Jekk irridu nibdlu xi ħaġa, nagħmlu reload u nerġgħu ninsew.
Kollox jinbidel meta tipproċessa volumi kbar ta 'traffiku fuq il-fly, tevalwa l-leġittimità tat-talbiet, tikkompressa u tiġbor fil-cache l-kontenut tal-utent, u fl-istess ħin tibdel il-parametri diversi drabi kull sekonda. L-utent irid jara r-riżultat fuq in-nodi esterni kollha immedjatament wara li jkun biddel is-settings fil-kont personali tiegħu. Utent jista 'wkoll tniżżel diversi eluf (u kultant għexieren ta' eluf) ta 'dominji b'parametri individwali tal-ipproċessar tat-traffiku permezz tal-API. Dan kollu għandu jaħdem ukoll immedjatament fl-Amerika, u fl-Ewropa, u fl-Asja - il-kompitu mhuwiex l-aktar trivjali, meta wieħed iqis li f'Moska biss hemm diversi nodi ta 'filtrazzjoni fiżikament separati.
Għaliex hemm ħafna nodi affidabbli kbar madwar id-dinja?
-
Kwalità tas-servizz għat-traffiku tal-klijenti - talbiet mill-Istati Uniti jeħtieġ li jiġu pproċessati fl-Istati Uniti (inkluż għal attakki, parsing u anomaliji oħra), u mhux miġbuda lejn Moska jew l-Ewropa, u b'mod imprevedibbli jiżdied id-dewmien tal-ipproċessar.
-
It-traffiku tal-attakk għandu jkun lokalizzat - l-operaturi tat-tranżitu jistgħu jiddegradaw waqt attakki, li l-volum tagħhom ħafna drabi jaqbeż 1Tbps. It-trasport tat-traffiku tal-attakki fuq konnessjonijiet transatlantiċi jew transasjatiċi mhix idea tajba. Kellna każijiet reali meta operaturi Tier-1 qalu: "Il-volum ta 'attakki li tirċievi huwa perikoluż għalina." Huwa għalhekk li naċċettaw flussi deħlin kemm jista' jkun qrib is-sorsi tagħhom.
-
Rekwiżiti stretti għall-kontinwità tas-servizz - iċ-ċentri tat-tindif m'għandhomx jiddependu la minn xulxin u lanqas fuq avvenimenti lokali fid-dinja tagħna li qed tinbidel malajr. Qtajt il-qawwa tal-11-il sular tal-MMTS-9 għal ġimgħa? - mhux problema. L-ebda klijent wieħed li m'għandux konnessjoni fiżika f'dan il-post partikolari ma jbati, u s-servizzi tal-web ma jbatu taħt l-ebda ċirkostanza.
Kif timmaniġġja dan kollu?
Il-konfigurazzjonijiet tas-servizz għandhom jitqassmu lin-nodi kollha ta' quddiem kemm jista' jkun malajr (idealment istantanjament). Ma tistax sempliċement tieħu u tibni mill-ġdid il-konfigurazzjonijiet tat-test u terġa 'tibda d-daemons f'kull bidla - l-istess nginx iżomm il-proċessi jagħlqu (il-ħaddiem jagħlaq) għal ftit minuti oħra (jew forsi sigħat jekk ikun hemm sessjonijiet twal tal-websocket).
Meta terġa 'tagħbija l-konfigurazzjoni nginx, l-istampa li ġejja hija pjuttost normali:
Dwar l-użu tal-memorja:
Ħaddiema qodma jieklu memorja, inkluż memorja li ma tiddependix b'mod lineari fuq in-numru ta 'konnessjonijiet - dan huwa normali. Meta l-konnessjonijiet tal-klijenti jingħalqu, din il-memorja tiġi meħlusa.
Għaliex din ma kinitx kwistjoni meta nginx kien għadu qed jibda? Ma kien hemm l-ebda HTTP/2, l-ebda WebSocket, l-ebda konnessjonijiet massivi li jżommu l-ħajja fit-tul. 70% tat-traffiku tal-web tagħna huwa HTTP/2, li jfisser konnessjonijiet twal ħafna.
Is-soluzzjoni hija sempliċi - tużax nginx, ma timmaniġġjax fronti bbażati fuq fajls ta 'test, u ċertament ma tibgħatx konfigurazzjonijiet ta' test zipped fuq kanali transpaċifiċi. Il-kanali huma, ovvjament, garantiti u riżervati, iżda dan ma jagħmilhomx inqas transkontinentali.
Għandna l-balancer tas-server ta 'quddiem tagħna stess, li l-interni tiegħu se nitkellem dwarhom fl-artikoli li ġejjin. Il-ħaġa prinċipali li tista 'tagħmel hija li tapplika eluf ta' bidliet fil-konfigurazzjoni kull sekonda fuq il-fly, mingħajr startjar mill-ġdid, reloads, żidiet f'daqqa fil-konsum tal-memorja, u dak kollu. Dan huwa simili ħafna għal Hot Code Reload, pereżempju f'Erlang. Id-dejta hija maħżuna f'database ta' valur ewlieni ġeo distribwit u tinqara immedjatament mill-attwaturi ta' quddiem. Dawk. inti ttella 'ċ-ċertifikat SSL permezz tal-interface tal-web jew API f'Moska, u fi ftit sekondi hija lesta biex tmur fiċ-ċentru tat-tindif tagħna f'Los Angeles. Jekk f'daqqa waħda sseħħ gwerra dinjija u l-Internet jisparixxi mad-dinja kollha, in-nodi tagħna se jkomplu jaħdmu b'mod awtonomu u jsewwu l-moħħ maqsum malli wieħed mill-kanali ddedikati Los Angeles-Amsterdam-Moska, Moska-Amsterdam-Hong Kong- Los-Los isir disponibbli. Angeles jew mill-inqas waħda mill-overlays tal-backup tal-GRE.
Dan l-istess mekkaniżmu jippermettilna li istantanjament noħorġu u nġeddu ċ-ċertifikati Let's Encrypt. Sempliċiment jaħdem hekk:
-
Hekk kif naraw mill-inqas talba HTTPS waħda għad-dominju tal-klijent tagħna mingħajr ċertifikat (jew b'ċertifikat skadut), in-nodu estern li aċċetta t-talba jirrapporta dan lill-awtorità ta 'ċertifikazzjoni interna.
-
Jekk l-utent ma jkunx ipprojbixxa l-ħruġ ta' Let's Encrypt, l-awtorità ta' ċertifikazzjoni tiġġenera CSR, tirċievi token ta' konferma minn LE u tibgħatha lill-faċċati kollha fuq kanal ikkodifikat. Issa kull nodu jista 'jikkonferma talba ta' validazzjoni minn LE.
-
Fi ftit mumenti, aħna nirċievu ċ-ċertifikat korrett u ċ-ċavetta privata u nibagħtuha lill-faċċati bl-istess mod. Għal darb'oħra, mingħajr ma terġa 'tibda d-daemons
-
7 ijiem qabel id-data ta 'skadenza, tinbeda l-proċedura biex terġa' tirċievi ċ-ċertifikat
Bħalissa qed iduru 350k ċertifikati f'ħin reali, kompletament trasparenti għall-utenti.
Fl-artikoli li ġejjin tas-serje, se nitkellem dwar karatteristiċi oħra tal-ipproċessar f'ħin reali ta' traffiku kbir tal-web - pereżempju, dwar l-analiżi tal-RTT bl-użu ta' data mhux kompluta biex ittejjeb il-kwalità tas-servizz għall-klijenti tat-tranżitu u b'mod ġenerali dwar il-protezzjoni tat-traffiku tat-tranżitu minn attakki terabit, dwar il-kunsinna u l-aggregazzjoni ta 'informazzjoni tat-traffiku, dwar WAF, CDN kważi illimitat u ħafna mekkaniżmi għall-ottimizzazzjoni tal-kunsinna tal-kontenut.
Utenti reġistrati biss jistgħu jipparteċipaw fl-istħarriġ. , ta 'xejn.
X'tixtieq tkun taf l-ewwel?
-
14,3%Algoritmi għar-raggruppament u l-analiżi tal-kwalità tat-traffiku tal-web<3
-
33,3%Interni tal-balancers DDoS-Guard7
-
9,5%Protezzjoni tat-traffiku ta' transitu L3/L4
-
0,0%Protezzjoni ta' websajts fuq traffiku ta' transitu0
-
14,3%Applikazzjoni tal-Web Firewall3
-
28,6%Protezzjoni kontra parsing u clicking6
Ivvutaw 21 utent. 6 utenti astjenew.
Sors: www.habr.com