Web HighLoad - mar a stiùireas sinn trafaic airson deichean de mhìltean de raointean

O chionn ghoirid chaidh trafaic dligheach air lìonra DDoS-Guard thairis air ceud gigabits gach diog. An-dràsta, tha 50% den trafaic againn air a chruthachadh le seirbheisean lìn teachdaiche. Tha iad sin nan deichean de mhìltean de raointean, gu math eadar-dhealaichte agus sa mhòr-chuid de chùisean feumach air dòigh-obrach fa-leth.

Fon gearradh tha mar a bhios sinn a’ riaghladh nodan aghaidh agus a’ toirt seachad teisteanasan SSL airson ceudan de mhìltean de làraich.

Tha e furasta aghaidh a chuir air dòigh airson aon làrach, eadhon làrach glè mhòr. Bidh sinn a’ gabhail nginx no haproxy no lighttpd, ga rèiteachadh a rèir an iùil agus a’ dìochuimhneachadh mu dheidhinn. Ma dh'fheumas sinn rudeigin atharrachadh, bidh sinn a 'dèanamh ath-luchdachadh agus a' dìochuimhneachadh a-rithist.

Bidh a h-uile càil ag atharrachadh nuair a bhios tu a’ làimhseachadh tòrr trafaic air an itealan, dèan measadh air dligheachd iarrtasan, teannachadh agus tasgadan susbaint luchd-cleachdaidh, agus aig an aon àm atharraich paramadairean grunn thursan san diog. Tha an neach-cleachdaidh airson an toradh fhaicinn air a h-uile nod taobh a-muigh dìreach às deidh dha na roghainnean atharrachadh sa chunntas pearsanta aige. Faodaidh neach-cleachdaidh cuideachd grunn mhìltean (agus uaireannan deichean de mhìltean) raointean a luchdachadh sìos le paramadairean giollachd trafaic fa leth tron ​​​​API. Bu chòir seo uile a bhith ag obair sa bhad ann an Ameireagaidh, agus san Roinn Eòrpa, agus ann an Àisia - chan e an obair as duilghe, leis gu bheil grunn nodan sìoltachaidh ann am Moscow a-mhàin.

Carson a tha mòran nodan mòra earbsach air feadh an t-saoghail?

• Càileachd seirbheis airson trafaic teachdaiche - feumar iarrtasan bho na SA a phròiseasadh anns na SA (a ’toirt a-steach ionnsaighean, parsadh agus neo-riaghailteachdan eile), agus gun a bhith air an tarraing gu Moscow no an Roinn Eòrpa, a’ meudachadh an dàil giollachd gu neo-fhaicsinneach.

• Feumaidh trafaic ionnsaigh a bhith gu h-ionadail - faodaidh luchd-obrachaidh gluasaid crìonadh rè ionnsaighean, agus bidh an àireamh dhiubh gu tric nas àirde na 1Tbps. Chan e deagh bheachd a th’ ann a bhith a’ giùlan trafaic ionnsaigh thairis air ceanglaichean thar a’ Chuain Siar no transasian. Bha fìor chùisean againn nuair a thuirt luchd-obrachaidh Tier-1: “Tha na tha de dh’ ionnsaighean a gheibh thu cunnartach dhuinn. ” Sin as coireach gu bheil sinn a’ gabhail ri sruthan a tha a’ tighinn a-steach cho faisg ‘s a ghabhas air na stòran aca.

• Riatanasan teann airson leantalachd seirbheis - cha bu chòir ionadan glanaidh a bhith an urra ri chèile no ri tachartasan ionadail san t-saoghal againn a tha ag atharrachadh gu luath. An do gheàrr thu cumhachd gu na 11 làr gu lèir de MMTS-9 airson seachdain? - Chan eil duilgheadas ann. Chan fhuiling aon neach-dèiligidh aig nach eil ceangal corporra san àite shònraichte seo, agus cha bhith seirbheisean lìn a’ fulang ann an suidheachadh sam bith.

Ciamar a riaghladh seo uile?

Bu chòir rèiteachadh seirbheis a sgaoileadh chun a h-uile nod aghaidh cho luath ‘s a ghabhas (gu h-iomchaidh sa bhad). Chan urrainn dhut dìreach rèiteachaidhean teacsa a ghabhail agus ath-thogail agus na daemons ath-thòiseachadh aig a h-uile atharrachadh - bidh an aon nginx a’ cumail phròiseasan a ’dùnadh sìos (neach-obrach a’ dùnadh sìos) airson beagan mhionaidean eile (no is dòcha uairean ma tha seiseanan websocket fada ann).

Nuair a bhios tu ag ath-luchdachadh rèiteachadh nginx, tha an dealbh a leanas gu math àbhaisteach:

A thaobh cleachdadh cuimhne:

Seann luchd-obrach ag ithe suas cuimhne, a 'gabhail a-steach cuimhne nach eil sreathach an crochadh air an àireamh de cheanglaichean - tha seo àbhaisteach. Nuair a bhios ceanglaichean teachdaiche dùinte, thèid an cuimhne seo a shaoradh.

Carson nach robh seo na chùis nuair a bha nginx dìreach a’ tòiseachadh? Cha robh HTTP/2 ann, cha robh WebSocket ann, cha robh ceanglaichean mòra ann airson cumail beò. Tha 70% den trafaic lìn againn HTTP/2, a tha a’ ciallachadh ceanglaichean glè fhada.

Tha am fuasgladh sìmplidh - na cleachd nginx, na bi a’ riaghladh aghaidhean stèidhichte air faidhlichean teacsa, agus gu cinnteach na cuir a-steach rèiteachaidhean teacsa zipped thairis air seanalan tar-shònraichte. Tha na seanalan, gu dearbh, barantaichte agus glèidhte, ach chan eil sin gam fàgail cho thar-thìreach.

Tha am frithealaiche aghaidh-cothromachaidh againn fhèin, air am bi mi a’ bruidhinn anns na h-artaigilean a leanas. Is e am prìomh rud as urrainn dha a dhèanamh na mìltean de dh ’atharrachaidhean rèiteachaidh gach diog a chuir an sàs air an itealan, gun ath-thòiseachadh, ath-luchdachadh, àrdachadh gu h-obann ann an caitheamh cuimhne, agus sin uile. Tha seo glè choltach ri Hot Code Reload, mar eisimpleir ann an Erlang. Tha an dàta air a stòradh ann an stòr-dàta luach-iuchrach geo-sgaoileadh agus air a leughadh sa bhad leis na gnìomhaichean aghaidh. An fheadhainn sin. bidh thu a’ luchdachadh suas an teisteanas SSL tron ​​​​eadar-aghaidh lìn no API ann am Moscow, agus ann am beagan dhiog tha e deiseil airson a dhol don ionad glanaidh againn ann an Los Angeles. Ma thachras cogadh mòr gu h-obann agus an eadar-lìn a’ dol à sealladh air feadh an t-saoghail, leanaidh na nodan againn ag obair gu neo-eisimeileach agus a’ càradh an eanchainn sgoltadh cho luath ri aon de na seanalan sònraichte Los Angeles-Amsterdam-Moscow, Moscow-Amsterdam-Hong Kong- Bidh Los-Los ri fhaighinn. Angeles no co-dhiù aon de na h-ath-chòmhdach cùl-taic GRE.

Leigidh an aon uidheamachd seo leinn teisteanasan Let's Encrypt a chuir a-mach agus ùrachadh sa bhad. Gu sìmplidh tha e ag obair mar seo:

1. Cho luath ‘s a chì sinn co-dhiù aon iarrtas HTTPS airson àrainn ar teachdaiche gun theisteanas (no le teisteanas a dh’ fhalbh), bidh an nód bhon taobh a-muigh a ghabh ris an iarrtas ag aithris seo don ùghdarras teisteanachaidh a-staigh.

   

2. Mura h-eil an neach-cleachdaidh air casg a chuir air leigeil a-mach Let's Encrypt, bidh an t-ùghdarras teisteanais a’ gineadh CSR, a ’faighinn comharra dearbhaidh bho LE agus ga chuir gu gach taobh thairis air seanal crioptaichte. A-nis faodaidh nód sam bith iarrtas dearbhaidh bho LE a dhearbhadh.

   

3. Ann am beagan mhionaidean, gheibh sinn an teisteanas ceart agus an iuchair phrìobhaideach agus cuiridh sinn chun aghaidh e san aon dòigh. A-rithist, gun ath-thòiseachadh na daemons

   

4. 7 latha ron cheann-latha crìochnachaidh, tha an dòigh-obrach airson an teisteanas fhaighinn air ais air a thòiseachadh

An-dràsta tha sinn a’ tionndadh teisteanasan 350k ann an àm fìor, gu tur follaiseach do luchd-cleachdaidh.

Anns na h-artaigilean a leanas den t-sreath, bruidhnidh mi mu fheartan eile de ghiullachd fìor-ùine air trafaic lìn mòr - mar eisimpleir, mu bhith a’ dèanamh anailis air RTT a’ cleachdadh dàta neo-choileanta gus càileachd seirbheis adhartachadh airson teachdaichean gluasaid agus san fharsaingeachd mu bhith a’ dìon trafaic gluasaid bho ionnsaighean terabit, mu lìbhrigeadh agus cruinneachadh fiosrachaidh trafaic, mu WAF, CDN cha mhòr gun chrìoch agus mòran dhòighean airson lìbhrigeadh susbaint a mheudachadh.

Chan fhaod ach luchd-cleachdaidh clàraichte pàirt a ghabhail san sgrùdadh. Soidhnig a-steach, mas e do thoil e.

Dè a bhiodh tu airson faighinn a-mach an toiseach?

• 14,3%Algorithms airson cruinneachadh agus mion-sgrùdadh càileachd trafaic lìn <3

• 33,3%Taobh a-staigh luchd-cothromachaidh DDoS-Guard7

• 9,5%Dìon trafaic gluasaid L3/L4

• 0,0%Dìon làraich-lìn air trafaig gluasaid0

• 14,3%Iarrtas lìn balla-teine3

• 28,6%Dìon an aghaidh parsadh agus cliogadh6

Bhòt 21 neach-cleachdaidh. Sheall 6 luchd-cleachdaidh.

Source: www.habr.com