Entènèt modèn lan prèske enposib san kontni medya: prèske chak grann gen yon smartphone, tout moun sou rezo sosyal yo, ak D 'nan antretyen koute chè pou konpayi yo. Isit la se yon transkripsyon istwa konpayi an sou fason li te òganize livrezon foto lè l sèvi avèk yon solisyon pyès ki nan konpitè, ki pwoblèm pèfòmans li te rankontre nan pwosesis la, kisa ki lakòz yo, ak ki jan pwoblèm sa yo te rezoud lè l sèvi avèk yon solisyon lojisyèl ki baze sou Nginx, pandan y ap asire tolerans fay nan tout nivo (). Nou remèsye otè yo nan istwa Oleg la Efimova ak Alexandra Dymova, ki te pataje eksperyans yo nan konferans lan .
— Ann kòmanse ak yon ti entwodiksyon sou fason nou estoke ak kachèt foto yo. Nou gen yon kouch kote nou estoke yo, ak yon kouch kote nou kachèt foto yo. An menm tan an, si nou vle reyalize yon pousantaj Trick segondè epi redwi chaj la sou depo, li enpòtan pou nou ke chak foto nan yon itilizatè endividyèl se sou yon sèl sèvè kachèt. Sinon, nou ta dwe enstale anpil fwa plis disk ke nou gen plis serveurs. Pousantaj Trick nou an se anviwon 99%, se sa ki, nou ap diminye chaj la sou depo nou an pa 100 fwa, epi yo nan lòd yo fè sa, 10 ane de sa, lè tout bagay sa yo te bati, nou te gen 50 serveurs. An konsekans, yo nan lòd yo sèvi foto sa yo, nou te bezwen esansyèlman 50 domèn ekstèn ke sèvè sa yo sèvi.
Natirèlman, kesyon an te parèt imedyatman: si youn nan serveurs nou yo tonbe epi li pa disponib, ki pati nan trafik la nou pèdi? Nou gade sa ki te sou mache a epi nou deside achte yon pyès ki nan konpitè pou li rezoud tout pwoblèm nou yo. Chwa a tonbe sou solisyon an nan konpayi an F5-rezo (ki, nan chemen an, dènyèman te achte NGINX, Inc): BIG-IP Local Traffic Manager.
Ki sa pyès ki nan konpitè (LTM) sa a fè: li se yon routeur fè ki fè redondans fè nan pò ekstèn li yo epi ki pèmèt ou wout trafik ki baze sou topoloji rezo a, sou kèk paramèt, epi li fè chèk sante. Li te enpòtan pou nou ke pyès pyès ki nan konpitè sa a te kapab pwograme. An konsekans, nou ta ka dekri lojik ki jan foto yon itilizatè espesifik yo te sèvi nan yon kachèt espesifik. Ak kisa li sanble? Gen yon pyès ki nan konpitè ki gade entènèt la sou yon domèn, yon sèl IP, fè ssl dechaje, analiz demann http, chwazi yon nimewo kachèt nan IRule, ki kote yo ale, epi kite trafik ale la. An menm tan an, li fè chèk sante, ak nan evènman an nan kèk machin ki pa disponib, nan moman sa a nou te fè li pou ke trafik la te ale nan yon sèl sèvè backup. Soti nan yon pwen de vi konfigirasyon, gen, nan kou, kèk nuans, men an jeneral tout bagay se byen senp: nou anrejistre yon kat, korespondans nan yon sèten kantite IP nou an sou rezo a, nou di ke nou pral koute sou pò 80. ak 443, nou di ke si sèvè a pa disponib, Lè sa a, ou bezwen voye trafik nan yon sèl la backup, nan ka sa a 35th, epi nou dekri yon pakèt moun sou lojik sou ki jan achitekti sa a ta dwe demonte. Pwoblèm nan sèlman se ke lang nan ki te pwograme kenkayri a te Tcl. Si yon moun sonje sa a ditou... lang sa a se plis ekri sèlman pase yon lang ki pratik pou pwogramasyon:
Kisa nou te jwenn? Nou te resevwa yon pyès ki nan konpitè ki asire disponiblite segondè nan enfrastrikti nou an, wout tout trafik nou an, bay benefis sante ak jis travay. Anplis, li travay pou yon tan long: pandan 10 ane ki sot pase yo pa te gen okenn plent sou li. Nan kòmansman 2018, nou te deja voye apeprè 80k foto pou chak segonn. Sa a se yon kote alantou 80 gigabit nan trafik soti nan tou de nan sant done nou yo.
Sepandan…
Nan kòmansman ane 2018, nou te wè yon foto lèd sou tablo yo: tan li te pran pou voye foto yo te byen klè ogmante. Epi li sispann adapte nou. Pwoblèm lan se ke konpòtman sa a te vizib sèlman pandan pik la nan trafik - pou konpayi nou an sa a se lannwit lan soti nan Dimanch a Lendi. Men, rès tan an, sistèm nan konpòte kòm dabitid, pa gen okenn siy echèk.
Men, pwoblèm nan te dwe rezoud. Nou te idantifye pwoblèm posib epi nou te kòmanse elimine yo. Premye a tout, nan kou, nou elaji uplinks ekstèn, fè yon odit konplè sou uplinks entèn yo, epi nou jwenn tout boulon posib. Men, tout bagay sa yo pa t 'bay yon rezilta evidan, pwoblèm nan pa t' disparèt.
Yon lòt blokaj posib te pèfòmans nan kachèt foto yo tèt yo. Epi nou te deside ke petèt pwoblèm nan repoze ak yo. Oke, nou elaji pèfòmans lan - sitou pò rezo sou kachèt foto. Men, ankò pa te wè okenn amelyorasyon evidan. Nan fen a, nou te peye anpil atansyon sou pèfòmans nan LTM nan tèt li, ak isit la nou te wè yon foto tris sou graf yo: chaj la sou tout CPU kòmanse ale san pwoblèm, men Lè sa a, toudenkou vini nan yon plato. An menm tan an, LTM sispann reponn byen ak chèk sante ak uplinks epi li kòmanse fèmen yo owaza, ki mennen nan degradasyon pèfòmans grav.
Sa vle di, nou te idantifye sous pwoblèm nan, idantifye bouch boutèy la. Li rete pou deside kisa nou pral fè.
Premye, bagay ki pi evidan nou ta ka fè se yon jan kanmenm modènize LTM nan tèt li. Men, gen kèk nuans isit la, paske pyès ki nan konpitè sa a se byen inik, ou pa pral ale nan makèt ki pi pre a epi achte li. Sa a se yon kontra separe, yon kontra lisans separe, epi li pral pran anpil tan. Dezyèm opsyon a se kòmanse reflechi pou tèt ou, vini ak pwòp solisyon ou lè l sèvi avèk pwòp konpozan ou, de preferans lè l sèvi avèk yon pwogram aksè louvri. Tout sa ki rete se deside kisa egzakteman nou pral chwazi pou sa a ak konbyen tan nou pral pase sou rezoud pwoblèm sa a, paske itilizatè yo pa t ap resevwa ase foto. Se poutèt sa, nou bezwen fè tout bagay sa yo trè, trè vit, yon moun ta ka di yè.
Depi travay la sonnen tankou "fè yon bagay pi vit posib epi sèvi ak pyès ki nan konpitè ke nou genyen an," premye bagay nou te panse se te tou senpleman retire kèk machin ki pa trè pwisan nan devan an, mete Nginx la, ak ki nou konnen ki jan yo. travay epi eseye aplike tout menm lojik ke pyès ki nan konpitè te konn fè. Sa vle di, an reyalite, nou kite pyès ki nan konpitè nou an, enstale 4 lòt sèvè ke nou te oblije konfigirasyon, kreye domèn ekstèn pou yo, menm jan ak jan sa te ye 10 ane de sa... Nou pèdi yon ti kras nan disponiblite si machin sa yo tonbe, men toujou mwens, yo rezoud pwoblèm nan nan itilizatè nou yo lokalman.
An konsekans, lojik la rete menm jan an: nou enstale Nginx, li ka fè SSL-dechaje, nou ka yon jan kanmenm pwogram lojik routage, chèk sante nan konfigirasyon yo epi tou senpleman kopi lojik ke nou te gen anvan.
Ann chita pou nou ekri konfigirasyon yo. Okòmansman, li te sanble ke tout bagay te trè senp, men, malerezman, li trè difisil jwenn manyèl pou chak travay. Se poutèt sa, nou pa rekòmande tou senpleman google "ki jan yo konfigirasyon Nginx pou foto": li se pi bon al gade nan dokiman ofisyèl la, ki pral montre ki anviwònman yo ta dwe manyen. Men, li pi bon yo chwazi paramèt espesifik la tèt ou. Oke, Lè sa a, tout bagay se senp: nou dekri sèvè yo ke nou genyen, nou dekri sètifika yo ... Men, bagay ki pi enteresan an se, an reyalite, lojik nan routage tèt li.
Okòmansman, li te sanble ke nou te tou senpleman dekri kote nou an, matche ak kantite kachèt foto nou an nan li, lè l sèvi avèk men nou oswa yon dèlko pou dekri konbyen upstreams nou bezwen, nan chak en nou endike sèvè a ki trafik la ta dwe. ale, ak yon sèvè backup - si sèvè prensipal la pa disponib:
Men, pwobableman, si tout bagay te tèlman senp, nou ta tou senpleman ale lakay ou epi nou pa di anyen. Malerezman, ak anviwònman yo default Nginx, ki, an jeneral, yo te fèt sou plizyè ane nan devlopman epi yo pa totalman apwopriye pou ka sa a ... konfigirasyon an sanble sa a: si kèk sèvè en gen yon erè demann oswa delè, Nginx toujou chanje trafik nan pwochen an. Anplis de sa, apre premye echèk la, nan 10 segonn sèvè a pral fèmen tou, tou de pa erè ak pa delè - sa a pa menm ka configuré nan okenn fason. Sa vle di, si nou retire oswa reset opsyon timeout la nan direktiv la en, lè sa a, byenke Nginx pa pral trete demann sa a epi li pral reponn ak kèk erè ki pa trè bon, sèvè a pral fèmen.
Pou evite sa, nou te fè de bagay:
a) yo te entèdi Nginx fè sa manyèlman - e malerezman, sèl fason pou fè sa se tou senpleman mete paramèt max echwe yo.
b) nou sonje ke nan lòt pwojè nou itilize yon modil ki pèmèt nou fè chèk sante background - kòmsadwa, nou te fè chèk sante byen souvan pou tan D 'si yo ta gen yon aksidan ta dwe minim.
Malerezman, sa a se pa tout tou, paske literalman de premye semèn yo nan operasyon nan konplo sa a te montre ke TCP tchèk sante tou se yon bagay enfidèl: sou sèvè a en li ka pa Nginx, oswa Nginx nan eta D, ak nan ka sa a nwayo a pral aksepte koneksyon an, chèk sante ap pase, men li pa pral travay. Se poutèt sa, nou imedyatman ranplase sa a ak sante-tcheke http, te fè yon espesifik, ki, si li retounen 200, Lè sa a, tout bagay ap travay nan script sa a. Ou ka fè plis lojik - pou egzanp, nan ka sèvè kachèt, tcheke si sistèm fichye a monte kòrèkteman:
Ak sa a ta kostim nou, eksepte ke nan moman sa a kous la konplètman repete sa pyès ki nan konpitè a te fè. Men, nou te vle fè pi byen. Précédemment, nou te gen yon sèl sèvè backup, e sa a se pwobableman pa trè bon, paske si ou gen yon santèn serveurs, Lè sa a, lè plizyè echwe nan yon fwa, yon sèl sèvè backup se fasil fè fas ak chaj la. Se poutèt sa, nou te deside distribye rezèvasyon an atravè tout sèvè: nou tou senpleman te fè yon lòt separe en, te ekri tout sèvè yo la ak sèten paramèt an akò ak chaj la yo ka sèvi, te ajoute menm chèk sante ke nou te gen anvan:
Piske li enposib pou ale nan yon lòt en nan yon sèl en, li te nesesè pou asire w ke si prensipal la en, kote nou tou senpleman anrejistre kòrèk, nesesè foto kachèt, pa t ' disponib, nou tou senpleman te ale nan error_page pou repitasyon, de. kote nou te ale nan backup la en:
Ak literalman ajoute kat serveurs, sa a se sa nou te resevwa: nou ranplase yon pati nan chaj la - nou retire li nan LTM nan sèvè sa yo, aplike menm lojik la la, lè l sèvi avèk pyès ki nan konpitè estanda ak lojisyèl, epi imedyatman te resevwa bonis ke sèvè sa yo kapab. yo ka echèl, paske yo ka tou senpleman bay otan sa nesesè. Oke, sèl negatif la se ke nou te pèdi disponiblite segondè pou itilizatè ekstèn. Men, nan moman sa a nou te oblije sakrifye sa a, paske li te nesesè yo rezoud pwoblèm nan imedyatman. Se konsa, nou retire yon pati nan chaj la, li te apeprè 40% nan moman sa a, LTM te santi bon, ak literalman de semèn apre pwoblèm nan te kòmanse, nou te kòmanse voye pa 45k demann pou chak segonn, men 55k. An reyalite, nou te grandi pa 20% - sa a se klèman trafik la ke nou pa t bay itilizatè a. Apre sa, yo te kòmanse reflechi sou ki jan yo rezoud pwoblèm ki rete a - asire segondè aksè ekstèn.
Nou te gen kèk poz, pandan sa nou te diskite ki solisyon nou ta itilize pou sa. Te gen pwopozisyon pou asire fyab lè l sèvi avèk DNS, lè l sèvi avèk kèk script ekri lakay yo, pwotokòl routage dinamik ... te gen anpil opsyon, men li te deja vin klè ke pou livrezon vrèman serye nan foto, ou bezwen prezante yon lòt kouch ki pral kontwole sa a. . Nou rele direktè foto machin sa yo. Lojisyèl nou te konte sou li te Keepalived:
Pou kòmanse, ki sa Keepalived konpoze? Premye a se pwotokòl VRRP, lajman konnen nan rezo, ki sitiye sou ekipman rezo ki bay tolerans fay nan adrès IP ekstèn kliyan yo konekte. Dezyèm pati a se IPVS, IP sèvè vityèl, pou balanse ant routeurs foto ak asire tolerans fay nan nivo sa a. Ak twazyèm - chèk sante.
Ann kòmanse ak premye pati a: VRRP - ki sa li sanble? Gen yon sèten IP vityèl, ki gen yon antre nan dns badoocdn.com, kote kliyan konekte. Nan kèk pwen nan tan, nou gen yon adrès IP sou yon sèl sèvè. Pakè Keepalived kouri ant sèvè yo lè l sèvi avèk pwotokòl VRRP a, epi si mèt la disparèt nan rada a - sèvè a te rekòmanse oswa yon lòt bagay, Lè sa a, sèvè a backup otomatikman ranmase adrès IP sa a - pa gen okenn aksyon manyèl yo nesesè. Diferans ki genyen ant mèt ak backup se sitou priyorite: pi wo a li se, pi gwo chans pou machin nan ap vin yon mèt. Yon avantaj trè gwo se ke ou pa bezwen konfigirasyon adrès IP sou sèvè a tèt li, li ase yo dekri yo nan konfigirasyon an, epi si adrès IP yo bezwen kèk règ routage koutim, sa a se dekri dirèkteman nan konfigirasyon an, lè l sèvi avèk la. menm sentaks jan sa dekri nan pake VRRP la. Ou pa pral rankontre nenpòt bagay ki pa abitye.
Ki sa sa sanble nan pratik? Kisa k ap pase si youn nan serveurs yo echwe? Le pli vit ke mèt la disparèt, backup nou an sispann resevwa piblisite epi otomatikman vin tounen yon mèt. Apre kèk tan, nou repare mèt la, rekòmanse, leve Keepalived - piblisite rive ak yon pi gwo priyorite pase backup la, ak backup la otomatikman vire tounen, retire adrès IP, pa gen okenn aksyon manyèl bezwen fè.
Kidonk, nou te asire tolerans fay nan adrès IP ekstèn lan. Pati nan pwochen se yon jan kanmenm balanse trafik la soti nan adrès la IP ekstèn nan routeurs yo foto ki deja mete fen nan li. Tout bagay se byen klè ak pwotokòl yo balanse. Sa a se swa yon senp round-robin, oswa bagay sa yo yon ti kras pi konplèks, wrr, koneksyon lis ak sou sa. Sa a se fondamantalman dekri nan dokiman an, pa gen anyen espesyal. Men, metòd livrezon an... Isit la nou pral pran yon gade pi pre poukisa nou te chwazi youn nan yo. Sa yo se NAT, Direct Routing ak TUN. Reyalite a se ke nou imedyatman te planifye pou delivre 100 gigabit trafik soti nan sit yo. Si ou estime, ou bezwen kat gigabit 10, pa vre? 10 kat gigabit nan yon sèl sèvè deja depase limit, omwen, konsèp nou an nan "ekipman estanda". Apre sa, nou sonje ke nou pa jis bay kèk trafik, nou bay foto.
Ki sa ki espesyal? — Diferans enòmal ant trafik k ap rantre ak sortan. Trafik k ap fèk ap rantre yo piti anpil, trafik sortan yo trè gwo:
Si ou gade nan graf sa yo, ou ka wè ke nan moman sa a direktè a ap resevwa apeprè 200 MB pou chak segonn, sa a se yon jou trè òdinè. Nou remèt 4,500 MB pou chak segonn, rapò nou an se apeprè 1/22. Li deja klè ke pou bay totalman trafik sòtan nan 22 serveurs travayè, nou sèlman bezwen youn ki aksepte koneksyon sa a. Sa a se kote algorithm routage dirèk la vin ede nou.
Ak kisa li sanble? Direktè foto nou an, dapre tablo li a, transmèt koneksyon ak routeurs foto. Men, routeurs foto voye retounen trafik dirèkteman sou entènèt la, voye l' bay kliyan an, li pa tounen nan direktè foto a, konsa, ak yon minimòm kantite machin, nou asire nèt sou tout pwen tolerans fay ak ponpe tout trafik. Nan konfigirasyon yo li sanble sa a: nou presize algorithm la, nan ka nou an li se yon rr senp, bay metòd la routage dirèk ak Lè sa a, kòmanse lis tout sèvè yo reyèl, konbyen nan yo nou genyen. Ki pral detèmine trafik sa a. Si nou gen youn oubyen de plis sèvè la, oswa plizyè serveurs, tankou yon bezwen rive - nou jis ajoute seksyon sa a nan konfigirasyon an epi pa enkyete twòp. Soti nan bò a nan sèvè reyèl, soti nan bò a nan routeur foto a, metòd sa a mande pou konfigirasyon ki pi minim, li parfe dekri nan dokiman an, epi pa gen okenn enkonvenyans la.
Ki sa ki espesyalman bèl se ke yon solisyon konsa pa vle di yon redesign radikal nan rezo lokal la; sa a te enpòtan pou nou; nou te oblije rezoud sa a ak depans minim. Si ou gade , Lè sa a, nou pral wè ki sa li sanble. Isit la nou gen yon sèten sèvè vityèl, sou pò 443, koute, aksepte koneksyon an, tout serveurs k ap travay yo ki nan lis, epi ou ka wè ke koneksyon an se, bay oswa pran, menm bagay la. Si nou gade nan estatistik yo sou menm sèvè vityèl la, nou gen pake fèk ap rantre, koneksyon fèk ap rantre, men absoliman pa gen sa ki soti. Koneksyon sortan ale dirèkteman nan kliyan an. Oke, nou te kapab dezekilib li. Koulye a, sa k ap pase si youn nan routeurs foto nou an echwe? Apre yo tout, fè se fè. Li ka antre nan panik nwayo, li ka kraze, ekipman pou pouvwa a ka boule. Anyen. Se poutèt sa yo bezwen chèk sante. Yo ka senp tankou tcheke ki jan pò a louvri, oswa yon bagay ki pi konplèks, jiska kèk scripts lakay-ekri ki pral menm tcheke lojik biznis la.
Nou te kanpe yon kote nan mitan an: nou gen yon demann https nan yon kote espesifik, yo rele script la, si li reponn ak yon repons 200yèm, nou kwè ke tout bagay anfòm ak sèvè sa a, ke li vivan epi yo ka vire sou byen. fasil.
Ki jan sa a, ankò, gade nan pratik? Ann fèmen sèvè a pou antretyen - flache BIOS la, pou egzanp. Nan mòso bwa yo, nou imedyatman gen yon delè, nou wè premye liy lan, Lè sa a, apre twa tantativ li make kòm "echwe", epi li se tou senpleman retire nan lis la.
Yon dezyèm opsyon konpòtman posib tou, lè VS tou senpleman mete a zewo, men si foto a retounen, sa a pa travay byen. Sèvè a vini, Nginx kòmanse la, chèk sante imedyatman konprann ke koneksyon an ap travay, ke tout bagay anfòm, ak sèvè a parèt nan lis nou an, epi chaj la imedyatman kòmanse aplike nan li. Pa gen okenn aksyon manyèl obligatwa nan men administratè devwa a. Sèvè a rdemare nan mitan lannwit - depatman an siveyans pa rele nou sou sa a nan mitan lannwit. Yo fè w konnen sa rive, tout bagay anfòm.
Se konsa, nan yon fason san patipri senp, avèk èd nan yon ti kantite serveurs, nou rezoud pwoblèm nan nan tolerans fay ekstèn.
Tout sa ki rete yo dwe di se ke tout sa a, nan kou, bezwen kontwole. Separeman, li ta dwe remake ke Keepalivede, kòm lojisyèl ekri yon bon bout tan de sa, gen yon pakèt fason yo kontwole li, tou de lè l sèvi avèk chèk atravè DBus, SMTP, SNMP, ak estanda Zabbix. Anplis de sa, li menm li konnen ki jan yo ekri lèt pou prèske chak etènye, epi yo dwe onèt, nan kèk pwen nou menm te panse a fèmen li, paske li ekri yon anpil nan lèt pou nenpòt ki chanje trafik, chanje sou, pou chak koneksyon IP, ak sou sa. Natirèlman, si gen yon anpil nan serveurs, Lè sa a, ou ka akable tèt ou ak lèt sa yo. Nou kontwole nginx sou routeurs foto lè l sèvi avèk metòd estanda, ak siveyans pyès ki nan konpitè pa te ale. Nou ta, nan kou, konseye de plis bagay: premyèman, chèk sante ekstèn ak disponiblite, paske menm si tout bagay ap travay, an reyalite, petèt itilizatè pa resevwa foto akòz pwoblèm ak founisè ekstèn oswa yon bagay ki pi konplèks. Li toujou vo kenbe yon kote sou yon lòt rezo, nan Amazon oswa yon lòt kote, yon machin separe ki ka ping sèvè ou soti deyò a, epi li la tou vo itilize swa deteksyon anomali, pou moun ki konnen ki jan fè aprantisaj machin difisil, oswa siveyans senp. , omwen yo nan lòd yo swiv si demann yo te tonbe sevè, oswa, okontrè, ogmante. Li kapab itil tou.
Ann rezime: nou, an reyalite, ranplase solisyon an fè-rekouvèr, ki nan kèk pwen sispann kostim nou, ak yon sistèm jistis senp ki fè tout bagay menm jan an, se sa ki, li bay revokasyon nan trafik HTTPS ak plis routage entelijan ak la. chèk sante ki nesesè yo. Nou te ogmante estabilite nan sistèm sa a, se sa ki, nou toujou gen gwo disponiblite pou chak kouch, plis nou gen bonis la ke li se byen fasil pou echèl li tout sou chak kouch, paske li se pyès ki nan konpitè estanda ak lojisyèl estanda, sa vle di. , nou te senplifye dyagnostik pwoblèm posib.
Ki sa nou te fini ak? Nou te gen yon pwoblèm pandan jou ferye janvye 2018 la. Nan premye sis mwa yo pandan nou te mete konplo sa a nan operasyon, nou te elaji li nan tout trafik yo nan lòd yo retire tout trafik nan LTM, nou te grandi sèlman nan trafik nan yon sant done soti nan 40 gigabit a 60 gigabit, ak an menm tan pou tout ane 2018 la te kapab voye prèske twa fwa plis foto pou chak segonn.
Sous: www.habr.com