Hey Habr!
Apre jou ferye Nouvèl Ane a, nou te relanse yon nwaj ki prèv pou katastwòf ki baze sou de sit. Jodi a nou pral di w kouman li fonksyone epi montre sa k ap pase nan machin vityèl kliyan lè eleman endividyèl nan gwoup la echwe ak sit la tout antye aksidan (spoiler - tout bagay anfòm ak yo).
Sistèm depo nwaj ki reziste pou katastwòf sou sit OST la.
Ki sa ki anndan an
Anba kapo a, gwoup la gen sèvè Cisco UCS ak yon hypervisor VMware ESXi, de sistèm depo INFINIDAT InfiniBox F2240, ekipman rezo Cisco Nexus, ansanm ak switch Brocade SAN. Gwoup la divize an de sit - OST ak NORD, sa vle di chak sant done gen yon seri ekipman ki idantik. Aktyèlman, sa a se sa ki fè li reziste dezas.
Nan yon sèl sit, eleman prensipal yo tou double (gen tout pouvwa a, switch SAN, rezo).
De sit yo konekte pa wout fib optik dedye, rezève tou.
Yon kèk mo sou sistèm depo. Nou te konstwi premye vèsyon an nan yon nwaj prèv dezas sou NetApp. Isit la nou te chwazi INFINIDAT, e men poukisa:
- Opsyon replikasyon aktif-aktif. Li pèmèt machin vityèl la rete operasyonèl menm si youn nan sistèm depo yo konplètman echwe. Mwen pral di w plis sou replikasyon pita.
- Twa contrôleur disk pou ogmante tolerans fay sistèm. Anjeneral gen de.
- Pare solisyon. Nou te resevwa yon etajè pre-reyini ki jis bezwen konekte ak rezo a ak konfigirasyon.
- Atantif sipò teknik. Enjenyè INFINIDAT yo toujou ap analize mòso ak evènman sistèm depo yo, enstale nouvo vèsyon firmwèr, epi ede ak konfigirasyon.
Men kèk foto nan debake:
Ki jan li fonksyone
Nwaj la deja toleran fòt nan tèt li. Li pwoteje kliyan an kont pyès ki nan konpitè sèl ak echèk lojisyèl. Rezistan pou katastwòf pral ede pwoteje kont echèk masiv nan yon sit: pou egzanp, echèk nan yon sistèm depo (oswa yon gwoup SDS, ki rive byen souvan 🙂), erè masiv nan yon rezo depo, elatriye. Oke, e sa ki pi enpòtan: tankou yon nwaj sove lè yon sit antye vin inaksesib akòz yon dife, blakawout, kontwòl atakan, oswa aterisaj etranje.
Nan tout ka sa yo, machin vityèl kliyan yo kontinye travay, e se poutèt sa.
Konsepsyon gwoup la fèt pou nenpòt ki lame ESXi ak machin vityèl kliyan ka jwenn aksè nan nenpòt nan de sistèm depo yo. Si sistèm nan depo sou sit OST la echwe, machin vityèl yo ap kontinye travay: gen tout pouvwa a kote yo ap kouri yo pral jwenn aksè nan sistèm nan depo sou NORD pou done.
Sa a se sa dyagram koneksyon an nan yon gwoup sanble.
Sa a se posib akòz lefèt ke yon Inter-Switch Link se configuré ant twal yo SAN nan de sit yo: switch la Fabric A OST SAN konekte ak switch la Fabric A NORD SAN, ak menm jan an pou switch yo Fabric B SAN.
Oke, pou tout sibtilite sa yo nan faktori SAN yo fè sans, replikasyon aktif-aktiv configuré ant de sistèm depo yo: enfòmasyon yo prèske an menm tan ekri nan sistèm depo lokal yo ak aleka, RPO = 0. Li sanble ke done orijinal yo estoke sou yon sistèm depo, epi kopi li yo estoke sou lòt la. Done yo repwodui nan nivo volim depo, epi done VM yo (disk li yo, fichye konfigirasyon, fichye swap, elatriye) estoke sou yo.
Lame ESXi a wè volim prensipal la ak kopi li kòm yon sèl aparèy ki gen kapasite (Aparèy Depo). Gen 24 chemen soti nan lame ESXi a nan chak aparèy ki gen kapasite:
12 chemen konekte li nan sistèm depo lokal la (chemen optimal), ak 12 ki rete yo nan sistèm depo aleka (chemen ki pa optimal). Nan yon sitiyasyon nòmal, ESXi jwenn aksè nan done sou sistèm depo lokal la lè l sèvi avèk chemen "optimal". Lè sistèm depo sa a echwe, ESXi pèdi chemen optimal ak chanje nan "ki pa optimal" yo. Men sa li sanble sou dyagram nan.
Plan yon gwoup prèv katastwòf.
Tout rezo kliyan yo konekte ak tou de sit atravè yon twal rezo komen. Chak sit kouri yon Founisè Edge (PE), sou ki rezo kliyan an yo sispann. PE yo ini nan yon gwoup komen. Si yon PE echwe nan yon sit, tout trafik yo redireksyon sou dezyèm sit la. Mèsi a sa a, machin vityèl nan sit la kite san PE rete aksesib sou rezo a kliyan an.
Ann wè kounye a sa ki pral rive nan machin vityèl kliyan pandan plizyè echèk. Ann kòmanse ak opsyon ki pi lejè yo epi fini ak pi grav la - echèk nan sit la tout antye. Nan egzanp yo, platfòm prensipal la pral OST, ak platfòm la backup, ak kopi done, yo pral NORD.
Kisa k ap pase machin vityèl kliyan an si...
Replikasyon Link echwe. Replikasyon ant sistèm depo yo nan de sit yo sispann.
ESXi pral travay sèlman ak aparèy ki gen kapasite lokal yo (atravè chemen optimal).
Machin vityèl kontinye ap travay.
ISL (Inter-Switch Link) kraze. Ka a se fasil. Sòf si kèk ekskavatè fou fouye plizyè wout optik nan yon fwa, ki kouri sou wout endepandan epi yo mennen l 'nan sit yo atravè opinyon diferan. Men de tout fason. Nan ka sa a, ESXi gen tout pouvwa a pèdi mwatye nan chemen yo epi yo ka sèlman jwenn aksè nan sistèm depo lokal yo. Replik yo kolekte, men gen tout pouvwa a pa pral kapab jwenn aksè nan yo.
Machin vityèl yo ap travay nòmalman.
Chanjman SAN echwe sou youn nan sit yo. ESXi gen tout pouvwa a pèdi kèk nan chemen yo nan sistèm nan depo. Nan ka sa a, lame yo nan sit kote switch la echwe pral travay sèlman atravè youn nan HBA yo.
Machin vityèl yo kontinye opere nòmalman.
Tout switch SAN sou youn nan sit yo echwe. Ann di yon dezas konsa te rive sou sit OST la. Nan ka sa a, lame ESXi sou sit sa a pral pèdi tout chemen ki mennen nan aparèy disk yo. Mekanis estanda VMware vSphere HA a antre nan jwèt: li pral rekòmanse tout machin vityèl nan sit la OST nan NORD nan yon maksimòm de 140 segonn.
Machin vityèl k ap kouri sou sit NORD yo ap fonksyone nòmalman.
Lame ESXi a echwe sou yon sèl sit. Isit la mekanis vSphere HA a travay ankò: machin vityèl ki soti nan lame a echwe yo rekòmanse sou lòt lame - sou menm sit la oswa aleka. Tan rekòmanse machin vityèl la se jiska 1 minit.
Si tout lame ESXi sou sit OST la echwe, pa gen okenn opsyon: VM yo rekòmanse sou yon lòt. Tan rekòmanse se menm bagay la.
Sistèm depo a echwe nan yon sèl sit. Ann di sistèm depo a echwe nan sit la OST. Lè sa a, gen tout pouvwa a ESXi nan sit OST la chanje nan travay ak kopi depo nan NORD. Apre sistèm depo ki echwe a retounen nan sèvis, replikasyon fòse yo pral rive epi gen tout pouvwa a ESXi OST yo ap kòmanse jwenn aksè nan sistèm depo lokal la ankò.
Machin vityèl yo te travay nòmalman tout tan sa a.
Youn nan sit yo echwe. Nan ka sa a, tout machin vityèl yo pral rekòmanse sou sit backup la atravè mekanis vSphere HA. Tan rekòmanse VM se 140 segonn. Nan ka sa a, tout anviwònman rezo machin vityèl la pral sove, epi li rete aksesib a kliyan an sou rezo a.
Pou asire ke rekòmanse nan machin nan sit la backup ale san pwoblèm, chak sit se sèlman mwatye plen. Dezyèm mwatye a se yon rezèv nan ka tout machin vityèl deplase soti nan dezyèm sit la domaje.
Yon nwaj ki reziste dezas ki baze sou de sant done pwoteje kont echèk sa yo.
Plezi sa a pa bon mache, paske, anplis resous prensipal yo, yon rezèv nesesè sou dezyèm sit la. Se poutèt sa, sèvis ki enpòtan pou biznis yo mete nan yon nwaj konsa, tan an alontèm ki lakòz gwo pèt finansye ak repitasyon, oswa si sistèm enfòmasyon an sijè a kondisyon dezas-rezistans soti nan regilatè oswa règleman konpayi entèn yo.
Sous:
Sous: www.habr.com