Hi Habr!
Às deidh saor-làithean na Bliadhn ’Ùire, chuir sinn air bhog sgòth dìon mòr-thubaist stèidhichte air dà làrach. An-diugh innsidh sinn dhut mar a tha e ag obair agus seallaidh sinn dè thachras do innealan brìgheil teachdaiche nuair a dh’ fhailicheas eileamaidean fa-leth den bhuidheann agus an làrach gu lèir a ’tuiteam (spoiler - tha a h-uile dad gu math leotha).
Siostam stòraidh neòil a tha an aghaidh mòr-thubaist air làrach OST.
Dè tha a-staigh
Fon chochall, tha frithealaichean Cisco UCS aig a’ bhuidheann le hypervisor VMware ESXi, dà shiostam stòraidh INFINIDAT InfiniBox F2240, uidheamachd lìonra Cisco Nexus, a bharrachd air suidsichean Brocade SAN. Tha an cruinneachadh air a roinn ann an dà làrach - OST agus NORD, i.e. tha an aon sheata uidheamachd aig gach ionad dàta. Gu fìrinneach, is e seo a tha ga fhàgail seasmhach le mòr-thubaist.
Taobh a-staigh aon làrach, tha na prìomh eileamaidean cuideachd air an dùblachadh (luchd-aoigheachd, suidsichean SAN, lìonrachadh).
Tha an dà làrach ceangailte le slighean fibre optic sònraichte, glèidhte cuideachd.
Beagan fhaclan mu shiostaman stòraidh. Thog sinn a’ chiad dreach de sgòth dìon mòr-thubaist air NetApp. An seo thagh sinn INFINIDAT, agus seo carson:
- Gnìomhach-Gnìomhach ath-riochdachadh roghainn. Leigidh e leis an inneal brìgheil fuireach ag obair eadhon ged a dh’ fhailicheas aon de na siostaman stòraidh gu tur. Innsidh mi barrachd dhut mu ath-riochdachadh nas fhaide air adhart.
- Trì riaghladairean diosc gus fulangas locht siostam àrdachadh. Mar as trice tha dhà ann.
- Fuasgladh deiseil. Fhuair sinn raca ro-chruinnichte a dh’ fheumas a bhith ceangailte ris an lìonra agus a rèiteachadh.
- Taic theicnigeach furachail. Bidh innleadairean INFINIDAT an-còmhnaidh a’ sgrùdadh logaichean agus tachartasan siostam stòraidh, a’ stàladh dreachan firmware ùra, agus a’ cuideachadh le rèiteachadh.
Seo cuid de na dealbhan bhon dì-phapadh:
Mar a tha e ag obair
Tha an sgòth mu thràth a’ fulang le lochdan ann fhèin. Bidh e a’ dìon an neach-dèiligidh bho fhàiligeadh bathar-cruaidh is bathar-bog singilte. Cuidichidh dìon mòr-thubaist le dìon an aghaidh fàilligidhean mòra taobh a-staigh aon làrach: mar eisimpleir, fàilligeadh siostam stòraidh (no cruinneachadh SDS, a thachras gu math tric 🙂), mearachdan mòra ann an lìonra stòraidh, msaa. Uill, agus nas cudromaiche: bidh sgòth mar seo a’ sàbhaladh nuair a dh’ fhàsas làrach gu lèir do-ruigsinneach mar thoradh air teine, dubh-dhubh, gabhail thairis creachadair, no tighinn air tìr coimheach.
Anns a h-uile suidheachadh sin, tha na h-innealan brìgheil teachdaiche a ’leantainn air adhart ag obair, agus seo carson.
Tha an dealbhadh brabhsair air a dhealbhadh gus am faigh neach-aoigheachd ESXi sam bith le innealan brìgheil teachdaiche cothrom air gin den dà shiostam stòraidh. Ma dh’ fhailicheas an siostam stòraidh air làrach OST, cumaidh na h-innealan mas-fhìor ag obair: gheibh na h-aoighean air a bheil iad a’ ruith cothrom air an t-siostam stòraidh air NORD airson dàta.
Seo mar a tha an diagram ceangail ann am brabhsair coltach.
Tha seo comasach air sgàth gu bheil Ceangal Eadar-Switch air a rèiteachadh eadar aodach SAN an dà làrach: tha an tionndadh Fabric A OST SAN ceangailte ri suidse Fabric A NORD SAN, agus mar an ceudna airson suidsichean Fabric B SAN.
Uill, gus am bi na iom-fhillteachd sin de fhactaraidhean SAN a’ dèanamh ciall, tha mac-samhail Active-Active air a rèiteachadh eadar an dà shiostam stòraidh: tha fiosrachadh cha mhòr aig an aon àm air a sgrìobhadh gu na siostaman stòraidh ionadail agus iomallach, RPO = 0. Tha e a 'tionndadh a-mach gu bheil an dàta tùsail air a stòradh air aon siostam stòraidh, agus a mac-samhail air a stòradh air an taobh eile. Tha dàta air ath-aithris aig ìre meudan stòraidh, agus tha an dàta VM (na diosgan, am faidhle rèiteachaidh, am faidhle suaip, msaa) air a stòradh orra.
Bidh an aoigh ESXi a’ faicinn a’ phrìomh leabhar agus a mac-samhail mar aon inneal diosc (Inneal Stòraidh). Tha 24 slighean bhon òstair ESXi gu gach inneal diosc:
Bidh slighean 12 ga cheangal ris an t-siostam stòraidh ionadail (slighean as fheàrr), agus an 12 a tha air fhàgail ris an t-siostam stòraidh iomallach (slighean nach eil cho math). Ann an suidheachadh àbhaisteach, bidh ESXi a’ faighinn cothrom air dàta air an t-siostam stòraidh ionadail a’ cleachdadh slighean “as fheàrr”. Nuair a dh’ fhailicheas an siostam stòraidh seo, bidh ESXi a’ call na slighean as fheàrr agus ag atharrachadh gu feadhainn “neo-fheàrr”. Seo mar a tha e coltach air an diagram.
Sgeama buidheann dìon mòr-thubaist.
Tha a h-uile lìonra teachdaiche ceangailte ris an dà làrach tro inneal lìonra cumanta. Bidh gach làrach a’ ruith Provider Edge (PE), air a bheil lìonraidhean an neach-dèiligidh air an toirt gu crìch. Tha PEan air an aonachadh ann an cruinneachadh cumanta. Ma dh’ fhailicheas PE aig aon làrach, thèid an trafaic gu lèir ath-stiùireadh chun dàrna làrach. Taing dha seo, tha innealan brìgheil bhon làrach a tha air am fàgail às aonais PE fhathast ruigsinneach don neach-dèiligidh thairis air an lìonra.
Chì sinn a-nis dè a thachras dha innealan brìgheil teachdaiche aig diofar fàilligidhean. Feuch an tòisich sinn leis na roghainnean as aotrom agus crìochnaich sinn leis an fheadhainn as miosa - fàilligeadh air an làrach gu lèir. Anns na h-eisimpleirean, bidh am prìomh àrd-ùrlar OST, agus bidh an àrd-ùrlar cùl-taic, le mac-samhail dàta, NORD.
Dè thachras don inneal mas-fhìor teachdaiche ma tha...
Dh'fhàillig ath-riochdachadh Ceangal. Bidh ath-riochdachadh eadar siostaman stòraidh an dà làrach a’ stad.
Chan obraich ESXi ach le innealan diosc ionadail (tro na slighean as fheàrr).
Tha innealan mas-fhìor fhathast ag obair.
Bidh an ISL (Ceangal Eadar-Switch) a’ briseadh. Tha a 'chùis eu-coltach. Mura cladhaich cuid de chladhadair seòlta grunn shlighean optigeach aig an aon àm, a bhios a’ ruith air slighean neo-eisimeileach agus gan toirt gu na làraich tro dhiofar chuir-a-steach. Ach co-dhiù. Anns a 'chùis seo, bidh luchd-aoigheachd ESXi a' call leth de na slighean agus chan urrainn dhaibh ach faighinn gu na siostaman stòraidh ionadail aca. Bithear a’ cruinneachadh mac-samhail, ach chan fhaigh luchd-aoigheachd cothrom orra.
Bidh innealan mas-fhìor ag obair gu h-àbhaisteach.
Bidh an tionndadh SAN a’ fàiligeadh air aon de na làraich. Bidh luchd-aoigheachd ESXi a’ call cuid de na slighean chun t-siostam stòraidh. Anns a 'chùis seo, chan obraich na h-aoighean aig an làrach far an do dh'fhàillig an tionndadh ach tro aon de na HBAn aca.
Bidh na h-innealan brìgheil a’ leantainn orra ag obair gu h-àbhaisteach.
Bidh a h-uile suidse SAN air aon de na làraich a’ fàiligeadh. Canaidh sinn gun do thachair mòr-thubaist air làrach OST. Anns a 'chùis seo, caillidh luchd-aoigheachd ESXi air an làrach seo a h-uile slighe gu na h-innealan diosg aca. Bidh an uidheamachd àbhaisteach VMware vSphere HA a’ tighinn a-steach: ath-thòiseachadh e a h-uile inneal brìgheil air làrach OST ann an NORD ann an 140 diogan aig a ’char as àirde.
Tha innealan mas-fhìor a tha a’ ruith air luchd-aoigheachd làraich NORD ag obair gu h-àbhaisteach.
Bidh an aoigh ESXi a’ fàiligeadh air aon làrach. An seo tha an uidheamachd vSphere HA ag obair a-rithist: bidh innealan brìgheil bhon aoigh a dh’ fhàillig air ath-thòiseachadh air luchd-aoigheachd eile - air an aon làrach no làrach iomallach. Tha an ùine ath-thòiseachadh inneal brìgheil suas ri 1 mionaid.
Ma dh’ fhailicheas a h-uile neach-aoigheachd ESXi air làrach OST, chan eil roghainnean ann: thèid na VMan ath-thòiseachadh air fear eile. Tha an ùine ath-thòiseachadh mar an ceudna.
Bidh an siostam stòraidh a 'fàilligeadh aig aon làrach. Canaidh sinn gu bheil an siostam stòraidh a’ fàiligeadh aig làrach OST. An uairsin bidh luchd-aoigheachd ESXi làrach OST ag atharrachadh gu bhith ag obair le mac-samhail stòraidh ann an NORD. Às deidh don t-siostam stòraidh a dh’ fhàillig tilleadh gu seirbheis, bidh ath-riochdachadh èiginneach a ’tachairt agus tòisichidh luchd-aoigheachd ESXi OST a’ faighinn cothrom air an t-siostam stòraidh ionadail a-rithist.
Tha innealan mas-fhìor air a bhith ag obair gu h-àbhaisteach fad na h-ùine seo.
Tha aon de na làraich a 'fàilligeadh. Anns a ’chùis seo, thèid a h-uile inneal brìgheil ath-thòiseachadh air an làrach cùl-taic tro uidheamachd vSphere HA. Is e ùine ath-thòiseachadh VM 140 diogan. Anns a ’chùis seo, thèid a h-uile suidheachadh lìonra den inneal brìgheil a shàbhaladh, agus bidh e fhathast ruigsinneach don neach-dèiligidh thairis air an lìonra.
Gus dèanamh cinnteach gu bheil ath-thòiseachadh innealan aig an làrach cùl-taic a 'dol gu rèidh, chan eil gach làrach ach leth làn. Tha an dàrna leth na thèarmann gun fhios nach gluais a h-uile inneal brìgheil bhon dàrna làrach millte.
Bidh sgòth a tha an aghaidh mòr-thubaist stèidhichte air dà ionad dàta a’ dìon an aghaidh fàilligidhean mar sin.
Chan eil an tlachd seo saor, oir, a bharrachd air na prìomh ghoireasan, tha feum air tèarmann air an dàrna làrach. Mar sin, tha seirbheisean a tha deatamach do ghnìomhachas air an cur ann an leithid de sgòth, agus bidh an ùine downt fad-ùine ag adhbhrachadh call mòr ionmhais is cliù, no ma tha an siostam fiosrachaidh fo ùmhlachd riatanasan dìon mòr-thubaist bho riaghladairean no riaghailtean companaidh a-staigh.
Stòran:
Source: www.habr.com