Hola Habr!
Després de les vacances d'Any Nou, vam rellançar un núvol a prova de desastres basat en dos llocs. Avui us explicarem com funciona i mostrarem què passa amb les màquines virtuals dels clients quan fallen elements individuals del clúster i es bloqueja el lloc sencer (spoiler: tot està bé amb ells).
Sistema d'emmagatzematge al núvol resistent a desastres al lloc OST.
Què hi ha a dins?
Sota el capó, el clúster té servidors Cisco UCS amb un hipervisor VMware ESXi, dos sistemes d'emmagatzematge INFINIDAT InfiniBox F2240, equips de xarxa Cisco Nexus, així com commutadors Brocade SAN. El clúster es divideix en dos llocs: OST i NORD, és a dir, cada centre de dades té un conjunt idèntic d'equips. De fet, això és el que el fa resistent als desastres.
Dins d'un lloc, també es dupliquen els elements principals (amfitrions, commutadors SAN, xarxes).
Els dos llocs estan connectats per rutes dedicades de fibra òptica, també reservades.
Unes paraules sobre els sistemes d'emmagatzematge. Hem creat la primera versió d'un núvol a prova de desastres a NetApp. Aquí hem escollit INFINIDAT, i aquí teniu el perquè:
- Opció de replicació actiu-actiu. Permet que la màquina virtual es mantingui operativa encara que un dels sistemes d'emmagatzematge falli completament. Més endavant us explicaré més sobre la replicació.
- Tres controladors de disc per augmentar la tolerància a errors del sistema. Normalment n'hi ha dos.
- Solució a punt. Hem rebut un bastidor premuntat que només cal connectar-lo a la xarxa i configurar-lo.
- Suport tècnic atent. Els enginyers d'INFINIDAT analitzen constantment els registres i els esdeveniments del sistema d'emmagatzematge, instal·len noves versions de microprogramari i ajuden amb la configuració.
Aquí teniu algunes fotos del desembalatge:
Com funciona?
El núvol ja és tolerant a errors en si mateix. Protegeix el client de fallades úniques de maquinari i programari. La resistència a desastres ajudarà a protegir-se de fallades massives dins d'un lloc: per exemple, fallades d'un sistema d'emmagatzematge (o d'un clúster SDS, que passa amb força freqüència 🙂), errors massius en una xarxa d'emmagatzematge, etc. Bé, i el més important: aquest núvol estalvia quan un lloc sencer esdevé inaccessible a causa d'un incendi, apagada, presa de possessió d'un asaltador o desembarcament alienígena.
En tots aquests casos, les màquines virtuals client continuen funcionant, i aquí teniu el perquè.
El disseny del clúster està dissenyat perquè qualsevol host ESXi amb màquines virtuals client pugui accedir a qualsevol dels dos sistemes d'emmagatzematge. Si el sistema d'emmagatzematge del lloc OST falla, les màquines virtuals continuaran funcionant: els amfitrions en què s'executen accediran al sistema d'emmagatzematge de NORD per obtenir dades.
Així és el diagrama de connexió d'un clúster.
Això és possible a causa del fet que es configura un enllaç entre commutadors entre els teixits SAN dels dos llocs: el commutador SAN Fabric A OST està connectat al commutador SAN Fabric A NORD, i de manera similar per als commutadors SAN Fabric B.
Bé, perquè totes aquestes complexitats de les fàbriques SAN tinguin sentit, la replicació Active-Active es configura entre els dos sistemes d'emmagatzematge: la informació s'escriu gairebé simultàniament als sistemes d'emmagatzematge local i remot, RPO = 0. Resulta que les dades originals s'emmagatzemen en un sistema d'emmagatzematge i la seva rèplica a l'altre. Les dades es repliquen a nivell de volums d'emmagatzematge i les dades de la màquina virtual (els seus discs, fitxer de configuració, fitxer d'intercanvi, etc.) s'emmagatzemen en ells.
L'amfitrió ESXi veu el volum principal i la seva rèplica com un dispositiu de disc (dispositiu d'emmagatzematge). Hi ha 24 camins des de l'amfitrió ESXi a cada dispositiu de disc:
12 camins el connecten al sistema d'emmagatzematge local (camins òptims) i els 12 restants al sistema d'emmagatzematge remot (camins no òptims). En una situació normal, ESXi accedeix a les dades del sistema d'emmagatzematge local mitjançant camins "òptims". Quan aquest sistema d'emmagatzematge falla, ESXi perd els camins òptims i canvia als "no òptims". Així es veu al diagrama.
Esquema d'un clúster a prova de desastres.
Totes les xarxes de client estan connectades als dos llocs mitjançant un teixit de xarxa comú. Cada lloc executa un Provider Edge (PE), en el qual s'acaben les xarxes del client. Els PE s'uneixen en un clúster comú. Si un PE falla en un lloc, tot el trànsit es redirigeix al segon lloc. Gràcies a això, les màquines virtuals del lloc que es queden sense PE romanen accessibles a través de la xarxa per al client.
Vegem ara què passarà amb les màquines virtuals dels clients durant diversos errors. Comencem amb les opcions més lleugeres i acabem amb la més greu: fallada de tot el lloc. En els exemples, la plataforma principal serà OST i la plataforma de còpia de seguretat, amb rèpliques de dades, serà NORD.
Què passa amb la màquina virtual del client si...
L'enllaç de replicació falla. La replicació entre els sistemes d'emmagatzematge dels dos llocs s'atura.
ESXi només funcionarà amb dispositius de disc local (mitjançant camins òptims).
Les màquines virtuals continuen funcionant.
L'ISL (Inter-Switch Link) es trenca. Un esdeveniment poc probable. A menys que alguna excavadora boja desenterra diverses rutes òptiques alhora, que funcionen per rutes independents i que es porten als llocs a través de diferents entrades. De totes formes. En aquest cas, els amfitrions ESXi perden la meitat dels camins i només poden accedir als seus sistemes d'emmagatzematge locals. Es recullen rèpliques, però els amfitrions no hi podran accedir.
Les màquines virtuals funcionen amb normalitat.
El commutador SAN falla en un dels llocs. Els amfitrions ESXi perden alguns dels camins cap al sistema d'emmagatzematge. En aquest cas, els amfitrions del lloc on ha fallat el commutador només funcionaran a través d'un dels seus HBA.
Les màquines virtuals continuen funcionant amb normalitat.
Tots els interruptors SAN d'un dels llocs fallen. Suposem que un desastre com aquest va passar al lloc OST. En aquest cas, els amfitrions ESXi d'aquest lloc perdran tots els camins als seus dispositius de disc. Entra en joc el mecanisme estàndard de VMware vSphere HA: reiniciarà totes les màquines virtuals del lloc OST a NORD en un màxim de 140 segons.
Les màquines virtuals que s'executen als amfitrions del lloc NORD funcionen amb normalitat.
L'amfitrió ESXi falla en un lloc. Aquí el mecanisme de vSphere HA torna a funcionar: les màquines virtuals de l'amfitrió fallit es reinicien en altres amfitrions, al mateix lloc o al lloc remot. El temps de reinici de la màquina virtual és de fins a 1 minut.
Si fallen tots els amfitrions ESXi del lloc OST, no hi ha opcions: les màquines virtuals es reinicien en una altra. L'hora de reinici és la mateixa.
El sistema d'emmagatzematge falla en un lloc. Suposem que el sistema d'emmagatzematge falla al lloc OST. A continuació, els amfitrions ESXi del lloc OST passen a treballar amb rèpliques d'emmagatzematge a NORD. Després que el sistema d'emmagatzematge fallit torni al servei, es produirà una rèplica forçada i els amfitrions ESXi OST tornaran a començar a accedir al sistema d'emmagatzematge local.
Les màquines virtuals han estat funcionant amb normalitat durant tot aquest temps.
Un dels llocs falla. En aquest cas, totes les màquines virtuals es reiniciaran al lloc de còpia de seguretat mitjançant el mecanisme de vSphere HA. El temps de reinici de la VM és de 140 segons. En aquest cas, es desaran tots els paràmetres de xarxa de la màquina virtual i el client continuarà accessible a través de la xarxa.
Per garantir que el reinici de les màquines al lloc de còpia de seguretat es faci sense problemes, cada lloc només està mig ple. La segona meitat és una reserva per si totes les màquines virtuals es mouen del segon lloc danyat.
Un núvol resistent a desastres basat en dos centres de dades protegeix contra aquests errors.
Aquest plaer no és barat, ja que, a més dels recursos principals, cal una reserva al segon lloc. Per tant, els serveis crítics per a l'empresa es col·loquen en aquest núvol, el temps d'inactivitat a llarg termini del qual provoca grans pèrdues financeres i de reputació, o si el sistema d'informació està subjecte als requisits de resiliència a desastres dels reguladors o de les regulacions internes de l'empresa.
Fonts:
Font: www.habr.com