En aquest article, m'agradaria parlar de les característiques de les matrius All Flash AccelStor que funcionen amb una de les plataformes de virtualització més populars: VMware vSphere. En particular, centreu-vos en aquells paràmetres que us ajudaran a obtenir el màxim efecte d'utilitzar una eina tan potent com All Flash.
AccelStor NeoSapphire™ Totes les matrius Flash són o dispositius de nodes basats en unitats SSD amb un enfocament fonamentalment diferent per implementar el concepte d'emmagatzematge de dades i organitzar-hi l'accés mitjançant tecnologia propietària en lloc dels populars algorismes RAID. Les matrius proporcionen accés de bloc als amfitrions mitjançant interfícies de canal de fibra o iSCSI. Per ser justos, observem que els models amb una interfície ISCSI també tenen accés a fitxers com a bon avantatge. Però en aquest article ens centrarem en l'ús de protocols de bloc com els més productius per a All Flash.
Tot el procés de desplegament i la configuració posterior de l'operació conjunta de la matriu AccelStor i el sistema de virtualització VMware vSphere es pot dividir en diverses etapes:
- Implementació de la topologia de connexió i configuració de la xarxa SAN;
- Configuració de la matriu All Flash;
- Configuració dels amfitrions ESXi;
- Configuració de màquines virtuals.
Com a maquinari de mostra es van utilitzar matrius de canal de fibra AccelStor NeoSapphire™ i matrius iSCSI. El programari base és VMware vSphere 6.7U1.
Abans de desplegar els sistemes descrits en aquest article, és molt recomanable que llegiu la documentació de VMware sobre problemes de rendiment ( ) i la configuració iSCSI ()
Topologia de connexió i configuració de xarxa SAN
Els components principals d'una xarxa SAN són els HBA als amfitrions ESXi, els commutadors SAN i els nodes de matriu. Una topologia típica per a aquesta xarxa seria així:
El terme Switch aquí fa referència tant a un commutador físic o conjunt d'interruptors (Fabric) com a un dispositiu compartit entre diferents serveis (VSAN en el cas de Fibre Channel i VLAN en el cas d'iSCSI). L'ús de dos interruptors / teixits independents eliminarà un possible punt de fallada.
La connexió directa dels amfitrions a la matriu, tot i que és compatible, no és molt recomanable. El rendiment de les matrius All Flash és bastant alt. I per obtenir la màxima velocitat, s'han d'utilitzar tots els ports de la matriu. Per tant, és obligatòria la presència d'almenys un canvi entre els amfitrions i NeoSapphire™.
La presència de dos ports a l'HBA amfitrió també és un requisit obligatori per aconseguir el màxim rendiment i garantir la tolerància a errors.
Quan s'utilitza una interfície de canal de fibra, la zonificació s'ha de configurar per eliminar possibles col·lisions entre iniciadors i objectius. Les zones es construeixen segons el principi d'"un port iniciador: un o més ports de matriu".
Si utilitzeu una connexió mitjançant iSCSI en el cas d'utilitzar un commutador compartit amb altres serveis, és imprescindible aïllar el trànsit iSCSI dins d'una VLAN independent. També és molt recomanable habilitar el suport per a Jumbo Frames (MTU = 9000) per augmentar la mida dels paquets a la xarxa i, per tant, reduir la quantitat d'informació general durant la transmissió. Tanmateix, val la pena recordar que per al funcionament correcte és necessari canviar el paràmetre MTU a tots els components de la xarxa al llarg de la cadena "iniciador-switch-target".
Configuració de la matriu All Flash
La matriu es lliura als clients amb grups ja formats . Per tant, no cal fer cap acció per combinar unitats en una sola estructura. Només heu de crear volums de la mida i la quantitat requerides.
Per comoditat, hi ha una funcionalitat per a la creació per lots de diversos volums d'una mida determinada alhora. Per defecte, es creen volums prims, ja que això permet un ús més eficient de l'espai d'emmagatzematge disponible (inclòs el suport per a la recuperació d'espais). Pel que fa al rendiment, la diferència entre els volums "prims" i "grusos" no supera l'1%. Tanmateix, si voleu "extreure tot el suc" d'una matriu, sempre podeu convertir qualsevol volum "prim" en un de "gruix". Però cal recordar que aquesta operació és irreversible.
A continuació, queda "publicar" els volums creats i establir-hi drets d'accés des dels amfitrions mitjançant ACL (adreces IP per a iSCSI i WWPN per a FC) i separació física per ports de matriu. Per als models iSCSI, això es fa creant un Target.
Per als models FC, la publicació es produeix mitjançant la creació d'un LUN per a cada port de la matriu.
Per accelerar el procés de configuració, els amfitrions es poden combinar en grups. A més, si l'amfitrió utilitza un FC HBA multiport (cosa que a la pràctica passa amb més freqüència), el sistema determina automàticament que els ports d'aquest HBA pertanyen a un únic host gràcies als WWPN que es diferencien en un. La creació per lots de Target/LUN també és compatible amb ambdues interfícies.
Una nota important quan s'utilitza la interfície iSCSI és crear diversos objectius per als volums alhora per augmentar el rendiment, ja que la cua de l'objectiu no es pot canviar i serà efectivament un coll d'ampolla.
Configuració dels hosts ESXi
Al costat de l'amfitrió ESXi, la configuració bàsica es realitza segons un escenari completament esperat. Procediment per a la connexió iSCSI:
- Afegiu un adaptador iSCSI de programari (no és necessari si ja s'ha afegit o si feu servir un adaptador iSCSI de maquinari);
- Crear un vSwitch a través del qual passarà el trànsit iSCSI i afegir-hi un enllaç amunt físic i VMkernal;
- Afegir adreces de matriu a Dynamic Discovery;
- Creació de magatzem de dades
Algunes notes importants:
- En el cas general, per descomptat, podeu utilitzar un vSwitch existent, però en el cas d'un vSwitch independent, la gestió de la configuració de l'amfitrió serà molt més fàcil.
- Cal separar el trànsit de gestió i iSCSI en enllaços físics i/o VLAN separats per evitar problemes de rendiment.
- Les adreces IP del VMkernal i els ports corresponents de la matriu All Flash han d'estar dins de la mateixa subxarxa, de nou per problemes de rendiment.
- Per garantir la tolerància a errors segons les regles de VMware, vSwitch ha de tenir almenys dos enllaços físics amunt
- Si s'utilitzen Jumbo Frames, haureu de canviar la MTU tant de vSwitch com de VMkernal
- Seria útil recordar-vos que segons les recomanacions de VMware per als adaptadors físics que s'utilitzaran per treballar amb trànsit iSCSI, és necessari configurar Teaming i Failover. En particular, cada VMkernal ha de funcionar només amb un enllaç ascendent, el segon enllaç ascendent s'ha de canviar al mode no utilitzat. Per a la tolerància a errors, cal afegir dos VMkernals, cadascun dels quals funcionarà mitjançant el seu propi enllaç ascendent.
Adaptador VMkernel (vmk#)
Adaptador de xarxa física (vmnic#)
vmk1 (emmagatzematge01)
Adaptadors actius
vmnic2
Adaptadors no utilitzats
vmnic3
vmk2 (emmagatzematge02)
Adaptadors actius
vmnic3
Adaptadors no utilitzats
vmnic2
No calen passos preliminars per connectar-se mitjançant Fibre Channel. Podeu crear immediatament un Datastore.
Després de crear el magatzem de dades, heu d'assegurar-vos que la política Round Robin per als camins cap al Target/LUN s'utilitza com a més eficient.
Per defecte, la configuració de VMware preveu l'ús d'aquesta política segons l'esquema: 1000 sol·licituds a través del primer camí, les següents 1000 sol·licituds a través del segon camí, etc. Aquesta interacció entre l'amfitrió i la matriu de dos controladors estarà desequilibrada. Per tant, recomanem establir la política Round Robin = 1 paràmetre mitjançant Esxcli/PowerCLI.
Paràmetres
Per a Esxcli:
- Llista els LUN disponibles
llista de dispositius nmp d'emmagatzematge esxcli
- Copia el nom del dispositiu
- Canviar la política de Round Robin
esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
La majoria de les aplicacions modernes estan dissenyades per intercanviar grans paquets de dades per tal de maximitzar la utilització de l'ample de banda i reduir la càrrega de la CPU. Per tant, ESXi de manera predeterminada envia sol·licituds d'E/S al dispositiu d'emmagatzematge en fragments de fins a 32767 KB. Tanmateix, per a alguns escenaris, l'intercanvi de trossos més petits serà més productiu. Per a les matrius AccelStor, aquests són els escenaris següents:
- La màquina virtual utilitza UEFI en lloc de la BIOS heretada
- Utilitza vSphere Replication
Per a aquests escenaris, es recomana canviar el valor del paràmetre Disk.DiskMaxIOSize a 4096.
Per a connexions iSCSI, es recomana canviar el paràmetre de temps d'espera d'inici de sessió a 30 (5 per defecte) per augmentar l'estabilitat de la connexió i desactivar el retard DelayedAck per a les confirmacions dels paquets reenviats. Les dues opcions es troben a vSphere Client: Amfitrió → Configurar → Emmagatzematge → Adaptadors d'emmagatzematge → Opcions avançades per a l'adaptador iSCSI
Un punt més aviat subtil és el nombre de volums utilitzats per al magatzem de dades. És evident que per facilitar la gestió, hi ha un desig de crear un volum gran per a tot el volum de la matriu. Tanmateix, la presència de diversos volums i, en conseqüència, el magatzem de dades té un efecte beneficiós en el rendiment general (més informació sobre les cues a continuació). Per tant, recomanem crear almenys dos volums.
Fins fa relativament poc, VMware aconsellava limitar el nombre de màquines virtuals en un magatzem de dades, de nou per obtenir el màxim rendiment possible. Tanmateix, ara, sobretot amb la propagació de la VDI, aquest problema ja no és tan agut. Però això no cancel·la la regla de llarga data: distribuir màquines virtuals que requereixen IO intensiva a diferents magatzems de dades. Per determinar el nombre òptim de màquines virtuals per volum, no hi ha res millor que dins de la seva infraestructura.
Configuració de màquines virtuals
No hi ha requisits especials a l'hora de configurar màquines virtuals, o més aviat són força habituals:
- Ús de la versió de VM més alta possible (compatibilitat)
- És més acurat establir la mida de la RAM quan es col·loquen les màquines virtuals de manera densa, per exemple, en VDI (ja que per defecte, a l'inici, es crea un fitxer de pàgina d'una mida proporcional a la memòria RAM, que consumeix capacitat útil i té un efecte sobre l'actuació final)
- Utilitzeu les versions d'adaptador més productives quant a IO: tipus de xarxa VMXNET 3 i tipus SCSI PVSCSI
- Utilitzeu el tipus de disc Thick Provision Eager Zeroed per obtenir el màxim rendiment i Thin Provisioning per aprofitar al màxim l'espai d'emmagatzematge
- Si és possible, limiteu el funcionament de les màquines crítiques sense E/S utilitzant Virtual Disk Limit
- Assegureu-vos d'instal·lar VMware Tools
Notes sobre les cues
La cua (o E/S pendents) és el nombre de sol·licituds d'entrada/sortida (ordres SCSI) que estan esperant per processar-se en un moment donat per a un dispositiu/aplicació específic. En cas de desbordament de la cua, s'emeten errors QFULL, que finalment es tradueix en un augment del paràmetre de latència. Quan s'utilitzen sistemes d'emmagatzematge de disc (eix), teòricament, com més gran sigui la cua, més gran serà el seu rendiment. Tanmateix, no n'heu d'abusar, ja que és fàcil trobar-se amb QFULL. En el cas dels sistemes All Flash, d'una banda, tot és una mica més senzill: al cap i a la fi, la matriu té latències ordres de magnitud inferiors i per tant, la majoria de vegades, no cal regular per separat la mida de les cues. Però, d'altra banda, en alguns escenaris d'ús (fort desviació dels requisits d'IO per a màquines virtuals específiques, proves per obtenir el màxim rendiment, etc.) és necessari, si no canviar els paràmetres de les cues, almenys per entendre quins indicadors es pot aconseguir, i el més important és de quines maneres.
A la matriu AccelStor All Flash no hi ha límits en relació amb els volums o els ports d'E/S. Si cal, fins i tot un sol volum pot rebre tots els recursos de la matriu. L'única limitació de la cua és per als objectius iSCSI. És per aquest motiu que anteriorment es va indicar la necessitat de crear diversos objectius (idealment fins a 8 peces) per a cada volum per superar aquest límit. Repetim també que les matrius AccelStor són solucions molt productives. Per tant, hauríeu d'utilitzar tots els ports d'interfície del sistema per aconseguir la màxima velocitat.
Pel que fa a l'amfitrió ESXi, la situació és completament diferent. El propi amfitrió aplica la pràctica de la igualtat d'accés als recursos per a tots els participants. Per tant, hi ha cues d'E/S separades per al sistema operatiu convidat i l'HBA. Les cues al sistema operatiu convidat es combinen des de les cues a l'adaptador SCSI virtual i al disc virtual:
La cua de l'HBA depèn del tipus/proveïdor específic:
El rendiment final de la màquina virtual vindrà determinat pel límit de profunditat de cua més baix entre els components de l'amfitrió.
Gràcies a aquests valors, podem avaluar els indicadors de rendiment que podem obtenir en una configuració concreta. Per exemple, volem conèixer el rendiment teòric d'una màquina virtual (sense enllaç de blocs) amb una latència de 0.5 ms. Aleshores, les seves IOPS = (1,000/latencia) * E/S pendents (límit de profunditat de la cua)
Примеры
Exemple 1
- Adaptador FC Emulex HBA
- Una màquina virtual per magatzem de dades
- Adaptador SCSI paravirtual de VMware
Aquí el límit de profunditat de la cua està determinat per Emulex HBA. Per tant, IOPS = (1000/0.5)*32 = 64K
Exemple 2
- Adaptador de programari VMware iSCSI
- Una màquina virtual per magatzem de dades
- Adaptador SCSI paravirtual de VMware
Aquí el límit de profunditat de cua ja està determinat per l'adaptador SCSI paravirtual. Per tant, IOPS = (1000/0.5) * 64 = 128K
Models principals de matrius All Flash AccelStor (per exemple, ) són capaços d'oferir un rendiment d'escriptura de 700K IOPS al bloc 4K. Amb aquesta mida de bloc, és força obvi que una única màquina virtual no és capaç de carregar aquesta matriu. Per fer-ho, necessitareu 11 (per exemple 1) o 6 (per exemple 2) màquines virtuals.
Com a resultat, amb la configuració correcta de tots els components descrits d'un centre de dades virtual, podeu obtenir resultats molt impressionants en termes de rendiment.
4K aleatori, 70% lectura/30% escriptura
De fet, el món real és molt més complex del que es pot descriure amb una fórmula senzilla. Un host sempre allotja diverses màquines virtuals amb diferents configuracions i requisits d'E/S. I el processament d'E/S el gestiona el processador amfitrió, la potència del qual no és infinita. Per tant, per desbloquejar tot el potencial del mateix en realitat, necessitareu tres amfitrions. A més, les aplicacions que s'executen dins de màquines virtuals fan els seus propis ajustos. Per tant, oferim per a mida precisa Totes les matrius Flash dins de la infraestructura del client sobre tasques reals actuals.
Font: www.habr.com