Argumentamos en detalle o que fai do OceanStor Dorado 18000 V6 un sistema de almacenamento verdadeiramente de gama alta cunha reserva decente para os próximos anos. Ao mesmo tempo, disipamos os temores comúns sobre o almacenamento All-Flash e mostramos como Huawei saca o máximo proveito deles: NVMe de extremo a extremo, caché adicional en SCM e moitas outras solucións.
Nova paisaxe de datos: novo almacenamento de datos
A intensidade dos datos está en aumento en todas as industrias. E o sector bancario é un claro exemplo diso. Nos últimos anos, o número de transaccións bancarias aumentou máis de dez veces. Como mostra , só en Rusia no período de 2010 a 2018 o número de transaccións sen efectivo utilizando tarxetas de plástico mostrou un aumento de máis de trinta veces: de 5,8 a 172 por persoa ao ano. En primeiro lugar, o triunfo dos micropagos: a maioría de nós relacionámonos coa banca en liña, e agora o banco está ao noso alcance: por teléfono.
A infraestrutura informática dunha entidade de crédito debe estar preparada para tal desafío. E isto é realmente un reto. Entre outras cousas, se antes o banco necesitaba garantir a dispoñibilidade dos datos só durante o seu horario comercial, agora é 24/7. Ata hai pouco, 5 ms considerábase unha taxa de latencia aceptable, entón que? Agora mesmo 1 ms é excesivo. Para un sistema de almacenamento moderno, o obxectivo é 0,5 ms.
O mesmo coa fiabilidade: na década de 2010, formouse unha comprensión empírica de que é suficiente para levar o seu nivel a "cinco decenas" - 99,999%. É certo que este entendemento quedou obsoleto. En 2020, é absolutamente normal que unha empresa requira o 99,9999 % para o almacenamento e o 99,99999 % para a arquitectura xeral. E isto non é un capricho en absoluto, senón unha necesidade urxente: ou non hai xanela temporal para o mantemento das infraestruturas, ou é minúscula.
Para máis claridade, é conveniente proxectar estes indicadores no plano do diñeiro. O xeito máis sinxelo é co exemplo das entidades financeiras. O gráfico anterior mostra canto gaña por hora cada un dos 10 principais bancos do mundo. Só para o Banco Industrial e Comercial de China, isto é nada menos que 5 millóns de dólares. Isto é exactamente o que custará unha hora de inactividade da infraestrutura de TI da maior organización de crédito de China (e só se teñen en conta a perda de beneficios en o cálculo!). Desde esta perspectiva, está claro que a redución do tempo de inactividade e o aumento da fiabilidade, non só nun pouco por cento, senón mesmo en fraccións por cento, están completamente xustificados de xeito racional. Non só por razóns de aumento da competitividade, senón simplemente por manter as posicións no mercado.
Os cambios comparables están a producirse noutras industrias. Por exemplo, no transporte aéreo: antes da pandemia, as viaxes aéreas só gañaban impulso de ano en ano, e moitos comezaron a usalo case como un taxi. En canto aos patróns de consumo, o hábito da dispoñibilidade total dos servizos arraigou na sociedade: á chegada ao aeroporto, cómpre conectarse a wifi, acceder a servizos de pago, acceder a un mapa da zona, etc. resultado, a carga sobre infraestruturas e servizos nos espazos públicos aumentou moitas veces. E aqueles enfoques da súa infraestrutura, construción, que considerabamos aceptables ata hai un ano, están quedando rapidamente obsoletos.
É demasiado cedo para cambiar a All-Flash?
Para resolver os problemas mencionados anteriormente, en termos de rendemento, AFA - arrays all-flash, é dicir, matrices completamente construídas en flash - son a mellor opción. A non ser que, ata hai pouco, houbese dúbidas sobre se son comparables en fiabilidade cos montados a base de HDD e híbridos. Despois de todo, a memoria flash de estado sólido ten unha métrica chamada tempo medio entre fallos ou MTBF (tempo medio entre fallos). A degradación das células debido ás operacións de E/S, por desgraza, é un feito.
Entón, as perspectivas de All-Flash quedaron ensombrecidas pola cuestión de como evitar a perda de datos no caso de que o SSD ordene vivir durante moito tempo. A copia de seguranza é unha opción familiar, só o tempo de recuperación sería inaceptablemente grande segundo os requisitos modernos. Outra forma de saír é configurar un segundo nivel de almacenamento nas unidades de eixe, non obstante, con tal esquema, pérdense algunhas das vantaxes dun sistema "estrictamente flash".
Non obstante, os números din o contrario: as estatísticas dos xigantes da economía dixital, incluído Google, nos últimos anos mostran que o flash é varias veces máis fiable que os discos duros. Ademais, tanto nun período curto como nun longo: de media, pasan de catro a seis anos antes de que fallen as unidades flash. En termos de fiabilidade de almacenamento de datos, non son de ningún xeito inferiores ás unidades dos discos magnéticos de eixe, nin sequera os superan.
Outro argumento tradicional a favor das unidades de fuso é a súa accesibilidade. Sen dúbida, o custo de almacenar un terabyte nun disco duro aínda é relativamente baixo. E se ten en conta só o custo do equipo, é máis barato manter un terabyte nunha unidade de eixe que nun SSD. Non obstante, no contexto da planificación financeira, non só importa canto se comprou un dispositivo en particular, senón tamén cal é o custo total de posuír durante moito tempo: de tres a sete anos.
Desde este ángulo, é completamente diferente. Aínda que ignoremos a deduplicación e a compresión, que, por regra xeral, se usan nas matrices flash e fan que o seu funcionamento sexa máis rendible economicamente, aínda quedan características como o espazo en rack ocupado polos medios, a disipación de calor e o consumo de enerxía. E segundo eles, o flush supera os seus predecesores. Como resultado, o TCO dos sistemas de almacenamento flash, tendo en conta todos os parámetros, adoita ser case a metade que no caso das matrices en unidades de eixe ou híbridos.
Segundo os informes de ESG, os sistemas de almacenamento Dorado V6 All-Flash poden lograr unha redución do custo de propiedade de ata un 78 % nun intervalo de cinco anos, incluso mediante a deduplicación e compresión eficientes, e debido ao baixo consumo de enerxía e á disipación de calor. A empresa de análise alemá DCIG tamén os recomenda para o seu uso como os mellores en termos de TCO dispoñibles hoxe en día.
O uso de unidades de estado sólido permite aforrar espazo útil, reducir o número de fallos, reducir o tempo de mantemento da solución, reducir o consumo de enerxía e a disipación de calor dos sistemas de almacenamento. E resulta que AFA é polo menos económicamente comparable ás matrices tradicionais en unidades de eixe, e moitas veces mesmo os supera.
Huawei Royal Flush
Entre os nosos almacenamentos All-Flash, o primeiro lugar pertence ao sistema de alta gama OceanStor Dorado 18000 V6. E non só entre os nosos: en xeral, na industria, ten o récord de velocidade: ata 20 millóns de IPOS na configuración máxima. Ademais, é extremadamente fiable: aínda que dous controladores voen á vez, ou ata sete controladores un despois do outro, ou un motor enteiro á vez, os datos sobrevivirán. A IA conectada a ela proporciona vantaxes considerables da "dezaoito milésimas", incluída a flexibilidade na xestión dos procesos internos. A ver como se consegue.
En gran parte, Huawei ten unha vantaxe inicial porque é o único fabricante do mercado que fabrica os propios sistemas de almacenamento, completamente e completamente. Temos o noso propio circuíto, o noso propio microcódigo, o noso propio servizo.
O controlador dos sistemas OceanStor Dorado está construído nun procesador de deseño e produción propios de Huawei: Kunpeng 920. Utiliza o módulo de control Intelligent Baseboard Management Controller (iBMC), tamén o noso. Os chips de intelixencia artificial, nomeadamente o Ascend 310, que optimizan as predicións de fallos e fan recomendacións para a configuración, tamén son Huawei, así como placas de E/S: o módulo Smart I/O. Finalmente, os controladores dos SSD son deseñados e fabricados por nós. Todo isto proporcionou a base para facer unha solución integralmente equilibrada e de alto rendemento.
Durante o ano pasado, implementamos un proxecto para introducir este, o noso sistema de almacenamento máis avanzado, nun dos maiores bancos rusos. Como resultado, máis de 40 unidades OceanStor Dorado 18000 V6 do clúster de metro mostran un rendemento estable: pódense eliminar máis dun millón de IOPS de cada sistema, tendo en conta os atrasos debidos á distancia.
NVMe de extremo a extremo
Os últimos sistemas de almacenamento de Huawei admiten NVMe de extremo a extremo, o que destacamos por un motivo. Os protocolos utilizados tradicionalmente para acceder ás unidades foron desenvolvidos na antigüidade informática: están baseados en comandos SCSI (¡ola, 1980!), que tiran de moitas funcións para garantir a compatibilidade con versións anteriores. Sexa cal sexa o método de acceso que uses, a sobrecarga do protocolo neste caso é colosal. Como resultado, para almacenamentos que usan protocolos vinculados a SCSI, o atraso de E/S non pode ser inferior a 0,4–0,5 ms. Á súa vez, ao tratarse dun protocolo deseñado para funcionar con memoria flash e libre de muletas en aras da notoria retrocompatibilidade, NVMe - Non-Volatile Memory Express - derruba a latencia a 0,1 ms, ademais, non no sistema de almacenamento, senón no sistema de almacenamento. toda a pila, desde o host ata as unidades. Non é sorprendente que NVMe estea en liña coas tendencias de desenvolvemento de almacenamento de datos no futuro previsible. Tamén confiamos en NVMe e estamos afastándonos gradualmente de SCSI. Todos os sistemas de almacenamento Huawei producidos hoxe, incluída a liña Dorado, admiten NVMe (sen embargo, como un extremo a extremo só se implementa nos modelos avanzados da serie Dorado V6).
FlashLink: un puñado de tecnoloxías
A tecnoloxía fundamental para toda a liña OceanStor Dorado é FlashLink. Máis precisamente, é un termo que combina un conxunto integral de tecnoloxías que serven para garantir un alto rendemento e fiabilidade. Isto inclúe tecnoloxías de deduplicación e compresión, o funcionamento do sistema de distribución de datos RAID 2.0+, a separación de datos "fríos" e "quentes", a gravación de datos secuenciais de banda completa (as escrituras aleatorias, con datos novos e modificados, agréganse nun pila grande e escrita secuencialmente, o que aumenta a velocidade de lectura-escritura).
Entre outras cousas, FlashLink inclúe dous compoñentes importantes: Wear Leveling e Global Garbage Collection. Deben tratarse por separado.
De feito, calquera unidade de estado sólido é un sistema de almacenamento en miniatura, cunha gran cantidade de bloques e un controlador que garante a dispoñibilidade de datos. E ofrécese, entre outras cousas, debido ao feito de que os datos das celas "matadas" transfírense ás "non asasinadas". Isto garante que se poidan ler. Existen varios algoritmos para tal transferencia. No caso xeral, o controlador tenta equilibrar o desgaste de todas as celas de almacenamento. Este enfoque ten unha desvantaxe. Cando os datos se moven dentro do SSD, o número de operacións de E/S que realiza redúcese drasticamente. De momento, é un mal necesario.
Así, se hai moitos SSD no sistema, aparece unha "serra" no gráfico de rendemento, con altos e baixos. O problema é que unha unidade do grupo pode iniciar a migración de datos en calquera momento e o rendemento xeral elimínase ao mesmo tempo de todos os SSD da matriz. Pero os enxeñeiros de Huawei descubriron como evitar a "serrra".
Afortunadamente, tanto os controladores das unidades como o controlador de almacenamento e o firmware de Huawei son "nativos", estes procesos no OceanStor Dorado 18000 V6 lánzanse de forma centralizada, de forma sincronizada en todas as unidades da matriz. Ademais, ao mando do controlador de almacenamento, e precisamente cando non hai carga de E/S pesada.
O chip de intelixencia artificial tamén está implicado na elección do momento axeitado para transferir datos: baseándose nas estatísticas de accesos dos meses anteriores, é capaz de predecir coa maior probabilidade se espera E/S activa nun futuro próximo e se a resposta é negativa e a carga do sistema no momento actual é pequena, entón o controlador comanda todas as unidades: aqueles que necesitan Wear Leveling deberían facelo á vez e de forma sincronizada.
Ademais, o controlador do sistema ve o que está a suceder en cada cela da unidade, a diferenza dos sistemas de almacenamento dos fabricantes competidores: vense obrigados a comprar soportes de estado sólido a provedores de terceiros, polo que non están dispoñibles os detalles a nivel de cela. os controladores de tales almacenamentos.
Como resultado, o OceanStor Dorado 18000 V6 ten un período moi curto de degradación do rendemento na operación de nivelación de desgaste e realízase principalmente cando non interfire con ningún outro proceso. Isto dá un alto rendemento estable de forma continuada.
O que fai que OceanStor Dorado 18000 V6 sexa fiable
Hai catro niveis de fiabilidade nos modernos sistemas de almacenamento de datos:
- hardware, a nivel de unidade;
- arquitectónico, a nivel de equipamento;
- arquitectónico xunto coa parte de software;
- acumulativo, relativo á solución no seu conxunto.
Dado que, lembramos, a nosa empresa deseña e fabrica todos os compoñentes do propio sistema de almacenamento, proporcionamos fiabilidade en cada un dos catro niveis, coa posibilidade de supervisar a fondo o que está a suceder en cal deles neste momento.
A fiabilidade das unidades está garantida principalmente polo Wear Leveling e Global Garbage Collection descritos anteriormente. Cando un SSD parece unha caixa negra para o sistema, non ten idea de como se desgastan exactamente as células nel. Para o OceanStor Dorado 18000 V6, as unidades son transparentes, o que permite equilibrar uniformemente todas as unidades da matriz. Así, resulta prolongar significativamente a vida útil do SSD e garantir un alto nivel de fiabilidade do seu funcionamento.
Ademais, a fiabilidade da unidade vese afectada por células redundantes adicionais. E xunto cunha simple reserva, o sistema de almacenamento utiliza as chamadas celas DIF, que conteñen sumas de verificación, así como códigos adicionais para protexer cada bloque dun único erro, ademais da protección a nivel de matriz RAID.
A clave da fiabilidade arquitectónica é a solución SmartMatrix. En resumo, son catro controladores que se sitúan nun backplane pasivo como parte dun motor (motor). Dous destes motores, respectivamente, con oito controladores, están conectados a estantes comúns con unidades. Grazas a SmartMatrix, aínda que sete de cada oito controladores deixasen de funcionar, manterase o acceso a todos os datos, tanto de lectura como de escritura. E coa perda de seis de cada oito controladores, incluso será posible continuar coas operacións de caché.
As placas de E/S do mesmo backplane pasivo están dispoñibles para todos os controladores, tanto no frontend como no backend. Con este esquema de conexión de malla completa, non importa o que falle, o acceso ás unidades sempre se conserva.
O máis axeitado é falar da fiabilidade dunha arquitectura no contexto dos modos de fallo contra os que o sistema de almacenamento é capaz de protexer.
O almacenamento sobrevivirá á situación sen perda se dous controladores "caen", incluso ao mesmo tempo. Tal estabilidade conséguese debido ao feito de que calquera bloque de caché certamente ten dúas copias máis en controladores diferentes, é dicir, en total existe en tres copias. E polo menos un está nun motor diferente. Así, aínda que todo o motor deixe de funcionar -cos catro controladores-, está garantido que se gardará toda a información que estaba na memoria caché, porque a caché duplicarase en polo menos un controlador do motor restante. Finalmente, cunha conexión en serie, podes perder ata sete controladores, e aínda que se eliminen en bloques de dous, e, de novo, conservaranse todas as E/S e todos os datos da caché.
En comparación co almacenamento de alta gama doutros fabricantes, pódese ver que só Huawei ofrece protección total de datos e dispoñibilidade total incluso despois da morte de dous controladores ou de todo o motor. A maioría dos provedores usan un esquema cos chamados pares de controladores aos que están conectadas as unidades. Desafortunadamente, nesta configuración, se fallan dous controladores, existe o risco de perder o acceso de E/S á unidade.
Por desgraza, a falla dun só compoñente non está obxectivamente excluída. Neste caso, o rendemento caerá durante algún tempo: é necesario que se reconstrúan os camiños e que se retome o acceso ás operacións de E/S con respecto a aqueles bloques que ou ben chegaron a escribir, pero aínda non foron escritos, ou se lles solicitou ser lido. O OceanStor Dorado 18000 V6 ten un tempo medio de reconstrución de aproximadamente un segundo, significativamente menor que o análogo máis próximo da industria (4 s). Isto conséguese grazas ao mesmo backplane pasivo: cando o controlador falla, o resto ve inmediatamente a súa entrada/saída e, en particular, en que bloque de datos non se escribiu; como resultado, o controlador máis próximo recolle o proceso. De aí a capacidade de restaurar o rendemento en só un segundo. Debo engadir, o intervalo é estable: un segundo para un controlador, un segundo para outro, etc.
No backplane pasivo OceanStor Dorado 18000 V6, todas as placas están dispoñibles para todos os controladores sen ningún enderezo adicional. Isto significa que calquera controlador pode captar E/S en calquera porto. Sexa cal sexa o porto de entrada/salida no que entre, o controlador estará listo para procesala. Polo tanto - o número mínimo de transferencias internas e unha simplificación notable do equilibrio.
O equilibrio de frontend realízase mediante o controlador de rutas múltiples e o equilibrio adicional realízase dentro do propio sistema, xa que todos os controladores ven todos os portos de E/S.
Tradicionalmente, todas as matrices de Huawei están deseñadas de forma que non teñan un só punto de fallo. O intercambio en quente, sen reiniciar o sistema, préstase a todos os seus compoñentes: controladores, módulos de potencia, módulos de refrixeración, placas de E/S, etc.
Aumenta a fiabilidade do sistema no seu conxunto e da tecnoloxía como RAID-TP. Este é o nome dun grupo RAID, que lle permite asegurarse contra o fallo simultáneo de ata tres unidades. E unha reconstrución de 1 TB leva constantemente menos de 30 minutos. O mellor resultado rexistrado é oito veces máis rápido que coa mesma cantidade de datos na unidade do eixe. Así, é posible usar unidades extremadamente grandes, digamos 7,68 ou incluso 15 TB, e non preocuparse pola fiabilidade do sistema.
É importante que a reconstrución non se realice nunha unidade de reserva, senón nun espazo de reserva - unha capacidade de reserva. Cada unidade ten espazo dedicado usado para a recuperación de datos despois dun fallo. Así, a recuperación non se realiza segundo o esquema "moitos a un", senón segundo o esquema "moitos a moitos", polo que é posible acelerar significativamente o proceso. E mentres haxa capacidade libre, a recuperación pode continuar.
Tamén debemos mencionar a fiabilidade dunha solución de varios almacenamentos: nun clúster de metro ou, na terminoloxía de Huawei, HyperMetro. Estes esquemas son compatibles con toda a gama de modelos dos nosos sistemas de almacenamento de datos e permiten o acceso a ficheiros e bloques. Ademais, nun bloque, funciona tanto a través de Fibre Channel como de Ethernet (incluíndo a través de iSCSI).
En esencia, estamos a falar de replicación bidireccional dun sistema de almacenamento a outro, na que o LUN replicado recibe o mesmo LUN-ID que o principal. A tecnoloxía funciona principalmente debido á consistencia dos cachés de dous sistemas diferentes. Así, para o host non importa en que lado estea: tanto aquí como alí ve a mesma unidade lóxica. Como resultado, nada lle impide implementar un clúster de conmutación por fallo que abrangue dous sitios.
Para o quórum, utilízase unha máquina Linux física ou virtual. Pódese localizar no terceiro sitio e os requisitos para os seus recursos son pequenos. Un escenario común é alugar un sitio virtual exclusivamente para aloxar unha máquina virtual de quórum.
A tecnoloxía tamén permite a expansión: dous almacenamentos, nun clúster metropolitano, un sitio adicional, con replicación asíncrona.
Historicamente, moitos clientes formaron un "zoolóxico de almacenamento": unha morea de sistemas de almacenamento de diferentes fabricantes, diferentes modelos, diferentes xeracións, con diferentes funcionalidades. Non obstante, o número de hosts pode ser impresionante e moitas veces están virtualizados. En tales circunstancias, unha das prioridades da administración é proporcionar de forma rápida, uniforme e conveniente os discos lóxicos aos anfitrións, preferentemente de forma que non se afonde en onde se atopan fisicamente estes discos. Para iso está deseñada a nosa solución de software OceanStor DJ, que pode xestionar por unanimidade varios sistemas de almacenamento e proporcionar servizos desde eles sen estar vinculado a un modelo de almacenamento específico.
A mesma IA
Como xa se mencionou, o OceanStor Dorado 18000 V6 ten procesadores incorporados con algoritmos de intelixencia artificial - Ascend. Utilízanse, en primeiro lugar, para predicir fallos e, en segundo lugar, para formar recomendacións de axuste, o que tamén aumenta o rendemento e a fiabilidade do almacenamento.
O horizonte de predición é de dous meses: a maquinaria de IA asume o que ocorrerá con alta probabilidade durante este tempo, xa sexa o momento de ampliar, cambiar as políticas de acceso, etc. As recomendacións son emitidas con antelación, o que permite planificar as fiestras para o mantemento do sistema con antelación. de tempo.
A seguinte etapa do desenvolvemento da IA de Huawei é levala ao nivel global. Durante o mantemento do servizo (conmutación por fallo ou recomendacións), Huawei agrega información dos sistemas de rexistro de todos os almacenamentos dos nosos clientes. A partir da información recollida, realízase unha análise dos fallos ocorridos ou potenciais e fanse recomendacións globais, non baseadas no funcionamento dun sistema de almacenamento específico ou mesmo dunha ducia, senón do que está a suceder e pasou con miles de tales. dispositivos. A mostra é enorme e, en función del, os algoritmos de IA comezan a aprender moi rápido, polo que a precisión das predicións aumenta significativamente.
Compatibilidad
En 2019-2020, houbo moita insinuación sobre a interacción dos nosos equipos cos produtos VMware. Para finalmente detelos, declaramos responsablemente: VMware é socio de Huawei. Realizáronse todas as probas concebibles para a compatibilidade do noso hardware co seu software e, como resultado, na páxina web de VMware, a folla de compatibilidade de hardware enumera os sistemas de almacenamento actualmente dispoñibles da nosa produción sen ningunha reserva. Noutras palabras, co entorno de software VMware, pode usar o almacenamento de Huawei, incluído Dorado V6, con soporte total.
O mesmo ocorre coa nosa colaboración con Brocade. Seguimos interactuando e probando a compatibilidade dos nosos produtos e podemos afirmar con confianza que os nosos sistemas de almacenamento son totalmente compatibles cos interruptores Brocade FC máis recentes.
Cal é o próximo?
Seguimos desenvolvendo e mellorando os nosos procesadores: fanse máis rápidos, máis fiables, o seu rendemento medra. Tamén estamos a mellorar os chips de intelixencia artificial: en base a eles tamén se producen módulos que aceleran a deduplicación e a compresión. Aqueles que teñan acceso ao noso configurador poden ter notado que estas tarxetas xa están dispoñibles para encargar nos modelos Dorado V6.
Tamén estamos avanzando cara a caché adicional na memoria de clase de almacenamento: memoria non volátil cunha latencia especialmente baixa, uns dez microsegundos por lectura. Entre outras cousas, SCM dá un impulso de rendemento, principalmente cando se traballa con big data e ao resolver tarefas OLTP. Despois da próxima actualización, as tarxetas SCM deberían estar dispoñibles para solicitar.
E, por suposto, a funcionalidade de acceso a ficheiros ampliarase a toda a gama de almacenamento de datos de Huawei. Estade atentos ás nosas actualizacións.
Fonte: www.habr.com