Argumentamos en detalle qué hace que el OceanStor Dorado 18000 V6 sea un sistema de almacenamiento verdaderamente de alta gama con una reserva decente para los próximos años. Al mismo tiempo, disipamos los temores comunes sobre el almacenamiento All-Flash y mostramos cómo Huawei los aprovecha al máximo: NVMe de extremo a extremo, almacenamiento en caché adicional en SCM y muchas otras soluciones.
Nuevo panorama de datos: nuevo almacenamiento de datos
La intensidad de datos está aumentando en todas las industrias. Y el sector bancario es un claro ejemplo de ello. En los últimos años, el número de transacciones bancarias se ha multiplicado por más de diez. como muestra , solo en Rusia, en el período de 2010 a 2018, el número de transacciones no monetarias con tarjetas de plástico aumentó más de treinta veces, de 5,8 a 172 por persona por año. En primer lugar, el triunfo de los micropagos: la mayoría de nosotros nos hemos relacionado con la banca en línea, y ahora el banco está al alcance de la mano, en el teléfono.
La infraestructura informática de una entidad de crédito debe estar preparada para tal desafío. Y esto es realmente un desafío. Entre otras cosas, si antes el banco necesitaba asegurar la disponibilidad de los datos solo durante su horario comercial, ahora es 24/7. Hasta hace poco, 5 ms se consideraba una tasa de latencia aceptable, ¿y qué? Ahora incluso 1 ms es excesivo. Para un sistema de almacenamiento moderno, el objetivo es 0,5 ms.
Lo mismo con la confiabilidad: en la década de 2010, se formó un entendimiento empírico de que es suficiente para llevar su nivel a "cinco decenas": 99,999%. Es cierto que este entendimiento se ha vuelto obsoleto. En 2020, es absolutamente normal que una empresa requiera el 99,9999 % para el almacenamiento y el 99,99999 % para la arquitectura general. Y esto no es para nada un capricho, sino una necesidad urgente: o no hay ventana de tiempo para el mantenimiento de la infraestructura, o es minúscula.
Para mayor claridad, conviene proyectar estos indicadores sobre el plano del dinero. La forma más fácil es en el ejemplo de las instituciones financieras. El gráfico anterior muestra cuánto gana por hora cada uno de los 10 principales bancos del mundo. Solo para el Banco Industrial y Comercial de China, esto es nada menos que $ 5 millones. Esto es exactamente lo que costará una hora de inactividad de la infraestructura de TI de la organización crediticia más grande de China (y solo se tienen en cuenta las ganancias perdidas en ¡el cálculo!). Desde esta perspectiva, está claro que la reducción del tiempo de inactividad y el aumento de la confiabilidad, no solo en un pequeño porcentaje, sino incluso en fracciones de un porcentaje, están completamente justificados racionalmente. No solo por razones de aumentar la competitividad, sino simplemente por mantener posiciones en el mercado.
Se están produciendo cambios comparables en otras industrias. Por ejemplo, en el transporte aéreo: antes de la pandemia, el transporte aéreo solo cobraba impulso de año en año, y muchos comenzaron a usarlo casi como un taxi. En cuanto a los patrones de consumo, se ha arraigado en la sociedad el hábito de la disponibilidad total de los servicios: al llegar al aeropuerto necesitamos conectarnos a wifi, acceder a servicios de pago, acceder a un mapa de la zona, etc. Como resultado, la carga sobre la infraestructura y los servicios en los espacios públicos se multiplicó con creces. Y esos enfoques de su infraestructura, construcción, que considerábamos aceptables incluso hace un año, se están volviendo obsoletos rápidamente.
¿Es demasiado pronto para cambiar a All-Flash?
Para resolver los problemas mencionados anteriormente, en términos de rendimiento, AFA (arreglos all-flash, es decir, arreglos completamente integrados en flash) son la mejor opción. A menos que, hasta hace poco, hubiera dudas sobre si son comparables en confiabilidad con los ensamblados sobre la base de HDD e híbridos. Después de todo, la memoria flash de estado sólido tiene una métrica llamada tiempo medio entre fallas o MTBF (tiempo medio entre fallas). La degradación de las celdas debido a las operaciones de E / S, por desgracia, es un hecho.
Entonces, las perspectivas de All-Flash se vieron ensombrecidas por la cuestión de cómo evitar la pérdida de datos en caso de que el SSD ordene vivir durante mucho tiempo. La copia de seguridad es una opción familiar, solo que el tiempo de recuperación sería inaceptablemente largo según los requisitos modernos. Otra salida es configurar un segundo nivel de almacenamiento en unidades de disco, sin embargo, con tal esquema, se pierden algunas de las ventajas de un sistema "estrictamente flash".
Sin embargo, los números dicen lo contrario: las estadísticas de los gigantes de la economía digital, incluido Google, en los últimos años muestran que el flash es varias veces más confiable que los discos duros. Además, tanto en un período de tiempo corto como en uno largo: en promedio, pasan de cuatro a seis años antes de que las unidades flash fallen. En términos de confiabilidad de almacenamiento de datos, no son inferiores a las unidades en discos magnéticos de eje, ni siquiera los superan.
Otro argumento tradicional a favor de los accionamientos de husillo es su asequibilidad. Sin duda, el costo de almacenar un terabyte en un disco duro sigue siendo relativamente bajo. Y si solo tiene en cuenta el costo del equipo, es más barato mantener un terabyte en una unidad de disco duro que en un SSD. Sin embargo, en el contexto de la planificación financiera, no solo importa cuánto se compró un dispositivo en particular, sino también cuál es el costo total de poseerlo durante mucho tiempo, de tres a siete años.
Desde este ángulo, es completamente diferente. Incluso si ignoramos la deduplicación y la compresión, que, por regla general, se utilizan en arreglos flash y hacen que su operación sea más rentable económicamente, quedan características como el espacio de rack ocupado por los medios, la disipación de calor y el consumo de energía. Y según ellos, el rubor supera a sus predecesores. Como resultado, el TCO de los sistemas de almacenamiento flash, teniendo en cuenta todos los parámetros, suele ser casi la mitad que en el caso de los arreglos en discos duros o híbridos.
Según los informes de ESG, los sistemas de almacenamiento All-Flash Dorado V6 pueden lograr una reducción del costo de propiedad de hasta un 78 % en un intervalo de cinco años, incluso a través de una deduplicación y compresión eficientes, y debido al bajo consumo de energía y la disipación de calor. La compañía analítica alemana DCIG también los recomienda para su uso como los mejores en términos de TCO disponibles en la actualidad.
El uso de unidades de estado sólido permite ahorrar espacio utilizable, reducir la cantidad de fallas, reducir el tiempo de mantenimiento de la solución, reducir el consumo de energía y la disipación de calor de los sistemas de almacenamiento. Y resulta que AFA es al menos económicamente comparable a los arreglos tradicionales en unidades de husillo y, a menudo, incluso los supera.
Escalera real de Huawei
Entre nuestros almacenamientos All-Flash, el primer lugar pertenece al sistema de alta gama OceanStor Dorado 18000 V6. Y no solo entre los nuestros: en general, en la industria, tiene el récord de velocidad: hasta 20 millones de IPOS en la configuración máxima. Además, es extremadamente confiable: incluso si dos controladores vuelan a la vez, o hasta siete controladores uno tras otro, o un motor completo a la vez, los datos sobrevivirán. La IA cableada en él brinda ventajas considerables del "dieciocho milésimo", incluida la flexibilidad en la gestión de procesos internos. Veamos cómo se logra esto.
En gran parte, Huawei tiene una ventaja inicial porque es el único fabricante en el mercado que fabrica sistemas de almacenamiento por sí mismo, total y completamente. Tenemos nuestro propio circuito, nuestro propio microcódigo, nuestro propio servicio.
El controlador en los sistemas OceanStor Dorado se basa en un procesador de diseño y producción propios de Huawei: Kunpeng 920. Utiliza el módulo de control del controlador de administración de placa base inteligente (iBMC), también nuestro. Los chips AI, a saber, el Ascend 310, que optimizan las predicciones de fallas y hacen recomendaciones para la configuración, también son Huawei, así como las placas de E / S: el módulo Smart I / O. Finalmente, los controladores de los SSD están diseñados y fabricados por nosotros. Todo ello sirvió de base para realizar una solución integralmente equilibrada y de alto rendimiento.
Durante el año pasado, implementamos un proyecto para introducir este, nuestro sistema de almacenamiento más avanzado, en uno de los bancos rusos más grandes. Como resultado, más de 40 unidades OceanStor Dorado 18000 V6 en el clúster metropolitano muestran un rendimiento estable: se pueden eliminar más de un millón de IOPS de cada sistema, y esto teniendo en cuenta los retrasos debido a la distancia.
NVMe de extremo a extremo
Los últimos sistemas de almacenamiento de Huawei son compatibles con NVMe de extremo a extremo, lo cual enfatizamos por una razón. Los protocolos utilizados tradicionalmente para acceder a las unidades se desarrollaron en la antigüedad de TI: se basan en comandos SCSI (¡hola, 1980!), Que extraen muchas funciones para garantizar la compatibilidad con versiones anteriores. Cualquiera que sea el método de acceso que tome, la sobrecarga del protocolo en este caso es colosal. Como resultado, para los almacenamientos que utilizan protocolos vinculados a SCSI, el retardo de E/S no puede ser inferior a 0,4–0,5 ms. A su vez, al ser un protocolo diseñado para trabajar con memoria flash y libre de muletas en aras de la notoria compatibilidad con versiones anteriores, NVMe - Non-Volatile Memory Express - reduce la latencia a 0,1 ms, además, no en el sistema de almacenamiento, sino en toda la pila, desde el host hasta las unidades. No es sorprendente que NVMe esté en línea con las tendencias de desarrollo de almacenamiento de datos para el futuro previsible. También confiamos en NVMe y nos estamos alejando gradualmente de SCSI. Todos los sistemas de almacenamiento de Huawei producidos hoy, incluida la línea Dorado, admiten NVMe (sin embargo, como un extremo a extremo, solo se implementa en los modelos avanzados de la serie Dorado V6).
FlashLink: un puñado de tecnologías
La tecnología fundamental de toda la línea OceanStor Dorado es FlashLink. Más precisamente, es un término que combina un conjunto integral de tecnologías que sirven para garantizar un alto rendimiento y confiabilidad. Esto incluye tecnologías de deduplicación y compresión, el funcionamiento del sistema de distribución de datos RAID 2.0+, la separación de datos "fríos" y "calientes", grabación de datos secuenciales de banda completa (escrituras aleatorias, con datos nuevos y modificados, se agregan en un pila grande y escrita secuencialmente, lo que aumenta la velocidad de lectura-escritura).
Entre otras cosas, FlashLink incluye dos componentes importantes: nivelación de desgaste y recolección global de basura. Deben tratarse por separado.
De hecho, cualquier disco de estado sólido es un sistema de almacenamiento en miniatura, con una gran cantidad de bloques y un controlador que asegura la disponibilidad de los datos. Y se proporciona, entre otras cosas, debido al hecho de que los datos de las celdas "muertas" se transfieren a las "no muertas". Esto asegura que se puedan leer. Hay varios algoritmos para tal transferencia. En el caso general, el controlador intenta equilibrar el desgaste de todas las celdas de almacenamiento. Este enfoque tiene un inconveniente. Cuando los datos se mueven dentro de un SSD, la cantidad de operaciones de E/S que realiza se reduce drásticamente. Por ahora, es un mal necesario.
Por lo tanto, si hay muchos SSD en el sistema, aparece una "sierra" en el gráfico de rendimiento, con fuertes altibajos. El problema es que una unidad del grupo puede iniciar la migración de datos en cualquier momento y el rendimiento general se elimina al mismo tiempo de todos los SSD de la matriz. Pero los ingenieros de Huawei descubrieron cómo evitar la "sierra".
Afortunadamente, tanto los controladores de las unidades como el controlador de almacenamiento y el firmware de Huawei son "nativos". Estos procesos en OceanStor Dorado 18000 V6 se inician de forma centralizada y sincrónica en todas las unidades de la matriz. Además, a las órdenes del controlador de almacenamiento, y precisamente cuando no hay una gran carga de E/S.
El chip de inteligencia artificial también participa en la elección del momento adecuado para transferir datos: en función de las estadísticas de aciertos de los meses anteriores, puede predecir con la mayor probabilidad si se esperan E/S activas en un futuro próximo, y si la respuesta es negativa, y la carga en el sistema en el momento actual es pequeña, entonces el controlador comanda todas las unidades: aquellos que necesitan nivelación de desgaste deben hacerlo de una vez y sincrónicamente.
Además, el controlador del sistema ve lo que sucede en cada celda de la unidad, a diferencia de los sistemas de almacenamiento de los fabricantes de la competencia: se ven obligados a comprar medios de estado sólido de proveedores externos, razón por la cual los detalles a nivel de celda no están disponibles para los controladores de dichos almacenamientos.
Como resultado, el OceanStor Dorado 18000 V6 tiene un período muy breve de degradación del rendimiento en la operación de nivelación de desgaste y se realiza principalmente cuando no interfiere con ningún otro proceso. Esto proporciona un alto rendimiento estable de forma continua.
Qué hace que OceanStor Dorado 18000 V6 sea confiable
Hay cuatro niveles de confiabilidad en los sistemas modernos de almacenamiento de datos:
- hardware, a nivel de unidad;
- arquitectónico, a nivel de equipamiento;
- arquitectónico junto con la parte de software;
- acumulativo, relacionado con la solución como un todo.
Dado que, recordamos, nuestra empresa diseña y fabrica todos los componentes del propio sistema de almacenamiento, brindamos confiabilidad en cada uno de los cuatro niveles, con la capacidad de monitorear minuciosamente qué está sucediendo en cuál de ellos en ese momento.
La confiabilidad de las unidades está garantizada principalmente por la nivelación de desgaste y la recolección global de basura descritas anteriormente. Cuando un SSD parece una caja negra para el sistema, no tiene idea de cómo se desgastan exactamente las celdas en él. Para el OceanStor Dorado 18000 V6, las unidades son transparentes, lo que permite equilibrar uniformemente todas las unidades del arreglo. Por lo tanto, prolonga significativamente la vida útil de los SSD y asegura un alto nivel de confiabilidad de su funcionamiento.
Además, la confiabilidad de la unidad se ve afectada por celdas redundantes adicionales en ella. Y junto a una reserva simple, el sistema de almacenamiento utiliza las llamadas celdas DIF, que contienen sumas de verificación, así como códigos adicionales para proteger cada bloque de un solo error, además de protección a nivel de matriz RAID.
La clave de la confiabilidad arquitectónica es la solución SmartMatrix. En resumen, estos son cuatro controladores que se sientan en un backplane pasivo como parte de un motor (motor). Dos de estos motores, respectivamente, con ocho controladores, están conectados a estantes comunes con unidades. Gracias a SmartMatrix, incluso si siete de los ocho controladores dejan de funcionar, se mantendrá el acceso a todos los datos, tanto para lectura como para escritura. Y con la pérdida de seis de los ocho controladores, incluso será posible continuar con las operaciones de almacenamiento en caché.
Las tarjetas de E/S en el mismo backplane pasivo están disponibles para todos los controladores, tanto en el extremo frontal como en el extremo posterior. Con un esquema de conexión de malla completa de este tipo, independientemente de lo que falle, siempre se conserva el acceso a las unidades.
Es más apropiado hablar de la confiabilidad de una arquitectura en el contexto de los modos de falla contra los que el sistema de almacenamiento es capaz de protegerse.
El almacenamiento sobrevivirá a la situación sin pérdida si dos controladores "se caen", incluso al mismo tiempo. Tal estabilidad se logra debido al hecho de que cualquier bloque de caché ciertamente tiene dos copias más en diferentes controladores, es decir, en total existe en tres copias. Y al menos uno está en un motor diferente. Por lo tanto, incluso si todo el motor deja de funcionar, con sus cuatro controladores, se garantiza que toda la información que estaba en la memoria caché se guardará, porque el caché se duplicará en al menos un controlador del motor restante. Finalmente, con una conexión en serie, puede perder hasta siete controladores, e incluso si se eliminan en bloques de dos, y nuevamente, se conservarán todas las E / S y todos los datos del caché.
Cuando se compara con el almacenamiento de alta gama de otros fabricantes, se puede ver que solo Huawei brinda protección de datos completa y disponibilidad total, incluso después de la muerte de dos controladores o de todo el motor. La mayoría de los proveedores utilizan un esquema con los llamados pares de controladores a los que se conectan las unidades. Desafortunadamente, en esta configuración, si fallan dos controladores, existe el riesgo de perder el acceso de E/S a la unidad.
Por desgracia, la falla de un solo componente no está objetivamente excluida. En este caso, el rendimiento caerá por un tiempo: es necesario que se reconstruyan las rutas y se reanude el acceso para las operaciones de E/S con respecto a aquellos bloques que o llegaron a escribir, pero aún no se escribieron, o se solicitaron para ser leido. El OceanStor Dorado 18000 V6 tiene un tiempo de reconstrucción promedio de aproximadamente un segundo, significativamente menos que el análogo más cercano en la industria (4 s). Esto se logra gracias al mismo backplane pasivo: cuando falla el controlador, el resto ve inmediatamente su entrada/salida, y en particular en qué bloque de datos no se ha escrito; como resultado, el controlador más cercano recoge el proceso. De ahí la capacidad de restaurar el rendimiento en solo un segundo. Debo agregar, el intervalo es estable: un segundo para un controlador, un segundo para otro, etc.
En el backplane pasivo OceanStor Dorado 18000 V6, todas las placas están disponibles para todos los controladores sin ningún direccionamiento adicional. Esto significa que cualquier controlador puede captar E/S en cualquier puerto. Cualquiera que sea el puerto de entrada/salida que entre, el controlador estará listo para procesarlo. Por lo tanto, el número mínimo de transferencias internas y una notable simplificación del equilibrio.
El equilibrio frontend se realiza mediante el controlador de rutas múltiples y el equilibrio adicional se lleva a cabo dentro del propio sistema, ya que todos los controladores ven todos los puertos de E/S.
Tradicionalmente, todos los arreglos de Huawei están diseñados de tal manera que no tienen un solo punto de falla. El intercambio en caliente, sin reiniciar el sistema, se presta a todos sus componentes: controladores, módulos de potencia, módulos de refrigeración, tarjetas de E/S, etc.
Eleva la fiabilidad del sistema en su conjunto y de tecnologías como RAID-TP. Este es el nombre de un grupo RAID, que le permite asegurarse contra fallas simultáneas de hasta tres unidades. Y una reconstrucción de 1 TB toma constantemente menos de 30 minutos. El mejor resultado registrado es ocho veces más rápido que con la misma cantidad de datos en el accionamiento del husillo. Por lo tanto, es posible utilizar unidades de gran capacidad, digamos 7,68 o incluso 15 TB, y no preocuparse por la fiabilidad del sistema.
Es importante que la reconstrucción no se lleve a cabo en una unidad de repuesto, sino en un espacio de repuesto: una capacidad de reserva. Cada unidad tiene un espacio dedicado que se usa para la recuperación de datos después de una falla. Por lo tanto, la recuperación no se lleva a cabo según el esquema "muchos a uno", sino según el esquema "muchos a muchos", por lo que es posible acelerar significativamente el proceso. Y mientras haya capacidad libre, la recuperación puede continuar.
También debemos mencionar la confiabilidad de una solución de varios almacenamientos: en un clúster de metro o, en la terminología de Huawei, HyperMetro. Dichos esquemas son compatibles con toda la gama de modelos de nuestros sistemas de almacenamiento de datos y permiten el acceso tanto a archivos como a bloques. Además, en un bloque, funciona tanto a través de Fibre Channel como a través de Ethernet (incluso a través de iSCSI).
En esencia, estamos hablando de la replicación bidireccional de un sistema de almacenamiento a otro, en el que el LUN replicado recibe el mismo LUN-ID que el principal. La tecnología funciona principalmente debido a la consistencia de los cachés de dos sistemas diferentes. Por lo tanto, para el host no importa de qué lado esté: tanto aquí como allá ve la misma unidad lógica. Como resultado, nada le impide implementar un clúster de conmutación por error que abarque dos sitios.
Para el quórum, se utiliza una máquina Linux física o virtual. Puede ubicarse en el tercer sitio y los requisitos para sus recursos son pequeños. Un escenario común es alquilar un sitio virtual exclusivamente para alojar una máquina virtual de quórum.
La tecnología también permite la expansión: dos almacenamientos, en un clúster metropolitano, un sitio adicional, con replicación asíncrona.
Históricamente, muchos clientes han formado un "zoológico de almacenamiento": un montón de sistemas de almacenamiento de diferentes fabricantes, diferentes modelos, diferentes generaciones, con diferentes funcionalidades. Sin embargo, la cantidad de hosts puede ser impresionante y, a menudo, están virtualizados. En tales circunstancias, una de las prioridades de la administración es proporcionar discos lógicos a los hosts de manera rápida, uniforme y conveniente, preferiblemente de una manera que no profundice en la ubicación física de estos discos. Para eso está diseñada nuestra solución de software OceanStor DJ, que puede administrar de manera unánime varios sistemas de almacenamiento y brindar servicios desde ellos sin estar atado a un modelo de almacenamiento específico.
Misma IA
Como ya se mencionó, el OceanStor Dorado 18000 V6 tiene procesadores incorporados con algoritmos de inteligencia artificial: Ascend. Se utilizan, en primer lugar, para predecir fallas y, en segundo lugar, para formar recomendaciones para el ajuste, lo que también aumenta el rendimiento y la confiabilidad del almacenamiento.
El horizonte de predicción es de dos meses: la maquinaria de IA asume lo que sucederá con una alta probabilidad durante este tiempo, es hora de expandirse, cambiar las políticas de acceso, etc. Las recomendaciones se emiten con anticipación, lo que permite programar las ventanas de mantenimiento del sistema con anticipación. .
La siguiente etapa del desarrollo de IA de Huawei es llevarla a nivel global. En el curso del mantenimiento del servicio (conmutación por error o recomendaciones), Huawei agrega información de los sistemas de registro de los almacenamientos de todos nuestros clientes. Con base en la información recopilada, se lleva a cabo un análisis de las fallas ocurridas o potenciales y se hacen recomendaciones globales, basadas no en el funcionamiento de un sistema de almacenamiento en particular o incluso una docena, sino en lo que está sucediendo y ha sucedido con miles de tales dispositivos. La muestra es enorme y, en base a ella, los algoritmos de IA comienzan a aprender extremadamente rápido, por lo que la precisión de las predicciones aumenta significativamente.
Compatibilidad
En 2019-2020, hubo muchas insinuaciones sobre la interacción de nuestro equipo con los productos de VMware. Para finalmente detenerlos, declaramos responsablemente: VMware es un socio de Huawei. Se llevaron a cabo todas las pruebas imaginables para la compatibilidad de nuestro hardware con su software y, como resultado, en el sitio web de VMware, la hoja de compatibilidad de hardware enumera los sistemas de almacenamiento actualmente disponibles de nuestra producción sin ninguna reserva. En otras palabras, con el entorno de software de VMware, puede usar el almacenamiento de Huawei, incluido Dorado V6, con soporte completo.
Lo mismo ocurre con nuestra colaboración con Brocade. Continuamos interactuando y probando la compatibilidad de nuestros productos y podemos afirmar con confianza que nuestros sistemas de almacenamiento son totalmente compatibles con los conmutadores Brocade FC más recientes.
¿Qué será lo próximo?
Continuamos desarrollando y mejorando nuestros procesadores: se vuelven más rápidos, más confiables, su rendimiento crece. También estamos mejorando los chips de IA; en base a ellos, también se producen módulos que aceleran la deduplicación y la compresión. Quienes tengan acceso a nuestro configurador habrán notado que estas tarjetas ya están disponibles para ordenar en los modelos Dorado V6.
También nos estamos moviendo hacia el almacenamiento en caché adicional en Storage Class Memory: memoria no volátil con una latencia especialmente baja, alrededor de diez microsegundos por lectura. Entre otras cosas, SCM aumenta el rendimiento, principalmente cuando se trabaja con big data y cuando se resuelven tareas de OLTP. Después de la próxima actualización, las tarjetas SCM deberían estar disponibles para ordenar.
Y, por supuesto, la funcionalidad de acceso a archivos se ampliará a toda la gama de almacenamiento de datos de Huawei. Estén atentos a nuestras actualizaciones.
Fuente: habr.com