Habiendo examinado a vista de pájaro todas las soluciones modernas de Huawei Enterprise presentadas en 2020, pasamos a historias más centradas y detalladas sobre ideas y productos individuales que pueden servir como base para la transformación digital tanto de grandes empresas como de agencias gubernamentales. Hoy hablamos de los conceptos y tecnologías que Huawei propone para construir centros de datos.
En la era del mundo conectado, los desafíos del almacenamiento y procesamiento de datos requieren nuevos enfoques en todas las etapas del ciclo de vida del centro de datos. Deben volverse más simples e inteligentes al mismo tiempo para hacer frente a su papel como elementos centrales de la infraestructura de la economía digital global.
En 2018, la humanidad almacenó 33 zettabytes de información, pero para 2025 su volumen total debería aumentar más de cinco veces. Tres décadas de experiencia en el desarrollo de infraestructuras TIC han permitido a Huawei estar bien preparada para el creciente “tsunami de datos” y ofrecer a sus socios y clientes el concepto de un centro de datos inteligente, incluidas todas las etapas de su construcción, operación y mantenimiento. Los elementos de este concepto se reúnen bajo el nombre general HiDC.
Digitalízalo
Hay un nuevo chiste circulando por Internet: ¿quién aceleró más la transformación digital de su empresa: el CEO, el CTO, la junta directiva? ¡Epidemia de coronavirus! Sólo el perezoso no realiza seminarios web, no escribe artículos, no le dice a la gente cómo y qué hacer. Pero todas estas son acciones reactivas. Algunos preparados con antelación.
No es por alardear, sino por razones objetivas, tomaremos como ejemplo nuestra empresa, en la que hace varios años se inició a gran escala la transformación digital. Actualmente, podemos transferir a casi todos nuestros empleados para que trabajen desde casa sin ninguna pérdida de eficiencia. La historia de un hospital construido en la ciudad de Wuhan en diez días es indicativa. Allí, la transformación digital se manifestó en el hecho de que todos los sistemas informáticos se implementaron en tres días. Por tanto, la transformación digital no se trata de “cuándo” y “por qué”, sino de “cómo”.
Enfoque arquitectónico en lugar de desarrollo espontáneo
¿Cuáles son los principales problemas que enfrentamos cuando comenzamos a construir un determinado sistema? Hasta ahora, todos nuestros clientes trabajan combinando tareas comerciales con servicios de aplicaciones y soluciones de TI. Es bastante difícil hacerse una idea general del funcionamiento de un complejo de este tipo si se creó simplemente añadiendo varios bloques. Y para construir un sistema como un organismo único, primero es necesario un enfoque arquitectónico. Esto es lo que encarnamos en la ideología de nuestra solución HiDC.
Valor máximo y coste mínimo
Toda la estructura de HiDC se compone de dos sectores principales. La primera es lo que estás acostumbrado a ver en Huawei: la infraestructura clásica. Los elementos del segundo segmento se combinan más fácilmente con el término "datos inteligentes".
¿Por qué es esto necesario? Hoy en día, muchas empresas acumulan cantidades colosales de información, a menudo dispersa o accesible a través de diversos tipos de “juntas”. Sí, tome al menos bases de datos ordinarias. Pregunte a sus administradores de bases de datos cómo encajan estas bases de datos y cómo utilizar la información de ellas en sistemas de BI para tomar decisiones comerciales. Sorprendentemente, las bases de datos suelen estar muy poco conectadas entre sí y funcionan como “islas” separadas. Por lo tanto, en primer lugar, pensamos en qué enfoques arquitectónicos podrían eliminar este problema.
Principios de diseño de la arquitectura HiDC
Veamos los principios básicos del diseño HiDC. Esto no será útil principalmente para los especialistas en un campo en particular, sino para los arquitectos de soluciones que puedan abarcar todo el panorama.
Los más comunes son el bloque de redes convergentes y el bloque de gestión de datos. Y aquí surge un concepto en el que los arquitectos de soluciones rara vez piensan: la gestión del ciclo de vida de los datos. De las bases de datos clásicas, ha migrado a muchos otros sistemas, incluida la computación en la nube y en el borde.
La informática de punta es cada vez más común. El ejemplo más evidente de su uso es un coche con piloto automático, que es recomendable controlar desde una única plataforma. Además, existe una tendencia hacia tecnologías "verdes": más eficientes energéticamente y que causan un daño mínimo al medio ambiente. Puedes lograr ambas cosas cambiando a recursos intelectuales (más sobre ellos más adelante).
Es fantástico tener los seis bloques de la estructura HiDC a nuestra disposición. Es cierto que los clientes suelen trabajar en un entorno creado previamente. Sin embargo, usar incluso un bloque del diagrama anterior puede dar frutos. Y si añades un segundo, un tercero, etc., empezará a aparecer un efecto sinérgico. La combinación de red y almacenamiento distribuido por sí sola producirá un mayor rendimiento y una menor latencia. El enfoque de bloques nos permite desarrollarnos no de forma caótica, como suele suceder en la industria, sino utilizando un enfoque arquitectónico integrado. Bueno, la apertura de los propios bloques proporciona libertad para elegir la solución óptima.
La época de las redes convergentes
Recientemente, en los mercados global y ruso, hemos estado promoviendo cada vez más el concepto de redes convergentes. Hoy en día, nuestros clientes ya utilizan soluciones convergentes basadas en RoCEv2 (RDMA sobre Ethernet convergente v2) para crear sistemas de almacenamiento distribuidos definidos por software. La principal ventaja de este enfoque es su apertura y la ausencia de la necesidad de crear un número indefinido de redes dispares.
¿Por qué no se hizo esto antes? Recordemos que el estándar Ethernet se desarrolló en 1969. Durante medio siglo ha acumulado muchos problemas, pero Huawei ha aprendido a solucionarlos. Ahora, gracias a una serie de pasos adicionales, podemos usar Ethernet para aplicaciones de misión crítica, soluciones de alta carga, etc.
De DCN a DCI
La siguiente tendencia importante es el efecto sinérgico de la implementación de DCI (Data Center Interconnect). En Rusia, a diferencia de China, algo similar sólo se puede encontrar con los operadores de telecomunicaciones. Cuando los clientes consideran soluciones de red para el centro de datos, normalmente no prestan suficiente atención a la profunda integración de redes ópticas y soluciones IP clásicas dentro de un único punto de presencia. Utilizan soluciones familiares que funcionan en la capa IP, lo cual les basta.
¿Para qué sirve entonces el DCI? Imagine que el administrador del nodo DWDM y el administrador de la red actúan de forma independiente. En algún momento, una falla en cualquiera de ellos puede reducir seriamente su resiliencia. Y si utilizamos el principio de sinergia, el enrutamiento IP se realiza teniendo en cuenta lo que sucede en la red óptica. El uso de un servicio tan inteligente aumenta significativamente el número de nueves en el nivel de disponibilidad de todo el sistema.
Otra gran ventaja de nuestro DCI es su gran margen de rendimiento. Sumando las capacidades de las gamas C y L, se pueden obtener unas 220 lambdas. Es poco probable que esta reserva se agote rápidamente incluso para un gran cliente corporativo, dado que nuestra solución actual permite transmitir hasta 400 Gbit/s a través de cada lambda. En el futuro, será posible alcanzar 800 Gbit/s en el mismo equipo.
La capacidad de gestión general que ofrecemos a través de interfaces clásicamente abiertas proporciona una comodidad adicional. NETCONF gestiona no solo conmutadores, sino también dispositivos ópticos multiplex, lo que permite lograr convergencia en todos los niveles y percibir el sistema como un recurso intelectual, y no como un "conjunto de cajas".
La informática de punta es cada vez más importante
Mucha gente ha oído hablar de Edge Computing. Y aquellos involucrados en la nube y los centros de datos clásicos deben tener en cuenta que recientemente hemos visto un cambio importante hacia la informática de punta.
¿Qué causa esto? Veamos modelos de implementación comunes. Hoy en día se habla mucho de “ciudades inteligentes”, “casas inteligentes”, etc. Este concepto permite al promotor crear valor añadido y aumentar el precio de la propiedad. Una “casa inteligente” identifica a su residente, le deja entrar y salir y le proporciona determinados servicios. Según las estadísticas, estos servicios añaden entre un 10% y un 15% al precio de los apartamentos y, en general, pueden estimular el desarrollo de nuevos modelos de negocio. Además, ya se ha dicho sobre los conceptos de piloto automático. Pronto, el desarrollo de las tecnologías 5G y Wi-Fi 6 proporcionará una latencia extremadamente baja para la transferencia de datos entre hogares inteligentes, automóviles y el principal centro de datos que realiza computación de punta. Esto significa que será posible realizar una cantidad mucho mayor de operaciones relacionadas con el procesamiento de datos serio. Para resolver estos problemas, en particular, se pueden utilizar procesadores neuronales que ya se suministran a Rusia.
La promesa de la tendencia que acabamos de esbozar es innegable. Imaginemos, por ejemplo, un sistema inteligente de gestión del transporte urbano capaz de cambiar los semáforos, regular la carga del tráfico en calles concretas o incluso tomar medidas adecuadas en caso de emergencia.
Ahora pasemos a los recursos con los que proporcionamos la implementación del concepto HiDC.
Cálculos
Cuando necesitamos implementar un sistema informático estándar, por supuesto, se utilizan procesadores con arquitectura x86. Pero tan pronto como surge la necesidad de personalización, es hora de pensar en soluciones más diversas.
Por ejemplo, los procesadores ARM, debido a su gran cantidad de núcleos, son excelentes para aplicaciones altamente paralelas. El multiproceso ofrece una ganancia de rendimiento de aproximadamente el 30%.
Cuando la baja latencia es crítica, los circuitos integrados lógicos programables en campo (FPGA) pasan a primer plano.
Los procesadores neuronales son necesarios principalmente para resolver problemas de aprendizaje automático. Si para una implementación específica necesitamos 16 racks con 8 servidores cada uno, repletos de procesadores neuronales, entonces una solución del mismo nivel basada en la arquitectura x86 requeriría (!) alrededor de 128 racks. Como puede ver, la gran variedad de tipos de cálculo hace necesario seleccionar cuidadosamente las plataformas de hardware.
Almacenamiento de datos
Por segundo año, Huawei ha estado pidiendo a socios, clientes y colegas de la industria que creen sistemas de almacenamiento de datos de acuerdo con el principio Flash Only. Y la mayoría de nuestros clientes utilizan accionamientos de husillo mecánicos sólo en soluciones más antiguas o para datos de archivo poco utilizados.
Los sistemas flash también están evolucionando. Están apareciendo en el mercado sistemas Storage Class Memory (SCM) como Intel Optane. Los fabricantes chinos y japoneses están demostrando novedades interesantes. Actualmente, SCM es superior a todas las demás soluciones en términos de clase de procesamiento. Hasta ahora, sólo el alto costo no permite su uso en todas partes.
Al mismo tiempo, vemos que es necesario mejorar la calidad de los sistemas de almacenamiento no sólo en el backend convencional, sino también en el frontend. Ahora, de facto, en nuevas implementaciones, por regla general, ofrecemos y usamos mecanismos de acceso directo a la memoria a través de Ethernet, pero vemos solicitudes de los clientes y, por lo tanto, hacia fin de año, comenzaremos a usar NVMe sobre Fabrics con más frecuencia. Además, de extremo a extremo, para proporcionar una arquitectura común, que, por supuesto, debe ser de alto rendimiento y resistente a fallas del controlador.
El sistema de almacenamiento OceanStor Dorado es uno de nuestros productos estrella. Las pruebas internas han demostrado que proporciona un rendimiento de 20 millones de IOPS, manteniendo la funcionalidad cuando fallan siete de cada ocho controladores.
¿Por qué tanto poder? Veamos la situación actual. Desde hace varios meses, los residentes chinos pasan mucho más tiempo en casa debido al confinamiento. El tráfico de Internet en ese momento aumentó en promedio un 30% y en algunas provincias incluso se duplicó. Ha aumentado el consumo de una variedad de servicios de red. Y en algún momento, los mismos bancos comenzaron a experimentar una carga adicional importante, para la cual sus sistemas de almacenamiento no estaban preparados.
Está claro que no todo el mundo necesita ahora 20 millones de IOPS. ¿Pero qué pasará mañana? Nuestros sistemas inteligentes maximizan todo el potencial de los procesadores neuronales para garantizar la compacidad del tráfico, la deduplicación, la optimización y la rápida recuperación de datos.
Red de referencia
2020, como mencionamos en el artículo anterior, será el año de las redes centrales para nosotros. Muchos clientes, especialmente los proveedores de servicios de aplicaciones (ASP) y los bancos, ya están pensando en cómo funcionarán sus aplicaciones específicamente en términos de comunicaciones hacia y entre centros de datos. Aquí es donde nos ayuda una nueva red troncal. Como ejemplo, tomemos los bancos chinos más grandes que han cambiado a sistemas troncales simplificados que utilizan no una docena de protocolos diferentes para la comunicación entre centros de datos, sino, relativamente hablando, un par: OSPF y SRv6. Además, la organización recibe el mismo conjunto de servicios.
Recursos intelectuales
¿Cómo utilizar los datos? Hasta hace poco existía un sistema fragmentado de bases de datos heterogéneas: Microsoft SQL, MySQL, Oracle, etc. Para trabajar con ellas se utilizaban soluciones del campo del big data, capaces de combinar estos datos, tomarlos, trabajar con ellos. Todo esto creó una gran carga de recursos.
Al mismo tiempo, no existía ningún mecanismo para realizar operaciones con datos ante la ocurrencia de algún evento. La solución fue el desarrollo de principios de gestión del ciclo de vida de los datos (DLM).
Todo el mundo ha oído hablar de los lagos de datos. Con la transición de la gestión de datos a la gobernanza de datos, los “lagos digitales” comenzaron a volverse rápidamente más inteligentes. Incluso gracias a las soluciones de Huawei. En los siguientes materiales definitivamente hablaremos sobre toda la pila de tecnologías de software que utilizamos. Ahora es importante señalar que fue el uso de la gestión inteligente del ciclo de vida de los datos lo que nos permitió simplificar el uso de nuestra red y servidores, así como aprender a construir arquitecturas de extremo a extremo para comprender mejor los principios del trabajo con datos. .
Infraestructura de ingeniería del centro de datos.
Publicaremos materiales separados dedicados a la ingeniería de infraestructura, pero en el contexto del tema de hoy nos gustaría mencionar aquellos cambios relacionados con el concepto HiDC.
Durante mucho tiempo, el uso de baterías de litio en los sistemas de energía de respaldo y de emergencia (ESP) de los centros de datos estuvo prohibido debido a su alto riesgo de incendio. Cualquier daño mecánico o violación de la integridad de la batería podría provocar un incendio y consecuencias impredecibles. En este sentido, el PSA estaba equipado con baterías ácidas obsoletas, que tenían una densidad de carga específica baja y una gran masa.
Los nuevos sistemas de energía de respaldo y de emergencia de Huawei utilizan baterías seguras de fosfato de hierro y litio (LFP) con gestión proactiva inteligente. A la misma capacidad, ocupan tres veces menos volumen que las baterías ácidas. Su ciclo de vida es de 10 a 15 años, lo que, entre otras cosas, reduce la carga que suponen para el medio ambiente. El sistema de control patentado en el ecosistema SmartLi permite el uso de sistemas híbridos que consisten en conjuntos de baterías de tipo antiguo y nuevo, y el sistema de conmutación permite cambios "en caliente" en la estructura del PSA manteniendo la función de redundancia.
Operación inteligente
Una parte importante de los principios de funcionamiento de la infraestructura HiDC es la ideología de la autocuración inteligente. EN En nuestras publicaciones anteriores mencionamos la plataforma inteligente O&M 1-3-5, que es capaz no solo de detectar y analizar un evento no deseado en el sistema, sino también de ofrecer al administrador varias opciones para una solución totalmente automatizada al problema.
La función de autoanálisis le permite detectar problemas en aproximadamente un minuto. Se dedican tres minutos al análisis y en cinco minutos se forman propuestas para cambiar el estado del sistema.
Digamos que algún error del operador provocó la formación de un circuito cerrado de procesos, reduciendo el rendimiento de la granja de virtualización del 100 al 77%. El administrador del centro de datos recibe el mensaje correspondiente en su panel, que contiene una visualización completa del problema, incluido un diagrama de red de los recursos afectados por el proceso no deseado. A continuación, el administrador puede proceder a corregir la situación manualmente o utilizar uno de los varios escenarios de recuperación automática que se le ofrecen.
El sistema conoce alrededor de 75 escenarios de este tipo, que se pueden implementar en menos de diez minutos y cubren el 90% de los problemas que surgen en los centros de datos. En ese momento, el ingeniero puede responder tranquilamente a las llamadas de clientes preocupados, confiando en que el servicio se restablecerá en cualquier momento.
Nuevos productos clave en HiDC
Además de los productos de software, esto debería incluir soluciones clave que operen a nivel de infraestructura. En primer lugar, debemos mencionar los procesadores neuronales utilizados en nuestra familia Atlas de clústeres de IA, así como los servidores basados en NPU y GPU.
Además, no podemos dejar de mencionar nuevamente al Dorado y su desempeño líder en su clase, que durará muchos años. Esto es especialmente cierto en el espacio postsoviético, donde, salvo raras excepciones, se acostumbra actualizar algo sólo cuando deja de funcionar por completo. Esto explica la vida útil de los sistemas de almacenamiento individuales, que alcanza los diez años. Se necesita una enorme productividad para que Dorado garantice la prestación de servicios de alta calidad dentro de diez años.
Innovación en cada elemento
Al elegir soluciones de infraestructura específicas, no debemos olvidarnos de la arquitectura y los escenarios para su mayor desarrollo. Productos dispares de diferentes fabricantes no garantizan el efecto sinérgico esperado que proporcionarán las soluciones ya optimizadas para uso conjunto.
La infraestructura debe basarse en la tecnología adecuada. Los "correctos" incluyen los abiertos, que proporcionan un alto rendimiento y funcionan de manera estable bajo cargas elevadas. Para los centros de datos, por ejemplo, es importante una buena proporción entre el consumo total de energía y la carga de TI. Para lograr todos los objetivos anteriores, debe seleccionar el entorno y los componentes. En las condiciones modernas, esto también significa el uso cada vez más extendido de la inteligencia artificial.
Según nuestras observaciones, entre los clientes estratégicos de Huawei son cada vez menos los que todavía no utilizan sistemas de aprendizaje automático. Sin ML, es simplemente imposible monetizar al máximo los datos acumulados.
El sistema de monetización puede ser diferente: para los bancos, que ofrecen nuevos productos específicos, para los operadores de telecomunicaciones, que brindan servicios individuales y garantizan la lealtad, para los clientes gubernamentales, una gestión del ciclo de vida de los datos de alta calidad y un alto nivel de interacción con otras organizaciones. Después de todo, los modelos de gestión de datos han ido mucho más allá de configurar un firewall y garantizar la visibilidad de sus bases de datos en la red.
De la idea al centro de datos operativo
La construcción de un centro de datos estándar lleva, en el mejor de los casos, entre un año y un año y medio. Nuestro ciclo de producción nos permite hacerlo mucho más rápido gracias al uso de un grupo de soluciones unidas bajo el nombre común FusionDC 2.0. El diseño, el desarrollo del diseño de alto nivel y el montaje de todos los elementos de la carga informática se realizan directamente en fábrica. En poco tiempo, los equipos se entregan en contenedores marítimos desde China a Rusia. Como resultado, la creación de un centro de datos llave en mano se puede lograr literalmente en cuatro o cinco meses.
La idea de un centro de datos en la nube prefabricado también es interesante porque un centro de datos se puede desarrollar por etapas, añadiéndole los bloques funcionales necesarios. Este enfoque está integrado en el propio concepto de HiDC.
Para no convertir el material de revisión en una hoja de datos, para obtener información adicional sobre HiDC sugerimos ir a . Allí encontrará una descripción y ejemplos de implementación de los enfoques, productos y soluciones de los que hablamos. Cuanto mayor sea su nivel de acceso al sitio, más materiales habrá. Si se le asigna el estado de "socio", podrá descargar hojas de ruta, presentaciones técnicas y videos de HiDC.
Nos aventuraríamos a suponer que la mayoría de los que leen este artículo tienen las competencias de arquitectos de redes. Seguramente estarán interesados en visitar nuestra . Allí hablamos en detalle sobre cómo construir una infraestructura de red según las reglas del Diseño Validado de Huawei (HVD). Las pautas disponibles para descargar lo ayudarán a comprender a fondo cómo funcionan las soluciones de la empresa. Sólo recuerde que sin autorización, habrá menos materiales disponibles para usted.
***
También le ayudarán a navegar numerosos seminarios web realizados no sólo en el segmento de habla rusa, sino también a nivel internacional. En ellos compartimos tanto información sobre nuestros productos como nuestras prácticas comerciales. También hablamos de cómo Huawei, a pesar de la interrupción de muchas cadenas de servicios, continúa asegurando la entrega continua de sus productos a diferentes países. Recientemente, por ejemplo, hubo un caso en el que los equipos recién producidos para un centro de datos llegaron a un cliente de Moscú en sólo tres semanas.
La lista de webinars de abril está disponible .
Fuente: habr.com