El sistema reducirá los costos de energía eléctrica a la mitad.
/ фото CC BY-SA
¿Por qué es necesaria una nueva arquitectura?
, para 2030, los dispositivos electrónicos consumirán el 40% de toda la energía producida en el planeta. Aproximadamente el 20% de este volumen corresponderá al sector de TI y a los centros de datos. Por los analistas europeos, los centros de datos ya ‘consumen’ el 1,4% de toda la electricidad. Se espera que esta .
Una parte significativa de la energía eléctrica es consumida por los almacenes SSD. Entre 2012 y 2017, la cuota de los discos sólidos en los centros de datos . Aunque los SSD consumen un 30% menos de energía (), en términos de centros de datos, las facturas de electricidad siguen siendo elevadas.
Para reducir el consumo de energía de los discos sólidos en los centros de datos, ingenieros del MIT han desarrollado una nueva arquitectura de almacenamiento SSD. Se llama LightStore y permite conectar los dispositivos directamente a la red de centros de datos, omitiendo los servidores de almacenamiento. Según los autores, el sistema reducirá los costos de energía eléctrica a la mitad.
¿Cómo funciona?
LightStore es un almacenamiento flash de tipo clave-valor, donde las solicitudes de los usuarios a los dispositivos se representan como claves. Luego se envían a un servidor que libera los datos asociados con esa clave.
Sistema con un procesador de alta eficiencia energética, DRAM y memoria NAND. Es gestionado por un controlador y un software especializado. El controlador se encarga de trabajar con los arrays de NAND, mientras que el software se ocupa de procesar las solicitudes KV y almacenar pares de claves. La arquitectura del software está basada en , que se utiliza en muchas bases de datos modernas.
La arquitectura puede representarse de la siguiente manera:
El esquema muestra los componentes básicos de LightStore. Un clúster de nodos trabaja con pares clave-valor. Los servidores de aplicaciones se conectan al sistema mediante adaptadores. Estos convierten las solicitudes del cliente (por ejemplo, fread() de la API POSIX) en solicitudes KV. La arquitectura también tiene adaptadores separados para , almacenes de bloques (basados en el módulo BUSE) y almacenes de archivos.
Al distribuir las solicitudes, el adaptador utiliza . Se utiliza en sistemas como Redis o Swift. Mediante la clave de la solicitud KV, el adaptador genera una clave hash, cuyo valor determina el nodo objetivo.
La capacidad del clúster LightStore se escala linealmente: solo es necesario conectar nodos adicionales a la red. En algunos casos, puede ser necesario adquirir nuevos interruptores. Sin embargo, los desarrolladores han equipado cada nodo con ranuras adicionales para conectar chips NAND.
Potencial de la arquitectura
Ingenieros del MIT dicen que el ancho de banda de la solución basada en LightStore es de 620 Mbps para Ethernet de 10 gigabits. Un nodo consume 10 W en lugar de los 20 W habituales (en los sistemas SSD utilizados hoy por los centros de datos). Además, el equipo ocupa el doble de espacio.
Actualmente, los desarrolladores están trabajando en algunos aspectos. Por ejemplo, LightStore no puede manejar consultas por rango y consultas pequeñas. Estas funciones se añadirán en el futuro, ya que LightStore utiliza árboles LSM. Además, el sistema actualmente cuenta con un conjunto limitado de adaptadores: se admiten adaptadores YCSB y de bloques. En el futuro, LightStore podrá procesar consultas SQL y más.
Otros desarrollos
En verano de 2018, Marvell, la empresa desarrolladora de soluciones de almacenamiento, presentó una nueva línea de controladores SSD basados en sistemas de IA. Los desarrolladores integraron aceleradores de aprendizaje profundo de NVIDIA en controladores estándar para centros de datos y aplicaciones cliente. Como resultado, crearon una arquitectura autónoma que consume menos energía en comparación con los controladores SSD clásicos. La empresa espera que el sistema encuentre aplicación en la computación perimetral, el análisis de grandes datos e IoT.
Recientemente se actualizó la línea de unidades Western Digital Blue. En abril, los desarrolladores presentaron una solución: WD Blue SSD basada en tecnologías de SanDisk, que WD adquirió hace un año. Los nuevos WD Blue SSD se caracterizan por un rendimiento y eficiencia energética mejorados. La arquitectura se basa en la especificación , que proporciona acceso a SSD conectados a través de PCI Express.
Esta especificación mejora la eficiencia de operación de las unidades SSD con un mayor número de solicitudes simultáneas y acelera el acceso a los datos. Además, NVMe permite estandarizar la interfaz SSD: los fabricantes de hardware ya no en desarrollar controladores únicos, conectores y factores de forma.
Perspectivas
El mercado de los SSD para data centers avanza hacia la simplificación de la arquitectura, la automatización de las operaciones de almacenamiento y la mejora de la eficiencia energética. La investigación de ingenieros del MIT aborda esta última cuestión. Los autores , que LightStore se convertirá en el estándar del sector para el almacenamiento SSD en data centers. Y se puede prever que en el futuro surgirán nuevas arquitecturas aún más eficientes basadas en él.
Algunos materiales del Primer blog sobre IaaS corporativo:
Fuente: habr.com
