El sistema reducirá los costos de energía a la mitad.
/ foto CC BY-SA
¿Por qué necesitamos una nueva arquitectura?
Para 2030, los dispositivos electrónicos consumirán el 40% de toda la energía generada en el planeta. Aproximadamente el 20% de este volumen provendrá del sector TI y centros de datos. Por Según los analistas europeos, los centros de datos ya “se llevan” el 1,4% de toda la electricidad. Se espera que esto .
El almacenamiento SSD consume una parte importante de la electricidad. En el período de 2012 a 2017, la proporción de unidades de estado sólido en los centros de datos . Aunque los SSD consumen un tercio menos de energía () que los HDD, las facturas de electricidad siguen siendo elevadas a escala de los centros de datos.
Para reducir el consumo de energía de las unidades de estado sólido en el centro de datos, los ingenieros del MIT han desarrollado una nueva arquitectura de almacenamiento SSD. Se llama LightStore y le permite conectar unidades directamente a la red del centro de datos, sin pasar por los servidores de almacenamiento. Por Según los autores, el sistema reducirá los costes de energía a la mitad.
¿Cómo funciona esto
LightStore es un almacén flash de valores-clave que asigna las solicitudes de los usuarios a unidades como claves. Luego se envían al servidor, que libera los datos asociados con esa clave.
Sistema Procesador integrado de bajo consumo, memoria DRAM y NAND. Está controlado por un controlador y un software especial. El controlador es responsable de trabajar con matrices NAND y el software es responsable de procesar solicitudes KV y almacenar pares de claves. La arquitectura del software se construye sobre la base , que se utiliza en muchos DBMS modernos.
El diagrama de arquitectura se puede representar de la siguiente manera:
El diagrama muestra los componentes básicos de LightStore. Un clúster de nodos opera con pares clave-valor. Los servidores de aplicaciones están conectados al sistema mediante adaptadores. Convierten solicitudes de clientes (como fread() de la API POSIX) en solicitudes KV. La arquitectura también tiene adaptadores separados para , bloque (basado en el módulo BUSE) y almacenamiento de archivos.
Al distribuir solicitudes, el adaptador utiliza . Se utiliza en sistemas como Redis o Swift. Utilizando la clave de solicitud KV, el adaptador genera una clave hash cuyo valor identifica el nodo de destino.
La capacidad del clúster LightStore aumenta linealmente: simplemente conecte nodos adicionales a la red. En algunos casos, es posible que deba comprar interruptores nuevos. Sin embargo, los desarrolladores han equipado cada nodo con ranuras adicionales para conectar chips NAND.
El potencial de la arquitectura.
Los ingenieros del MIT dicen que la solución basada en LightStore tiene un rendimiento de 620 Mbps sobre 10 Gigabit Ethernet. Un nodo consume 10 W en lugar de los 20 W habituales (en los sistemas SSD utilizados hoy en día en los centros de datos). Además, el equipamiento ocupa la mitad de espacio.
Ahora los desarrolladores están ultimando algunos aspectos. Por ejemplo, LightStore no puede funcionar con consultas de rango y consultas pequeñas. Estas funciones se agregarán en el futuro, ya que LightStore utiliza árboles LSM. Además, el sistema todavía tiene un conjunto limitado de adaptadores: se admiten YCSB y adaptadores de bloque. En el futuro, LightStore podrá procesar consultas SQL, etc.
Otros desarrollos
En el verano de 2018, Marvell, una empresa de desarrollo de almacenamiento, presentó una nueva línea de controladores SSD basados en sistemas de inteligencia artificial. Los desarrolladores han integrado aceleradores de aprendizaje profundo de NVIDIA en controladores estándar para centros de datos y aplicaciones cliente. Como resultado, crearon una arquitectura autónoma que consume menos energía en comparación con los controladores SSD clásicos. La empresa espera que el sistema encuentre aplicación en informática de punta, análisis de big data e IoT.
La línea de unidades Western Digital Blue se actualizó recientemente. En abril, los desarrolladores presentaron una solución: el WD Blue SSD basado en tecnologías SanDisk, que WD adquirió hace un año. Los SSD WD Blue actualizados ofrecen rendimiento y eficiencia energética mejorados. La arquitectura se construye sobre la base de la especificación. , que proporciona acceso a SSD conectados a través de PCI Express.
Esta especificación mejora la eficiencia de las unidades SSD con una gran cantidad de solicitudes simultáneas y acelera el acceso a los datos. Además, NVMe le permite estandarizar la interfaz SSD: más para los fabricantes de hardware para el desarrollo de controladores, conectores y factores de forma únicos.
Perspectivas
El mercado de SSD para centros de datos avanza hacia una arquitectura simplificada, la automatización de los componentes de almacenamiento y una mayor eficiencia energética. El desarrollo de ingenieros del MIT resuelve este último problema. Autores que LightStore se convertirá en el estándar de la industria para el almacenamiento SSD en centros de datos. Y podemos suponer que en el futuro aparecerán arquitecturas nuevas e incluso más eficientes basadas en él.
Varios materiales del Primer blog sobre IaaS corporativa:
Fuente: habr.com