O sistema reducirá os custos enerxéticos á metade.
/ foto CC BY-SA
Por que necesitamos unha nova arquitectura?
En 2030, os dispositivos electrónicos consumirán o 40% de toda a enerxía xerada no planeta. Aproximadamente o 20% deste volume procederá do sector informático e dos centros de datos. Por Segundo analistas europeos, os centros de datos xa "quitan" o 1,4% de toda a electricidade. Espérase que isto .
O almacenamento SSD consome unha parte importante da electricidade. No período de 2012 a 2017, a participación de unidades de estado sólido nos centros de datos . Aínda que os SSD consumen un terzo menos de enerxía () que HDD, as facturas de electricidade seguen sendo elevadas a escala dos centros de datos.
Para reducir o consumo de enerxía das unidades de estado sólido no centro de datos, os enxeñeiros do MIT desenvolveron unha nova arquitectura de almacenamento SSD. Chámase LightStore e permítelle conectar unidades directamente á rede dun centro de datos, evitando os servidores de almacenamento. Por autores, o sistema reducirá os custos enerxéticos á metade.
Chat isto
LightStore é unha tenda flash de valores clave que asigna as solicitudes dos usuarios ás unidades como chaves. Despois envíanse ao servidor, que libera os datos asociados a esa chave.
Sistema procesador de eficiencia enerxética incorporado, memoria DRAM e NAND. Está controlado por un controlador e un software especial. O controlador é responsable de traballar con matrices NAND e o software é responsable de procesar as solicitudes de KV e almacenar pares de claves. A arquitectura do software está construída sobre a base , que se usa en moitos DBMS modernos.
O diagrama de arquitectura pódese representar do seguinte xeito:
O diagrama mostra os compoñentes básicos de LightStore. Un clúster de nodos funciona en pares clave-valor. Os servidores de aplicacións están conectados ao sistema mediante adaptadores. Converten as solicitudes dos clientes (como fread() da API POSIX) en solicitudes KV. A arquitectura tamén ten adaptadores separados para , bloque (baseado no módulo BUSE) e almacenamentos de ficheiros.
Ao distribuír solicitudes, o adaptador usa . Utilízase en sistemas como Redis ou Swift. Usando a clave de solicitude KV, o adaptador xera unha clave hash cuxo valor identifica o nodo de destino.
A capacidade do clúster LightStore escala linealmente: basta con conectar nodos adicionais á rede. Nalgúns casos, é posible que necesites comprar novos interruptores. Non obstante, os desenvolvedores equiparon cada nodo con ranuras adicionais para conectar chips NAND.
Potencial da arquitectura
Os enxeñeiros do MIT din que a solución baseada en LightStore ten un rendemento de 620 Mbps sobre 10 Gigabit Ethernet. Un nodo consome 10 W en lugar dos 20 W habituais (nos sistemas SSD que usan os centros de datos na actualidade). Ademais, o equipamento ocupa a metade do espazo.
Agora os desenvolvedores están ultimando algúns aspectos. Por exemplo, LightStore non pode funcionar con consultas de intervalo e pequenas consultas. Estas funcións engadiranse no futuro, xa que LightStore usa árbores LSM. Ademais, o sistema aínda ten un conxunto limitado de adaptadores: admítense os adaptadores YCSB e de bloque. No futuro, LightStore poderá procesar consultas SQL, etc.
Outros desenvolvementos
No verán de 2018, Marvell, unha empresa de desenvolvemento de almacenamento, presentou unha nova liña de controladores SSD baseados en sistemas de intelixencia artificial. Os desenvolvedores integraron os aceleradores de aprendizaxe profunda de NVIDIA en controladores estándar para centros de datos e aplicacións cliente. Como resultado, crearon unha arquitectura autónoma que consume menos enerxía en comparación cos controladores SSD clásicos. A compañía espera que o sistema atope aplicación en computación de punta, análise de big data e IoT.
A liña de unidades Western Digital Blue actualizouse recentemente. En abril, os desenvolvedores presentaron unha solución: o WD Blue SSD baseado en tecnoloxías SanDisk, que WD adquiriu hai un ano. Os SSD WD Blue actualizados ofrecen un rendemento e unha eficiencia enerxética mellorados. A arquitectura está construída sobre a base da especificación , que proporciona acceso a unidades SSD conectadas mediante PCI Express.
Esta especificación mellora a eficiencia das unidades SSD cunha gran cantidade de solicitudes simultáneas e acelera o acceso aos datos. Ademais, NVMe permítelle estandarizar a interface SSD, máis para os fabricantes de hardware para o desenvolvemento de controladores, conectores e factores de forma únicos.
Perspectivas
O mercado de SSD do centro de datos avanza cara a unha arquitectura simplificada, a automatización de compoñentes de almacenamento e unha maior eficiencia enerxética. O desenvolvemento de enxeñeiros do MIT resolve este último problema. Autores que LightStore converterase no estándar da industria para o almacenamento SSD nos centros de datos. E podemos supoñer que no futuro aparecerán arquitecturas novas, aínda máis eficientes baseadas nel.
Varios materiais do primeiro blog sobre IaaS corporativo:
Fonte: www.habr.com