Le système réduira les coûts énergétiques de moitié.
/ photo CC BY-SA
Pourquoi avons-nous besoin d’une nouvelle architecture ?
D’ici 2030, les appareils électroniques consommeront 40 % de toute l’énergie produite sur la planète. Environ 20 % de ce volume proviendra du secteur informatique et des centres de données. Par Selon les analystes européens, les centres de données « absorbent » déjà 1,4 % de toute l’électricité. On s'attend à ce que cela .
Le stockage SSD consomme une part importante d’électricité. Entre 2012 et 2017, la part des disques SSD dans les centres de données . Bien que les SSD consomment un tiers d'énergie en moins () que les disques durs, les factures d'électricité restent élevées à l'échelle des centres de données.
Pour réduire la consommation électrique des disques SSD dans le centre de données, les ingénieurs du MIT ont développé une nouvelle architecture de stockage SSD. Il s'appelle LightStore et vous permet de connecter des disques directement à un réseau de centre de données, en contournant les serveurs de stockage. Par auteurs, le système réduira les coûts énergétiques de moitié.
Comment ça marche
LightStore est un magasin de valeurs-clés flash qui mappe les demandes des utilisateurs aux lecteurs sous forme de clés. Elles sont ensuite envoyées au serveur, qui libère les données associées à cette clé.
Système processeur économe en énergie intégré, mémoire DRAM et NAND. Il est contrôlé par un contrôleur et un logiciel spécial. Le contrôleur est responsable du travail avec les baies NAND et le logiciel est responsable du traitement des demandes KV et du stockage des paires de clés. L'architecture logicielle est construite sur la base , qui est utilisé dans de nombreux SGBD modernes.
Le schéma d'architecture peut être représenté comme suit :
Le diagramme montre les composants de base de LightStore. Un cluster de nœuds fonctionne sur des paires clé-valeur. Les serveurs d'applications sont connectés au système à l'aide d'adaptateurs. Ils convertissent les requêtes client (telles que fread() de l'API POSIX) en requêtes KV. L'architecture dispose également d'adaptateurs séparés pour , blocs (basés sur le module BUSE) et stockages de fichiers.
Lors de la distribution des requêtes, l'adaptateur utilise . Il est utilisé dans des systèmes comme Redis ou Swift. À l'aide de la clé de requête KV, l'adaptateur génère une clé de hachage dont la valeur identifie le nœud cible.
La capacité du cluster LightStore évolue de manière linéaire : il suffit de connecter des nœuds supplémentaires au réseau. Dans certains cas, vous devrez peut-être acheter de nouveaux commutateurs. Cependant, les développeurs ont équipé chaque nœud d'emplacements supplémentaires pour connecter des puces NAND.
Le potentiel de l'architecture
Les ingénieurs du MIT affirment que la solution basée sur LightStore a un débit de 620 Mbps sur 10 Gigabit Ethernet. Un nœud consomme 10 W au lieu des 20 W habituels (dans les systèmes SSD utilisés aujourd'hui par les centres de données). De plus, l’équipement occupe la moitié de l’espace.
Les développeurs finalisent actuellement certains aspects. Par exemple, LightStore ne peut pas fonctionner avec des requêtes de plage et de petites requêtes. Ces fonctionnalités seront ajoutées à l'avenir, puisque LightStore utilise des arborescences LSM. De plus, le système dispose toujours d'un ensemble limité d'adaptateurs - les adaptateurs YCSB et bloc sont pris en charge. À l'avenir, LightStore pourra traiter des requêtes SQL, etc.
Autres développements
À l'été 2018, Marvell, une société de développement de stockage, a présenté une nouvelle gamme de contrôleurs SSD basés sur des systèmes d'IA. Les développeurs ont intégré les accélérateurs d'apprentissage profond NVIDIA dans les contrôleurs standard pour les centres de données et les applications client. En conséquence, ils ont créé une architecture autonome qui consomme moins d’énergie que les contrôleurs SSD classiques. L'entreprise espère que le système trouvera des applications dans l'informatique de pointe, l'analyse du Big Data et l'IoT.
La gamme de disques Western Digital Blue a récemment été mise à jour. En avril, les développeurs ont présenté une solution : le SSD WD Blue basé sur les technologies SanDisk, acquis par WD il y a un an. Les SSD WD Blue mis à jour offrent des performances et une efficacité énergétique améliorées. L'architecture est construite sur la base du cahier des charges , qui donne accès aux SSD connectés via PCI Express.
Cette spécification améliore l'efficacité des disques SSD avec un grand nombre de requêtes simultanées et accélère l'accès aux données. De plus, NVMe vous permet de standardiser l'interface SSD - davantage pour les fabricants de matériel pour le développement de pilotes, connecteurs et facteurs de forme uniques.
Perspectives
Le marché des SSD pour centres de données évolue vers une architecture simplifiée, l’automatisation des composants de stockage et une efficacité énergétique accrue. Le développement des ingénieurs du MIT résout ce dernier problème. Auteurs que LightStore deviendra la norme industrielle pour le stockage SSD dans les centres de données. Et nous pouvons supposer qu’à l’avenir, de nouvelles architectures encore plus efficaces apparaîtront sur cette base.
Plusieurs éléments du premier blog sur l'IaaS d'entreprise :
Source: habr.com