Het systeem zal de energiekosten halveren.
/ фото CC BY-SA
Waarom is er een nieuwe architectuur nodig
, zullen elektronische apparaten tegen 2030 40% van alle energie die op de planeet wordt geproduceerd, verbruiken. Ongeveer 20% van dit volume zal betrekking hebben op de IT-sector en datacenters. Volgens europese analisten verbruiken datacenters al 1,4% van alle elektriciteit. Het wordt verwacht dat dit cijfer .
Een aanzienlijk deel van de elektriciteit wordt verbruikt door SSD-opslag. Tussen 2012 en 2017 steeg het percentage vaste-staat drives in datacenters Hoewel SSD's een derde minder vermogen verbruiken (), blijven de elektriciteitsrekeningen voor datacenters aanzienlijk.
Om het energieverbruik van SSD's in datacenters te verminderen, hebben ingenieurs van MIT een nieuwe architectuur voor SSD-opslag ontwikkeld. Deze kreeg de naam LightStore en maakt het mogelijk om opslagapparaten rechtstreeks aan het datacenternetwerk aan te sluiten, zonder de opslagservers. Volgens de auteurs zal het systeem de energiekosten halveren.
Hoe het werkt
LightStore is een flash-opslagtype sleutel-waarde, waarbij gebruikersverzoeken naar de opslagapparaten worden weergegeven als sleutels. Deze worden vervolgens verzonden naar de server, die de gegevens die aan deze sleutel zijn gekoppeld, vrijgeeft.
Systeem de ingebouwde energie-efficiënte processor, DRAM en NAND-geheugen. Het wordt beheerd door een controller en speciale software. De controller is verantwoordelijk voor het werken met NAND-arrays, terwijl de software verantwoordelijk is voor het verwerken van KV-verzoeken en het opslaan van sleutelpaar. De softwarearchitectuur is opgebouwd op basis van die in veel moderne DBMS'en wordt gebruikt.
Het architectuurschema kan als volgt worden weergegeven:
Het diagram toont de basiscomponenten van LightStore. Een cluster van knooppunten werkt met sleutel-waarde paren. Toepassingsservers verbinden zich met het systeem via adapters. Deze zetten klantverzoeken (bijvoorbeeld fread() van de POSIX API) om in KV-verzoeken. De architectuur heeft ook aparte adapters voor blok (op basis van de BUSE-module) en bestandssystemen.
Bij het verdelen van verzoeken gebruikt de adapter Dit wordt toegepast in systemen zoals Redis of Swift. Met de sleutel van het KV-verzoek genereert de adapter een hash-sleutel, waarvan de waarde de doelknoop bepaalt.
De capaciteit van het LightStore-cluster schaalt lineair — het is voldoende om extra knooppunten aan het netwerk toe te voegen. In sommige gevallen kan het nodig zijn om nieuwe switches aan te kopen. Ontwikkelaars hebben echter ieder knooppunt voorzien van extra slots voor het aansluiten van NAND-chips.
Potentieel van de architectuur
Ingenieurs van MIT zeggen dat de throughput van de LightStore-gebaseerde oplossing 620 Mbit/s is voor 10-gigabit Ethernet. Eén knooppunt verbruikt 10 W in plaats van de gebruikelijke 20 W (in SSD-systemen die momenteel door datacenters worden gebruikt). Bovendien neemt de hardware de helft minder ruimte in beslag.
Momenteel zijn de ontwikkelaars bezig met het verfijnen van bepaalde aspecten. Bijvoorbeeld, LightStore kan nog niet omgaan met bereik- en kleine verzoeken. Deze functies worden in de toekomst toegevoegd, aangezien LightStore gebruikmaakt van LSM-bomen. Daarnaast heeft het systeem momenteel een beperkt aantal adapters — YCSB- en blokadapters worden ondersteund. In de toekomst zal LightStore SQL-verzoeken en andere kunnen verwerken.
Andere ontwikkelingen
In de zomer van 2018 introduceerde Marvell, de ontwikkelaar van opslagarrays, een nieuwe serie SSD-controllers op basis van AI-systemen. Ontwikkelaars hebben NVIDIA-versnellingskaarten voor diepgaand leren geïntegreerd in standaardcontrollers voor datacenters en klanttoepassingen. Hierdoor is een autonome architectuur ontstaan die minder energie verbruikt in vergelijking met klassieke SSD-controllers. Het bedrijf hoopt dat het systeem zal worden toegepast in edge computing, big data-analyse en IoT.
Onlangs is de serie opslagapparaten van Western Digital Blue vernieuwd. In april hebben de ontwikkelaars een oplossing gepresenteerd — de WD Blue SSD, gebaseerd op technologieën van SanDisk, die WD een jaar geleden heeft overgenomen. De vernieuwde WD Blue SSD's bieden verbeterde prestaties en energie-efficiëntie. De architectuur is gebaseerd op de specificatie , die toegang biedt tot SSD's die via PCI Express zijn aangesloten.
Deze specificatie verbetert de efficiëntie van SSD-opslagapparaten met een groot aantal gelijktijdige verzoeken en versnelt de toegang tot gegevens. Bovendien stelt NVMe de standaardisatie van de SSD-interface mogelijk — hardwarefabrikanten hoeven niet langer aan het ontwikkelen van unieke stuurprogramma's, connectoren en formaten.
Vooruitzichten
De SSD-markt voor datacenters beweegt richting vereenvoudiging van de architectuur, automatisering van de opslagcomponenten en verbetering van de energie-efficiëntie. De ontwikkeling van ingenieurs van MIT pakt de laatste uitdaging aan. De auteurs , stellen dat LightStore de industriestandaard voor SSD-opslagsystemen in datacenters zal worden. Het is aannemelijk dat er in de toekomst nieuwe, nog efficiëntere architecturen op basis hiervan zullen ontstaan.
Enkele artikelen van de Eerste blog over zakelijke IaaS:
Bron: habr.com
