Het systeem zal de energiekosten met de helft verminderen.
/ foto CC BY-SA
Waarom hebben we een nieuwe architectuur nodig?
Tegen 2030 zullen elektronische apparaten 40% van alle op aarde opgewekte energie verbruiken. Ongeveer 20% van dit volume zal afkomstig zijn uit de IT-sector en datacenters. Door Volgens Europese analisten ‘halen’ datacenters nu al 1,4% van alle elektriciteit weg. De verwachting is dat dit .
SSD-opslag verbruikt een aanzienlijk deel van de elektriciteit. In de periode 2012 tot en met 2017 is het aandeel solid-state drives in datacenters gestegen . Hoewel SSD's een derde minder stroom verbruiken () dan HDD blijven de elektriciteitsrekeningen hoog op de schaal van datacenters.
Om het stroomverbruik van solid-state drives in het datacenter te verminderen, hebben ingenieurs van MIT een nieuwe SSD-opslagarchitectuur ontwikkeld. Het heet LightStore en stelt u in staat schijven rechtstreeks op een datacenternetwerk aan te sluiten, zonder opslagservers te omzeilen. Door auteurs zal het systeem de energiekosten met de helft verminderen.
Hoe werkt dit
LightStore is een flash-opslag voor sleutelwaarden die gebruikersverzoeken als sleutels aan schijven toewijst. Ze worden vervolgens naar de server gestuurd, die de gegevens vrijgeeft die aan die sleutel zijn gekoppeld.
Systeem ingebouwde energiezuinige processor, DRAM en NAND-geheugen. Het wordt bestuurd door een controller en speciale software. De controller is verantwoordelijk voor het werken met NAND-arrays en de software is verantwoordelijk voor het verwerken van KV-verzoeken en het opslaan van sleutelparen. Op basis daarvan wordt de softwarearchitectuur gebouwd , dat in veel moderne DBMS'en wordt gebruikt.
Het architectuurdiagram kan als volgt worden weergegeven:
Het diagram toont de basiscomponenten van LightStore. Een knooppuntcluster werkt op sleutel-waardeparen. Applicatieservers zijn met behulp van adapters met het systeem verbonden. Ze zetten clientverzoeken (zoals fread() van de POSIX API) om in KV-verzoeken. De architectuur heeft ook aparte adapters voor , blok (gebaseerd op de BUSE-module) en bestandsopslag.
Bij het distribueren van verzoeken gebruikt de adapter . Het wordt gebruikt in systemen zoals Redis of Swift. Met behulp van de KV-verzoeksleutel genereert de adapter een hash-sleutel waarvan de waarde het doelknooppunt identificeert.
De capaciteit van het LightStore-cluster schaalt lineair: u hoeft alleen maar extra knooppunten op het netwerk aan te sluiten. In sommige gevallen moet u mogelijk nieuwe schakelaars aanschaffen. De ontwikkelaars hebben elk knooppunt echter uitgerust met extra slots voor het aansluiten van NAND-chips.
Het potentieel van architectuur
MIT-ingenieurs zeggen dat de op LightStore gebaseerde oplossing een doorvoersnelheid heeft van 620 Mbps via 10 Gigabit Ethernet. Eén knooppunt verbruikt 10 W in plaats van de gebruikelijke 20 W (in SSD-systemen die tegenwoordig door datacenters worden gebruikt). Bovendien neemt de apparatuur de helft van de ruimte in beslag.
Nu leggen de ontwikkelaars de laatste hand aan enkele aspecten. LightStore kan bijvoorbeeld niet werken met bereikquery's en kleine query's. Deze functies zullen in de toekomst worden toegevoegd, omdat LightStore LSM-bomen gebruikt. Bovendien beschikt het systeem nog steeds over een beperkte set adapters: YCSB- en blokadapters worden ondersteund. In de toekomst zal LightStore SQL-query's, enz. kunnen verwerken.
Andere ontwikkelingen
In de zomer van 2018 introduceerde Marvell, een opslagontwikkelingsbedrijf, een nieuwe lijn SSD-controllers op basis van AI-systemen. Ontwikkelaars hebben NVIDIA deep learning-versnellers geïntegreerd in standaardcontrollers voor datacenters en clientapplicaties. Als resultaat creëerden ze een op zichzelf staande architectuur die minder stroom verbruikt in vergelijking met klassieke SSD-controllers. Het bedrijf hoopt dat het systeem toepassing zal vinden in edge computing, big data-analyse en IoT.
De Western Digital Blue-drives zijn onlangs bijgewerkt. In april presenteerden de ontwikkelaars een oplossing: de WD Blue SSD, gebaseerd op SanDisk-technologieën, die WD een jaar geleden kocht. De vernieuwde WD Blue SSD's bieden verbeterde prestaties en energie-efficiëntie. Op basis van de specificatie wordt de architectuur gebouwd , dat toegang biedt tot SSD's die zijn aangesloten via PCI Express.
Deze specificatie verbetert de efficiëntie van SSD-schijven met een groot aantal gelijktijdige verzoeken en versnelt de gegevenstoegang. Bovendien kunt u met NVMe de SSD-interface standaardiseren - meer voor hardwarefabrikanten voor de ontwikkeling van unieke drivers, connectoren en vormfactoren.
Vooruitzichten
De SSD-markt voor datacenters evolueert in de richting van vereenvoudigde architectuur, automatisering van opslagcomponenten en verhoogde energie-efficiëntie. De ontwikkeling van ingenieurs van MIT lost dit laatste probleem op. Auteurs dat LightStore de industriestandaard zal worden voor SSD-opslag in datacenters. En we kunnen ervan uitgaan dat er in de toekomst nieuwe, nog efficiëntere architecturen op basis daarvan zullen verschijnen.
Verschillende materialen uit de eerste blog over corporate IaaS:
Bron: www.habr.com