Il sistema ridurrà i costi energetici della metà.
/ foto CC BY-SA
Perché abbiamo bisogno di una nuova architettura?
Entro il 2030 i dispositivi elettronici consumeranno il 40% di tutta l’energia generata sul pianeta. Circa il 20% di questo volume proverrà dal settore IT e dai data center. Di Secondo gli analisti europei, i data center “portano via” già l’1,4% di tutta l’elettricità. Si prevede che questo .
Lo storage SSD consuma una parte significativa di elettricità. Nel periodo dal 2012 al 2017, la quota di unità a stato solido nei data center . Sebbene gli SSD consumino un terzo di energia in meno () rispetto agli HDD, le bollette elettriche rimangono elevate su scala dei data center.
Per ridurre il consumo energetico delle unità a stato solido nel data center, gli ingegneri del MIT hanno sviluppato una nuova architettura di archiviazione SSD. Si chiama LightStore e consente di connettere le unità direttamente alla rete di un data center, bypassando i server di archiviazione. Di autori, il sistema ridurrà i costi energetici della metà.
Come funziona
LightStore è un archivio chiave-valore flash che mappa le richieste degli utenti alle unità come chiavi. Vengono poi inviati al server, che rilascia i dati associati a quella chiave.
Sistema processore integrato ad alta efficienza energetica, memoria DRAM e NAND. È controllato da un controller e da un software speciale. Il controller è responsabile del funzionamento con gli array NAND e il software è responsabile dell'elaborazione delle richieste KV e della memorizzazione delle coppie di chiavi. L'architettura del software è costruita sulla base , che viene utilizzato in molti DBMS moderni.
Il diagramma dell’architettura può essere rappresentato come segue:
Il diagramma mostra i componenti di base di LightStore. Un cluster di nodi opera su coppie chiave-valore. I server delle applicazioni sono collegati al sistema tramite adattatori. Convertono le richieste del client (come fread() dall'API POSIX) in richieste KV. L'architettura dispone anche di adattatori separati per , blocchi (basati sul modulo BUSE) e archivi di file.
Quando distribuisce le richieste, l'adattatore utilizza . Viene utilizzato in sistemi come Redis o Swift. Utilizzando la chiave di richiesta KV, l'adattatore genera una chiave hash il cui valore identifica il nodo di destinazione.
La capacità del cluster LightStore scala in modo lineare: basta connettere nodi aggiuntivi alla rete. In alcuni casi, potrebbe essere necessario acquistare nuovi interruttori. Tuttavia, gli sviluppatori hanno dotato ciascun nodo di slot aggiuntivi per il collegamento di chip NAND.
Le potenzialità dell'architettura
Gli ingegneri del MIT affermano che la soluzione basata su LightStore ha un throughput di 620 Mbps su 10 Gigabit Ethernet. Un nodo consuma 10 W invece dei soliti 20 W (nei sistemi SSD utilizzati oggi dai data center). Inoltre, l'attrezzatura occupa metà dello spazio.
Ora gli sviluppatori stanno finalizzando alcuni aspetti. Ad esempio, LightStore non può funzionare con query di intervallo e query di piccole dimensioni. Queste funzionalità verranno aggiunte in futuro, poiché LightStore utilizza alberi LSM. Inoltre, il sistema dispone ancora di un set limitato di adattatori: sono supportati gli adattatori YCSB e a blocchi. In futuro, LightStore sarà in grado di elaborare query SQL, ecc.
Altri sviluppi
Nell'estate del 2018, Marvell, una società di sviluppo di storage, ha introdotto una nuova linea di controller SSD basati su sistemi AI. Gli sviluppatori hanno integrato gli acceleratori di deep learning NVIDIA nei controller standard per data center e applicazioni client. Di conseguenza, hanno creato un'architettura autonoma che consuma meno energia rispetto ai classici controller SSD. L’azienda spera che il sistema trovi applicazione nell’edge computing, nell’analisi dei big data e nell’IoT.
La linea di unità Western Digital Blue è stata recentemente aggiornata. Ad aprile, gli sviluppatori hanno presentato una soluzione: l'SSD WD Blue basato sulle tecnologie SanDisk, acquisite da WD un anno fa. Gli SSD WD Blue aggiornati offrono prestazioni ed efficienza energetica migliorate. L'architettura è costruita sulla base delle specifiche , che fornisce l'accesso agli SSD collegati tramite PCI Express.
Questa specifica migliora l'efficienza delle unità SSD con un gran numero di richieste simultanee e accelera l'accesso ai dati. Inoltre, NVMe consente di standardizzare l'interfaccia SSD, più per i produttori di hardware per lo sviluppo di driver, connettori e fattori di forma unici.
prospettive
Il mercato degli SSD per data center si sta muovendo verso un'architettura semplificata, l'automazione dei componenti di storage e una maggiore efficienza energetica. Lo sviluppo degli ingegneri del MIT risolve quest'ultimo problema. Autori che LightStore diventerà lo standard di settore per l'archiviazione SSD nei data center. E possiamo supporre che in futuro sulla base di esso appariranno nuove architetture ancora più efficienti.
Diversi materiali dal primo blog sull'IaaS aziendale:
Fonte: habr.com