Система зменшить витрати на електроенергію вдвічі.
/ фото CC BY-SA
Навіщо потрібна нова архітектура
, до 2030 року електронні пристрої споживатимуть 40% всієї енергії, що виробляється на планеті. Приблизно 20% від цього обсягу припаде на ІТ-сектор та дата-центри. за європейських аналітиків, ЦОД вже «забирають» 1,4% усієї електрики. Очікується, що ця .
Значну частину електроенергії споживають SSD-сховища. У період з 2012 по 2017 рік частка твердотільних накопичувачів у дата-центрах . Хоча SSD споживають на третину менше потужності (), ніж HDD, у масштабах дата-центрів рахунки за електрику залишаються великими.
Щоб скоротити енергоспоживання твердотільних накопичувачів у ЦОД, інженери з MIT розробили нову архітектуру SSD-сховищ. Вона отримала назву LightStore і дозволяє підключати накопичувачі безпосередньо до мережі дата-центрів, оминаючи сервери зберігання. за авторів, система зменшить витрати на електроенергію вдвічі.
Як це працює
LightStore — це флеш-сховище типу ключ-значення, в якому запити користувачів до накопичувачів відображаються у вигляді ключів. Потім вони надсилаються на сервер, який вивільняє дані, пов'язані з цим ключем.
Система вбудований енергоефективний процесор, DRAM та NAND-пам'ять. Керують їй контролер та спеціальне програмне забезпечення. Контролер відповідає за роботу з масивами NAND, а програмне забезпечення - за обробку KV-запитів і зберігання пар ключів. Архітектура програмного забезпечення побудована на базі що використовується в багатьох сучасних СУБД.
Схему архітектури можна представити так:
На схемі зображено базові компоненти LightStore. Кластер вузлів працює з парами ключ-значення. Сервери програм підключаються до системи за допомогою адаптерів. Вони перетворюють запити клієнта (наприклад, fread() від API POSIX) на KV-запити. Також архітектура має окремі адаптери для , блокових (на базі BUSE-модуля) та файлових сховищ.
Розподіляючи запити, адаптер використовує . Його застосовують у системах на кшталт Redis чи Swift. За допомогою ключа KV-запиту адаптер генерує хеш-ключ, значення якого визначає цільовий вузол.
Місткість кластера LightStore масштабується лінійно - достатньо підключити до мережі додаткові вузли. У деяких випадках може знадобитися придбати нові свитчі. Однак розробники забезпечили кожен вузол додатковими слотами для підключення NAND-мікросхем.
Потенціал архітектури
Інженери з MIT говорять, що пропускна спроможність рішення на базі LightStore складає 620 Мбіт/с для 10-гігабітного Ethernet. Один вузол споживає 10 Вт замість звичних 20 Вт (у SSD-системах, що використовуються дата-центрами сьогодні). Крім того, обладнання займає вдвічі менше місця.
Наразі розробники доопрацьовують деякі моменти. Наприклад, LightStore не вміє працювати із запитами по діапазону та невеликими запитами. Ці функції додадуть у майбутньому, оскільки LightStore використовує LSM-дерева. Також система поки що має обмежений набір адаптерів — підтримуються YCSB- і блок-адаптери. Надалі LightStore зможе обробляти SQL-запити та ін.
інші розробки
Влітку 2018 року Marvell, компанія-розробник СГД, представила нову лінійку SSD-контролерів на базі систем ІІ. Розробники впровадили прискорювачі глибокого навчання NVIDIA у стандартні контролери для ЦОД та клієнтських додатків. В результаті вони створили автономну архітектуру, яка споживає менше енергії порівняно з класичними SSD-контролерами. У компанії сподіваються, що система знайде застосування у периферійних обчисленнях, аналітиці великих даних та IoT.
Нещодавно оновилася лінійка накопичувачів Western Digital Blue. У квітні розробники представили рішення WD Blue SSD на базі технологій SanDisk, яку WD придбали рік тому. Оновлені WD Blue SSD відрізняються підвищеною продуктивністю та енергоефективністю. Архітектура побудована на основі специфікації , яка відкриває доступ до SSD, підключених через PCI Express.
Ця специфікація підвищує ефективність роботи SSD-накопичувачів з великою кількістю одночасних запитів та прискорює доступ до даних. Додатково NVMe дозволяє стандартизувати інтерфейс SSD – hardware-виробникам. на розробку унікальних драйверів, роз'ємів та форм-факторів.
Перспективи
Ринок SSD-накопичувачів для ЦОД рухається у бік спрощення архітектури, автоматизації роботи компонентів сховищ та підвищення енергоефективності. Розробка інженерів із MIT вирішує останнє завдання. Автори , Що LightStore стане галузевим стандартом для SSD-сховищ у ЦОД. І можна припустити, що в майбутньому на його основі з'являться нові, ще ефективніші архітектури.
Декілька матеріалів з Першого блогу про корпоративний IaaS:
Джерело: habr.com