Сістэма зменшыць выдаткі на электраэнергію ў два разы.
/ фота CC BY-SA
Навошта патрэбна новая архітэктура
, да 2030 года электронныя прылады будуць спажываць 40% усёй выпрацоўваемай на планеце энергіі. Прыблізна 20% ад гэтага аб'ёму давядзецца на ІТ-сектар і дата-цэнтры. Па еўрапейскіх аналітыкаў, ЦАД ужо "забіраюць" 1,4, XNUMX% усёй электрычнасці. Чакаецца, што гэта .
Значную частку электраэнергіі спажываюць SSD-сховішчы. У перыяд з 2012 па 2017 год доля цвёрдацельных назапашвальнікаў у дата-цэнтрах . Хоць SSD спажываюць на траціну менш магутнасці (), чым HDD, у маштабах дата-цэнтраў рахункі за электрычнасць застаюцца буйнымі.
Каб скараціць энергаспажыванне цвёрдацельных назапашвальнікаў у ЦАД, інжынеры з MIT распрацавалі новую архітэктуру SSD-сховішчаў. Яна атрымала назву LightStore і дазваляе падключаць назапашвальнікі напрамую да сеткі дата-цэнтраў, абыходзячы серверы захоўвання. Па аўтараў, сістэма зменшыць выдаткі на электраэнергію ў два разы.
Як гэта працуе
LightStore - гэта флэш-сховішча тыпу ключ-значэнне, у якім карыстацкія запыты да назапашвальнікаў адлюстроўваюцца ў выглядзе ключоў. Затым яны адпраўляюцца на сервер, які вызваляе дадзеныя, злучаныя з гэтым ключом.
Сістэма убудаваны энергаэфектыўны працэсар, DRAM і NAND-памяць. Кіруюць ёй кантролер і спецыяльнае праграмнае забеспячэнне. Кантролер адказвае за працу з масівамі NAND, а ПА – за апрацоўку KV-запытаў і захоўванне пар ключоў. Архітэктура праграмнага забеспячэння выбудавана на базе , Якое выкарыстоўваецца ў многіх сучасных СКБД.
Схему архітэктуры можна ўявіць наступным чынам:
На схеме намаляваны базавыя кампаненты LightStore. Кластар вузлоў працуе з парамі ключ-значэнне. Серверы прыкладанняў падключаюцца да сістэмы з дапамогай адаптараў. Яны пераўтвораць кліенцкія запыты (напрыклад, fread() ад API POSIX) у KV-запыты. Таксама архітэктура мае асобныя адаптары для , блокавых (на базе BUSE-модуля) і файлавых сховішчаў.
Размяркоўваючы запыты, адаптар выкарыстоўвае . Яго ўжываюць у сістэмах накшталт Redis ці Swift. З дапамогай ключа KV-запыту адаптар генеруе хэш-ключ, значэнне якога вызначае мэтавай вузел.
Ёмістасць кластара LightStore маштабуецца лінейна - дастаткова падлучыць да сеткі дадатковыя вузлы. У некаторых выпадках можа спатрэбіцца набыць новыя світчы. Аднак распрацоўнікі забяспечылі кожны вузел дадатковымі слотамі для падлучэння NAND-мікрасхем.
Патэнцыял архітэктуры
Інжынеры з MIT кажуць, што прапускная здольнасць рашэння на базе LightStore складае 620 Мбіт/з для 10-гігабітнага Ethernet. Адзін вузел спажывае 10 Вт замест звыклых 20 Вт (у SSD-сістэмах, якія выкарыстоўваюцца дата-цэнтрамі сёння). Акрамя таго, абсталяванне займае ў два разы менш месца.
Цяпер распрацоўшчыкі дапрацоўваюць некаторыя моманты. Напрыклад, LightStore не ўмее працаваць з запытамі па дыяпазоне і невялікімі запытамі. Гэтыя функцыі дададуць у будучыні, бо LightStore выкарыстоўвае LSM-дрэвы. Таксама сістэма пакуль валодае абмежаваным наборам адаптараў – падтрымліваюцца YCSB-і блок-адаптары. У далейшым LightStore зможа апрацоўваць SQL-запыты і інш.
Іншыя распрацоўкі
Улетку 2018 года Marvell, кампанія-распрацоўшчык СХД, прадставіла новую лінейку SSD-кантролераў на базе сістэм ІІ. Распрацоўнікі ўкаранілі паскаральнікі глыбокага навучання NVIDIA у стандартныя кантролеры для ЦАД і кліенцкіх прыкладанняў. У выніку яны стварылі аўтаномную архітэктуру, якая спажывае менш энергіі, у параўнанні з класічнымі SSD-кантролерамі. У кампаніі спадзяюцца, што сістэма знойдзе ўжыванне ў перыферыйных вылічэннях, аналітыцы вялікіх дадзеных і IoT.
Нядаўна абнавілася лінейка назапашвальнікаў Western Digital Blue. У красавіку распрацоўшчыкі прадставілі рашэнне – WD Blue SSD на базе тэхналогій SanDisk, якую WD набылі год таму. Абноўленыя WD Blue SSD адрозніваюцца падвышанай прадукцыйнасцю і энергаэфектыўнасцю. Архітэктура выбудавана на базе спецыфікацыі , якая адкрывае доступ да SSD, падлучаных па PCI Express.
Гэтая спецыфікацыя павялічвае эфектыўнасць працы SSD-назапашвальнікаў з вялікай колькасцю адначасовых запытаў і паскарае доступ да дадзеных. Дадаткова NVMe дазваляе стандартаваць інтэрфейс SSD - hardware-вытворцам больш на распрацоўку ўнікальных драйвераў, раздымам і формаў-фактараў.
Перспектывы
Рынак SSD-назапашвальнікаў для ЦАД рухаецца ў бок спрашчэння архітэктуры, аўтаматызацыі працы кампанентаў сховішчаў і павышэнні энергаэфектыўнасці. Распрацоўка інжынераў з MIT вырашае апошнюю задачу. Аўтары , Што LightStore стане галіновым стандартам для SSD-сховішчаў у ЦАД. І можна меркаваць, што ў будучыні на яго аснове з'явяцца новыя, яшчэ больш эфектыўныя архітэктуры.
Некалькі матэрыялаў з Першага блога аб карпаратыўным IaaS:
Крыніца: habr.com