Когда бизнес оперирует объемными данными, единицей хранения становится не отдельный диск, а набор дисков, их совокупность, агрегат нужного объема. И управлять им надо как цельной сущностью. Логика масштабирования хранения крупноблочными агрегатами хорошо описывается на примере JBOD — как формата объединения дисков и как физического устройства.
Масштабировать дисковую инфраструктуру можно не только «вверх», каскадируя JBOD, но и «внутрь», используя различные сценарии заполнения. Как это работает, рассмотрим на примере Western Digital Ultastar Data60.
Про заполнение
JBOD — отдельный класс серверного оборудования под плотное размещение дисков, с многоканальным доступом к ним управляющих хостов по SAS. Производители JBOD продают их пустыми, частично или полностью забитыми дисками — кто как. Постепенное заполнение хранилищ дисками — по мере роста потребностей — позволяет разнести капитальные затраты во времени. У Western Digital выгодно покупать JBOD со всеми 60 дисками — так намного дешевле. Но можно брать и частично-заполненный: минимальная комплектация Ultastar Data60 составляет 24 накопителя.
Почему 24? Ответ простой: аэродинамика. «Золотой стандарт» JBOD 4U / 60 x 3.5” прижился в индустрии по практическим соображениям — разумных размеров устройства, организации доступа, хорошего охлаждения. 60 дисков набираются как 5 рядов по 12 HDD в каждом. Частичное заполненные рядов или недобор по дискам в JBOD (например, всего один ряд) приводят к ухудшению отвода тепла или даже к реверсу воздушного потока в центральном канале — конструктивной особенности Ultastar Data60, его отличительной черты.
В своих JBOD WD использует технологию обдува дисков ArcticFlow, тщательно промоделированную и выверенную. Всё для HDD — для их производительности, живучести, сохранности данных.
Суть ArcticFlow сводится к формированию с помощью вентиляторов двух независимых воздушных потоков: фронтальный охлаждает передние ряды накопителей, а воздух, поступающего через внутренний воздушный коридор вглубь корпуса, используется для обдува дисков в тыльной зоне JBOD.
Понятно, почему для эффективной работы ArcticFlow необходимо следить за заполнением свободных отсеков. В минимальной конфигурации из 24 дисков расстановка в Ultastar Data60 должна начинаться с тыльной зоны.
В конфигурации из 12 накопителей, не встречая сопротивления, которое должна создавать двухрядная компоновка, воздушный поток на выходе из JBOD снова попадает через фронтальную зону в систему охлаждения.
Есть способ улучшить ситуацию — о нем далее.
Про гибридность
Стоит сразу принять, как аксиому, что предназначение JBOD — в масштабированном хранении данных. Из этого вывод: используем его для популяции однородных устройств. С прицелом — со временем выйти на проектный объем хранения, заполнив все отсеки.
А как же SSD? Наилучшее (и правильное) решение — строить отдельное производительное хранилище на JBOF. Твердотельным там комфортнее. Вместе с тем, Ultastar Data60 допускает установку и флеш-накопителей. Прежде, чем приступить к гибридизации JBOD, стоит сначала взвесить все «за» — выбрать SSD выбрать из списка совместимых (в отличие от HDD ситуация с поддержкой SSD полна нюансов). Придется также потратиться на крепление 2,5-дюймовых дисков в 3,5-дюймовых отсеках.
Единичные SSD-устройства положено располагать в тыльной зоне JBOD, закрывая неиспользуемые отсеки специальными заглушками — Drive Blanks. Это блокирует свободный ток охлаждающего воздуха, чтобы, как сказано выше, препятствовать его рециркуляции.
Всего допускается установка не более 24 твердотельных накопителей в шасси Ultastar Data60. В любом случае это должны быть последние ряды тыльной зоны.
Почему 24? Тепловыделение твердотельных накопителей выше, чем аналогичные характеристики HDD, по этой причине многорядная компоновка дисков с различной природой носителей не будет эффективно обдуваться ArcticFlow. И отвод тепла станет фактором риска для эксплуатации JBOD.
Здесь уместно заметить, что с помощью Drive Blanks можно снизить эффект рециркуляции горячего воздуха. Компоновка JBOD с 12 HDD будет охлаждаться лучше, если пустые отсеки закрыть заглушками. Производитель ни словом не обмолвился о таком трюке, но право на эксперимент всегда за нами. К слову, WD не запрещает 12-дисковое заполнение, хотя и не рекомендует его.
Практические выводы
Даже поверхностное знакомство с аэродинамикой JBOD дает представление о том, что для надежной работы хранилища лучше опираться на опыт и рекомендации разработчика. Процессы, происходящие внутри дисковой корзины, требуют фундаментальных исследований. Пренебрежение полученными знаниями чревато проблемами, которые на объемах хранения в сотни терабайт чувствительны во всех смыслах.
Известно, как пишутся войсковые уставы. Что-то подобное происходит и с архитектурой JBOD. Если решения недавнего прошлого грешили компоновкой, при которой интерфейсная часть находилась в зоне «выхлопа», обдуваемая горячим воздухом, то сегодня Ultastar Data60 лишен этого недостатка. Все прочие конструкторские находки — просто технологическое чудо. Так к этому и стоит относиться.
isi: www.habr.com