Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?

В этой статье мы расскажем какие инфраструктурные решения реализуют наши клиенты с применением серверных платформ Dell R730xd и почему цена на аренду этой платформы в европейском дата-центре TierIII+ уровня с отличными каналами связи в Украину и Россию, а также в 9 локациях в США, уже с размещением и коннективностью по цене от $249 / месяц за 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps стала реальностью. Поделимся возможными вариантами решений на основе этих платформ с применением частных vlan, 10G локальной сети и аппаратных Firewall от СISCO, которые доступны нашим клиентам по запросу. А также, в лучших традициях, предложим бонус в виде бесплатного периода пользования серверами Dell R730xd для читателей Habrahabr.

В последнее время мы получаем всë больше и больше запросов на построение различных корпоративных инфраструктур, и связано это, к сожалению, не столько с тем, что мы предоставляем решения очень высокого качества, сколько с ценой на эти решения и тем уровнем безопасности и верховенства права, который обеспечивается в Нидерландах и США, но увы, зачастую недоступен в Украине и России. Где, к сожалению, подобные решения стоят просто «космических» денег, так как понятие «длинные деньги» чуждо для постсоветских стран в принципе, на фоне других рисков или во все отсутствия необходимой инфраструктуры и уровня сертификации.

Хорошим примером тут может быть разница в цене на железо. К примеру, платформа Dell R730xd, закупаемая для наших клиентов, в базовой комплектации 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD стоит порядка 9000 евро. Само собой, что ни о какой низкой цене на аренду этого сервера в Украине или России не может быть и речи, так как стоимость аренды формируется исходя из окупаемости стоимости платформы за период 12-18 месяцев. А это значит, что минимально возможная цена на аренду, без учета стоимости размещения, электричества и каналов связи — будет находиться в пределах $500-800 / месяц, в зависимости от степени рисков провайдера и бизнес-плана. А еще нужно найти хороший ЦОД с нужным уровнем сертификации и каналов связи. Ну и не забыть об учете рисков незаконного изъятия оборудования в ходе каких-то неправомерных следственных действий, которые могут возникать в виду конкурентной борьбы и специфики ведения бизнеса в том или ином регионе.

Потому не удивительно, что наше предложение вызвало большой интерес, тем более, что дата-центры, в которых мы предоставляем предлагаемые серверы, обладают множеством необходимых и важных для корпоративного сектора сертификатов — ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Теперь рассмотрим несколько кейсов, которые могут быть интересны, как для новичков и небольших проектов, так и для довольно крупных системных интеграторов, которые строят решения у себя в офисах в гермозонах или в дата-центрах.

Преимущества платформ Dell R730xd при построении хранилищ данных с применением Red Hat Ceph

Не секрет, что требования к хранению и обработке данных постоянно растут, причем ускоренными темпам. Если несколько лет назад было достаточно иметь хранилище в 1ТБ, которое обеспечивало несколько сотен IOPS, то теперь потребности возросли до десятков тысяч IOPS и петабайта пространства. Эти требования к емкости и производительности подпитываются отчасти увеличением объема неструктурированных данных, в том числе музыки, изображений, видео, резервных копий баз данных, файлов журналов и других архивов, финансовых и медицинских данных, то есть данных, известных, как «Big Data». Не говоря уже о растущих требованиях к хранению данных в результате распространения и расширения Интернет-сети и новых Интернет-ресурсов. Таким образом, со всеми этими требованиями к мощности, ожидания клиентов относительно высокой надежности и высокой производительности больше, чем когда-либо.

В то время, как IT-компании, пытаются решить задачи управления петабайтами и даже эксабайтами данных, облачная модель хранения становится все более распространенной в современных дата-центрах. Пишутся все новые и новые программные комплексы, которые позволяют настроить взаимодействие облачной среды с железом оптимальным образом, одной из таких разработок является Ceph.

Ceph — это распределенная система хранения данных с открытым исходным кодом, призванная обеспечить высокую производительность, надежность и масштабируемость. Ceph реализует хранение объектов на распределенном компьютерном кластере и предоставляет интерфейсы для хранения объектов, блоков и файлов. Ceph обеспечивает полностью распределенное хранилище без единой точки отказа и масштабируемость до уровня петабайта. Ceph реплицирует данные и тем самым обеспечивает отказоустойчивость. Система устроена таким образом, чтоб не только обеспечить самостоятельное восстановление, но и управление, что помогает избежать лишних затрат на сопровождение. Поскольку Ceph использует универсальное оборудование, контролируемое программным обеспечением, а функции управления доступны через интерфейсы прикладного программирования (API), его относят к программно-определяемым хранилищам (SDS).

Red Hat Ceph Storage — готовая к внедрению система хранения, программно-определяемое хранилище, которое является открытым, адаптируемым, масштабируемым и поддерживается повсеместно. Сочетает в себе инновации из open-source разработок c технической основной и поддержкой от Red Hat. Решение обеспечивает тесную интеграцию с OpenStack и сконструировано с нуля, для того, чтобы обеспечить хранилище следующего поколения, как для облачных сред, так и для других рабочих нагрузок.

Здесь мы рассмотрим пример внедрения данного решения на серверах Dell, в частности Dell PowerEdge R730xd, которые мы предлагаем в аренду, рассмотрим преимущества построения хранилища на основе этих платформ. Возможно эта информация будет полезна архитекторам, инженерам и IT-администраторам, которые желают изучить преимущества использования Red Hat Ceph Storage на серверах Dell PowerEdge и которые должны проектировать и планировать внедрения с использованием проверенных лучших практик.

Но в начале:

Немного о самой платформе, какой вариант мы предлагаем и почему он экономически эффективен?

Dell PowerEdge R730xd — безусловно одна из лучших платформ для задач корпоративного сектора и не только, она завоевала множество различных наград и является довольно эффективным решением для организации хранилищ данных, так как может обеспечить хранение данных с высокой плотностью за разумные деньги.

PowerEdge R730xd доступен в трех конфигурациях шасси с различными форм-факторами и комбинациями накопителей, а также с дополнительным задним блоком расширения:

— 24 доступных спереди 2,5-дюймовых отсека для накопителей SAS, SATA или nearline SAS плюс 2 опциональных 2,5-дюймовых отсека сзади. 2,5-дюймовая шасси может опционально поддерживать до 4-х PCIe Express Flash накопителей от Dell в передней части.
— 12 доступных спереди 3,5-дюймовых отсека для накопителей SAS, SATA или nearline SAS с 4-мя опицональными внутренними 3,5-дюймовыми отсеками, с возможностью горячей замены накопителей, плюс двумя опциональными 2,5-дюймовыми отсеками сзади.
— 18 доступных спереди 1,8-дюймовых отсека для SATA, 8 3,5-дюймовых отсека для SAS, SATA или nearline SAS накопителей плюс 2 опциональных 2,5-дюймовых отсека сзади.

Казалось бы, что каждое шасси хорошо для своего рода задач. Это несомненно. Но действительно ли они одинаково экономически эффективны?

Мы остановили свой выбор на втором варианте, чтоб удовлетворить потребности, как можно более широкого круга пользователей, на шасси с 12 отсеками для накопителей. Так как считаем его наиболее эффективным. И вот почему. Экономическая эффективность решения проявляется уже в его универсальности — в это шасси можно ставить накопители различных форм-факторов и оно дешевле в закупке, а также, что немаловажно, тут можно получить большую производительность при работе с данными, используя несколько платформ соединенных между собой, нежели одну с большой плотностью хранения и очевидно меньшей производительностью.

Мы верим, что соединив несколько подобных платформ в мультигигабитную локальную сеть (возможно подключение каждой ноды в локальную сеть на скоростях 20 Гбит / с и более, с использованием двухпортовых десятигигабитных карт Intel X540-T2, которые мы предоставляем дополнительно) можно добиться значительно более лучших результатов и производительности, нежели у платформ с большей плотностью накопителей. Что особо критично для инфраструктур, которые используют эти платформы для работы с базами данных. Увы, но при большом количестве накопителей, контроллер может быть достаточно перегружен, а дополнительный контроллер в версии xd, увы недоступен. Производительность, которой можно достичь при применении платформ именно с 12 отсеками и локальной мультигигабитной сетью будет гораздо выше, а решение в свою очередь окажется более распределенным и надежным. Одним словом — cost-effective!

Особенности строения и дизайна, применение видеокарт

Платформа Dell PowerEdge R730xd, размером всего-лишь 2U, поддерживает до 2-х процессоров Intel Xeon E5-2600 v3 и выше, то есть позволяет получить в распоряжении до 36 ядер при применении 18-ядерных процессоров. Мы выбрали промежуточный вариант, но последнего поколения — 12-ядерный процессор Е5-2650 v4 (24 ядра в Вашем распоряжении суммарно, а с учетом многопоточности — 48 ядер), так как он оказался наиболее экономически эффективным. Так в четвертом поколении реализованы более эффективные процессорные инструкции, к примеру, AES, отвечающая за шифрование данных, на 70% эффективнее, чем у тех же процессоров, но третьего поколения. При этом процессор и платформа может поддерживать до 1,54 ТБ оперативной памяти, что немаловажно в некоторых очень специфических случаях. Мы выбрали наиболее массовый вариант, наиболее приемлемый по цене и скорости работы — 128GB DDR4 RAM и предусмотрели возможность апгрейда по запросу абонентов.

На передней панели R730xd расположено 6 индикаторов состояния системы, которые могут уведомить о различных неполадках, благодаря чему можно избежать массы критических проблем, приняв своевременно соответсвующие меры. DIMM слоты для оперативной памяти расположены непосредственно на материнской плате. R730xd поддерживает регистровую DIMM с коррекцией ошибок, а также LRDIMM (Load Reduced Dual In-Line Memory Modules), или так называемый модуль со сниженной нагрузкой, — относительно новый тип памяти для серверов. Но мы его не применяем, так как LRDIMM становятся полезным только при больших объемах памяти, когда есть цель увеличить скорость работы.

Внутренний модуль Dual-SD (IDSDM) позволяет клиентам развертывать технологию отказоустойчивой виртуализации Dell, которая обеспечивает резервирование при отказе для встроенных гипервизоров. Несмотря на то, что PowerEdge R730 поддерживает GPU, которые могут быть весьма полезны в случаях построения виртуальной офисной инфраструктуры (виртуальных рабочих столов), а также для высокопроизводительных вычислений и совместной обработки, R730xd не поддерживает графические процессоры, так как не может быть обеспечено должное охлаждение видеокарты. Тем не менее, пока что у нас небольшой спрос на эту услугу и видеокарту в сервер заказал только один наш абонент. Именно по этой причине мы не заказывали платформы R730 массово, а можем доставить их по запросу, оснастив одной из рекомендованных карт.

За счет этого, к сожалению, цена на аренду решения не может быть столь привлекательной и увеличивается более чем в 2 раза, в зависимости от периода оплаты и срока контракта. Сами же карты мы предлагаем купить через нашего поставщика в Нидерландах, расценки приведены ниже и только с этого рекомендованного списка (таковы были рекомендации самого Dell, когда мы делали запрос), возможно кому-то эта информация будет полезна:

NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
NVIDIA Tesla M40 GPU: 4,913.33 EUR
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 EUR
NVIDIA M60 GPU, Passive, Requires GRID 2.0 SW for VDI Function, Cust Kit: 5,094.95 EUR

Лицензии:
Nvidia GRID vApps Subscription License 3 yr, 1 CCU: 20 EUR
Nvidia GRID vPC Subscription License 3 yr, 1 CCU: 95 EUR
Nvidia GRID vWS Subscription License 3 yr, 1 CCU: 480 EUR

Так что, если Вы готовы к минимум 2-х годичному контракту по аренде сервера Dell R730 (не xd, потому решение и выходит значительно дороже) — обращайтесь на [email protected], будем рады Вам помочь! С применением одой из рекомендованных выше видеокарт, в конфигурации DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU и контрактом на 2 года, он обойдется примерно в $6816 в год, вместо $2988 в год в случае рассматриваемой в статье платформы Dell R730xd + потребуется оплата стоимости видеокарты и лицензии, так как это очень специфическое оборудование.

Тем не менее, даже эта цена гораздо привлекательнее тех цен, которые могут предложить дата-центры в Украине и России для подобных решений, если вообще захотят предоставлять подобные решения… Ибо, как ни странно, в Нидерландах, где сотрудничество с Dell отлажено напрямую, обещанный срок поставки сервера с видеокартой составил почти 2 месяца с момента оформления заказа нашим клиентом (клиент согласился ожидать, так как альтернатив на рынке попросту нет), ввиду сильной специфичности данного продукта его просто не было в наличии у самого Dell. Тем не менее поставка была совершена по итогам быстрее, чем за месяц. Спасибо отделу снабжения дата-центра и ребятам из Dell за оперативность. Но для меня все же этот опыт стал необычным, так как стандартные платформы Dell R730xd поставляются в течении нескольких дней.

Управление и возможности контроллера PERC

Управление сервером можно осуществлять через удобный iDRAC8 (Integrated Dell Remote Access Controller 8) c контроллером жизненного цикла от Dell, который сокращает время, затрачиваемое на задачи управления, снижает вероятность ошибок, повышает безопасность и повышает общую эффективность вашей IT-среды.

Для наших абонентов доступ к iDRAC8 предоставляется посредством RMI (Remote Management Interface), который доступен исключительно из частной сети дата-центра в целях безопасности, доступ к которой мы предоставляем посредством Open VPN тоннеля бесплатно. После входа в систему iDRAC отображает обзор системы, а также просмотр виртуальной консоли через iKVM.

Особое внимание хотелось бы уделить мониторингу, iDRAC8 позволяет получить статистику потребления питания за последний час, день или неделю и ограничить максимальную потребляемую мощность:

Система контроля и регистрации температуры iDRAC позволяет собирать данные с датчиков температуры и определить диапазон, в которой она находится. Так допустимым считается нахождение процессоров в температурном диапазоне Warning лишь в течении 10% времени в течении года, а critical — в течении 1%. Время в критической полосе также оказывает влияние на допустимое время нахождения в полосе предупреждения. Сбор данных о температуре начинается при включении системы после отправки с завода и не может быть сброшен.

13-е поколение серверов PowerEdge от Dell оснащено контроллерами PERC9, в котором технология LSI CacheCade, применяемая ранее в контроллерах PERC8, была заменена на более эффективную — DAS Cache от SanDisk.

В ходе синтетических тестов DAS Cache дает значительное ускорение производительности HDD-массивов в случаях гибридных конфигураций HDD+SSD. Так, в случае массива из 5 HDD в RAID6 (6-й уровень выбран для обеспечения максимального объема) и 5 SSD RAID10 (4 + 1 hot spare SSD для максимального увеличения производительности массива) при применении DAS Cache, производительность массива 5 HDD RAID6 + DAS Cache на указанном массиве SSD, оказывалась близкой к производительности самого SSD-массива:

Итак, немного ознакомившись с платформой, теперь мы можем рассмотреть преимущества этой платформы при построении хранилищ.

Благодаря чему платформа Dell R730xd оптимальна для развертывания хранилищ данных, в частности Red Hat Ceph?

Среда Red Hat Ceph Storage использует серверы отраслевых стандартов для обеспечения масштабируемости, отказоустойчивости и производительности. Методы защиты данных играют ключевую роль в стоимости решения. Ceph позволяет пользователю выбрать различные методы защиты для разных пулов хранения.

Реплицируемые пулы хранения производят полные копии хранимых объектов и идеальны для быстрого восстановления и работы с данными. В случае реплицированного пула хранения Ceph по умолчанию применяет коэффициент репликации равным трем, когда три копии данных располагаются на трех отдельных узлах Ceph.

Пулы хранения с защитой от повреждения данных представляют собой единую копию данных с четностью, что полезно в случае необходимости долговечного хранения данных и является экономически эффективным.

PowerEdge R730xd — исключительно гибкий и масштабируемый двухюнитовый стоечный сервер, который обеспечивает высокопроизводительную обработку и широкий спектр возможностей локального хранения с оптимизацией рабочей нагрузки, включая возможность применения гибридных уровней. Разработка включает широкий диапазон конфигураций, что идеально подходит для Ceph.

— R730xd обеспечивает возможность создания высокоэффективных инфраструктурных решений, как для предприятий малого, так и для большого бизнеса.
— R730xd позволяют уменьшить время ввода в эксплуатацию благодаря возможностям автоматизированного развертывания, что уменьшает количество действий со стороны пользователя и позволяет уменьшить количество ошибок человека.
— Серверы PowerEdge повышают производительность IT-инфраструктуры в центрах обработки данных с помощью инновационных инструментов управления, таких как iDRAC Quick Sync и iDRAC Direct, что предоставляет возможность отслеживать состояние системы всесторонне и выполнять быстрое развертывание.
— В серверах PowerEdge оптимизировано использование энергии, что обеспечивает лучшую производительность в расчете на Ватт потребляемой мощности, а также позволяет более точно контролировать потребление энергию и охлаждение.

Dell PowerEdge R730xd предоставляет преимущества, обеспечивающие максимальную производительность за счет:

— Ускорения эффективности приложений за счет использования последних технологий и динамического локального хранилища.
— Масштабирование производится легко и быстро с помощью доступного спереди хранилища, которое поддерживает накопители из широкого диапазона — от недорогих HDD SATA до сверхбыстрых 2.5" SSD, а также накопителей с очень низким показателем latency, таких как PowerEdge Express Flash NVMe PCIe SSDs.
— R730xd хорошо адаптирована для построения хранилищ гибридного типа благодаря применению новых технологий кеширования в контроллере PERC, что повышает экономическую эффективность решения Ceph.

Пример реализации инфраструктуры с хранилищем Red Hat Ceph Storage, которое состоит из 5 серверов Dell R730xd, Вы можете видеть ниже:

В ходе независимых тестов различных конфигураций платформ Dell R730xd были получены следующие результаты:

Наш вариант платформы показывает весьма неплохой результат, а в случае чтения, пожалуй, наилучший. А если учесть то, что мы заказали эти платформы большой партией и за счет этого можем предложить цену более, чем в 2 раза ниже, чем на остальные варианты платформ — он оказывается лучшим консолидированно для чтения и записи по параметру cost-effective. В конце концов ничто не мешает построить кластер из 7-8 платформ, вместо 5. При этом получить еще большую отказоустойчивость.

Обязательны ли 10-гигабитные свитчи при построении подобных инфраструктур? Нет, не обязательны, один из наших клиентов построил инфраструктуру, правда из 3-х серверов, применив следующую схему подключения по локальной сети:

Что позволило сэкономить ему не много не мало — $350 / месяц на аренде свитча, так как 10-гигабитные свитчи довольно дороги, а мы предоставляем только лучшие — Arista 7050tx-48-r. В решениях на несколько портов не видим смысла.

На что способны платформы Dell R730xd в принципе?

Не так давно Microsoft провел интереснейший тест производительности данных платформ в случае построения хранилищ данных с малым количеством нод.

Были использованы 4 ноды Dell R730xd, объединенные в локальную 100-гигабитную сеть при помощи 32-портового свитча Arista DCS-7060CX-32S 100Gb, с запущенной EOS версии 4.15.3FX-7060X.1.

Конфигурация используемых нод следующая:

2x Xeon E5-2660v3 2.6Ghz (10c20t)
256GB DRAM (16x 16GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100Gb (Dual Port 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036
Mellanox ConnectX-4 Driver v. 1.35.14894
Device PSID MT_2150110033
Single port connected / adapter

При помощи VMFleet было поднято 20 виртуальных машин на каждой ноде, то есть всего 80 виртуальных машин. Каждая виртуальная машина была сконфигурирована с 1vCPU. Затем VMFleet был использован для запуска утилиты DISKSPD для тестирования производительности хранилища на каждой из 80 нод, утилита доступна в бесплатном доступе здесь. Параметры теста следующие — 1 поток, 512KiB последовательного чтения за 4 операции ввода-вывода.

Как видите на изображении выше, получилось достичь невероятного результата в 60 гигабайт в секунду суммарно, что примерно равно 5 англоязычным версиям Википедии в сжатом виде (11.5GiB), которые скачиваются ежесекундно. А скорость с каждой виртуальной машины составила порядка одного CD в секунду — 750 МБ.

Этот тест прекрасно демонстрирует то, насколько эффективным может быть решение, когда три компонента — вычислительная мощность, хранилище и сеть сбалансированы, что сводит к минимуму потенциальные узкие места, которые могут возникать в несбалансированной системе.

А что по поводу платформ от других производителей?

Сравнение Dell R730xd и HP ProLiant DL380

Для сравнения производительности было выбрано железо более слабое, чем предлагается в аренду нами — серверы с процессором E5-2620v3, а не Е5-2650v4, которые значительно более производительны. Основная методика тестирования, используемая для этого сравнения, заключалась в измерении количества IOPS. Использовалось несколько различных симуляций рабочей нагрузки, а именно все Read и 30% Read / 70% Write (аналог OLTP-системы, транзакционной системы, когда обработка идет небольшими транзакциями, но идущими большим потоком, и клиентам необходимо обеспечить минимальное время отклика).

Тесты проводились несколько раз, чтобы исключить негативное влияние скрытых факторов на производительность системы. Сперва были выполнены базовые тесты на Dell R730xd и HP ProLiant DL380 с использовании исключительно HDD-накопителей в составе хранилища (5x1TB HDD RAID5), что послужило базовым показателем производительности. Затем один и тот же набор тестов был запущен с хранилищем 5x1TB HDD RAID-5 с использованием DAS-кэша, установленного на SSD-накопителях с интерфейсом SAS (2xSAS 480GB Samsung SSD RAID1) на сервере Dell, и на сервере HP с применением HPE SmartCache с аналогичным набором накопителей для хранилища и кеширования. Наконец, последний набор тестов был запущен на сервере Dell с применением DAS Cache на накопителях SSD NVMe PCIe (2x400GB Samsung NVMe в программном RAID) для отображения максимального вклада кэширования в прирост производительности приложений в случаях интенсивного чтения и записи. Аналогичный тест для сервера HP не проводился, потому что Smart Cache не поддерживает диски NVMe для кэширования.

Конфигурация систем:

Dell PowerEdge R730xd (13 Generation)
HP ProLiant DL380 (9 Generation)

Server
CPU: x86-64 — Intel Xeon CPU E5-2620 v3 @2.40GHz;
Memory: 32GB DDR4.
CPU: x86-64 — Intel Xeon CPU E5-2620 v3 @2.40GHz;
Memory: 32GB DDR4.

Операционная система / софт
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.

Сторедж / кеш
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.

Тест
Имитация рабочей нагрузки OLTP на чтение-запись;
300GB размер базы данных;
4 одновременных IOMETER worker-а с глубиной очереди 32.

Имитация рабочей нагрузки OLTP на чтение-запись;
300GB размер базы данных;
4 одновременных IOMETER worker-а с глубиной очереди 32.

Было проведено несколько тестов случайного чтения / записи при разных размерах блока — 4 и 8КБ. Для каждого размера блока в свою очередь были проведены тесты при 100% операций чтения, а также при 70% операций чтения и 30% записи. Тесты, которые были связаны с ускорением производительности при помощи кеширования, запускались на 900 секунд (15 минут), чтоб обеспечить достаточное время для того, чтоб кэш начал работать в полной мере и получить более точные результаты.

Измерение производительности в IOPS (операции ввода/вывода в секунду):

Сервер / тестируемая конфигурация
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write

Dell R730xD (без кеша)
1650
974
1540
1040

HP ProLiant DL380 (без кеша)
1370
628
1322
630

Dell R730xD
с DAS Cache
138884
66483
98368
56641

HP ProLiant DL380
с SmartCache
41273
33534
35984
39396

Dell R730xD с
DAS Cache и
NVMe PCIe SSD
264750
158157
257150
104490

Измерение производительности в % утилизации процесессора:

Сервер / тестируемая конфигурация
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write

Dell R730xD (без кеша)
0,4%
0,28%
0,42%
0,3%

HP ProLiant DL380 (без кеша)
0,8%
0,5%
0,8%
0,5%

Dell R730xD
с DAS Cache
13%
8,8%
11,34%
7,83%

HP ProLiant DL380
с SmartCache
6%
6%
5%
5%

Dell R730xD с
DAS Cache и
NVMe PCIe SSD
16%
10,1%
16%
5,78%

Результаты тестирования показывают значительный рост производительности у платформ Dell R730xd при применении кеширования SanDisk DAS cache в сравнении с HPE SmartCache, а поддержка NVMe PCIe SSD в свою очередь обеспечивает еще большие преимущества. В OLTP симуляциях R730xd показал количество IOPS до 3-х раз выше за счет применения SanDisk DAS Cache и SAS SSD и в 6 раз выше за счет применения SanDisk DAS Cache + NVMe PCIe SSDs в сравнении с HPE’s SmartCache. Более высокий уровень утилизации процессора при использовании SanDisk DAS Cache, и еще больший уровень утилизации в случае SanDisk DAS Cache + NVMe PCIe SSDs являются лишь следствием гораздо большего количества IOPS и показывает наоборот более оптимальное потребление ресурсов процессора.

Так, если в HP при 6% утилизации результат в IOPS составляет 41 тысячу, то есть на 1 тысячу IOPS потребляется 0,15% ресурсов процессора, то в случае с Dell R730xd мы имеем 16% потребление при 264 тысячах, что обеспечивает более эффективный показатель — 0,06% ресурсов процессора на 1000 IOPS.

То есть, в плане утилизации процессора, Dell также оказывается лучше (в 2,5 раза), хотя и имеет значения утилизации процессора в % выше, но, как мы смогли убедится — это лишь следствие обработки значительно большего количества операций, а значит и лучшей производительности.

Таким образом платформа Dell R730xd оказывается значительно эффективнее HP ProLiant DL380 (в разы), как по производительности, так и по параметру cost-effective.

Результаты Geekbanch 3 теста Dell R730xd c процессором Е5-2640 v4 или почему процессорные инструкции и кэш контроллера важны

Как мы могли убедиться выше, мы можем добиться максимальных результатов только тогда, когда три компонента — вычислительная мощность, хранилище и сеть сбалансированы, так как сведены к минимуму потенциальные узкие места, которые могут возникать в несбалансированной системе.

Но еще крайне важным является поддержка процессором платформы ряда инструкций и их эффективность. Я уже упоминал выше, что, казалось бы, незначительная разница в поколениях, может играть довольно существенную роль в некоторых случаях. Так, по результатам независимых тестов, Е5-2650 v4, которые мы предоставляем, на 70% более эффективны в случае шифрования (инструкции AES), нежели Е5-2650 v3.

А что же тогда с «вкусными» решениями от конкурентов из low-сost, но не премиум сегмента? Чем наши решения лучше? Почему наши решения премиум? Ответ прост — наши серверы были и есть сбалансированы. Пусть у них были меньшие частоты ранее или меньшие объемы памяти, но они были сбалансированы по трем вышеописанным параметрам всегда. Включая надежный дата-центр с нужными корпоративному сегменту сертификатами и отличные внешние каналы связи, которые обеспечивают минимальную latency из Нидерландов, как в остальные страны Европы, так и в Россию и Украину и даже очень небольшое latency по дну океана в США!

Но сейчас мы сделали конкурентное предложение и по этим показателям, причем сразу в 10 локациях, в одной в Нидерландах и в 9 локациях в США, но не будем о нас, а давайте посмотрим на тест. К сожалению данный тест доступен пока только для версии Е5-2640 v4, с 10, а не 12 ядрами, для нашей платформы.

https://browser.primatelabs.com/v4/cpu/768278 — результаты теста Geekbanch 3 платформы Dell R730xd c процессором Е5-2640 v4

Он, само собой, не очень объективен, так как не учитывает всех преимуществ платформы, тот же SanDisk DAS cache, о котором мы говорили, реальные показатели производительности могут оказаться гораздо лучше синтетических в конкретном случае, гораздо! Но все же какое-то понимание возможно получить.

Обратим внимание на множество инструкций. Самой показательной может быть уже упомянутая AES, при примерно одинаковых частотах разница между значениями для 1-го ядра может составлять до 1000 раз в зависимости от процессора, остальные инструкции, которые сравнивались, показывали различия в значения от нескольких до 100 раз.

Вы можете самостоятельно ввести процессор в поиск и провести сравнение, но не забывайте, что этот тест не полностью показателен, так как он не учитывает железо в целом, а в основном характеризует процессор.

Тем не менее, надеюсь, что данные результаты могут Вам быть полезны, при анализе эффективности того или иного решения.

Применение серверов Dell R730xd, как Bare Metal, simply better!

Некоторые из наших клиентов решили отказаться от использования облачных решений VMware в пользу решений Bare Metal (железных серверов) и платформа Dell R730xd им очень помогла в этом. И речь тут не только о публичных облаках, но и о частных.

Почему же все чаще люди принимают такие решения? На счет публичных облаков все более-менее понятно. Я сам отношусь к публичным облакам, как к большому маркетингу, если что-то падает там (а все облака рано или поздно падают) — оно падает там на долго. Примером может служить тот же известный Амазон, который в свое время пролежал несколько суток вместе с важным сервисом по сбору телеметрических медицинских данных, в том числе данных о состоянии сердца больных, использующих кардиостимулятор, которые находились на мониторинге у врачей, умерло несколько человек… Да и недавно, когда лежал наш корпоративный Битрикс, оказалось, что причина в том, что сотрудники, отключавшие часть машин, в результате опечатки отключили больше нод, чем было нужно, затронув ноды управления, в результате чего виртуальные машины перезапускались в течении 5 часов из-за большого размера кластера… Но не только в этом возможна беда, может случится так, что внезапно получишь «бутылочное горлышко» из-за использования облака какими-то другими проектами или отсутствия возможности оперативно управлять его инфраструктурой для удовлетворения собственных потребностей.

Что же касается частных облаков, то в теории виртуализация упрощает доступность и аварийное восстановление. На практике есть множество ситуаций, когда это просто не имеет смысла:

В случае технических проблем на ноде, 15-30 минутный даунтайм является приемлемым.
Далеко не всем проектам важен аптайм на уровне около 100%, ну разве что школьникам, которые привыкли платить доллар и требовать 100%. Для некоторых проектов 99,9% гарантированный аптайм является более, чем приемлемым вариантом. Ибо 0,1% — это недоступность максимум в 44 минуты в месяц, которая может наблюдаться по различным незапланированным причинам — по причине выхода из строя железа или же недоступности сети. Аптайм сети мы гарантируем в свою очередь на уровне 99,99% для стандартных решений, что допускает недоступность всего лишь в 4 минуты в месяц. В случае подключения сервера на 2 независимых канала, которые проходят через разные коммуникационные узлы и трафик которых обрабатывается независимыми ядрами, гарантированный аптайм сети повышается еще в несколько раз. Что позволяет удовлетворить требования по аптайму даже банков, для которых допустима недоступность порядка 40 минут в год, в соответствии с сертификацией. В реальности же периоды недоступности крайне редки. За 5 лет работы с дата-центром не было ни разу такого, когда все серверы стали одновременно недоступны по причине проблем с сетью или электричеством. Даже когда в Нидерландах случился глобальный blackout и многие другие дата-центры стали недоступны — кто-то забыл заправить дизели, кто-то не имел достаточной мощности ИБП, в нашем дата-центре недоступными на короткий промежуток времени стали лишь менее процента серверов. Некоторые из серверов, которые клиенты арендуют у нас, даже довольно устаревшее, казалось бы, железо, с большей вероятностью выхода из строя нежели новые брэндовые решения, не перезагружались за 3 года ни разу, также, как за 3 года к ним ни разу не пропадала сеть. Допустима ли недоступность в 30 минут за 3 года? Более чем, даже для банков.

И возникает резонный вопрос, зачем тогда переплачивать? Само собой, что полагаться на случай не стоит и всегда нужно исходить из принципа разумности резервирования. Главное правило, которое я открыл для себя следующее: резервирование должно стоить не дороже тех потерь, которые могут случиться в случае периода недоступности из-за отсутствия такого резервирования. То есть, если гарантированный аптайм допускает недоступность в 40 минут в месяц, а в случае недоступности в течении такого периода времени, потери составят несколько сот или даже тысячу долларов — арендовать дополнительное решение для повышения гарантии аптайма просто лишено смысла. Ибо в реальности серверы не будут недоступны каждый месяц по 40 минут, 40 минут недоступности — гарантия, худший сценарий. Который не реализуется ежемесячно, как показала практика.

Таким образом серверы могут быть важны, но не критически важны, и когда владельцы проектов не возражают против ручного переключения нагрузки на другой выделенный сервер, мы можем избежать сложностей построения отказоустойчивого кластера и общего отказоустойчивого хранилища.

Низкая производительность недопустима в течении рабочего периода. Многие наши клиенты выбирают bare metal решения от Dell именно по этой причине, гораздо дешевле и выгоднее использовать железо по полной во время стандартного функционирования, которое практически не подвержено недоступностям, как мы уже рассмотрели, нежели переплачивать за облачный вариант и ту же производительность в облаке, которая обойдется в разы дороже выделенного решения. Облако и кластеризация банально не смогут удовлетворить потребности в ресурсах, не будут cost-effective для таких клиентов.

Абоненты не хотят платить много за сервис ограниченных возможностей. В основном наши клиенты — небольшие компании, которые не обладают собственными техническими отделами и финансированием на покупку собственного железа. Покупка железа могла бы стать настоящим ударом для них и не обеспечивать должной производительности, так как со временем железо имеет свойство устаревать, а очень жаль выбрасывать дорогое железо, спустя даже 3 года, в то время, когда компания разрослась и требуется уже нечто лучшее. В случае аренды у нас Dell R730xd Вы имеете возможность перейти на другой сервер в любой момент или же через год, если Вы выбираете вариант аренды с контрактом на год. Более того, есть возможность сэкономить на оплате лицензий VMware.

Применение серверов Dell R730xd для серверов баз данных

Многим нашим клиентам, которые используют эти серверы для баз данных, очень полюбилась эта платформа. И не только потому, что в отличии от Dell R730 в xd версию возможно предоставить с поддержкой SSD накопителей NVMe PCIe, которые обеспечивают минимальную latency, что бывает крайне важно для таких решений. Но и потому, что контроллер невероятно эффективен при работе даже с обычными 2,5" SSD, которые мы предлагаем клиентам.

Конечно, есть и недостаток в Dell R730xd — контроллер только 1, в то время, как в Dell R730 на 26 накопителей применяется 2 аппаратных контроллера. Но это не является сколь-либо существенной проблемой, так как мы выбрали платформу с 12 отсеками для накопителей и потому Вы не получите «бутылочное горлышко» в виде недостаточной производительности контроллера при работе с этой платформой и большим количеством SSD. А преимущество в виде возможности установки SSD NVMe PCIe перекрывает этот недостаток полноценно.

Как уже говорили выше — не все нуждаются в сложных кластерах для баз данных, намного более важна производительность, которую и может обеспечить эта платформа. Один из наших клиентов так и поступил, отказался от излишеств виртуализации и построения сложных кластеров, арендовав VPS с выделенными накопителями для резервных копий базы данных с основного сервера Dell R730xd: VPS (KVM) — E5-2650 v4 (24 Cores) / 40GB DDR4 / 4x240GB RAID10 SSD 1Gbps 40TB — $99. Конечно, в случае проблемы с основной нодой, будет некоторое снижение производительности и возникнет необходимость ручного переключения, однако — это более, чем экономически-эффективное решение, учитывая ограниченный бюджет.

Мы не призываем всех к такой экономии, в некоторых случаях она даже очень оправдана. Тем не менее, увеличив бюджет всего лишь на 230 долларов в месяц, можно позволить уже идентичную ноду E5-2650 v4 и соединить их между собой в 20-гигабитную локальную сеть, что в принципе позволит построить небольшой кластер с допустимой latency даже без применения PCIe NVMe SSD-накопителей.

Само решение будет выглядеть следующим образом (с базовым набором накопителей):

Dell R730xd 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ + Intel X540-T2 20GBPS LAN — $289 / месяц
Dell R730xd 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ + Intel X540-T2 20GBPS LAN — $289 / месяц

Увеличивать их количество для увеличения производительности есть смысл не всегда. Так, в ходе тестов с базами данных, мы обнаружили, что решение с 8 SSD эффективнее решения с 4 SSD всего лишь на 35%.

Что касается рекомендованных уровней RAID, то RAID5 в некоторых случаях может быть очень даже оптимальным. Конечно, RAID10 обеспечивает лучшую производительность, однако, что если накопители настолько быстры, что применение их в RAID10 может привести к тому, что контроллер станет узким местом? В таких случаях построение HW RAID массива RAID5 гораздо выгоднее с применением накопителей hot-spare, нежели RAID10 (если стоит задача не терять половину SSD-квоты).

Нужно ли чтоб кэш контроллера был включенным или лучше отключить его? RAID-контроллер имеет весьма ограниченный объем памяти, что такое 1GB, в случае работы с SSD? В случаях с быстрыми SSD нет смысла во включенном кэше на чтение, так как забивая память операциями чтения, которые нисколько не станут быстрее, так как SSD и так достаточно быстры, мы не оставляем достаточного кэша на запись, а, как известно, в недорогих SSD — узким местом являются операции записи, за счет падения производительности при недостаточном объеме over-provisioning и 100% утилизации свободной квоты (возможно падение в десятки раз). Потому мы рекомендуем оставить включенным только кэш на запись. Тем самым обеспечив максимальную эффективность этому решению.

Такое ли большое значение имеет размер блока NTFS? Для большинства хранилищ 64КБ указан, как оптимальный размер блока для обеспечения максимальной производительности. Но очень часто мы сталкиваемся со случаями, когда клиент уже использует сервер для баз данных, применив изначальную настройку со стандартным размером NTFS-кластера в 4КБ. Чтобы исправить это нужно заново отформатировать накопители, но так ли велика разница в общем случае? Нужно ли подвергать себя возможному даунтайму и неудобствам связанным с миграцией?

Контроллер в сервере Dell R730xd обеспечивает настолько хорошую производительность даже с 4 накопителями SSD и включенным кешем на запись (очень важный момент, кэш на чтение должен быть отключен ибо не дает никаких преимуществ, а только снижает эффективность операций записи за счет нехватки пространства для полноценного кэша, как указали выше), что даже при стандартном размере блока в 4КБ, получаем весьма хорошие показатели производительности, чрезвычайно хорошие.

Тем не менее мы всегда идем на встречу и готовы предложить аналогичную платформу на время для проведения работ абонентами, если что-то ими было не учтено.

RAMdrive все же оказывается быстрее скорости SSD-накопителей. Если Ваши запросы могут обрабатываться в TempDB, к примеру сортировка или объединение, то применение RAMdisk (программы, которая превращает часть Вашей оперативной памяти в накопитель) может быть весьма оправдано. Так, сравнив скорость 8 SSD накопителей в RAID10 с RAMdrive мы обнаружили, что она примерно в 4 раз быстрее, при операциях записи 4K c глубиной очереди 32, что как раз имитирует работу файлов TempDB. Даже объединив 8 SSD в RAID0 побить результаты RAMdrive не удалось.

RAID5 в случае 8 накопителей SSD может быть эффективнее RAID10. Операции чтения 4К с глубиной очереди 32 быстрее примерно на 40%, и это не удивительно, учитывая особенности RAID5. RAID5 выигрывает по производительности и в других тестах, так при последовательной записи он на 20%, уступает ли он лишь при операциях записи 4К с большой глубиной очереди (в нашем случае 32) и оказывается менее эффективным на 30%. Так что применение RAID5 может в некоторых случаях быть весьма экономически оправданным.

Больше накопителей — не всегда означает быстрее. Когда мы имеем дело со случайными небольшими операциями, добавление накопителей в массив после определенного предела никак не улучшает производительность. Казалось бы почему? Оказывается все упирается в возможности контроллера, который вынужден записывать данные на целую кучу накопителей. Именно потому мы и закупили платформы с максимум 12 накопителями, чтоб уменьшить вероятность появления «бутылочного горлышка». Тем не менее, нужно смотреть на интенсивность операций в пределах каждого проекта, иногда 4 накопителя большего объема, скажем 960GB, могут оказаться лучше и более экономически эффективным решением, нежели куча накопителей на 480GB.

Применение серверов Dell R730xd для серверов Aerospike NoSQL Data

Aerospike — база данных NoSQL с открытым исходным кодом, оптимизированная для флэш-памяти, обеспечивающая высокую скорость работы и масштабируемость. Aerospike создана для обеспечения очень низкой latency при запросах на чтение и большой нагрузке на запись, что удовлетворяет современные требования бизнеса нуждающегося в обеспечении возможности обработки большого количества операций ввода-вывода. Aerospike напрямую управляет локальным хранилищем на узлах своего кластера вне зависимости от файловых систем исходных носителей, будь то DRAM, flash или традиционные жесткие диски. Это позволяет хранить важнейшие данные на самом быстром носителе, быстрая обработка которых наиболее критична, в то время как распределенный характер базы данных Aerospike обеспечивает высокую степень надежности в случае сбоев узла кластера.

Серверы Dell 13-го поколения, а именно PowerEdge R730xd, с новейшими процессорами E5-2650 v4 и быстрой DDR4 SDRAM, обеспечивают невероятную вычислительную мощность. А возможность использования NVMe SSD, таких как Samsung SM1715, может помочь получить в узлах с высокой нагрузкой огромную производительность при минимальной latency. Что позволяет соблюсти современные требования SLA на время обработки одной транзакции с надежным уровнем защиты от фрода даже в очень больших базах данных, делая решение приемлемым даже для финансового сектора и банковских переводов, где транзакции порой проводятся в течении нескольких часов, и даже дней.

Для банковского сектора мы можем предложить решение на основе этих платформ с локальной сетью в 40 и 100 Гбит / с между узлами кластера и применением соответствующих свитчей.

Применение серверов Dell R730xd в DMZ-сетях

Мы рады предложить нашим абонентам самые высокие стандарты безопасности. Дата-центры, в которых мы предлагаем данные серверы, имеют множество сертификаций: ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Но для того, чтобы удовлетворить требования того же Google, некоторым клиентам требуется построение так называемых демилитаризованных сетей (DMZ-сетей) — сетей с повышенной безопасностью, что подразумевает наличие аппаратного firewall, который ограничивает доступ к оборудованию и позволяет скрыть необходимые компоненты за брандмауэром и еще больше повысить безопасность.

И все ок, когда такое решение заказывается сразу, но очень сложно реализовать переход практически без даунтайма в процессе, что недавно произошло с одним из наших клиентов, с проектом по обработке заявлений на получение виз для граждан из разных стран мира, где недоступность даже в течении часа может привести к убыткам на десятки тысяч долларов. Но мы нашли решение, пошли на встречу, поставили дополнительное оборудование в шкаф, переместив менее важное, а firewall включили по схеме, как и пожелал клиент, чтоб он мог провести миграцию без даунтайма.

Было / Стало

Возможно данная схема также окажется для кого-то полезной при осуществлении подобной миграции, так как инженеры в дата-центрах не всегда хотят видеть очевидные вещи, а настаивают на даунтайме в 2 часа для переключения за firewall, но очень прошу Вас — заказывайте аппаратный firewall все же заблаговременно, если он Вам необходим. Мы гибки, и всегда идем на встречу, но в некоторых ситуациях наши возможности могут быть ограничены.

В будущих публикациях мы попытаемся провести ряд дополнительных тестов и поделится дополнительным опытом, связанным с использованием данных платформ, которые позволят еще больше повысить понимание подборки наиболее эффективного решения. Ведь удивительно видеть тот факт, что RAID0 из двух SSD накопителей, в случаях баз данных с высокой нагрузкой может оказаться медленнее, чем отдельно взятый накопитель на запись, именно потому к нам время от времени поступают запросы на NVMe PCIe SSD. Вполне вероятно, что мы покажем наиболее эффективные сценарии реализации решений, поделимся дополнительным опытом, когда построение многочисленных RAID массивов в пределах одного RAID контроллера оказывается эффективным, покажем в каких случаях два независимых массива RAID10 из 4-х накопителей окажутся лучше одного массива RAID10 из 8. Когда будет эффективно применять RAID1 для TempDB, а RAID5 для всего остального. И как можно обойтись без NVMe PCIe SSD, когда имеется ограниченный бюджет.

Dell R730xd: бонус для читателей Habrahabr

Мы хотим предоставлять Вам лучшее и сделали все для этого, предложив уникальные цены на Dell R730xd:

ua-hosting.company/serversnl — в Нидерландах
ua-hosting.company/serversus — и в США

Конфигурации могут быть самые разнообразные, к примеру, для моментальной активации в Нидерландах доступны такие:

Dell R730xd 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 ТВ -*$249
Dell R730xd 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 ТВ -*$249
Dell R730xd 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4×480 SSD 1Gbps 100 ТВ — *$249
Dell R730xd 
2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 ТВ — *$249

А честный выделенный 1Gbps Unmetered (без учета трафика) к ним доступен за +$120 / месяц. Плюс возможность докупить firewall, cетевые карты, свитч и построить мультигигабитную локальную сеть. Но условие по цене действует при контракте на год.

Мы хотим улучшить условие и предложить бонус при краткосрочной оплате и аренде без контракта, сделав предложение более доступным. Всем, кто закажет и оплатит любой из предложенных вариантов в Нидерландах на срок 1 месяц, мы предоставим точно такой же сервер на 1 месяц совершенно бесплатно, либо проведем перерасчет на заказанную конфигурацию и посчитаем заказанный сервер по цене, как при годовом контракте ($249 / месяц вместо $369 / месяц), вернув разницу на баланс. Для этого достаточно оставить номер заказа в комментарии. Тем же, кто пока не дорос до выделенных решений, мы предлагаем арендовать любой VPS (KVM) c выделенными накопителями в Нидерландах или США на этих платформах, к примеру, VPS (KVM) — E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps 10TB — $29, и получить бонусом 1-4 месяца пользования при оплате на 1, 3, 6, 12 месяцев соответственно, с указанием номера заказа в комментарии. Теперь построить инфраструктуру стало проще!

Источник: habr.com