У цій статті ми розповімо, які інфраструктурні рішення реалізують наші клієнти із застосуванням серверних платформ Dell R730xd і чому ціна на оренду цієї платформи в з відмінними каналами зв'язку в Україну та Росію, а також , вже з розміщенням та коннективністю за ціною стала реальністю. Поділимося можливими варіантами рішень на основі цих платформ із застосуванням приватних vlan, 10G локальної мережі та апаратних Firewall від СISCO, які доступні нашим клієнтам на запит. А також у кращих традиціях запропонуємо бонус у вигляді безкоштовного періоду користування серверами Dell R730xd для читачів Habrahabr.
Останнім часом ми отримуємо все більше і більше запитів на побудову різних корпоративних інфраструктур, і пов'язано це, на жаль, не так з тим, що ми надаємо рішення дуже високої якості, як із ціною на ці рішення і тим рівнем безпеки та верховенства права, який забезпечується в Нідерландах та США, але на жаль, найчастіше недоступний в Україні та Росії. Де, на жаль, подібні рішення стоять просто «космічних» грошей, оскільки поняття «довгі гроші» чуже для пострадянських країн у принципі, на тлі інших ризиків чи за відсутності необхідної інфраструктури та рівня сертифікації.
Гарним прикладом тут може бути різниця в ціні на залізо. Наприклад, платформа Dell R730xd, що закуповується для наших клієнтів, в базовій комплектації 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD коштує близько 9000 євро. Зрозуміло, що ні про яку низьку ціну на оренду цього сервера в Україні чи Росії не може бути й мови, оскільки вартість оренди формується виходячи з окупності вартості платформи за період 12-18 місяців. А це означає, що мінімально можлива ціна на оренду, без урахування вартості розміщення, електрики та каналів зв'язку буде знаходитися в межах $500-800/місяць, залежно від ступеня ризиків провайдера та бізнес-плану. А ще потрібно знайти хороший ЦОД із потрібним рівнем сертифікації та каналів зв'язку. Та й не забути про врахування ризиків незаконного вилучення обладнання в ході якихось неправомірних слідчих дій, які можуть виникати через конкурентну боротьбу та специфіку ведення бізнесу в тому чи іншому регіоні.
Тому не дивно, що наша пропозиція викликала великий інтерес, тим більше, що дата-центри, в яких ми надаємо пропоновані сервери, мають безліч необхідних і важливих для корпоративного сектору сертифікатів. , , , и .
Тепер розглянемо кілька кейсів, які можуть бути цікавими як для новачків і невеликих проектів, так і для досить великих системних інтеграторів, які будують рішення у себе в офісах у гермозонах або в дата-центрах.
Переваги платформ Dell R730xd при побудові сховищ даних із застосуванням Red Hat Ceph
Не секрет, що вимоги до зберігання та обробки даних постійно зростають, причому прискореними темпами. Якщо кілька років тому було достатньо мати сховище в 1ТБ, яке забезпечувало кілька сотень IOPS, то тепер потреби зросли до десятків тисяч IOPS та петабайту простору. Ці вимоги до ємності та продуктивності підживлюються частково збільшенням обсягу неструктурованих даних, у тому числі музики, зображень, відео, резервних копій баз даних, файлів журналів та інших архівів, фінансових та медичних даних, тобто даних, відомих як «Big Data». Не кажучи вже про зростаючі вимоги до зберігання даних внаслідок поширення та розширення Інтернет-мережі та нових Інтернет-ресурсів. Таким чином, з усіма цими вимогами до потужності, очікування клієнтів щодо високої надійності та високої продуктивності більше, ніж будь-коли.
У той час, як IT-компанії намагаються вирішити завдання управління петабайтами і навіть ексабайтами даних, хмарна модель зберігання стає все більш поширеною в сучасних дата-центрах. Пишуться нові і нові програмні комплекси, які дозволяють налаштувати взаємодію хмарного середовища із залізом оптимальним чином, однією з таких розробок є Ceph.
Ceph – це розподілена система зберігання даних з відкритим вихідним кодом, покликана забезпечити високу продуктивність, надійність та масштабованість. Ceph реалізує зберігання об'єктів на розподіленому комп'ютерному кластері та надає інтерфейси для зберігання об'єктів, блоків та файлів. Ceph забезпечує повністю розподілене сховище без жодної точки відмови та масштабованість до рівня петабайту. Ceph реплікує дані і тим самим забезпечує стійкість до відмови. Система влаштована в такий спосіб, щоб як забезпечити самостійне відновлення, а й управління, що допомагає уникнути зайвих витрат за супровід. Оскільки Ceph використовує універсальне обладнання, яке контролюється програмним забезпеченням, а функції управління доступні через інтерфейси прикладного програмування (API), його відносять до програмно-визначених сховищ (SDS).
Red Hat Ceph Storage — готова до впровадження система зберігання, програмне сховище, яке є відкритим, адаптованим, масштабованим і підтримується повсюдно. Поєднує в собі інновації з open-source розробок з технічною основною та підтримкою від Red Hat. Рішення забезпечує тісну інтеграцію з OpenStack і сконструйовано з нуля, щоб забезпечити сховище наступного покоління, як для хмарних середовищ, так і для інших робочих навантажень.
Тут ми розглянемо приклад застосування цього рішення на серверах Dell, зокрема Dell PowerEdge R730xd, які ми пропонуємо в оренду, розглянемо переваги побудови сховища на основі цих платформ. Можливо, ця інформація буде корисна архітекторам, інженерам та IT-адміністраторам, які бажають вивчити переваги використання Red Hat Ceph Storage на серверах Dell PowerEdge і які мають проектувати та планувати впровадження з використанням перевірених кращих практик.
Але на початку:
Небагато про саму платформу, який варіант ми пропонуємо і чому він економічно ефективний?
Dell PowerEdge R730xd — безумовно одна з найкращих платформ для завдань корпоративного сектора і не тільки вона завоювала безліч різних нагород і є досить ефективним рішенням для організації сховищ даних, оскільки може забезпечити зберігання даних з високою щільністю за розумні гроші.
PowerEdge R730xd доступний у трьох конфігураціях шасі з різними форм-факторами та комбінаціями накопичувачів, а також з додатковим заднім блоком розширення:
— 24 доступні спереду 2,5-дюймові відсіки для накопичувачів SAS, SATA або nearline SAS плюс 2 опціональні 2,5-дюймові відсіки ззаду. 2,5-дюймова шасі може опціонально підтримувати до 4-х PCIe Express Flash накопичувачів від Dell у передній частині.
- 12 доступних спереду 3,5-дюймових відсіків для накопичувачів SAS, SATA або nearline SAS з 4-ма опіцональними внутрішніми 3,5-дюймовими відсіками, з можливістю гарячої заміни накопичувачів, плюс двома опціональними 2,5-дюймовими відсіками.
- 18 доступних спереду 1,8-дюймових відсіків для SATA, 8 3,5-дюймових відсіків для SAS, SATA або nearline SAS накопичувачів плюс 2 опціональних 2,5-дюймових відсіків ззаду.
Здавалося б, що кожне шасі добре для свого роду завдань. Це безперечно. Але чи вони дійсно однаково економічно ефективні?
Ми зупинили свій вибір на другому варіанті, щоб задовольнити потреби якомога ширшого кола користувачів на шасі з 12 відсіками для накопичувачів. Тому що вважаємо його найефективнішим. І ось чому. Економічна ефективність рішення проявляється вже в його універсальності - в це шасі можна ставити накопичувачі різних форм-факторів і воно дешевше в закупівлі, а також, що важливо, тут можна отримати більшу продуктивність при роботі з даними, використовуючи кілька платформ з'єднаних між собою, ніж одну з великою щільністю зберігання та очевидно меншою продуктивністю.
Ми віримо, що з'єднавши кілька подібних платформ у мультигігабітну локальну мережу (можливе підключення кожної ноди в локальну мережу на швидкостях 20 Гбіт/с і більше, з використанням двопортових десятигігабітних карт Intel X540-T2, які ми надаємо додатково) можна досягти значно кращих результатів. та продуктивності, ніж у платформ з більшою щільністю накопичувачів. Що особливо критично для інфраструктур, які використовують ці платформи для роботи з базами даних. На жаль, але при великій кількості накопичувачів, контролер може бути перевантажений, а додатковий контролер у версії xd, на жаль недоступний. Продуктивність, якої можна досягти при застосуванні платформ саме з 12 відсіками та локальною мультигігабітною мережею буде набагато вищою, а рішення в свою чергу виявиться більш розподіленим та надійним. Одним словом – cost-effective!
Особливості будови та дизайну, застосування відеокарт
Платформа Dell PowerEdge R730xd, розміром всього лише 2U, підтримує до 2-х процесорів Intel Xeon E5-2600 v3 і вище, тобто дозволяє отримати в розпорядженні до 36 ядер при застосуванні 18-ядерних процесорів. Ми вибрали проміжний варіант, але останнього покоління – 12-ядерний процесор Е5-2650 v4 (24 ядра у Вашому розпорядженні сумарно, а з урахуванням багатопоточності – 48 ядер), оскільки він виявився найбільш економічно ефективним. Так було в четвертому поколінні реалізовані найефективніші процесорні інструкції, наприклад, AES, відповідальна за шифрування даних, на 70% ефективніше, ніж в тих процесорів, але третього покоління. При цьому процесор і платформа може підтримувати до 1,54 ТБ оперативної пам'яті, що важливо у деяких дуже специфічних випадках. Ми вибрали найбільш масовий варіант, найбільш прийнятний за ціною та швидкістю роботи — 128GB DDR4 RAM і передбачили можливість апгрейду за запитом абонентів.
На передній панелі R730xd розташовано 6 індикаторів стану системи, які можуть повідомити про різні неполадки, завдяки чому можна уникнути маси критичних проблем, вживши вчасно відповідних заходів. DIMM слоти для оперативної пам'яті розташовані безпосередньо на материнській платі. R730xd підтримує реєстрову DIMM з корекцією помилок, а також LRDIMM (Load Reduced Dual In-Line Memory Modules), або так званий модуль зі зниженим навантаженням, відносно новий тип пам'яті для серверів. Але ми його не застосовуємо, тому що LRDIMM стають корисними лише при великих обсягах пам'яті, коли є мета збільшити швидкість роботи.
Внутрішній модуль Dual-SD (IDSDM) дозволяє клієнтам розгортати технологію стійкості до віртуалізації Dell, яка забезпечує резервування при відмові для вбудованих гіпервізорів. Незважаючи на те, що PowerEdge R730 підтримує GPU, які можуть бути дуже корисними у випадках побудови віртуальної офісної інфраструктури (віртуальних робочих столів), а також для високопродуктивних обчислень та спільної обробки, R730xd не підтримує графічні процесори, оскільки не може бути забезпечене належне охолодження відеокарти. Тим не менш, поки що у нас невеликий попит на цю послугу та відеокарту на сервер замовив лише один наш абонент. Саме тому ми не замовляли платформи R730 масово, а можемо доставити їх за запитом, оснастивши однією з рекомендованих карт.
За рахунок цього, на жаль, ціна на оренду рішення не може бути настільки привабливою та збільшується більш ніж у 2 рази, залежно від періоду оплати та строку контракту. Самі ж карти ми пропонуємо купити через нашого постачальника в Нідерландах, розцінки наведені нижче і тільки з цього рекомендованого списку (такі були рекомендації самого Dell, коли ми запитували), можливо комусь ця інформація буде корисною:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
NVIDIA Tesla M40 GPU: 4,913.33 EUR
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 EUR
NVIDIA M60 GPU, Passive, Requires GRID 2.0 SW для VDI Function, Cust Kit: 5,094.95 EUR
Ліцензії:
Nvidia GRID vApps Subscription License 3 року, 1 CCU: 20 EUR
Nvidia GRID vPC Subscription License 3 рік, 1 CCU: 95 EUR
Nvidia GRID vWS Subscription License 3 року, 1 CCU: 480 EUR
Так що, якщо Ви готові до мінімуму 2-річного контракту з оренди сервера Dell R730 (не xd, тому рішення і виходить значно дорожче) — звертайтесь на [захищено електронною поштою]Будемо раді Вам допомогти! З застосуванням одою з рекомендованих вище відеокарт, в конфігурації DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU і контрактом на 2 роки, він обійдеться приблизно в $6816 на рік, замість $2988 платформи Dell R730xd +, що розглядається в статті, буде потрібна оплата вартості відеокарти та ліцензії, оскільки це дуже специфічне обладнання.
Тим не менш, навіть ця ціна набагато привабливіша за ті ціни, які можуть запропонувати дата-центри в Україні та Росії для подібних рішень, якщо взагалі захочуть надавати подібні рішення… Бо, як не дивно, у Нідерландах, де співпраця з Dell налагоджена безпосередньо, обіцяний термін постачання сервера з відеокартою становив майже 2 місяці з моменту оформлення замовлення нашим клієнтом (клієнт погодився чекати, оскільки альтернатив на ринку просто немає), через сильну специфічність даного продукту його просто не було у самого Dell. Проте постачання було здійснено за підсумками швидше, ніж за місяць. Дякуємо відділу постачання дата-центру та хлопцям із Dell за оперативність. Але для мене все ж таки цей досвід став незвичайним, так як стандартні платформи Dell R730xd поставляються протягом декількох днів.
Керування та можливості контролера PERC
Керування сервером можна здійснювати через зручний iDRAC8 (Integrated Dell Remote Access Controller 8) з контролером життєвого циклу від Dell, який скорочує час, що витрачається на завдання управління, знижує ймовірність помилок, підвищує безпеку та підвищує загальну ефективність вашого IT-середовища.
Для наших абонентів доступ до iDRAC8 надається за допомогою RMI (Remote Management Interface), який доступний виключно з приватної мережі дата-центру для безпеки, доступ до якої ми надаємо за допомогою Open VPN тунелю безкоштовно. Після входу в систему iDRAC відображає огляд системи та перегляд віртуальної консолі через iKVM.
Особливу увагу хотілося б приділити моніторингу, iDRAC8 дозволяє отримати статистику споживання харчування за останню годину, день або тиждень та обмежити максимальну споживану потужність:
Система контролю та реєстрації температури iDRAC дозволяє збирати дані з датчиків температури та визначити діапазон, в якій вона знаходиться. Так допустимим вважається перебування процесорів у температурному діапазоні Warning лише протягом 10% часу протягом року, а critical — протягом 1%. Час у критичній смузі також впливає на допустимий час перебування у смузі попередження. Збирання даних про температуру починається при включенні системи після відправки із заводу і не може бути скинуто.
13-е покоління серверів PowerEdge від Dell оснащено контролерами PERC9, в якому технологія LSI CacheCade, застосована раніше в контролерах PERC8, була замінена більш ефективною — DAS Cache від SanDisk.
Під час синтетичних тестів DAS Cache дає значне прискорення продуктивності HDD-масивів у разі гібридних конфігурацій HDD+SSD. Так, у разі масиву з 5 HDD в RAID6 (6-й рівень обраний для забезпечення максимального обсягу) і 5 SSD RAID10 (4 + 1 hot spare SSD для максимального збільшення продуктивності масиву) при застосуванні DAS Cache, продуктивність масиву 5 HDD RAID6 + DAS Cache на вказаному масиві SSD, виявлялася близькою до продуктивності самого SSD-масиву:
Отже, трохи ознайомившись із платформою, тепер ми можемо розглянути переваги цієї платформи під час побудови сховищ.
Завдяки чому платформа Dell R730xd є оптимальною для розгортання сховищ даних, зокрема Red Hat Ceph?
Середовище Red Hat Ceph Storage використовує сервери галузевих стандартів для забезпечення масштабованості, відмовостійкості та продуктивності. Методи захисту даних відіграють ключову роль вартості рішення. Ceph дозволяє користувачеві вибрати різні методи захисту різних пулів зберігання.
Пули зберігання, що реплікуються, виробляють повні копії об'єктів, що зберігаються, і ідеальні для швидкого відновлення і роботи з даними. У разі реплікованого пулу зберігання Ceph за умовчанням застосовує коефіцієнт реплікації рівним трьом, коли три копії даних розміщуються на трьох окремих вузлах Ceph.
Пули зберігання із захистом від пошкодження даних є єдиною копією даних з парністю, що корисно у разі потреби довговічного зберігання даних і є економічно ефективним.
PowerEdge R730xd — виключно гнучкий та масштабований двоюнітовий стійковий сервер, який забезпечує високопродуктивну обробку та широкий спектр можливостей локального зберігання з оптимізацією робочого навантаження, включаючи можливість застосування гібридних рівнів. Розробка включає широкий діапазон конфігурацій, що ідеально підходить для Ceph.
— R730xd забезпечує можливість створення високоефективних інфраструктурних рішень як для підприємств малого, так і великого бізнесу.
- R730xd дозволяють зменшити час введення в експлуатацію завдяки можливостям автоматизованого розгортання, що зменшує кількість дій з боку користувача та дозволяє зменшити кількість помилок людини.
— Сервери PowerEdge підвищують продуктивність IT-інфраструктури в центрах обробки даних за допомогою інноваційних інструментів керування, таких як iDRAC Quick Sync та iDRAC Direct, що дає змогу відстежувати стан системи всебічно та виконувати швидке розгортання.
— У серверах PowerEdge оптимізовано використання енергії, що забезпечує кращу продуктивність для Ват споживаної потужності, а також дозволяє більш точно контролювати споживання енергію та охолодження.
Dell PowerEdge R730xd надає переваги, що забезпечують максимальну продуктивність за рахунок:
— Прискорення ефективності програм за рахунок використання останніх технологій та динамічного локального сховища.
- Масштабування здійснюється легко і швидко за допомогою доступного спереду сховища, яке підтримує накопичувачі з широкого діапазону - від недорогих HDD SATA до надшвидких 2.5" SSD, а також накопичувачів з дуже низьким показником latency, таких як PowerEdge Express Flash NVMe PCIe SSDs.
R730xd добре адаптована для побудови сховищ гібридного типу завдяки застосуванню нових технологій кешування в контролері PERC, що підвищує економічну ефективність рішення Ceph.
Приклад реалізації інфраструктури зі сховищем Red Hat Ceph Storage, що складається з 5 серверів Dell R730xd, Ви можете бачити нижче:
В ході незалежних тестів різних конфігурацій платформ Dell R730xd було отримано такі результати:
Наш варіант платформи показує дуже непоганий результат, а у разі читання, мабуть, найкращий. А якщо врахувати те, що ми замовили ці платформи великою партією і за рахунок цього можемо запропонувати ціну більш ніж у 2 рази нижчу, ніж на інші варіанти платформ — він виявляється найкращим консолідовано для читання та запису за параметром cost-effective. Зрештою ніщо не заважає побудувати кластер із 7-8 платформ, замість 5. При цьому отримати ще більшу стійкість до відмов.
Чи обов'язкові 10-гігабітні свити при побудові подібних інфраструктур? Ні, не обов'язкові, один із наших клієнтів побудував інфраструктуру, правда з 3-х серверів, застосувавши таку схему підключення по локальній мережі:
Що дозволило заощадити йому багато - $350 / місяць на оренді свитча, так як 10-гігабітні свитчі досить дорогі, а ми надаємо тільки найкращі - Arista 7050tx-48-r. У рішеннях на кілька портів не бачимо сенсу.
На що здатні платформи Dell R730xd у принципі?
Нещодавно Microsoft провів найцікавіший тест продуктивності даних платформ у разі побудови сховищ даних з малою кількістю нод.
Були використані 4 ноди Dell R730xd, об'єднані в локальну 100-гігабітну мережу за допомогою 32-портового освітлення Arista DCS-7060CX-32S 100Gb, із запущеною EOS версією 4.15.3FX-7060X.1.
Конфігурація використовуваних нід наступна:
2x Xeon E5-2660v3 2.6Ghz (10c20t)
256GB DRAM (16x 16GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100Gb (Dual Port 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036
Mellanox ConnectX-4 Driver v. 1.35.14894
Device PSID MT_2150110033
Single port connected / adapter
За допомогою VMFleet було піднято 20 віртуальних машин на кожній ноді, тобто лише 80 віртуальних машин. Кожна віртуальна машина була налаштована з 1vCPU. Потім VMFleet був використаний для запуску утиліти DISKSPD для тестування продуктивності сховища на кожній з 80 нод, утиліта доступна у безкоштовному доступі . Параметри тесту наступні - 1 потік, 512KiB послідовного читання за 4 операції вводу-виводу.
Як бачите на зображенні вище, вдалося досягти неймовірного результату в 60 гігабайт в секунду сумарно, що приблизно дорівнює 5 англомовним версіям Вікіпедії в стислому вигляді (11.5GiB), які завантажуються щомиті. А швидкість з кожної віртуальної машини становила близько одного CD на секунду — 750 МБ.
Цей тест чудово демонструє те, наскільки ефективним може бути рішення, коли три компоненти – обчислювальна потужність, сховище та мережа збалансовані, що зводить до мінімуму потенційні вузькі місця, які можуть виникати у незбалансованій системі.
А що щодо платформ від інших виробників?
Порівняння Dell R730xd та HP ProLiant DL380
Для порівняння продуктивності було обрано залізо слабше, ніж пропонується в оренду нами - сервери з процесором E5-2620v3, а не Е5-2650v4, які значно продуктивніші. Основна методика тестування, використовувана цього порівняння, полягала у вимірі кількості IOPS. Використовувалося кілька різних симуляцій робочого навантаження, а саме все Read і 30% Read / 70% Write (аналог OLTP-системи, транзакційної системи, коли обробка йде невеликими транзакціями, але такими, що йдуть великим потоком, і клієнтам необхідно забезпечити мінімальний час відгуку).
Тести проводилися кілька разів, щоб унеможливити негативний вплив прихованих факторів на продуктивність системи. Спочатку були виконані базові тести на Dell R730xd і HP ProLiant DL380 з використанням виключно HDD-накопичувачів у складі сховища (5x1TB HDD RAID5), що послужило базовим показником продуктивності. Потім один і той же набір тестів був запущений зі сховищем 5x1TB HDD RAID-5 з використанням DAS-кешу, встановленого на SSD-накопичувачах з інтерфейсом SAS (2xSAS 480GB Samsung SSD RAID1) на сервері Dell, і на сервері HP із застосуванням HPE SmartCache аналогічним набором накопичувачів для сховища та кешування. Нарешті, останній набір тестів був запущений на сервері Dell із застосуванням DAS Cache на накопичувачах SSD NVMe PCIe (2x400GB Samsung NVMe у програмному RAID) для відображення максимального вкладу кешування у приріст продуктивності програм у випадках інтенсивного читання та запису. Аналогічний тест для сервера HP не проводився, тому що Smart Cache не підтримує диски NVMe для кешування.
Конфігурація систем:
Dell PowerEdge R730xd (13 Generation)
HP ProLiant DL380 (9 Generation)
сервер
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @ 2.40GHz;
Memory: 32GB DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @ 2.40GHz;
Memory: 32GB DDR4.
Операційна система/софт
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4
Windows 2012 R2 SP1;
HPE SmartCache.
Сторедж/кеш
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe Software RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
Тест
Імітація робочого навантаження OLTP на читання-запис;
300GB розмір бази даних;
4 одночасні IOMETER worker-и з глибиною черги 32.
Імітація робочого навантаження OLTP на читання-запис;
300GB розмір бази даних;
4 одночасні IOMETER worker-и з глибиною черги 32.
Було проведено кілька тестів випадкового читання/запису при різних розмірах блоку – 4 та 8КБ. Для кожного розміру блоку у свою чергу були проведені тести за 100% операцій читання, а також за 70% операцій читання та 30% запису. Тести, пов'язані з прискоренням продуктивності з допомогою кешування, запускалися на 900 секунд (15 хвилин), щоб забезпечити достатній час у тому, щоб кеш почав працювати повною мірою й одержати точніші результати.
Вимірювання продуктивності в IOPS (операції введення/виведення в секунду):
Сервер / конфігурація, що тестується
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write
Dell R730xD (без кешу)
1650
974
1540
1040
HP ProLiant DL380 (без кешу)
1370
628
1322
630
Dell R730xD
з DAS Cache
138884
66483
98368
56641
HP ProLiant DL380
з SmartCache
41273
33534
35984
39396
Dell R730xD з
DAS Cache та
NVMe PCIe SSD
264750
158157
257150
104490
Вимірювання продуктивності у % утилізації процесесора:
Сервер / конфігурація, що тестується
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write
Dell R730xD (без кешу)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (без кешу)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
з DAS Cache
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
з SmartCache
6%
6%
5%
5%
Dell R730xD з
DAS Cache та
NVMe PCIe SSD
16%
10,1%
16%
5,78%
Результати тестування показують значне зростання продуктивності у платформ Dell R730xd при застосуванні кешування SanDisk DAS cache у порівнянні з HPE SmartCache, а підтримка NVMe PCIe SSD, у свою чергу, забезпечує ще більші переваги. У OLTP симуляціях R730xd показав кількість IOPS до 3-х разів вище за рахунок застосування SanDisk DAS Cache та SAS SSD та в 6 разів вище за рахунок застосування SanDisk DAS Cache + NVMe PCIe SSDs у порівнянні з HPE SmartCache. Вищий рівень утилізації процесора при використанні SanDisk DAS Cache, і ще більший рівень утилізації у разі SanDisk DAS Cache + NVMe PCIe SSDs є лише наслідком набагато більшої кількості IOPS і показує навпаки оптимальне споживання ресурсів процесора.
Так, якщо у HP при 6% утилізації результат у IOPS становить 41 тисячу, тобто на 1 тисячу IOPS споживається 0,15% ресурсів процесора, то у випадку з Dell R730xd ми маємо 16% споживання при 264 тисячах, що забезпечує більш ефективний показник - 0,06% ресурсів процесора на 1000 IOPS.
Тобто, в плані утилізації процесора, Dell також виявляється краще (в 2,5 рази), хоча і має значення утилізації процесора в % вище, але, як ми змогли переконатися, це лише наслідок обробки значно більшої кількості операцій, а значить і кращої продуктивність.
Таким чином платформа Dell R730xd виявляється значно ефективнішою за HP ProLiant DL380 (у рази), як за продуктивністю, так і за параметром cost-effective.
Результати Geekbanch 3 тесту Dell R730xd з процесором Е5-2640 v4 або чому процесорні інструкції та кеш контролера важливі
Як ми могли переконатися вище, ми можемо досягти максимальних результатів тільки тоді, коли три компоненти — обчислювальна потужність, сховище та мережа збалансовані, тому що зведені до мінімуму потенційні вузькі місця, які можуть виникати у незбалансованій системі.
Але ще дуже важливим є підтримка процесором платформи низки інструкцій та їх ефективність. Я вже згадував вище, що, здавалося б, незначна різниця в поколіннях може грати досить істотну роль у деяких випадках. Так, за результатами незалежних тестів, Е5-2650 v4, які ми надаємо, на 70% ефективніші у разі шифрування (інструкції AES), ніж Е5-2650 v3.
А що ж тоді з «смачними» рішеннями від конкурентів із low-cost, але не преміум сегменту? Чим наші рішення кращі? Чому наші рішення преміум? Відповідь проста - наші сервери були і є збалансовані. Нехай у них були менші частоти раніше або менші обсяги пам'яті, але вони були збалансовані за трьома параметрами завжди. Включаючи надійний дата-центр з потрібними корпоративним сегментом сертифікатами та відмінними зовнішніми каналами зв'язку, які забезпечують мінімальну latency з Нідерландів, як в інші країни Європи, так і в Росію та Україну і навіть
Але зараз ми зробили конкурентну пропозицію і за цими показниками, причому одразу в 10 локаціях, в одній у Нідерландах та в 9 локаціях у США, але не будемо про нас, а давайте подивимося на тест. На жаль, цей тест доступний поки тільки для версії Е5-2640 v4, з 10, а не 12 ядрами, для нашої платформи.
Він, само собою, не дуже об'єктивний, тому що не враховує всіх переваг платформи, той же SanDisk DAS cache, про який ми говорили, реальні показники продуктивності можуть виявитися набагато кращими за синтетичні в конкретному випадку, набагато! Але все ж таки якесь розуміння можливо отримати.
Звернімо увагу на безліч інструкцій. Найбільш показовою може бути згадана AES, при приблизно однакових частотах різниця між значеннями для одного ядра може становити до 1 разів залежно від процесора, інші інструкції, які порівнювалися, показували відмінності значення від кількох до 1000 разів.
Ви можете самостійно і провести порівняння, але не забувайте, що цей тест не є повністю показовим, тому що він не враховує залізо в цілому, а в основному характеризує процесор.
Тим не менш, сподіваюся, що дані результати можуть бути корисними, при аналізі ефективності того чи іншого рішення.
Застосування серверів Dell R730xd як Bare Metal, simply better!
Деякі з наших клієнтів вирішили відмовитися від використання хмарних рішень VMware на користь рішень Bare Metal (залізних серверів) та платформа Dell R730xd їм дуже допомогла у цьому. І мова тут не тільки про публічні хмари, а й про приватні.
Чому все частіше люди приймають такі рішення? Щодо публічних хмар все більш-менш зрозуміло. Я сам належу до публічних хмар, як до великого маркетингу, якщо щось падає там (а всі хмари рано чи пізно падають) — воно падає на довго. Прикладом може служити той же відомий Амазон, який свого часу пролежав кілька діб разом із важливим сервісом зі збирання телеметричних медичних даних, у тому числі даних про стан серця хворих, які використовують кардіостимулятор, які перебували на моніторингу у лікарів, померло кілька людей. Нещодавно, коли лежав наш корпоративний Бітрікс, виявилося, що причина в тому, що співробітники, які відключали частину машин, в результаті друкарської помилки відключили більше нод, ніж було потрібно, торкнувшись ноди управління, внаслідок чого віртуальні машини перезапускалися протягом 5 годин через великого розміру кластера… Але не тільки в цьому можливе лихо, може статися так, що раптово отримаєш «пляшку» через використання хмари якимись іншими проектами або відсутність можливості оперативно керувати її інфраструктурою для задоволення власних потреб.
Що ж до приватних хмар, то теорії віртуалізація спрощує доступність і аварійне відновлення. На практиці є безліч ситуацій, коли це просто не має сенсу:
У разі технічних проблем на ноді 15-30 хвилинний даунтайм є прийнятним.
Далеко не всім проектам важливий аптайм на рівні близько 100%, хіба що школярам, які звикли платити долар та вимагати 100%. Для деяких проектів 99,9% гарантований аптайм є більш ніж прийнятним варіантом. Бо 0,1% - це недоступність максимум в 44 хвилини на місяць, яка може спостерігатися з різних незапланованих причин - з-за виходу з ладу заліза або недоступності мережі. Аптайм мережі ми гарантуємо у свою чергу на рівні 99,99% для стандартних рішень, що допускає недоступність лише 4 хвилини на місяць. У разі підключення сервера на 2 незалежні канали, які проходять через різні комунікаційні вузли та трафік яких обробляється незалежними ядрами, гарантований аптайм мережі підвищується ще в кілька разів. Що дозволяє задовольнити вимоги щодо аптайму навіть банків, для яких допустима недоступність близько 40 хвилин на рік, відповідно до сертифікації. Насправді ж періоди недоступності вкрай рідкісні. За 5 років роботи з дата-центром не було жодного разу, коли всі сервери стали одночасно недоступні через проблеми з мережею або електрикою. Навіть коли в Нідерландах стався глобальний blackout і багато інших дата-центрів стали недоступними — хтось забув заправити дизелі, хтось не мав достатньої потужності ДБЖ, у дата-центрі недоступними на короткий проміжок часу стали лише менше відсотка серверів. Деякі з серверів, які клієнти орендують у нас, навіть досить застаріле, здавалося б, залізо, з більшою ймовірністю виходу з ладу ніж нові брендові рішення, не перезавантажувалися за 3 роки жодного разу, як і за 3 роки до них жодного разу не пропадала мережа. Чи допустима недоступність у 30 хвилин за 3 роки? Більше, навіть для банків.
І виникає резонне питання, навіщо тоді переплачувати? Зрозуміло, що покладатися на випадок не варто і завжди потрібно виходити з принципу розумності резервування. Головне правило, яке я відкрив для себе: резервування має коштувати не дорожче за ті втрати, які можуть статися у разі періоду недоступності через відсутність такого резервування. Тобто, якщо гарантований аптайм допускає недоступність у 40 хвилин на місяць, а у разі недоступності протягом такого періоду часу, втрати становитимуть кілька сотень або навіть тисячу доларів — орендувати додаткове рішення для підвищення гарантії аптайму просто не має сенсу. Бо насправді сервери не будуть недоступні щомісяця по 40 хвилин, 40 хвилин недоступності — гарантія, найгірший сценарій. Яка не реалізується щомісяця, як показала практика.
Таким чином, сервери можуть бути важливими, але не критично важливими, і коли власники проектів не заперечують проти ручного перемикання навантаження на інший виділений сервер, ми можемо уникнути складнощів побудови відмовостійкого кластера та загального відмовостійкого сховища.
Низька продуктивність неприпустима протягом робочого періоду. Багато наших клієнтів вибирають bare metal рішення від Dell саме з цієї причини, набагато дешевше і вигідніше використовувати залізо по повній під час стандартного функціонування, яке практично не схильне до недоступностей, як ми вже розглянули, ніж переплачувати за хмарний варіант і ту ж продуктивність у хмарі, яка обійдеться в рази дорожче виділеного рішення. Хмара та кластеризація банально не зможуть задовольнити потреби у ресурсах, не будуть cost-effective для таких клієнтів.
Абоненти не хочуть платити багато за обслуговування обмежених можливостей. В основному наші клієнти — невеликі компанії, які не мають власних технічних відділів і фінансування на покупку власного заліза. Купівля заліза могла б стати справжнім ударом для них і не забезпечувати належної продуктивності, тому що згодом залізо має властивість застаріти, а дуже шкода викидати дороге залізо, навіть через 3 роки, в той час, коли компанія розрослася і потрібно вже щось краще. У випадку оренди у нас Dell R730xd Ви маєте можливість перейти на інший сервер у будь-який момент або через рік, якщо Ви вибираєте варіант оренди з контрактом на рік. Більше того, можна заощадити на оплаті ліцензій VMware.
Застосування серверів Dell R730xd для серверів баз даних
Багатьом нашим клієнтам, які використовують ці сервери для баз даних, дуже сподобалася ця платформа. І не тільки тому, що на відміну від Dell R730 у xd версію можливо надати за допомогою SSD накопичувачів NVMe PCIe, які забезпечують мінімальну latency, що буває вкрай важливо для таких рішень. Але й тому, що контролер неймовірно ефективний при роботі навіть із звичайними 2,5" SSD, які ми пропонуємо клієнтам.
Звичайно, є і недолік у Dell R730xd - контролер тільки 1, у той час, як у Dell R730 на 26 накопичувачів застосовується 2 апаратні контролери. Але це не є суттєвою проблемою, тому що ми вибрали платформу з 12 відсіками для накопичувачів і тому Ви не отримаєте «пляшкову шийку» у вигляді недостатньої продуктивності контролера при роботі з цією платформою і великою кількістю SSD. А перевага у вигляді можливості встановлення SSD NVMe PCIe перекриває цей недолік повноцінно.
Як уже говорили вище — не всі потребують складних кластерів для баз даних, набагато важливіша продуктивність, яку може забезпечити ця платформа. Один з наших клієнтів так і вчинив, відмовився від надмірностей віртуалізації та побудови складних кластерів, орендувавши VPS з виділеними накопичувачами для резервних копій бази даних із основного сервера Dell R730xd: Звісно, у разі проблеми з основною нодою буде деяке зниження продуктивності і виникне необхідність ручного перемикання, проте — це більш ніж економічно-ефективне рішення, враховуючи обмежений бюджет.
Ми не закликаємо всіх до такої економії, у деяких випадках вона навіть дуже виправдана. Тим не менш, збільшивши бюджет лише на 230 доларів на місяць, можна дозволити вже ідентичну ноду E5-2650 v4 і з'єднати їх між собою в 20-гігабітну локальну мережу, що в принципі дозволить побудувати невеликий кластер з допустимою latency навіть без застосування PCIe NVMe SSD-накопичувачів.
Саме рішення буде виглядати так (з базовим набором накопичувачів):
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТБ + Intel X540-T2 20GBPS LAN - $289 / місяць
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТБ + Intel X540-T2 20GBPS LAN - $289 / місяць
Збільшувати їх кількість збільшення продуктивності є сенс який завжди. Так, в ході тестів з базами даних, ми виявили, що рішення з 8 SSD ефективніше рішення з 4 SSD лише на 35%.
Що стосується рекомендованих рівнів RAID, то RAID5 в деяких випадках може бути дуже оптимальним. Звичайно, RAID10 забезпечує кращу продуктивність, однак, якщо накопичувачі настільки швидкі, що застосування їх в RAID10 може призвести до того, що контролер стане вузьким місцем? У таких випадках побудова HW RAID масиву RAID5 набагато вигідніша із застосуванням накопичувачів hot-spare, ніж RAID10 (якщо стоїть завдання не втрачати половину SSD-квоти).
Чи потрібно щоб кеш контролера був увімкненим або краще відключити його? RAID-контролер має дуже обмежений об'єм пам'яті, що таке 1GB у разі роботи з SSD? У випадках зі швидкими SSD немає сенсу у включеному кеші на читання, тому що забиваючи пам'ять операціями читання, які анітрохи не стануть швидше, оскільки SSD і так досить швидкі, ми не залишаємо достатнього кешу на запис, а, як відомо, у недорогих SSD - Вузьким місцем є операції запису, за рахунок падіння продуктивності при недостатньому обсязі over-provisioning і 100% утилізації вільної квоти (можливе падіння в десятки разів). Тому ми рекомендуємо залишити лише кеш на запис. Тим самим забезпечивши максимальну ефективність цього рішення.
Чи велике значення має розмір блоку NTFS? Для більшості сховищ 64КБ вказано як оптимальний розмір блоку для забезпечення максимальної продуктивності. Але дуже часто ми стикаємося з випадками, коли клієнт вже використовує сервер для баз даних, застосувавши початкову настройку зі стандартним розміром NTFS кластера в 4КБ. Щоб виправити це, потрібно заново відформатувати накопичувачі, але чи така велика різниця в загальному випадку? Чи потрібно наражати себе на можливий даунтайм і незручності пов'язані з міграцією?
Контролер у сервері Dell R730xd забезпечує настільки хорошу продуктивність навіть з 4 накопичувачами SSD і включеним кешем на запис (дуже важливий момент, кеш на читання має бути відключений, бо не дає ніяких переваг, а лише знижує ефективність операцій запису за рахунок нестачі простору для повноцінного кешу, як вказали вище), що навіть за стандартного розміру блоку в 4КБ, отримуємо дуже хороші показники продуктивності, надзвичайно хороші.
Тим не менш, ми завжди йдемо на зустріч і готові запропонувати аналогічну платформу на час для проведення робіт абонентами, якщо щось ними було не враховано.
RAMdrive все ж таки виявляється швидше за швидкість SSD-накопичувачів. Якщо Ваші запити можуть оброблятися в TempDB, наприклад, сортування або об'єднання, то застосування RAMdisk (програми, яка перетворює частину Вашої оперативної пам'яті на накопичувач) може бути виправданим. Так, порівнявши швидкість 8 SSD накопичувачів RAID10 з RAMdrive ми виявили, що вона приблизно в 4 рази швидше, при операціях запису 4K c глибиною черги 32, що якраз імітує роботу файлів TempDB. Навіть об'єднавши 8 SSD у RAID0 побити результати RAMdrive не вдалося.
RAID5 у випадку 8 накопичувачів SSD може бути ефективнішим за RAID10. Операції читання 4К з глибиною черги 32 швидше приблизно на 40%, і це не дивно з огляду на особливості RAID5. RAID5 виграє за продуктивністю і в інших тестах, так при послідовному записі він на 20%, чи поступається він лише при операціях запису 4К з великою глибиною черги (у нашому випадку 32) і менш ефективним на 30%. Так що застосування RAID5 може в деяких випадках бути економічно виправданим.
Більше накопичувачів не завжди означає швидше. Коли ми маємо справу з випадковими невеликими операціями, додавання накопичувачів до масиву після певної межі не покращує продуктивність. Здавалося б, чому? Виявляється все упирається у можливості контролера, який змушений записувати дані на цілу купу накопичувачів. Саме тому ми й закупили платформи з максимум 12 накопичувачами, щоб зменшити ймовірність появи «пляшкового шийки». Тим не менш, потрібно дивитися на інтенсивність операцій в межах кожного проекту, іноді 4 накопичувачі більшого обсягу, скажімо 960GB, можуть виявитися кращим і економічно ефективнішим рішенням, ніж купа накопичувачів на 480GB.
Застосування Dell R730xd для серверів Aerospike NoSQL Data
Aerospike - база даних NoSQL з відкритим вихідним кодом, оптимізована для флеш-пам'яті, що забезпечує високу швидкість роботи та масштабованість. Aerospike створена для забезпечення дуже низької latency при запитах на читання та великому навантаженні на запис, що задовольняє сучасні вимоги бізнесу, що потребує забезпечення можливості обробки великої кількості операцій введення-виведення. Aerospike безпосередньо управляє локальним сховищем на вузлах свого кластера незалежно від файлових систем вихідних носіїв, будь то DRAM, flash або традиційні жорсткі диски. Це дозволяє зберігати найважливіші дані на швидкому носії, швидка обробка яких найбільш критична, у той час як розподілений характер бази даних Aerospike забезпечує високий ступінь надійності у разі збоїв вузла кластера.
Сервери Dell 13-го покоління, а саме PowerEdge R730xd, з найновішими процесорами E5-2650 v4 та швидкою DDR4 SDRAM, забезпечують неймовірну обчислювальну потужність. А можливість використання NVMe SSD, таких як Samsung SM1715, може допомогти отримати у вузлах з високим навантаженням величезну продуктивність за мінімальної latency. Що дозволяє дотриматися сучасних вимог SLA на час обробки однієї транзакції з надійним рівнем захисту від фроду навіть у дуже великих базах даних, роблячи рішення прийнятним навіть для фінансового сектора та банківських переказів, де транзакції часом проводяться протягом декількох годин, і навіть днів.
Для банківського сектора ми можемо запропонувати рішення на основі цих платформ з локальною мережею в 40 та 100 Гбіт/с між вузлами кластера та застосуванням відповідних свитчів.
Застосування серверів Dell R730xd у DMZ-мережах
Ми раді запропонувати нашим абонентам найвищі стандарти безпеки. Дата-центри, в яких ми пропонуємо ці сервери, мають безліч сертифікацій: , , , и .
Але для того, щоб задовольнити вимоги того ж Google, деяким клієнтам потрібна побудова так званих демілітаризованих мереж (DMZ-мереж) - мереж з підвищеною безпекою, що передбачає наявність апаратного firewall, який обмежує доступ до обладнання і дозволяє приховати необхідні компоненти за брандмауером більше підвищити безпеку.
І все ок, коли таке рішення замовляється відразу, але дуже складно реалізувати перехід практично без даунтайму в процесі, що нещодавно відбулося з одним з наших клієнтів, з проектом з опрацювання заяв на отримання віз для громадян з різних країн світу, де недоступність навіть протягом години може призвести до збитків на десятки тисяч доларів. Але ми знайшли рішення, пішли на зустріч, поставили додаткове обладнання в шафу, перемістивши менш важливе, а firewall включили за схемою, як і побажав клієнт, щоб він міг провести міграцію без даунтайму.
Було стало
Можливо, дана схема також виявиться для когось корисною при здійсненні подібної міграції, оскільки інженери в дата-центрах не завжди хочуть бачити очевидні речі, а наполягають на даунтаймі о 2 годині для перемикання за firewall, але дуже прошу Вас — замовляйте апаратний firewall. заздалегідь, якщо він Вам необхідний. Ми гнучкі і завжди йдемо на зустріч, але в деяких ситуаціях наші можливості можуть бути обмежені.
У майбутніх публікаціях ми спробуємо провести низку додаткових тестів і поділимося додатковим досвідом, пов'язаним із використанням даних платформ, які дозволять ще більше підвищити розуміння добірки найефективнішого рішення. Адже дивно бачити той факт, що RAID0 із двох SSD накопичувачів, у випадках баз даних з високим навантаженням може виявитися повільнішим, ніж окремо взятий накопичувач на запис, саме тому до нас час від часу надходять запити на NVMe PCIe SSD. Цілком ймовірно, що ми покажемо найбільш ефективні сценарії реалізації рішень, поділимося додатковим досвідом, коли побудова численних RAID масивів в межах одного RAID контролера виявляється ефективним, покажемо в яких випадках два незалежні масиви RAID10 з 4-х накопичувачів виявляться кращими за один масив RAID10 з 8. Коли буде ефективно застосовувати RAID1 для TempDB, а RAID5 для решти. І як можна обійтися без NVMe PCIe SSD, коли є обмежений бюджет.
Dell R730xd: бонус для читачів Habrahabr
Ми хочемо надати Вам краще і зробили все для цього, запропонувавши унікальні ціни на Dell R730xd:
- у Нідерландах
- І в США
Зміни можуть бути найрізноманітніші, наприклад, для моментальної активації в Нідерландах доступні такі:
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 ТБ -*$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 ТБ -*$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4×480 SSD 1Gbps 100 ТБ - *$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 ТБ - *$249
А чесний виділений 1Gbps Unmetered (без урахування трафіку) до них доступний за $120/місяць. Плюс можливість докупити firewall, мережеві карти, свитч та побудувати мультигігабітну локальну мережу. Але умова за ціною діє за контракту на рік.
Ми хочемо покращити умову та запропонувати бонус при короткостроковій оплаті та оренді без контракту, зробивши пропозицію більш доступною. Усім, хто замовить та сплатить будь-який із запропонованих варіантів у Нідерландах на термін 1 місяць, ми надамо такий самий сервер на 1 місяць абсолютно безкоштовноабо проведемо перерахунок на замовлену конфігурацію і порахуємо замовлений сервер за ціною, як при річному контракті ($249 / місяць замість $369 / місяць), повернувши різницю на баланс. Для цього достатньо залишити номер замовлення у коментарі. Тим же, хто поки не доріс до виділених рішень, ми пропонуємо орендувати будь-який VPS (KVM) з виділеними накопичувачами в Нідерландах або США на цих платформах, наприклад, , та отримати бонусом 1-4 місяці користування при оплаті на 1, 3, 6, 12 місяців відповідно, із зазначенням номера замовлення у коментарі. Тепер збудувати інфраструктуру стало простіше!
Джерело: habr.com