Как да изградим инфраструктура Corp. клас с използване на сървъри Dell R730xd E5-2650 v4 на стойност 9000 евро за стотинка?

В тази статия ще ви разкажем какви инфраструктурни решения внедряват нашите клиенти, използвайки сървърни платформи Dell R730xd и защо цената за наемане на тази платформа е Европейски център за данни TierIII+ ниво с отлични комуникационни канали към Украйна и Русия, както и на 9 места в САЩ, вече с разположение и свързаност на цена от $249 / месец за 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480 SSD 1Gbps се превърна в реалност. Ще споделим възможни решения, базирани на тези платформи, използващи частна vlan, 10G локална мрежа и хардуерна защитна стена от CISCO, които са достъпни за нашите клиенти при поискване. И също така, в най-добрите традиции, ще предложим бонус под формата на безплатен период на използване на сървъри Dell R730xd за читателите на Habrahabr.

Напоследък получаваме все повече заявки за изграждане на различни корпоративни инфраструктури, като това за съжаление е свързано не толкова с факта, че предоставяме много качествени решения, а с цената на тези решения и нивото на сигурност и върховенство на закона, което се предоставя в Холандия и САЩ, но, уви, често е недостъпно в Украйна и Русия. Където, за съжаление, подобни решения струват просто „астрономически“ пари, тъй като концепцията за „дългосрочни пари“ е чужда на постсъветските страни по принцип, на фона на други рискове или поради липсата на необходимата инфраструктура и ниво на сертифициране.

Добър пример тук би била разликата в цената на хардуера. напр. Платформа Dell R730xd, закупени за нашите клиенти, в базовата конфигурация 2 x Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD струва около 9000 евро. От само себе си се разбира, че не може да става въпрос за ниска цена за наемане на този сървър в Украйна или Русия, тъй като цената на наема се основава на изплащането на цената на платформата за период от 12-18 месеца. Това означава, че минималната възможна наемна цена, без разходите за настаняване, електричество и комуникационни канали, ще бъде от порядъка на $500-800 / месец, в зависимост от степента на риск на доставчика и бизнес плана. Също така трябва да намерите добър център за данни с необходимото ниво на сертифициране и комуникационни канали. Е, не забравяйте да вземете предвид рисковете от незаконно изземване на оборудване по време на някои незаконни следствени действия, които могат да възникнат поради конкуренцията и спецификата на правене на бизнес в определен регион.

Ето защо не е изненадващо, че нашето предложение предизвика голям интерес, още повече, че центровете за данни, в които предоставяме предложените сървъри, притежават много сертификати, необходими и важни за корпоративния сектор - ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Сега нека разгледаме няколко случая, които могат да представляват интерес както за начинаещи и малки проекти, така и за доста големи системни интегратори, които изграждат решения в своите офиси в зони за задържане или в центрове за данни.

Предимства на платформите Dell R730xd при изграждане на складове за данни с помощта на Red Hat Ceph

Не е тайна, че изискванията за съхранение и обработка на данни нарастват непрекъснато и то с ускорени темпове. Ако преди няколко години беше достатъчно да имате 1TB място за съхранение, което осигуряваше няколкостотин IOPS, сега нуждите са нараснали до десетки хиляди IOPS и петабайти пространство. Тези изисквания за капацитет и производителност се подхранват отчасти от увеличаването на обема на неструктурирани данни, включително музика, изображения, видеоклипове, резервни копия на бази данни, лог файлове и други архиви, финансови и медицински данни - данни, известни като "Големи данни". Да не говорим за нарастващите изисквания за съхранение на данни в резултат на разпространението и разширяването на интернет и новите интернет ресурси. Така че, с всички тези изисквания за мощност, очакванията на клиентите за висока надеждност и висока производителност са по-големи от всякога.

Докато ИТ компаниите се опитват да разрешат проблемите с управлението на петабайти и дори екзабайти данни, моделът на облачно съхранение става все по-често срещан в съвременните центрове за данни. Пишат се все повече и повече нови софтуерни системи, които ви позволяват да конфигурирате взаимодействието на облачната среда с хардуера по оптимален начин; едно от тези разработки е Ceph.

Ceph е разпределена система за съхранение с отворен код, предназначена да осигури висока производителност, надеждност и мащабируемост. Ceph реализира съхранение на обекти в разпределен компютърен клъстер и предоставя интерфейси за съхранение на обекти, блокове и файлове. Ceph осигурява напълно разпределено съхранение без нито една точка на повреда и мащабируемост до ниво петабайт. Ceph репликира данни и по този начин осигурява толерантност към грешки. Системата е проектирана по такъв начин, че не само да осигурява независимо възстановяване, но и управление, което помага да се избегнат ненужни разходи за поддръжка. Тъй като Ceph използва хардуер с общо предназначение, контролиран от софтуер, а функциите за управление са достъпни чрез интерфейси за програмиране на приложения (API), той се класифицира като софтуерно дефинирано хранилище (SDS).

Red Hat Ceph Storage е готова за използване система за съхранение, софтуерно дефинирано хранилище, което е отворено, адаптивно, мащабируемо и се поддържа навсякъде. Комбинира иновации от разработката с отворен код с техническо ядро ​​и поддръжка от Red Hat. Решението осигурява тясна интеграция с OpenStack и е проектирано от самото начало, за да позволи съхранение от следващо поколение както за облачни среди, така и за други работни натоварвания.

Тук ще разгледаме пример за внедряване на това решение на сървъри на Dell, по-специално на Dell PowerEdge R730xd, който предлагаме под наем, и ще разгледаме предимствата на изграждането на хранилище на базата на тези платформи. Тази информация може да бъде полезна за архитекти, инженери и ИТ администратори, които искат да проучат предимствата от използването на Red Hat Ceph Storage на Dell PowerEdge сървъри и които трябва да проектират и планират внедрявания, като използват доказани най-добри практики.

Но в началото:

Малко за самата платформа, коя опция предлагаме и защо е рентабилна?

Dell PowerEdge R730xd е една от най-добрите платформи за корпоративни задачи и извън тях, печели много различни награди и е доста ефективно решение за съхранение, тъй като може да осигури съхранение с висока плътност за разумни пари.

PowerEdge R730xd се предлага в три конфигурации на шасито с различни форм-фактори и комбинации от задвижвания, както и допълнителен заден разширителен модул:

- 24 предни достъпни гнезда 2,5" за SAS, SATA или nearline SAS устройства плюс 2 опционални гнезда 2,5" задни. 2,5-инчовото шаси може по избор да поддържа до 4 PCIe Express флаш устройства от Dell отпред.
- 12 достъпни отпред гнезда за 3,5" SAS, SATA или nearline SAS устройства с 4 допълнителни вътрешни 3,5" отделения за устройства с възможност за смяна на горещо, плюс две допълнителни гнезда 2,5" отзад.
- 18 предни достъпни гнезда 1,8" за SATA, 8 гнезда 3,5" за SAS, SATA или nearline SAS устройства, плюс 2 опционални гнезда 2,5" отзад.

Изглежда, че всяко шаси е добро за своя вид задача. Това е сигурно. Но наистина ли са еднакво рентабилни?

Спряхме се на втория вариант, за да задоволим нуждите на възможно най-широк кръг потребители на шаси с 12 отделения за устройства. Защото го смятаме за най-ефективен. И ето защо. Икономическата ефективност на решението вече се проявява в неговата гъвкавост - в това шаси могат да се инсталират дискове с различни форм-фактори и е по-евтино да се купуват, а също така, което е важно, можете да получите по-голяма производителност при работа с данни, използвайки няколко платформи, свързани по-скоро отколкото само един с висока плътност на съхранение и очевидно по-ниска производителност.

Ние вярваме, че чрез свързване на няколко подобни платформи в мулти-гигабитова локална мрежа (възможно е да свържете всеки възел към локална мрежа със скорости от 20 Gbit / s или повече, като използвате двупортови десет гигабитови карти Intel X540-T2, които предоставяме допълнително), можем да постигнем значително по-добри резултати и производителност от платформи с по-висока плътност на съхранение. Това е особено критично за инфраструктури, които използват тези платформи за работа с бази данни. Уви, с голям брой устройства контролерът може да бъде доста претоварен и допълнителен контролер във версията xd, уви, не е наличен. Производителността, която може да се постигне при използване на платформи с точно 12 отделения и локална мулти-гигабитова мрежа, ще бъде много по-висока, а решението от своя страна ще бъде по-разпространено и надеждно. С една дума - изгодно!

Характеристики на структурата и дизайна, използването на видеокарти

Платформата Dell PowerEdge R730xd, с размери само 2U, поддържа до 2 процесора Intel Xeon E5-2600 v3 и по-високи, тоест ви позволява да получите до 36 ядра, когато използвате 18-ядрени процесори. Избрахме междинен вариант, но най-новото поколение - 12-ядреният процесор E5-2650 v4 (общо 24 ядра на ваше разположение и като се вземе предвид многопоточността - 48 ядра), тъй като се оказа най-скъпият - ефективен. Така че в четвъртото поколение се изпълняват по-ефективни инструкции на процесора, например AES, който отговаря за криптирането на данни, е 70% по-ефективен от същите процесори, но третото поколение. В същото време процесорът и платформата могат да поддържат до 1,54 TB RAM, което е важно в някои много специфични случаи. Избрахме най-популярния вариант, най-достъпен като цена и скорост на работа - 128GB DDR4 RAM и предоставихме възможност за надстройка по желание на абонатите.

На предния панел на R730xd има 6 индикатора за състояние на системата, които могат да ви уведомят за различни проблеми, така че можете да избегнете много критични проблеми, като вземете подходящи мерки навреме. DIMM слотовете за RAM са разположени директно на дънната платка. R730xd поддържа регистрирани DIMM модули за коригиране на грешки, както и LRDIMM (модули с двойна памет с намалено натоварване), сравнително нов тип памет за сървъри. Но ние не го използваме, тъй като LRDIMM стават полезни само за големи количества памет, когато целта е да се увеличи скоростта на работа.

Вътрешният двоен SD модул (IDSDM) позволява на клиентите да разположат устойчивата на грешки технология за виртуализация на Dell, която осигурява излишък при отказ за вградени хипервайзори. Въпреки че PowerEdge R730 поддържа графични процесори, които могат да бъдат много полезни във виртуални офис среди (виртуални настолни компютри), както и за високопроизводителни изчисления и съвместна обработка, R730xd не поддържа графични процесори, тъй като не може да се осигури правилно охлаждане на видеокартите. Засега обаче имаме малко търсене на тази услуга и само един от нашите абонати е поръчал видеокарта за сървъра. Поради тази причина не поръчахме R730 платформи на едро, но можем да ги доставим при поискване, оборудвани с една от препоръчаните карти.

Поради това, за съжаление, цената за наемане на решение не може да бъде толкова атрактивна и се увеличава повече от 2 пъти, в зависимост от периода на плащане и срока на договора. Предлагаме да закупим самите карти чрез нашия доставчик в Холандия, цените са дадени по-долу и само от този препоръчителен списък (това бяха препоръките на самия Dell, когато направихме заявката), може би тази информация ще бъде полезна за някого:

NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
Графичен процесор NVIDIA Tesla M40: 4,913.33 XNUMX EUR
NVIDIA Tesla M40 24GB GPU, комплект по поръчка: 6,458.95 EUR
Графичен процесор NVIDIA M60, пасивен, изисква GRID 2.0 SW за VDI функция, комплект по поръчка: 5,094.95 XNUMX EUR

Лицензи:
Лиценз за абонамент на Nvidia GRID vApps 3 години, 1 CCU: 20 EUR
Лиценз за абонамент за Nvidia GRID vPC 3 години, 1 CCU: 95 EUR
Лиценз за абонамент за Nvidia GRID vWS 3 години, 1 CCU: 480 EUR

Така че, ако сте готови за минимум 2 години договор за наем на сървър Dell R730 (не xd, затова решението е много по-скъпо) - свържете се [имейл защитен], ще се радваме да ви помогнем! Използвайки една от видеокартите, препоръчани по-горе, в DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU конфигурация и 2-годишен договор, ще струва приблизително $6816 на година, вместо $2988 на година в случая Платформата Dell R730xd+, разгледана в статията, ще изисква плащане за цената на видеокартата и лиценза, тъй като това е много специфично оборудване.

Въпреки това дори тази цена е много по-привлекателна от цените, които центровете за данни в Украйна и Русия могат да предложат за такива решения, ако изобщо искат да предоставят такива решения... Защото, колкото и да е странно, в Холандия, където сътрудничеството с Dell се установява директно, обещаното време за доставка на сървъра с видеокарта беше почти 2 месеца от момента, в който клиентът направи поръчката (клиентът се съгласи да изчака, тъй като на пазара просто няма алтернативи), поради силната специфика на този продукт Dell просто не са го имали на склад. Въпреки това доставката беше завършена за по-малко от месец. Благодаря на отдела за доставка на центъра за данни и на момчетата от Dell за тяхната ефективност. Но за мен това изживяване все още беше необичайно, тъй като стандартните платформи Dell R730xd се доставят в рамките на няколко дни.

Контроли и възможности на PERC контролера

Сървърът може да се управлява чрез удобния iDRAC8 (Integrated Dell Remote Access Controller 8) с Dell Lifecycle Controller, което намалява времето, прекарано в задачи за управление, намалява вероятността от грешки, подобрява сигурността и подобрява цялостната ефективност на вашата ИТ среда.

За нашите абонати достъпът до iDRAC8 се предоставя чрез RMI (интерфейс за отдалечено управление), който е достъпен изключително от мрежата на частния център за данни за целите на сигурността, достъпът до който предоставяме безплатно чрез Open VPN тунел. След като влезете, iDRAC показва системен преглед, както и изглед на виртуална конзола чрез iKVM.

Бих искал да обърна специално внимание на мониторинга; iDRAC8 ви позволява да получите статистически данни за консумацията на енергия за последния час, ден или седмица и да ограничите максималната консумация на енергия:

Системата за мониторинг и запис на температурата iDRAC ви позволява да събирате данни от температурни сензори и да определяте диапазона, в който се намира. По този начин се счита за приемливо процесорите да бъдат в температурния диапазон Warning само през 10% от времето през годината и Critical за 1%. Времето в критичната лента също влияе върху допустимото време в предупредителната лента. Събирането на данни за температурата започва, когато системата е включена след излизане от фабриката и не може да бъде нулирана.

13-то поколение сървъри Dell PowerEdge е оборудвано с контролери PERC9, в които технологията LSI CacheCade, използвана преди в контролерите PERC8, е заменена с по-ефективна - DAS Cache от SanDisk.

При синтетични тестове DAS Cache значително ускорява производителността на HDD масивите в случаи на хибридни HDD+SSD конфигурации. И така, в случай на масив от 5 твърди диска в RAID6 (ниво 6 е избрано за осигуряване на максимален капацитет) и 5 ​​SSD RAID10 (4 + 1 горещо резервно SSD за максимизиране на производителността на масива) при използване на DAS Cache, производителността на масивът е 5 HDD RAID6 + DAS Cache на посочения SSD масив се оказа близък до производителността на самия SSD масив:

И така, след като се запознахме малко с платформата, сега можем да разгледаме предимствата на тази платформа при изграждането на складови съоръжения.

Какво прави платформата Dell R730xd оптимална за внедряване на складове за данни, особено Red Hat Ceph?

Средата за съхранение на Red Hat Ceph използва индустриални стандартни сървъри за мащабируемост, устойчивост и производителност. Методите за защита на данните играят ключова роля в цената на решението. Ceph позволява на потребителя да избира различни методи за сигурност за различни пулове за съхранение.

Репликираните пулове за съхранение произвеждат пълни копия на съхранени обекти и са идеални за бързо възстановяване и манипулиране на данни. В случай на репликиран пул за съхранение, Ceph по подразбиране е с коефициент на репликация три, когато три копия на данни се намират на три отделни възела на Ceph.

Устойчивите на корупция пулове за съхранение осигуряват едно копие на данни с паритет, което е полезно, когато се изисква дългосрочно съхранение на данни и е рентабилно.

PowerEdge R730xd е изключително гъвкав и мащабируем сървър за стелажи с две единици, който осигурява високопроизводителна обработка и широка гама от оптимизирани за работно натоварване опции за локално съхранение, включително хибридни нива. Разработката включва широка гама от конфигурации, което е идеално за Ceph.

— R730xd предоставя възможност за създаване на високоефективни инфраструктурни решения както за малки, така и за големи предприятия.
— R730xd намалява времето за пускане в експлоатация с възможности за автоматизирано разгръщане, което намалява въвеждането на потребителя и намалява човешките грешки.
„PowerEdge сървърите подобряват ИТ производителността на центровете за данни с иновативни инструменти за управление като iDRAC Quick Sync и iDRAC Direct, осигурявайки цялостна видимост на изправността на системата и бързо внедряване.
„Сървърите PowerEdge оптимизират потреблението на енергия, осигурявайки по-добра производителност на ват и по-прецизен контрол върху консумацията на енергия и охлаждането.

Dell PowerEdge R730xd предоставя предимства, които гарантират максимална продуктивност чрез:

— Ускорете ефективността на приложенията чрез използването на най-новите технологии и динамично локално съхранение.
„Мащабирането е лесно и бързо със съхранение с преден достъп, което поддържа широка гама от устройства от евтини SATA HDD до ултра-бързи 2.5" SSD, както и устройства с ултра ниска латентност като PowerEdge Express Flash NVMe PCIe SSD.
- R730xd е много подходящ за хибридни дизайни за съхранение благодарение на използването на нови технологии за кеширане в PERC контролера, което повишава ефективността на разходите на решението Ceph.

Пример за внедряване на инфраструктура с Red Hat Ceph Storage, който се състои от 5 Dell R730xd сървъра, можете да видите по-долу:

По време на независими тестове на различни конфигурации на платформи Dell R730xd бяха получени следните резултати:

Нашата версия на платформата показва много добри резултати, а в случай на четене, може би най-добри. И ако вземем предвид факта, че поръчахме тези платформи в големи количества и поради това можем да предложим цена над 2 пъти по-ниска от тази за други варианти на платформа - тя се оказва най-добрата консолидирана за четене и писане по отношение от параметъра за рентабилност. В крайна сметка нищо не ви пречи да изградите клъстер от 7-8 платформи, вместо 5. В същото време получавате още по-голяма отказоустойчивост.

Необходими ли са 10-гигабитови комутатори при изграждането на такива инфраструктури? Не, не е задължително, един от нашите клиенти изгради инфраструктура, макар и от 3 сървъра, използвайки следната схема за свързване към локална мрежа:

Което му позволи да спести доста - $350 / месец за наем на суич, тъй като 10-гигабитовите суичове са доста скъпи, а ние предлагаме само най-доброто - Arista 7050tx-48-r. Не виждаме смисъл в решения за множество портове.

На какво по принцип са способни платформите Dell R730xd?

Неотдавна Microsoft проведе интересен тест за производителността на тези платформи в случай на изграждане на хранилища за данни с малък брой възли.

Използвахме 4 възела Dell R730xd, обединени в локална 100-гигабитова мрежа с помощта на 32-портов комутатор Arista DCS-7060CX-32S 100Gb, работещ с EOS версия 4.15.3FX-7060X.1.

Конфигурацията на използваните възли е както следва:

2x Xeon E5-2660v3 2.6Ghz (10c20t)
256GB DRAM (16x 16GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100Gb (двоен порт 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036/XNUMX/XNUMX г
Mellanox ConnectX-4 драйвер v. 1.35.14894
PSID на устройството MT_2150110033
Единичен свързан порт / адаптер

С помощта на VMFleet бяха повдигнати 20 виртуални машини на всеки възел, т.е. общо 80 виртуални машини. Всяка виртуална машина беше конфигурирана с 1vCPU. След това VMFleet беше използван за стартиране на помощната програма DISKSPD за тестване на производителността на съхранение на всеки от 80-те възела, помощната програма е достъпна безплатно тук. Параметрите на теста са както следва - 1 поток, 512KiB последователно четене за 4 I/O операции.

Както можете да видите на изображението по-горе, успяхме да постигнем невероятен резултат от общо 60 гигабайта в секунда, което е приблизително равно на 5 английски версии на Wikipedia в компресиран вид (11.5GiB), които се изтеглят всяка секунда. А скоростта от всяка виртуална машина беше около едно CD в секунда - 750 MB.

Този тест идеално демонстрира колко ефективно може да бъде едно решение, когато трите компонента изчисление, съхранение и работа в мрежа са балансирани, свеждайки до минимум потенциалните затруднения, които могат да възникнат в небалансирана система.

Какво ще кажете за платформи от други производители?

Сравнение на Dell R730xd и HP ProLiant DL380

За сравнение на производителността избрахме по-слаб хардуер от този, който предлагаме под наем - сървъри с процесор E5-2620v3, вместо E5-2650v4, които са значително по-производителни. Основната методология за тестване, използвана за това сравнение, беше да се измери броят на IOPS. Използвани са няколко различни симулации на работно натоварване, а именно всички четене и 30% четене / 70% запис (аналогично на OLTP система, транзакционна система, когато се обработват малки транзакции, но голям поток и клиентите трябва да осигурят минимално време за отговор).

Тестовете бяха проведени няколко пъти, за да се елиминира отрицателното въздействие на скрити фактори върху производителността на системата. Първо, проведохме някои основни тестове на Dell R730xd и HP ProLiant DL380, използвайки само HDD хранилище (5x1TB HDD RAID5), за да предоставим базова производителност. Същият набор от тестове след това беше проведен с 5x1TB HDD RAID-5 съхранение, използвайки DAS кеш, инсталиран на SAS SSD (2xSAS 480GB Samsung SSD RAID1) на сървър на Dell и на сървър на HP, използващ HPE SmartCache с подобен набор от устройства за съхранение и кеширане. И накрая, последният набор от тестове беше проведен на сървър на Dell, използващ DAS Cache на NVMe PCIe SSD дискове (2x400GB Samsung NVMe в софтуерен RAID), за да покаже максималния принос на кеширането за повишаване на производителността на приложенията в случаи на интензивно четене и запис. Подобен тест не е извършен на сървъра на HP, тъй като Smart Cache не поддържа NVMe устройства за кеширане.

Системна конфигурация:

Dell PowerEdge R730xd (13-то поколение)
HP ProLiant DL380 (9-то поколение)

Сървър
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Памет: 32GB DDR4.
CPU: x86-64 - Intel Xeon CPU E5-2620 v3 @2.40GHz;
Памет: 32GB DDR4.

Операционна система/софтуер
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.

Съхранение/кеш
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2x400GB Samsung NVMe софтуерен RAID.
5x1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.

Тест
Симулиране на работно натоварване за четене и запис на OLTP;
300GB размер на базата данни;
4 едновременни работници на IOMETER с дълбочина на опашката от 32.

Симулиране на работно натоварване за четене и запис на OLTP;
300GB размер на базата данни;
4 едновременни работници на IOMETER с дълбочина на опашката от 32.

Бяха проведени няколко произволни теста за четене/запис при различни размери на блокове - 4 и 8 KB. За всеки размер на блок на свой ред бяха проведени тестове при 100% операции за четене, както и при 70% операции за четене и 30% операции за запис. Тестовете, свързани с ускоряване на производителността с помощта на кеширане, бяха проведени за 900 секунди (15 минути), за да осигурят достатъчно време, за да може кешът да започне да функционира напълно и да даде по-точни резултати.

Измерване на производителността в IOPS (входно-изходни операции в секунда):

Сървър/конфигурация в процес на тестване
4KB RR
100% прочетено
4KB RR
70% четене 30% писане
8KB RR
100% прочетено
8KB RR
70% четене 30% писане

Dell R730xD (без кеш)
1650
974
1540
1040

HP ProLiant DL380 (без кеш)
1370
628
1322
630

Dell R730xD
с DAS Cache
138884
66483
98368
56641

HP ProLiant DL380
със SmartCache
41273
33534
35984
39396

Dell R730xD с
DAS Кеш и
NVMe PCIe SSD
264750
158157
257150
104490

Измерване на производителността в % използване на процесора:

Сървър/конфигурация в процес на тестване
4KB RR
100% прочетено
4KB RR
70% четене 30% писане
8KB RR
100% прочетено
8KB RR
70% четене 30% писане

Dell R730xD (без кеш)
0,4%
0,28%
0,42%
0,3%

HP ProLiant DL380 (без кеш)
0,8%
0,5%
0,8%
0,5%

Dell R730xD
с DAS Cache
13%
8,8%
11,34%
7,83%

HP ProLiant DL380
със SmartCache
6%
6%
5%
5%

Dell R730xD с
DAS Кеш и
NVMe PCIe SSD
16%
10,1%
16%
5,78%

Резултатите от теста показват значителни подобрения в производителността за платформите Dell R730xd при използване на SanDisk DAS кеширане в сравнение с HPE SmartCache, а поддръжката на NVMe PCIe SSD осигурява още по-големи предимства. В OLTP симулации, R730xd показа до 3 пъти по-високи IOPS поради използването на SanDisk DAS Cache и SAS SSD и 6 пъти по-високи поради използването на SanDisk DAS Cache + NVMe PCIe SSD в сравнение със SmartCache на HPE. По-високото използване на CPU със SanDisk DAS Cache и още по-високото използване на CPU със SanDisk DAS Cache + NVMe PCIe SSD е просто следствие от много по-високия брой IOPS. и, напротив, показва по-оптимално потребление на процесорни ресурси.

И така, ако при HP с 6% използване резултатът в IOPS е 41 хиляди, тоест 1% процесорни ресурси се консумират на 0,15 хил. IOPS, то в случая на Dell R730xd имаме 16% потребление при 264 хиляди, което осигурява по-ефективен показател — 0,06% процесорни ресурси на 1000 IOPS.

Тоест, по отношение на използването на процесора, Dell също се оказва по-добър (2,5 пъти), въпреки че има стойности на използване на процесора, които са с % по-високи, но, както успяхме да проверим, това е само следствие от обработката значително по-голям брой операции и следователно по-добра производителност.

Така платформата Dell R730xd се оказва значително по-ефективна от HP ProLiant DL380 (в пъти), както по отношение на производителност, така и по отношение на разходна ефективност.

Резултати от теста на Geekbanch 3 Dell R730xd с процесор E5-2640 v4 или защо инструкциите на процесора и кеша на контролера са важни

Както виждаме по-горе, можем да постигнем максимални резултати само когато трите компонента - изчислителна мощност, съхранение и работа в мрежа - са балансирани, тъй като потенциалните тесни места, които могат да възникнат в небалансирана система, са сведени до минимум.

Но това, което също е изключително важно, е поддръжката на процесора на платформата за редица инструкции и тяхната ефективност. Вече споменах по-горе, че една на пръв поглед незначителна разлика в поколенията може да играе доста важна роля в някои случаи. По този начин, според резултатите от независими тестове, E5-2650 v4, който предоставяме, е 70% по-ефективен в случай на криптиране (AES инструкции) от E5-2650 v3.

Какво ще кажете тогава за „вкусните“ решения от конкуренти от евтиния, но не и премиум сегмента? Защо нашите решения са по-добри? Защо нашите решения са първокласни? Отговорът е прост - нашите сървъри бяха и са балансирани. Дори ако преди това са имали по-ниски честоти или по-малки количества памет, те винаги са били балансирани според трите параметъра, описани по-горе. Включително надежден център за данни със сертификатите, изисквани от корпоративния сегмент и отлични външни комуникационни канали, които осигуряват минимално забавяне от Холандия, както към останалата част от Европа, така и към Русия и Украйна, и дори много ниска латентност на океанското дъно в САЩ!

Но сега направихме конкурентно предложение по отношение на тези показатели, в 10 места наведнъж, едно в Холандия и 9 места в САЩ, но нека не говорим за нас, нека да погледнем теста. За съжаление, този тест в момента е наличен само за версия E5-2640 v4, с 10, а не 12 ядра, за нашата платформа.

https://browser.primatelabs.com/v4/cpu/768278 — результаты теста Geekbanch 3 платформы Dell R730xd c процессором Е5-2640 v4

Това, разбира се, не е много обективно, тъй като не отчита всички предимства на платформата, същия кеш на SanDisk DAS, за който говорихме, реалните показатели за производителност могат да се окажат много по-добри от синтетичните в конкретен случай случай, много! Но все пак е възможно да придобиете известно разбиране.

Нека обърнем внимание на много инструкции. Най-показателен може да бъде вече споменатият AES, при приблизително същите честоти разликата между стойностите за 1-во ядро ​​може да бъде до 1000 пъти в зависимост от процесора, останалите инструкции, които бяха сравнени, показаха разлики в стойностите от няколко до 100 пъти.

Можете да го направите сами въведете процесор в търсенето и направете сравнение, но не забравяйте, че този тест не е напълно показателен, тъй като не взема предвид хардуера като цяло, а характеризира главно процесора.

Въпреки това се надявам, че тези резултати могат да ви бъдат полезни, когато анализирате ефективността на конкретно решение.

Използването на Dell R730xd сървъри като Bare Metal, просто по-добре!

Някои от нашите клиенти решиха да се откажат от използването на облачни решения на VMware в полза на Bare Metal решения (железни сървъри) и платформата Dell R730xd им помогна много в това. И тук говорим не само за обществени облаци, но и за частни.

Защо хората все по-често вземат такива решения? По отношение на обществените облаци всичко е повече или по-малко ясно. Аз самият смятам публичните облаци за голям маркетинг, ако нещо падне там (а всички облаци падат рано или късно), то пада там за дълго време. Пример е същият добре познат Amazon, който по едно време лежа няколко дни заедно с важна услуга за събиране на телеметрични медицински данни, включително данни за сърдечното състояние на пациенти, използващи пейсмейкър, които са били наблюдавани от лекари, няколко хора загинаха... И наскоро, когато нашият корпоративен Bitrix лежеше, се оказа, че причината е, че служителите, които изключваха някои от машините, в резултат на печатна грешка, изключиха повече възли от необходимото, засягащи управляващите възли, в резултат на което виртуалните машини бяха рестартирани в рамките на 5 часа поради големия размер на клъстера... Но това не е единственият възможен проблем, може да се случи внезапно да получите „тясно място“ поради използването на облака от някои други проекти или липсата на способност за бързо управление на неговата инфраструктура, за да отговори на вашите собствени нужди.

Когато става въпрос за частни облаци, на теория виртуализацията опростява наличността и възстановяването след бедствие. На практика има много ситуации, в които това просто няма смисъл:

В случай на технически проблеми на възела, 15-30 минути престой е приемливо.
Не всички проекти се нуждаят от ъптайм от около 100%, освен за ученици, които са свикнали да плащат един долар и да изискват 100%. За някои проекти 99,9% гарантиран ъптайм е повече от приемлива опция. Защото 0,1% е недостъпност от максимум 44 минути на месец, която може да възникне по различни непланирани причини – поради хардуерен срив или недостъпност на мрежата. Гарантираме ъптайм на мрежата от 99,99% за стандартни решения, което позволява недостъпност от само 4 минути на месец. Ако сървърът е свързан към 2 независими канала, които преминават през различни комуникационни възли и чийто трафик се обработва от независими ядра, гарантираният ъптайм на мрежата се увеличава няколко пъти повече. Това дава възможност да се задоволят изискванията за непрекъсната работа дори на банки, за които недостъпност от около 40 минути годишно е приемлива, в съответствие със сертифицирането. В действителност периодите на недостъпност са изключително редки. За 5 години работа с центъра за данни не е имало момент, в който всички сървъри да станат недостъпни едновременно поради проблеми с мрежата или електричеството. Дори когато имаше глобално спиране на тока в Холандия и много други центрове за данни станаха недостъпни - някои забравиха да заредят дизелови двигатели, някои нямаха достатъчно UPS мощност, в нашия център за данни само по-малко от процент от сървърите станаха недостъпни за кратко период от време. Някои от сървърите, които клиентите наемат от нас, дори доста остарял, привидно остарял хардуер, който е по-вероятно да се провали, отколкото нови брандирани решения, не са рестартирани нито веднъж на 3 години, както за 3 години никога не са губили мрежата . Приемлива ли е липсата на 30 минути за 3 години? Повече от дори за банките.

И възниква разумен въпрос, защо тогава надплащате? От само себе си се разбира, че не трябва да разчитате на случайността и винаги трябва да изхождате от принципа на разумните резерви. Основното правило, което открих е следното: резервацията не трябва да струва повече от загубите, които могат да възникнат в случай на период на недостъпност поради липсата на такава резервация. Тоест, ако гарантираният ъптайм позволява недостъпност от 40 минути на месец и в случай на недостъпност през такъв период от време, загубите ще възлизат на няколкостотин или дори хиляди долара - наемането на допълнително решение за увеличаване на гаранцията за ъптайм просто няма смисъл. Защото реално сървърите няма да са недостъпни всеки месец за 40 минути, 40 минути недостъпност е гаранция, най-лошият сценарий. Което не се изпълнява ежемесечно, както показва практиката.

По този начин сървърите могат да бъдат важни, без да са критични за мисията, и когато собствениците на проекти нямат нищо против ръчно да превключат натоварването към друг специализиран сървър, можем да избегнем сложността на изграждането на отказоустойчив клъстер и споделено съхранение при отказ.

Ниската производителност е недопустима през работния период. Много от нашите клиенти избират голи метални решения от Dell именно поради тази причина; много по-евтино и по-изгодно е да използвате пълен хардуер по време на стандартна работа, който на практика не е обект на недостъпност, както вече обсъдихме, отколкото да надплащате за облак опция и същата производителност в облака, което ще струва няколко пъти повече от специализирано решение. Облакът и клъстерирането просто не могат да задоволят нуждите от ресурси и няма да бъдат икономически ефективни за такива клиенти.

Абонатите не искат да плащат много за услуга с ограничени възможности. Основно нашите клиенти са малки фирми, които нямат собствени технически отдели и финансиране за закупуване на собствен хардуер. Закупуването на хардуер може да бъде истински удар за тях и да не осигури адекватна производителност, тъй като с течение на времето хардуерът има тенденция да остарява и е жалко да се изхвърли скъп хардуер дори след 3 години, във време, когато компанията е нараснала и има нещо по-добро е необходимо. Ако наемете Dell R730xd от нас, имате възможност да преминете към друг сървър по всяко време или след година, ако изберете опцията за наем с договор за година. Освен това има възможност да спестите от плащането на лицензи на VMware.

Използване на Dell R730xd сървъри за сървъри за бази данни

Много от нашите клиенти, които използват тези сървъри на бази данни, са обикнали тази платформа. И не само защото, за разлика от Dell R730, версията xd може да бъде снабдена с поддръжка за NVMe PCIe SSD дискове, които осигуряват минимално забавяне, което е изключително важно за такива решения. Но и защото контролерът е невероятно ефективен при работа дори с конвенционалните 2,5" SSD, които предлагаме на клиентите.

Разбира се, при Dell R730xd има и недостатък - има само 1 контролер, докато Dell R730 с 26 диска използва 2 хардуерни контролера. Но това не е съществен проблем, тъй като избрахме платформа с 12 отделения за устройства и следователно няма да получите пречка под формата на недостатъчна производителност на контролера, когато работите с тази платформа и голям брой SSD. А предимството под формата на възможност за инсталиране на NVMe PCIe SSD напълно покрива този недостатък.

Както бе споменато по-горе, не всеки се нуждае от сложни клъстери от бази данни; производителността, която тази платформа може да осигури, е много по-важна. Един от нашите клиенти направи точно това, изостави излишъците от виртуализация и изграждане на сложни клъстери, наемайки VPS със специални дискове за архивиране на база данни от главния сървър на Dell R730xd: VPS (KVM) – E5-2650 v4 (24 ядра) / 40GB DDR4 / 4x240GB RAID10 SSD 1Gbps 40TB – $99. Разбира се, в случай на проблем с главния възел, ще има известен спад в производителността и ще има нужда от ръчно превключване, но това е повече от рентабилно решение, предвид ограничения бюджет.

Ние не насърчаваме всички да правят такива спестявания, в някои случаи дори е много оправдано. Въпреки това, като увеличите бюджета само с $230 на месец, можете да си позволите идентичен E5-2650 v4 възел и да ги свържете заедно в 20-гигабитова локална мрежа, което по принцип ще ви позволи да изградите малък клъстер с приемлива латентност дори без използването на PCIe NVMe SSD устройства.

Самото решение ще изглежда така (с основен набор от устройства):

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/месец
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 TV + Intel X540-T2 20GBPS LAN – $289/месец

Увеличаването на техния брой за повишаване на производителността не винаги има смисъл. Така по време на тестове с бази данни установихме, че решение с 8 SSD е само 4% по-ефективно от решение с 35 SSD.

Що се отнася до препоръчителните нива на RAID, RAID5 може да бъде много оптимален в някои случаи. Разбира се, RAID10 осигурява по-добра производителност, но какво ще стане, ако дисковете са толкова бързи, че използването им в RAID10 ще доведе до превръщането на контролера в тясно място? В такива случаи изграждането на HW RAID масив RAID5 е много по-изгодно, като се използват горещи резервни устройства, отколкото RAID10 (ако целта не е да загубите половината от квотата на SSD).

Трябва ли кеша на контролера да е активиран или е по-добре да го деактивирам? RAID контролерът има много ограничено количество памет, какво е 1GB при работа с SSD? В случаите с бързи SSD няма смисъл да се активира кешът за четене, тъй като запълвайки паметта с операции за четене, които няма да станат по-бързи, тъй като SSD вече са достатъчно бързи, не оставяме достатъчно кеш за запис и , както е известно, в евтините SSD дискове — тясното място са операциите за запис, поради спад в производителността поради недостатъчно свръхпровизиране и 100% използване на безплатната квота (възможен е десетократен спад). Затова препоръчваме да оставите активиран само кеша за запис. По този начин се гарантира максимална ефективност на това решение.

Има ли наистина значение размерът на NTFS блок? За повечето хранилища 64KB е посочен като оптимален размер на блока за максимална производителност. Но много често срещаме случаи, когато клиент вече използва сървър на база данни, използвайки първоначалната конфигурация със стандартен размер на NTFS клъстер от 4KB. За да поправите това, трябва да преформатирате дисковете, но наистина ли е толкова голяма разликата в общия случай? Трябва ли да се изложите на възможни прекъсвания и неудобства, свързани с миграцията?

Контролерът в сървъра Dell R730xd осигурява такава добра производителност дори с 4 SSD устройства и активиран кеш за запис (много важен момент, кешът за четене трябва да бъде деактивиран, защото не дава никакви предимства, а само намалява ефективността на операциите за запис поради до липсата на място за пълен кеш, както е посочено по-горе), че дори със стандартен размер на блока от 4KB, получаваме много добри показатели за производителност, изключително добри.

Независимо от това, ние винаги сме готови да се срещнем и сме готови да предложим подобна платформа за определен период от време, за да могат абонатите да извършват работа, ако нещо не е взето предвид от тях.

RAMdrive все още се оказва по-бърз от SSD устройствата. Ако вашите заявки могат да бъдат обработени в TempDB, като например сортиране или сливане, тогава използването на RAMdisk (програма, която превръща част от вашата RAM в памет) може да бъде много полезно. И така, след като сравнихме скоростта на 8 SSD устройства в RAID10 с RAMdrive, открихме, че тя е около 4 пъти по-бърза за 4K операции по запис с дълбочина на опашката от 32, което точно имитира работата на TempDB файлове. Дори комбинирането на 8 SSD в RAID0 не беше възможно да се победят резултатите от RAMdrive.

RAID5 в случай на 8 SSD устройства може да бъде по-ефективен от RAID10. 4K четенията с дълбочина на опашката от 32 са с около 40% по-бързи, което не е изненадващо предвид характеристиките на RAID5. RAID5 печели в производителността в други тестове, например при последователно писане е 20%, отстъпва само при 4K операции за запис с голяма дълбочина на опашката (в нашия случай 32) и се оказва по-малко ефективен с 30%. Така че използването на RAID5 може в някои случаи да бъде много икономически оправдано.

Повече място за съхранение не винаги означава по-бързо. Когато имаме работа с произволни малки операции, добавянето на устройства към масива над определен лимит изобщо не подобрява производителността. Изглежда защо? Оказва се, че всичко зависи от възможностите на контролера, който е принуден да записва данни на цял куп дискове. Ето защо закупихме платформи с максимум 12 диска, за да намалим вероятността от тесни места. Трябва обаче да разгледате интензивността на операциите в рамките на всеки проект, понякога 4 по-големи диска, да речем 960 GB, може да са по-добро и по-рентабилно решение от куп дискове от 480 GB.

Използване на Dell R730xd сървъри за Aerospike NoSQL сървъри за данни

Aerospike е NoSQL база данни с отворен код, която е флаш оптимизирана за скорост и мащабируемост. Aerospike е проектиран да осигурява много ниска латентност за заявки за четене и тежки натоварвания при запис, което отговаря на съвременните бизнес изисквания, които изискват способността да се справят с голям брой I/O операции. Aerospike управлява директно локалното съхранение на своите клъстерни възли, независимо от файловите системи на изходния носител, било то DRAM, флаш или традиционни твърди дискове. Това позволява критичните данни да се съхраняват на най-бързия носител, където бързата обработка е най-критична, докато разпределеният характер на базата данни Aerospike гарантира висока степен на надеждност в случай на повреди на клъстерен възел.

Сървърите PowerEdge R13xd на Dell от 730-то поколение предоставят невероятна изчислителна мощност с най-новите процесори E5-2650 v4 и бърз DDR4 SDRAM. А възможността за използване на NVMe SSD, като Samsung SM1715, може да помогне за постигане на огромна производителност с минимално забавяне в възли с високи натоварвания. Това прави възможно спазването на съвременните изисквания на SLA за времето за обработка на една транзакция с надеждно ниво на защита срещу измами дори в много големи бази данни, което прави решението приемливо дори за финансовия сектор и банковите преводи, където понякога се извършват транзакции в рамките на няколко часа или дори дни.

За банковия сектор можем да предложим решение, базирано на тези платформи с локална мрежа от 40 и 100 Gbit/s между клъстерни възли и използване на подходящи комутатори.

Използване на Dell R730xd сървъри в DMZ мрежи

Имаме удоволствието да предложим на нашите абонати най-високите стандарти за сигурност. Центровете за данни, в които предлагаме тези сървъри, имат много сертификати: ISO 27001, PCI DSS, SOC 1, HIPAA и NEN 7510.

Но за да задоволят изискванията на същия Google, някои клиенти изискват изграждането на така наречените демилитаризирани мрежи (DMZ мрежи) - мрежи с повишена сигурност, което предполага наличието на хардуерна защитна стена, която ограничава достъпа до оборудването и ви позволява да скрийте необходимите компоненти зад защитна стена и подобрете повече безопасността.

И всичко е наред, когато такова решение се поръча веднага, но е много трудно да се осъществи преходът практически без прекъсване на процеса, което наскоро се случи с един от нашите клиенти, с проект за обработка на заявления за визи за граждани от различни държави на света, където има недостъпност дори по време на часове, може да доведе до загуби от десетки хиляди долари. Но ние намерихме решение, отидохме на среща, поставихме допълнително оборудване в гардероба, преместихме по-малко важно оборудване и включихме защитната стена по схемата, както желае клиентът, за да може да извърши миграцията без прекъсване.

Беше / стана

Може би тази схема също ще бъде полезна за някого при извършване на такава миграция, тъй като инженерите в центровете за данни не винаги искат да виждат очевидни неща, но настояват за 2 часа престой, за да превключат зад защитната стена, но любезно ви моля - поръчайте хардуерна защитна стена предварително, ако имате нужда от нея. Ние сме гъвкави и винаги готови да се съобразим, но в някои ситуации възможностите ни може да са ограничени.

В бъдещи публикации ще се опитаме да проведем редица допълнителни тестове и да споделим допълнителен опит с помощта на тези платформи, което допълнително ще подобри разбирането за избора на най-ефективното решение. В края на краищата е изненадващо да видим факта, че RAID0 на две SSD устройства, в случаи на бази данни с високо натоварване, може да се окаже по-бавен от отделно записващо устройство, поради което получаваме заявки за NVMe PCIe SSD от време към времето. Вероятно ще покажем най-ефективните сценарии за внедряване на решения, ще споделим допълнителен опит, когато изграждането на множество RAID масиви в рамките на един RAID контролер е ефективно и ще покажем в кои случаи два независими RAID10 масива от 4 устройства ще бъдат по-добри от един RAID10 масив от 8. Кога ще бъде ефективно да използвате RAID1 за TempDB и RAID5 за всичко останало. И как можете да правите без NVMe PCIe SSD, когато имате ограничен бюджет.

Dell R730xd: бонус за читателите на Habrahabr

Искаме да ви предоставим най-доброто и сме направили всичко за това, като предлагаме уникални цени за Dell R730xd:

ua-hosting.company/serversnl - в Холандия
ua-hosting.company/serversus - и в САЩ

Конфигурациите могат да бъдат много разнообразни, напр. Следните са налични за незабавно активиране в Холандия::

Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 TV -*$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4x4TB 4x480 SSD 1Gbps 100 TV — *$249
Dell R730xd 2 x Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 TV — *$249

И честен специален 1Gbps Unmetered (без трафик) им е достъпен за +$120/месец. Плюс възможност за закупуване на защитна стена, мрежови карти, суич и изграждане на мулти-гигабитова локална мрежа. Но условието за цената важи за договор за една година.

Искаме да подобрим условията и да предложим бонус за краткосрочни плащания и наеми без договор, което прави офертата по-достъпна. Всеки, който поръча и заплати някоя от предложените опции в Холандия за период от 1 месец, ние ще осигурим точно същия сървър за 1 месец напълно безплатно, или ще преизчислим поръчаната конфигурация и ще изчислим поръчания сървър на същата цена като за годишен договор ($249/месец вместо $369/месец), връщайки разликата към баланса. За да направите това, просто оставете номера на вашата поръчка в коментарите. За тези, които все още не са узрели за специални решения, ние предлагаме да наемете всеки VPS (KVM) със специални устройства в Холандия или САЩ на тези платформи, например, VPS (KVM) – E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps 10TB – $29, и получавате бонус от 1-4 месеца ползване при плащане съответно за 1, 3, 6, 12 месеца, като посочите номера на поръчката в коментар. Сега изграждането на инфраструктура стана по-лесно!

Източник: www.habr.com