У гэтым артыкуле мы распавядзем якія інфраструктурныя рашэнні рэалізуюць нашы кліенты з ужываннем серверных платформаў Dell R730xd і чаму кошт на арэнду гэтай платформы ў з выдатнымі каналамі сувязі ва Украіну і Расію, а таксама , ужо з размяшчэннем і канектыўнасцю па кошце стала рэальнасцю. Падзелімся магчымымі варыянтамі рашэнняў на аснове гэтых платформаў з ужываннем прыватных vlan, 10G лакальнай сеткі і апаратных Firewall ад СISCO, якія даступныя нашым кліентам па запыце. А таксама, у лепшых традыцыях, прапануем бонус у выглядзе бясплатнага перыяду карыстання серверамі Dell R730xd для чытачоў Habrahabr.
У апошні час мы атрымліваем усё больш і больш запытаў на пабудову розных карпаратыўных інфраструктур, і звязана гэта, на жаль, не столькі з тым, што мы даем рашэнні вельмі высокай якасці, колькі з цаной на гэтыя рашэнні і тым узроўнем бяспекі і вяршэнства права, які забяспечваецца ў Нідэрландах і ЗША, але нажаль, часцяком недаступны ва Ўкраіне і Расіі. Дзе, нажаль, падобныя рашэнні каштуюць проста "касмічных" грошай, бо паняцце "доўгія грошы" чужое для постсавецкіх краін у прынцыпе, на фоне іншых рызык або ва ўсе адсутнасці неабходнай інфраструктуры і ўзроўня сертыфікацыі.
Добрым прыкладам тут можа быць розніца ў кошце на жалеза. Напрыклад, платформа Dell R730xd, закупляецца для нашых кліентаў, у базавай камплектацыі 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD каштуе каля 9000 еўра. Само сабой, што ні пра якую нізкую цану на арэнду гэтага сервера ва Украіне ці Расіі не можа быць і гаворкі, бо кошт арэнды фармуецца зыходзячы з акупнасці кошту платформы за перыяд 12-18 месяцаў. А гэта значыць, што мінімальна магчымы кошт на арэнду, без уліку кошту размяшчэння, электрычнасці і каналаў сувязі - будзе знаходзіцца ў межах $ 500-800 / месяц, у залежнасці ад ступені рызык правайдэра і бізнес-плана. А яшчэ трэба знайсці добры ЦАД з патрэбным узроўнем сертыфікацыі і каналаў сувязі. Ну і не забыцца пра ўлік рызык незаконнага вынятку абсталявання падчас нейкіх неправамерных следчых дзеянняў, якія могуць узнікаць у выглядзе канкурэнтнай барацьбы і спецыфікі вядзення бізнэсу ў тым ці іншым рэгіёне.
Таму не дзіўна, што наша прапанова выклікала вялікую цікавасць, тым больш, што дата-цэнтры, у якіх мы даем прапанаваныя серверы, валодаюць мноствам неабходных і важных для карпаратыўнага сектара сертыфікатаў. , , , и .
Цяпер разгледзім некалькі кейсаў, якія могуць быць цікавыя, як для пачаткоўцаў і невялікіх праектаў, так і для даволі буйных сістэмных інтэгратараў, якія будуюць рашэнні ў сябе ў офісах у гермазонах ці ў дата-цэнтрах.
Перавагі платформаў Dell R730xd пры пабудове сховішчаў дадзеных з ужываннем Red Hat Ceph
Не сакрэт, што патрабаванні да захоўвання і апрацоўцы дадзеных увесь час растуць, прычым паскоранымі тэмпамі. Калі некалькі гадоў таму было дастаткова мець сховішча ў 1ТБ, якое забяспечвала некалькі сотняў IOPS, то зараз запатрабаванні ўзраслі да дзясяткаў тысяч IOPS і петабайта прасторы. Гэтыя патрабаванні да ёмістасці і прадукцыйнасці падсілкоўваюцца збольшага павелічэннем аб'ёму неструктураваных дадзеных, у тым ліку музыкі, малюнкаў, відэа, рэзервовых дзід баз дадзеных, файлаў часопісаў і іншых архіваў, фінансавых і медыцынскіх дадзеных, гэта значыць дадзеных, вядомых, як "Big Data". Не кажучы ўжо пра якія растуць патрабаванні да захоўвання дадзеных у выніку распаўсюджвання і пашырэнні Інтэрнэт-сеткі і новых Інтэрнэт-рэсурсаў. Такім чынам, з усімі гэтымі патрабаваннямі да магутнасці, чаканні кліентаў адносна высокай надзейнасці і высокай прадукцыйнасці больш, чым калі-небудзь.
У той час, як IT-кампаніі, спрабуюць вырашыць задачы кіравання петабайтамі і нават эксабайтамі дадзеных, хмарная мадэль захоўвання становіцца ўсё больш распаўсюджанай у сучасных дата-цэнтрах. Пішуцца ўсё новыя і новыя праграмныя комплексы, якія дазваляюць наладзіць узаемадзеянне хмарнага асяроддзя з жалезам аптымальнай выявай, адной з такіх распрацовак з'яўляецца Ceph.
Ceph - гэта размеркаваная сістэма захоўвання дадзеных з адкрытым зыходным кодам, закліканая забяспечыць высокую прадукцыйнасць, надзейнасць і маштабаванасць. Ceph рэалізуе захоўванне аб'ектаў на размеркаваным кампутарным кластары і падае інтэрфейсы для захоўвання аб'ектаў, блокаў і файлаў. Ceph забяспечвае цалкам размеркаванае сховішча без адзінай кропкі адмовы і маштабаванасць да ўзроўню петабайта. Ceph рэплікуе дадзеныя і тым самым забяспечвае адмоваўстойлівасць. Сістэма ўладкована такім чынам, каб не толькі забяспечыць самастойнае аднаўленне, але і кіраванне, што дапамагае пазбегнуць лішніх выдаткаў на суправаджэнне. Паколькі Ceph выкарыстае ўніверсальнае абсталяванне, кантраляванае праграмным забеспячэннем, а функцыі кіравання даступныя праз інтэрфейсы прыкладнага праграмавання (API), яго адносяць да праграмна-вызначаных сховішчаў (SDS).
Red Hat Ceph Storage - гатовая да ўкаранення сістэма захоўвання, праграмна-вызначанае сховішча, якое з'яўляецца адчыненым, які адаптуецца, што маштабуецца і падтрымліваецца паўсюдна. Спалучае ў сабе інавацыі з open-source распрацовак з тэхнічнай асноўнай і падтрымкай ад Red Hat. Рашэнне забяспечвае цесную інтэграцыю з OpenStack і сканструявана з нуля, для таго, каб забяспечыць сховішча наступнага пакалення, як для хмарных асяроддзяў, так і для іншых працоўных нагрузак.
Тут мы разгледзім прыклад укаранення дадзенага рашэння на серверах Dell, у прыватнасці Dell PowerEdge R730xd, якія мы прапануем у арэнду, разгледзім перавагі пабудовы сховішча на аснове гэтых платформаў. Магчыма гэтая інфармацыя будзе карысная архітэктарам, інжынерам і IT-адміністратарам, якія жадаюць вывучыць перавагі выкарыстання Red Hat Ceph Storage на серверах Dell PowerEdge і якія павінны праектаваць і планаваць укараненні з выкарыстаннем правераных лепшых практык.
Але ў пачатку:
Трохі аб самой платформе, які варыянт мы прапануем і чаму ён эканамічна эфектыўны?
Dell PowerEdge R730xd – безумоўна адна з лепшых платформаў для задач карпаратыўнага сектара і не толькі, яна заваявала мноства розных узнагарод і з'яўляецца даволі эфектыўным рашэннем для арганізацыі сховішчаў дадзеных, бо можа забяспечыць захоўванне дадзеных з высокай шчыльнасцю за разумныя грошы.
PowerEdge R730xd даступны ў трох канфігурацыях шасі з рознымі формаў-фактарамі і камбінацыямі назапашвальнікаў, а таксама з дадатковым заднім блокам пашырэння:
- 24 даступных спераду 2,5-цалевых адсека для назапашвальнікаў SAS, SATA або nearline SAS плюс 2 апцыянальных 2,5-цалевых адсека ззаду. 2,5-цалевая шасі можа апцыянальна падтрымліваць да 4-х PCIe Express Flash назапашвальнікаў ад Dell у перадпакоі часткі.
- 12 даступных спераду 3,5-цалевых адсека для назапашвальнікаў SAS, SATA або nearline SAS з 4-ма опицональными ўнутранымі 3,5-цалевымі адсекамі, з магчымасцю гарачай замены назапашвальнікаў, плюс двума апцыянальнымі 2,5-цалевымі адсекамі.
- 18 даступных спераду 1,8-цалевых адсека для SATA, 8 3,5-цалевых адсека для SAS, SATA або nearline SAS назапашвальнікаў плюс 2 апцыянальных 2,5-цалевых адсека ззаду.
Здавалася б, што кожнае шасі добрае для свайго роду задач. Гэта несумненна. Але ці сапраўды яны аднолькава эканамічна эфектыўныя?
Мы спынілі свой выбар на другім варыянце, каб задаволіць запатрабаванні, як мага шырэйшага круга карыстачоў, на шасі з 12 адсекамі для назапашвальнікаў. Бо лічым яго найболей эфектыўным. І вось чаму. Эканамічная эфектыўнасць рашэння выяўляецца ўжо ў яго ўніверсальнасці - у гэта шасі можна ставіць назапашвальнікі розных формаў-фактараў і яно танней у закупцы, а таксама, што немалаважна, тут можна атрымаць вялікую прадукцыйнасць пры працы з дадзенымі, выкарыстаючы некалькі платформ злучаных паміж сабой, чым адну з вялікай шчыльнасцю захоўвання і відавочна меншай прадукцыйнасцю.
Мы верым, што злучыўшы некалькі падобных платформаў у мультигигабитную лакальную сетку (магчыма падлучэнне кожнай ноды ў лакальную сетку на хуткасцях 20 Гбіт/з і больш, з выкарыстаннем двухпартовых дзесяцігігабітных карт Intel X540-T2, якія мы падаем дадаткова) можна дамагчыся значна лепшых вынікаў. і прадукцыйнасці, чым у платформаў з большай шчыльнасцю назапашвальнікаў. Што асабліва крытычна для інфраструктур, якія выкарыстоўваюць гэтыя платформы для працы з базамі даных. Нажаль, але пры вялікай колькасці назапашвальнікаў, кантролер можа быць досыць перагружаны, а дадатковы кантролер у версіі xd, нажаль недаступны. Прадукцыйнасць, якой можна дасягнуць пры ўжыванні платформаў менавіта з 12 адсекамі і лакальнай мультыгігабітнай сеткай будзе значна вышэй, а рашэнне ў сваю чаргу апынецца больш размеркаваным і надзейным. Адным словам - cost-effective!
Асаблівасці будовы і дызайну, прымяненне відэакартай
Платформа Dell PowerEdge R730xd, памерам усяго-толькі 2U, падтрымлівае да 2-х працэсараў Intel Xeon E5-2600 v3 і вышэй, гэта значыць дазваляе атрымаць у распараджэнні да 36 ядраў пры ўжыванні 18-ядзерных працэсараў. Мы абралі прамежкавы варыянт, але апошняга пакалення – 12-ядзерны працэсар Е5-2650 v4 (24 ядра ў Вашым распараджэнні сумарна, а з улікам шматструменнасці – 48 ядраў), бо ён апынуўся найболей эканамічна эфектыўным. Так у чацвёртым пакаленні рэалізаваны больш эфектыўныя працэсарныя інструкцыі, напрыклад, AES, якая адказвае за шыфраванне дадзеных, на 70% больш эфектыўна, чым у тых жа працэсараў, але трэцяга пакалення. Пры гэтым працэсар і платформа можа падтрымліваць да 1,54 ТБ аператыўнай памяці, што немалаважна ў некаторых вельмі спецыфічных выпадках. Мы выбралі найбольш масавы варыянт, найбольш прымальны па кошце і хуткасці працы – 128GB DDR4 RAM і прадугледзелі магчымасць апгрэйду па запыце абанентаў.
На пярэдняй панэлі R730xd размешчана 6 індыкатараў стану сістэмы, якія могуць паведаміць аб розных непаладках, дзякуючы чаму можна пазбегнуць масы крытычных праблем, прыняўшы своечасова якія адпавядаюць меры. DIMM слоты для аператыўнай памяці размешчаны непасрэдна на матчынай плаце. R730xd падтрымлівае рэгістравую DIMM з карэкцыяй памылак, а таксама LRDIMM (Load Reduced Dual In-Line Memory Modules), ці так званы модуль са зніжанай нагрузкай, – адносна новы тып памяці для сервераў. Але мы яго не ўжываем, бо LRDIMM становяцца карысным толькі пры вялікіх аб'ёмах памяці, калі ёсць мэта павялічыць хуткасць працы.
Унутраны модуль Dual-SD (IDSDM) дазваляе кліентам разгортваць тэхналогію абароненай ад збояў віртуалізацыі Dell, якая забяспечвае рэзерваванне пры адмове для ўбудаваных гіпервізораў. Нягледзячы на тое, што PowerEdge R730 падтрымлівае GPU, якія могуць быць вельмі карысныя ў выпадках пабудовы віртуальнай офіснай інфраструктуры (віртуальных працоўных сталоў), а таксама для высокапрадукцыйных вылічэнняў і сумеснай апрацоўкі, R730xd не падтрымлівае графічныя працэсары, бо не можа быць забяспечана належнае астуджэнне відэакарты. Тым не менш, пакуль што ў нас невялікі попыт на гэтую паслугу і відэакарту ў сервер заказаў толькі адзін наш абанент. Менавіта па гэтай прычыне мы не заказвалі платформы R730 масава, а можам даставіць іх па запыце, абсталяваўшы адной з рэкамендаваных карт.
За кошт гэтага, на жаль, цана на арэнду рашэння не можа быць такой прывабнай і павялічваецца больш як у 2 разы, у залежнасці ад перыяду аплаты і тэрміну кантракта. Самі ж карты мы прапануем купіць праз нашага пастаўшчыка ў Нідэрландах, расцэнкі прыведзены ніжэй і толькі з гэтага рэкамендаванага спісу (такія былі рэкамендацыі самога Dell, калі мы рабілі запыт), магчыма камусьці гэтая інфармацыя будзе карысная:
NVIDIA Tesla M10 GPU CusKit: 2,884.98 EUR
NVIDIA Tesla M40 GPU: 4,913.33 EUR
NVIDIA Tesla M40 24GB GPU, Cust Kit: 6,458.95 EUR
NVIDIA M60 GPU, Passive, Requires GRID 2.0 SW для VDI Function, Cust Kit: 5,094.95 EUR
Ліцэнзіі:
Nvidia GRID vApps Subscription License 3 года, 1 CCU: 20 EUR
Nvidia GRID vPC Subscription License 3 года, 1 CCU: 95 EUR
Nvidia GRID vWS Subscription License 3 года, 1 CCU: 480 EUR
Так што, калі Вы гатовыя да мінімум 2-х гадавога кантракту па арэндзе сервера Dell R730 (не xd, таму рашэнне і атрымліваецца значна даражэй) – звяртайцеся на [электронная пошта абаронена], будзем рады Вам дапамагчы! З ужываннем одой з рэкамендаваных вышэй відэакарт, у канфігурацыі DELL R730 2 x E5-2650 v4 / 128GB / 6 x 480GB SSD / 1Gbps 100TB + GPU і кантрактам на 2 гады, ён абыйдзецца прыкладна ў $6816 у год, замест $2988 разгляданай у артыкуле платформы Dell R730xd+ запатрабуецца аплата кошту відэакарты і ліцэнзіі, бо гэта вельмі спецыфічнае абсталяванне.
Тым не менш, нават гэты кошт значна прывабней тых коштаў, якія могуць прапанаваць дата-цэнтры ва Ўкраіне і Расіі для падобных рашэнняў, калі наогул захочуць падаваць падобныя рашэнні… Бо, як ні дзіўна, у Нідэрландах, дзе супрацоўніцтва з Dell адладжана напроста, абяцаны тэрмін пастаўкі сервера з відэакартай склаў амаль 2 месяцы з моманту афармлення замовы нашым кліентам (кліент пагадзіўся чакаць, бо альтэрнатыў на рынку папросту няма), з прычыны моцнай спецыфічнасці дадзенага прадукта яго проста не было ў наяўнасці ў самога Dell. Тым не менш пастаўка была здзейснена па выніках хутчэй, чым за месяц. Дзякуй аддзелу забеспячэння дата-цэнтра і хлопцам з Dell за аператыўнасць. Але для мяне ўсё ж гэты досвед стаў незвычайным, бо стандартныя платформы Dell R730xd пастаўляюцца на працягу некалькіх дзён.
Упраўленне і магчымасці кантролера PERC
Кіраванне серверам можна ажыццяўляць праз зручны iDRAC8 (Integrated Dell Remote Access Controller 8) c кантролерам жыццёвага цыклу ад Dell, які скарачае час, які затрачваецца на задачы кіравання, зніжае верагоднасць памылак, павышае бяспеку і павышае агульную эфектыўнасць вашага IT-асяроддзя.
Для нашых абанентаў доступ да iDRAC8 прадастаўляецца з дапамогай RMI (Remote Management Interface), які даступны выключна з прыватнай сеткі дата-цэнтра ў мэтах бяспекі, доступ да якой мы даем з дапамогай Open VPN тунэлю бясплатна. Пасля ўваходу ў сістэму iDRAC адлюстроўвае агляд сістэмы, а таксама прагляд віртуальнай кансолі праз iKVM.
Асаблівую ўвагу хацелася б надаць маніторынгу, iDRAC8 дазваляе атрымаць статыстыку спажывання харчавання за апошнюю гадзіну, дзень ці тыдзень і абмежаваць максімальную спажываную магутнасць:
Сістэма кантролю і рэгістрацыі тэмпературы iDRAC дазваляе збіраць даныя з датчыкаў тэмпературы і вызначыць дыяпазон, у якой яна знаходзіцца. Так дапушчальным лічыцца знаходжанне працэсараў у тэмпературным дыяпазоне Warning толькі на працягу 10% часу на працягу года, а critical – на працягу 1%. Час у крытычнай паласе таксама ўплывае на дапушчальны час знаходжання ў паласе папярэджання. Збор дадзеных аб тэмпературы пачынаецца пры ўключэнні сістэмы пасля адпраўкі з завода і не можа быць скінуты.
13-е пакаленне сервераў PowerEdge ад Dell аснашчана кантролерамі PERC9, у якім тэхналогія LSI CacheCade, якая прымянялася раней у кантролерах PERC8, была заменена на больш эфектыўную – DAS Cache ад SanDisk.
Падчас сінтэтычных тэстаў DAS Cache дае значнае паскарэнне прадукцыйнасці HDD-масіўаў у выпадках гібрыдных канфігурацый HDD + SSD. Так, у выпадку масіва з 5 HDD у RAID6 (6-ы ўзровень абраны для забеспячэння максімальнага аб'ёму) і 5 SSD RAID10 (4 + 1 hot spare SSD для максімальнага павелічэння прадукцыйнасці масіва) пры ўжыванні DAS Cache, прадукцыйнасць масіва 5 HDD RAID6 + DAS Cache на паказаным масіве SSD, апынялася блізкай да прадукцыйнасці самага SSD-масіва.
Такім чынам, крыху азнаёміўшыся з платформай, зараз мы можам разгледзець перавагі гэтай платформы пры пабудове сховішчаў.
Дзякуючы чаму платформа Dell R730xd аптымальная для разгортвання сховішчаў дадзеных, у прыватнасці Red Hat Ceph?
Серада Red Hat Ceph Storage выкарыстоўвае серверы галіновых стандартаў для забеспячэння маштабаванасці, адмоваўстойлівасці і прадукцыйнасці. Метады абароны дадзеных гуляюць ключавую ролю ў кошце рашэння. Ceph дазваляе карыстачу абраць розныя метады абароны для розных пулаў захоўвання.
Якія рэплікуюцца пулы захоўвання вырабляюць поўныя копіі захоўваемых аб'ектаў і ідэальныя для хуткага аднаўлення і працы з дадзенымі. У выпадку рэплікаванага пула захоўвання Ceph па змаўчанні ўжывае каэфіцыент рэплікацыі роўным тром, калі тры копіі дадзеных размяшчаюцца на трох асобных вузлах Ceph.
Пулы захоўвання з абаронай ад пашкоджання дадзеных уяўляюць сабой адзіную копію дадзеных з цотнасцю, што карысна ў выпадку неабходнасці даўгавечнага захоўвання дадзеных і з'яўляецца эканамічна эфектыўным.
PowerEdge R730xd – выключна гнуткі і які маштабуецца двухюнітовый стойкавы сервер, які забяспечвае высокапрадукцыйную апрацоўку і шырокі спектр магчымасцяў лакальнага захоўвання з аптымізацыяй працоўнай нагрузкі, уключаючы магчымасць ужывання гібрыдных узроўняў. Распрацоўка ўключае шырокі дыяпазон канфігурацый, што ідэальна падыходзіць для Ceph.
- R730xd забяспечвае магчымасць стварэння высокаэфектыўных інфраструктурных рашэнняў, як для прадпрыемстваў малога, так і для вялікага бізнесу.
- R730xd дазваляюць паменшыць час уводу ў эксплуатацыю дзякуючы магчымасцям аўтаматызаванага разгортвання, што памяншае колькасць дзеянняў з боку карыстальніка і дазваляе паменшыць колькасць памылак чалавека.
— Серверы PowerEdge павялічваюць прадукцыйнасць IT-інфраструктуры ў цэнтрах апрацоўкі дадзеных з дапамогай інавацыйных прылад кіравання, такіх як iDRAC Quick Sync і iDRAC Direct, што дае магчымасць адсочваць стан сістэмы ўсебакова і выконваць хуткае разгортванне.
- У серверах PowerEdge аптымізавана выкарыстанне энергіі, што забяспечвае лепшую прадукцыйнасць у разліку на Ват спажыванай магутнасці, а таксама дазваляе больш дакладна кантраляваць спажыванне энергію і астуджэнне.
Dell PowerEdge R730xd дае перавагі, якія забяспечваюць максімальную прадукцыйнасць за кошт:
- Паскарэння эфектыўнасці прыкладанняў за кошт выкарыстання апошніх тэхналогій і дынамічнага лакальнага сховішча.
- Маштабаванне вырабляецца лёгка і хутка з дапамогай даступнага спераду сховішча, якое падтрымлівае назапашвальнікі з шырокага дыяпазону – ад недарагіх HDD SATA да звышхуткіх 2.5 "SSD, а таксама назапашвальнікаў з вельмі нізкім паказчыкам latency, такіх як PowerEdge Express Flash NVMe PCIe SSDs.
- R730xd добра адаптаваная для пабудовы сховішчаў гібрыднага тыпу дзякуючы ўжыванню новых тэхналогій кэшавання ў кантролеры PERC, што падвышае эканамічную эфектыўнасць рашэння Ceph.
Прыклад рэалізацыі інфраструктуры са сховішчам Red Hat Ceph Storage, якое складаецца з 5 сервераў Dell R730xd, Вы можаце бачыць ніжэй:
У ходзе незалежных тэстаў розных канфігурацый платформаў Dell R730xd былі атрыманы наступныя вынікі:
Наш варыянт платформы паказвае вельмі нядрэнны вынік, а ў выпадку чытання, мабыць, найлепшы. А калі ўлічыць тое, што мы замовілі гэтыя платформы вялікай партыяй і за кошт гэтага можам прапанаваць цану больш, чым у 2 разы ніжэй, чым на астатнія варыянты платформаў – ён аказваецца лепшым кансалідавана для чытання і запісы па параметры cost-effective. У рэшце рэшт нішто не перашкаджае пабудаваць кластар з 7-8 платформаў, замест 5. Пры гэтым атрымаць яшчэ большую адмоваўстойлівасць.
Ці абавязковыя 10-гігабітныя скруткі пры пабудове падобных інфраструктур? Не, не абавязковыя, адзін з нашых кліентаў пабудаваў інфраструктуру, праўда з 3-х сервераў, ужыўшы наступную схему падлучэння па лакальнай сетцы:
Што дазволіла зэканоміць яму не шмат нямала - $ 350 / месяц на арэндзе світчу, так як 10-гігабітныя світчы даволі дарогі, а мы даем толькі лепшыя - Arista 7050tx-48-r. У рашэннях на некалькі партоў не бачым сэнсу.
На што здольныя платформы Dell R730xd у прынцыпе?
Не так даўно Microsoft правёў найцікавы тэст прадукцыйнасці дадзеных платформаў у выпадку пабудовы сховішчаў дадзеных з малой колькасцю нод.
Былі скарыстаны 4 ноды Dell R730xd, аб'яднаныя ў лакальную 100-гігабітную сетку пры дапамозе 32-партовага світача Arista DCS-7060CX-32S 100Gb, з запушчанай EOS версіі 4.15.3FX-7060X.1.
Канфігурацыя выкарыстоўваных нод наступная:
2x Xeon E5-2660v3 2.6Ghz (10c20t)
256GB DRAM (16x 16GB DDR4 2133 MHz DIMM)
4x Samsung PM1725 3.2TB NVME SSD (PCIe 3.0 x8 AIC)
Dell HBA330
4x Intel S3710 800GB SATA SSD
12x Seagate 4TB Enterprise Capacity 3.5” SATA HDD
2x Mellanox ConnectX-4 100Gb (Dual Port 100Gb PCIe 3.0 x16)
Mellanox FW v. 12.14.2036
Mellanox ConnectX-4 Driver v. 1.35.14894
Device PSID MT_2150110033
Single port connected / adapter
Пры дапамозе VMFleet было паднята 20 віртуальных машын на кожнай надзе, гэта значыць усяго 80 віртуальных машын. Кожная віртуальная машына была сканфігуравана з 1vCPU. Затым VMFleet быў выкарыстаны для запуску ўтыліты DISKSPD для тэставання прадукцыйнасці сховішчы на кожнай з 80 нод, утыліта даступная ў бясплатным доступе . Параметры тэсту наступныя - 1 паток, 512KiB паслядоўнага чытання за 4 аперацыі ўводу-вываду.
Як бачыце на малюнку вышэй, атрымалася дасягнуць неверагоднага выніку ў 60 гігабайт у секунду сумарна, што прыкладна роўна 5 англамоўным версіям Вікіпедыі ў сціснутым выглядзе (11.5GiB), якія спампоўваюцца штосекундна. А хуткасць з кожнай віртуальнай машыны склала каля аднаго CD у секунду – 750 МБ.
Гэты тэст выдатна дэманструе тое, наколькі эфектыўным можа быць рашэнне, калі тры кампаненты - вылічальная магутнасць, сховішча і сетка збалансаваны, што зводзіць да мінімуму патэнцыйныя вузкія месцы, якія могуць узнікаць у незбалансаванай сістэме.
А што наконт платформаў ад іншых вытворцаў?
Параўнанне Dell R730xd і HP ProLiant DL380
Для параўнання прадукцыйнасці было абрана жалеза больш слабое, чым прапануецца ў арэнду намі - серверы з працэсарам E5-2620v3, а не Е5-2650v4, якія значна больш прадукцыйныя. Асноўная методыка тэсціравання, якая выкарыстоўваецца для гэтага параўнання, заключалася ў вымярэнні колькасці IOPS. Выкарыстоўвалася некалькі розных сімуляцый працоўнай нагрузкі, а менавіта ўсё Read і 30% Read / 70% Write (аналаг OLTP-сістэмы, транзакцыйнай сістэмы, калі апрацоўка ідзе невялікімі транзакцыямі, але ідучымі вялікім струменем, і кліентам неабходна забяспечыць мінімальнае час водгуку).
Тэсты праводзіліся некалькі разоў, каб выключыць негатыўны ўплыў утоеных фактараў на прадукцыйнасць сістэмы. Перш былі выкананы базавыя тэсты на Dell R730xd і HP ProLiant DL380 з выкарыстанні выключна HDD-назапашвальнікаў у складзе сховішчы (5×1TB HDD RAID5), што паслужыла базавым паказчыкам прадукцыйнасці. Затым адзін і той жа набор тэстаў быў запушчаны са сховішчам 5×1TB HDD RAID-5 з выкарыстаннем DAS-кэша, усталяванага на SSD-назапашвальніках з інтэрфейсам SAS (2×SAS 480GB Samsung SSD RAID1) на серверы Dell, і на серверы HP з ужываннем HPE SmartCache з аналагічным наборам назапашвальнікаў для сховішча і кэшавання. Нарэшце, апошні набор тэстаў быў запушчаны на серверы Dell з ужываннем DAS Cache на назапашвальніках SSD NVMe PCIe (2×400GB Samsung NVMe у праграмным RAID) для адлюстравання максімальнага фундуша кэшавання ў прырост прадукцыйнасці прыкладанняў у выпадках інтэнсіўнага чытання і запісы. Аналагічны тэст для сервера HP не праводзіўся, таму што Smart Cache не падтрымлівае дыскі NVMe для кэшавання.
Канфігурацыя сістэм:
Dell PowerEdge R730xd (13 Generation)
HP ProLiant DL380 (9 Generation)
сервер
CPU: x86-64 – Intel Xeon CPU E5-2620 v3 @ 2.40GHz;
Memory: 32GB DDR4.
CPU: x86-64 – Intel Xeon CPU E5-2620 v3 @ 2.40GHz;
Memory: 32GB DDR4.
Аперацыйная сістэма / софт
Windows 2012 R2 SP1;
SanDisk DAS Cache v1.4.
Windows 2012 R2 SP1;
HPE SmartCache.
Сторэдж / кэш
5×1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1;
2×400GB Samsung NVMe Software RAID.
5×1TB HDD RAID5;
2xSAS 480GB Samsung SSD RAID1.
Тэст
Імітацыя працоўнай нагрузкі OLTP на чытанне-запіс;
300GB памер базы даных;
4 адначасовых IOMETER worker-а з глыбінёй чаргі 32.
Імітацыя працоўнай нагрузкі OLTP на чытанне-запіс;
300GB памер базы даных;
4 адначасовых IOMETER worker-а з глыбінёй чаргі 32.
Было праведзена некалькі тэстаў выпадковага чытання / запісы пры розных памерах блока - 4 і 8КБ. Для кожнага памеру блока ў сваю чаргу былі праведзены тэсты пры 100 працэнтах аперацый чытання, а таксама пры 70 працэнтах аперацый чытання і 30 працэнтах запісу. Тэсты, якія былі звязаныя з паскарэннем прадукцыйнасці з дапамогай кэшавання, запускаліся на 900 секунд (15 хвілін), каб забяспечыць дастатковы час для таго, каб кэш пачаў працаваць у поўнай меры і атрымаць больш дакладныя вынікі.
Вымярэнне прадукцыйнасці ў IOPS (аперацыі ўводу/высновы ў секунду):
Сервер / тэсціруемая канфігурацыя
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write
Dell R730xD (без кэша)
1650
974
1540
1040
HP ProLiant DL380 (без кэша)
1370
628
1322
630
Dell R730xD
з DAS Cache
138884
66483
98368
56641
HP ProLiant DL380
з SmartCache
41273
33534
35984
39396
Dell R730xD з
DAS Cache і
NVMe PCIe SSD
264750
158157
257150
104490
Вымярэнне прадукцыйнасці ў % утылізацыі працэсэсара:
Сервер / тэсціруемая канфігурацыя
4KB RR
100% Read
4KB RR
70% Read 30% Write
8KB RR
100% Read
8KB RR
70% Read 30% Write
Dell R730xD (без кэша)
0,4%
0,28%
0,42%
0,3%
HP ProLiant DL380 (без кэша)
0,8%
0,5%
0,8%
0,5%
Dell R730xD
з DAS Cache
13%
8,8%
11,34%
7,83%
HP ProLiant DL380
з SmartCache
6%
6%
5%
5%
Dell R730xD з
DAS Cache і
NVMe PCIe SSD
16%
10,1%
16%
5,78%
Вынікі тэставання паказваюць значны рост прадукцыйнасці ў платформаў Dell R730xd пры ўжыванні кэшавання SanDisk DAS cache у параўнанні з HPE SmartCache, а падтрымка NVMe PCIe SSD у сваю чаргу забяспечвае яшчэ большыя перавагі. У OLTP сімуляцыях R730xd паказаў колькасць IOPS да 3-х разоў вышэй за рахунак ужывання SanDisk DAS Cache і SAS SSD і ў 6 раз вышэй за рахунак ужывання SanDisk DAS Cache + NVMe PCIe SSDs у параўнанні з HPE's SmartCache. Больш высокі ўзровень утылізацыі працэсара пры выкарыстанні SanDisk DAS Cache, і яшчэ большы ўзровень утылізацыі ў выпадку SanDisk DAS Cache + NVMe PCIe SSDs з'яўляюцца толькі следствам значна большай колькасці IOPS. і паказвае наадварот больш аптымальнае спажыванне рэсурсаў працэсара.
Так, калі ў HP пры 6% утылізацыі вынік у IOPS складае 41 тысячу, гэта значыць на 1 тысячу IOPS спажываецца 0,15% рэсурсаў працэсара, то ў выпадку з Dell R730xd мы маем 16% спажыванне пры 264 тысячах, што забяспечвае больш эфектыўны паказчык - 0,06% рэсурсаў працэсара на 1000 IOPS.
Гэта значыць, у плане ўтылізацыі працэсара, Dell таксама аказваецца лепш (у 2,5 разы), хоць і мае значэння ўтылізацыі працэсара ў% вышэй, але, як мы змаглі пераканаецца – гэта толькі следства апрацоўкі значна большай колькасці аперацый, а значыць і лепшай прадукцыйнасці.
Такім чынам платформа Dell R730xd аказваецца значна больш эфектыўна HP ProLiant DL380 (у разы), як па прадукцыйнасці, так і па параметры cost-effective.
Вынікі Geekbanch 3 тэсту Dell R730xd c працэсарам Е5-2640 v4 ці чаму працэсарныя інструкцыі і кэш кантролера важныя
Як мы маглі пераканацца вышэй, мы можам дамагчыся максімальных вынікаў толькі тады, калі тры кампаненты - вылічальная магутнасць, сховішча і сетка збалансаваныя, бо зведзены да мінімуму патэнцыйныя вузкія месцы, якія могуць узнікаць у незбалансаванай сістэме.
Але яшчэ вельмі важным з'яўляецца падтрымка працэсарам платформы шэрагу інструкцый і іх эфектыўнасць. Я ўжо згадваў вышэй, што, здавалася б, нязначная розніца ў пакаленнях, можа адыгрываць даволі істотную ролю ў некаторых выпадках. Так, па выніках незалежных тэстаў, Е5-2650 v4, якія мы даем, на 70% больш эфектыўныя ў выпадку шыфравання (інструкцыі AES), чым Е5-2650 v3.
А што ж тады з "смачнымі" рашэннямі ад канкурэнтаў з low-сost, але не прэміум сегмента? Чым нашы рашэнні лепшыя? Чаму нашыя рашэнні прэміум? Адказ просты - нашы серверы былі і ёсць збалансаваны. Няхай у іх былі меншыя частоты раней ці меншыя аб'ёмы памяці, але яны былі збалансаваны па трох вышэйапісаных параметрах заўсёды. Уключаючы надзейны дата-цэнтр з патрэбнымі карпаратыўнаму сегменту сертыфікатамі і выдатныя знешнія каналы сувязі, якія забяспечваюць мінімальную latency з Нідэрландаў, як у астатнія краіны Еўропы, так і ў Расію і Украіну і нават
Але зараз мы зрабілі канкурэнтную прапанову і па гэтых паказчыках, прычым адразу ў 10 лакацыях, у адной у Нідэрландах і ў 9 лакацыях у ЗША, але не будзем пра нас, а давайце паглядзім на тэст. Нажаль дадзены тэст даступны пакуль толькі для версіі Е5-2640 v4, з 10, а не 12 ядрамі, для нашай платформы.
Ён, само сабой, не вельмі аб'ектыўны, бо не ўлічвае ўсіх пераваг платформы, той жа SanDisk DAS cache, аб якім мы казалі, рэальныя паказчыкі прадукцыйнасці могуць апынуцца значна лепш сінтэтычных у пэўным выпадку, значна! Але ўсё ж нейкае разуменне магчыма атрымаць.
Зварачальны ўвага на мноства інструкцый. Самай паказальнай можа быць ужо згаданая AES, пры прыкладна аднолькавых частотах розніца паміж значэннямі для 1-га ядра можа складаць да 1000 раз у залежнасці ад працэсара, астатнія інструкцыі, якія параўноўваліся, паказвалі адрозненні ў значэння ад некалькіх да 100 разоў.
Вы можаце самастойна і правесці параўнанне, але не забывайце, што гэты тэст не цалкам паказальны, бо ён не ўлічвае жалеза ў цэлым, а ў асноўным характарызуе працэсар.
Тым не менш, спадзяюся, што дадзеныя вынікі могуць быць карыснымі пры аналізе эфектыўнасці таго ці іншага рашэння.
Ужыванне сервераў Dell R730xd, як Bare Metal, simply better!
Некаторыя з нашых кліентаў вырашылі адмовіцца ад выкарыстання хмарных рашэнняў VMware у карысць рашэнняў Bare Metal (жалезных сервераў) і платформа Dell R730xd ім вельмі дапамагла ў гэтым. І гаворка тут не толькі аб публічных аблоках, але і аб прыватных.
Чаму ж усё часцей людзі прымаюць такія рашэнні? На рахунак публічных аблокаў усё больш-менш зразумела. Я сам стаўлюся да публічных аблокаў, як да вялікага маркетынгу, калі нешта падае там (а ўсе аблокі рана ці позна падаюць) – яно падае там на доўга. Прыкладам можа служыць той жа вядомы Амазон, які ў свой час праляжаў некалькі сутак разам з важным сэрвісам па зборы тэлеметрычных медыцынскіх дадзеных, у тым ліку дадзеных аб стане сэрца хворых, якія выкарыстоўваюць кардыёстымулятар, якія знаходзіліся на маніторынгу ва ўрачоў, памерла некалькі чалавек… Ды і нядаўна, калі ляжаў наш карпаратыўны Битрикс, апынулася, што чыннік у тым, што супрацоўнікі, якія адключалі частку машын, у выніку памылкі друку адключылі больш нод, чым было трэба, закрануўшы ноды кіравання, у выніку чаго віртуальныя машыны перазапускаліся на працягу 5 гадзін з-за вялікага памеру кластара… Але не толькі ў гэтым магчымая бяда, можа здарыцца так, што раптоўна атрымаеш «бутэлькавае рыльца» з-за выкарыстанні аблокі нейкімі іншымі праектамі або адсутнасці магчымасці аператыўна кіраваць яго інфраструктурай для задавальнення ўласных запатрабаванняў.
Што ж тычыцца прыватных аблокаў, то ў тэорыі віртуалізацыя спрашчае даступнасць і аварыйнае аднаўленне. На практыцы ёсць мноства сітуацый, калі гэта проста не мае сэнсу:
У выпадку тэхнічных праблем на нодзе, 15-30 хвілінны даунтайм з'яўляецца прымальным.
Далёка не ўсім праектам важны аптайм на ўзроўні каля 100%, ну хіба што школьнікам, якія абвыклі плаціць даляр і патрабаваць 100%. Для некаторых праектаў 99,9 працэнта гарантаваны аптайм з'яўляецца больш, чым прымальным варыянтам. Бо 0,1% - гэта недаступнасць максімум у 44 хвіліны ў месяц, якая можа назірацца па розных незапланаваных прычынах - па прычыне выхаду з ладу жалеза або недаступнасці сеткі. Аптайм сеткі мы гарантуем у сваю чаргу на ўзроўні 99,99, 4% для стандартных рашэнняў, што дапускае недаступнасць ўсяго толькі ў 2 хвіліны ў месяц. У выпадку падключэння сервера на XNUMX незалежныя каналы, якія праходзяць праз розныя камунікацыйныя вузлы і трафік якіх апрацоўваецца незалежнымі ядрамі, гарантаваны аптайм сеткі павышаецца яшчэ ў некалькі разоў. Што дазваляе задаволіць патрабаванні па аптайме нават банкаў, для якіх дапушчальная недаступнасць каля 40 хвілін у год, у адпаведнасці з сертыфікацыяй. У рэальнасці ж перыяды недаступнасці вельмі рэдкія. За 5 гадоў працы з дата-цэнтрам не было ні разу такога, калі ўсе серверы сталі адначасова недаступныя з прычыны праблем з сеткай ці электрычнасцю. Нават калі ў Нідэрландах здарыўся глабальны blackout і многія іншыя дата-цэнтры сталі недаступныя - хтосьці забыўся заправіць дызелі, хтосьці не меў дастатковай магутнасці КБС, у нашым дата-цэнтры недаступнымі на кароткі прамежак часу сталі толькі менш за працэнт сервераў. Некаторыя з сервераў, якія кліенты арандуюць у нас, нават даволі састарэлае, здавалася б, жалеза, з большай верагоднасцю выхаду са строю, чым новыя брэндавыя рашэнні, не перазагружаліся за 3 гады ні разу, таксама, як за 3 гады да іх ні разу не знікала сетку. Ці дапушчальная недаступнасць у 30 хвілін за 3 гады? Больш за, нават для банкаў.
І ўзнікае слушнае пытанне, навошта тады пераплачваць? Само сабой, што належыць на выпадак не варта і заўсёды трэба зыходзіць з прынцыпу разумнасці рэзервавання. Галоўнае правіла, якое я адкрыў для сябе наступнае: рэзерваванне павінна каштаваць не даражэй за тыя страты, якія могуць здарыцца ў выпадку перыяду недаступнасці з-за адсутнасці такога рэзервавання. Гэта значыць, калі гарантаваны аптайм дапускае недаступнасць у 40 хвілін у месяц, а ў выпадку недаступнасці на працягу такога перыяду часу, страты складуць некалькі соцень ці нават тысячу даляраў - арандаваць дадатковае рашэнне для павышэння гарантыі аптайму проста пазбаўлена сэнсу. Бо ў рэальнасці серверы не будуць недаступныя кожны месяц па 40 хвілін, 40 хвілін недаступнасці - гарантыя, горшы сцэнар. Якая не рэалізуецца штомесяц, як паказала практыка.
Такім чынам серверы могуць быць важныя, але не крытычна важныя, і калі ўладальнікі праектаў не пярэчаць супраць ручнога пераключэння нагрузкі на іншы выдзелены сервер, мы можам пазбегнуць складанасцяў пабудовы адмоваўстойлівага кластара і агульнага адмоваўстойлівага сховішча.
Нізкая прадукцыйнасць недапушчальная на працягу працоўнага перыяду. Многія нашы кліенты выбіраюць bare metal рашэнні ад Dell менавіта па гэтай прычыне, значна танней і выгадней выкарыстоўваць жалеза па поўнай падчас стандартнага функцыянавання, якое практычна не схільна недаступнасцям, як мы ўжо разгледзелі, чым пераплачваць за хмарны варыянт і тую ж прадукцыйнасць у воблаку, якая абыдзецца ў разы даражэй за вылучанае рашэнне. Воблака і кластарызацыя банальна не змогуць задаволіць запатрабаванні ў рэсурсах, не будуць cost-effective для такіх кліентаў.
Абаненты не жадаюць плаціць шмат за сэрвіс абмежаваных магчымасцяў. У асноўным нашы кліенты - невялікія кампаніі, якія не валодаюць уласнымі тэхнічнымі аддзеламі і фінансаваннем на куплю ўласнага жалеза. Купля жалеза магла б стаць сапраўдным ударам для іх і не забяспечваць належнай прадукцыйнасці, бо з часам жалеза мае ўласцівасць састарвацца, а вельмі шкада выкідваць дарагое жалеза, нават праз 3 гады, у той час, калі кампанія разраслася і патрабуецца ўжо нешта лепшае. У выпадку арэнды ў нас Dell R730xd Вы маеце магчымасць перайсці на іншы сервер у любы момант ці ж праз год, калі Вы выбіраеце варыянт арэнды з кантрактам на год. Больш за тое, ёсць магчымасць зэканоміць на аплаце ліцэнзій VMware.
Ужыванне сервераў Dell R730xd для сервераў баз дадзеных
Многім нашым кліентам, якія выкарыстоўваюць гэтыя серверы для баз дадзеных, вельмі спадабалася гэтая платформа. І не толькі таму, што ў адрозненні ад Dell R730 у xd версію магчыма падаць з падтрымкай SSD назапашвальнікаў NVMe PCIe, якія забяспечваюць мінімальную latency, што бывае вельмі важна для такіх рашэнняў. Але і таму, што кантролер неверагодна эфектыўны пры працы нават са звычайнымі 2,5" SSD, якія мы прапануем кліентам.
Вядома, ёсць і недахоп у Dell R730xd – кантролер толькі 1, у той час, як у Dell R730 на 26 назапашвальнікаў прымяняецца 2 апаратных кантролера. Але гэта не з'яўляецца колькі-небудзь істотнай праблемай, бо мы абралі платформу з 12 адсекамі для назапашвальнікаў і таму Вы не атрымаеце «бутэлькавае рыльца» у выглядзе недастатковай прадукцыйнасці кантролера пры працы з гэтай платформай і вялікай колькасцю SSD. А перавага ў выглядзе магчымасці ўсталёўкі SSD NVMe PCIe перакрывае гэты недахоп паўнавартасна.
Як ужо казалі вышэй - не ўсё маюць патрэбу ў складаных кластарах для баз дадзеных, нашмат важнейшая прадукцыйнасць, якую і можа забяспечыць гэтая платформа. Адзін з нашых кліентаў так і паступіў, адмовіўся ад празмернасцяў віртуалізацыі і пабудовы складаных кластараў, арандаваўшы VPS з вылучанымі назапашвальнікамі для рэзервовых дзід базы дадзеных з асноўнага сервера Dell R730xd: Вядома, у выпадку праблемы з асноўнай нодай, будзе некаторае зніжэнне прадукцыйнасці і ўзнікне неабходнасць ручнога пераключэння, аднак - гэта больш, чым эканамічна-эфектыўнае рашэнне, улічваючы абмежаваны бюджэт.
Мы не заклікаем усіх да такой эканоміі, у некаторых выпадках яна нават вельмі апраўдана. Тым не менш, павялічыўшы бюджэт усяго толькі на 230 даляраў у месяц, можна дазволіць ужо ідэнтычную ноду E5-2650 v4 і злучыць іх паміж сабой у 20-гігабітную лакальную сетку, што ў прынцыпе дазволіць пабудаваць невялікі кластар з дапушчальнай latency нават без ужывання PCIe NVMe SSD-назапашвальнікаў.
Само рашэнне будзе выглядаць наступным чынам (з базавым наборам назапашвальнікаў):
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТБ + Intel X540-T2 20GBPS LAN – $ 289 / месяц
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТБ + Intel X540-T2 20GBPS LAN – $ 289 / месяц
Павялічваць іх колькасць для павелічэння прадукцыйнасці ёсць сэнс не заўсёды. Так, падчас тэстаў з базамі дадзеных, мы выявілі, што рашэнне з 8 SSD больш эфектыўна рашэння з 4 SSD усяго толькі на 35%.
Што да рэкамендаваных узроўняў RAID, то RAID5 у некаторых выпадках можа быць вельмі нават аптымальным. Вядома, RAID10 забяспечвае лепшую прадукцыйнасць, аднак, што калі назапашвальнікі настолькі хуткія, што ўжыванне іх у RAID10 можа прывесці да таго, што кантролер стане вузкім месцам? У такіх выпадках пабудова HW RAID масіва RAID5 значна выгодней з ужываннем назапашвальнікаў hot-spare, чым RAID10 (калі стаіць задача не губляць палову SSD-квоты).
Ці трэба каб кэш кантролера быў уключаным ці лепш адключыць яго? RAID-кантролер мае вельмі абмежаваны аб'ём памяці, што такое 1GB, у выпадку працы з SSD? У выпадках з хуткімі SSD няма сэнсу ва ўключаным кэшы на чытанне, бо забіваючы памяць аперацыямі чытання, якія ніколькі не стануць хутчэй, бо SSD і так досыць хуткія, мы не пакідаем дастатковага кэша на запіс, а, як вядома, у недарагіх SSD - Вузкім месцам з'яўляюцца аперацыі запісы, за кошт падзення прадукцыйнасці пры недастатковым аб'ёме over-provisioning і 100% утылізацыі свабоднай квоты (магчыма падзенне ў дзясяткі разоў). Таму мы раім пакінуць уключаным толькі кэш на запіс. Тым самым забяспечыўшы максімальную эфектыўнасць гэтаму рашэнню.
Ці такое вялікае значэнне мае памер блока NTFS? Для большасці сховішчаў 64КБ паказаны, як аптымальны памер блока для забеспячэння максімальнай прадукцыйнасці. Але вельмі часта мы сутыкаемся з выпадкамі, калі кліент ужо выкарыстоўвае сервер для баз дадзеных, ужыўшы першапачатковую наладу са стандартным памерам NTFS-кластара ў 4КБ. Каб выправіць гэта трэба нанова адфарматаваць назапашвальнікі, але ці такая вялікая розніца ў агульным выпадку? Ці трэба падвяргаць сябе магчымаму даунтайму і нязручнасцям звязаным з міграцыяй?
Кантролер у серверы Dell R730xd забяспечвае настолькі добрую прадукцыйнасць нават з 4 назапашвальнікамі SSD і ўключаным кэшам на запіс (вельмі важны момант, кэш на чытанне павінен быць адключаны бо не дае ніякіх пераваг, а толькі змяншае эфектыўнасць аперацый запісу за рахунак недахопу прасторы для паўнавартаснага кэша, як паказалі вышэй), што нават пры стандартным памеры блока ў 4КБ, атрымліваем вельмі добрыя паказчыкі прадукцыйнасці, надзвычай добрыя.
Тым не менш мы заўсёды ідзем на сустрэчу і гатовы прапанаваць аналагічную платформу на час для правядзення работ абанентамі, калі нешта імі было не ўлічана.
RAMdrive усё ж апыняецца хутчэй хуткасці SSD-назапашвальнікаў. Калі Вашы запыты могуць апрацоўвацца ў TempDB, да прыкладу сартаванне ці аб'яднанне, тое ўжыванне RAMdisk (праграмы, якая ператварае частку Вашай аператыўнай памяці ў назапашвальнік) можа быць вельмі апраўдана. Так, параўнаўшы хуткасць 8 SSD назапашвальнікаў у RAID10 з RAMdrive мы выявілі, што яна прыкладна ў 4 раз хутчэй, пры аперацыях запісу 4K c глыбінёй чаргі 32, што як раз імітуе працу файлаў TempDB. Нават аб'яднаўшы 8 SSD у RAID0 пабіць вынікі RAMdrive не атрымалася.
RAID5 у выпадку 8 назапашвальнікаў SSD можа быць больш эфектыўна RAID10. Аперацыі чытання 4К з глыбінёй чаргі 32 хутчэй прыкладна на 40%, і гэта не дзіўна, улічваючы асаблівасці RAID5. RAID5 выйграе па прадукцыйнасці і ў іншых тэстах, так пры паслядоўным запісе ён на 20%, ці саступае ён толькі пры аперацыях запісу 4К з вялікай глыбінёй чаргі (у нашым выпадку 32) і апыняецца меней эфектыўным на 30%. Так што ўжыванне RAID5 можа ў некаторых выпадках быць вельмі эканамічна апраўданым.
Больш назапашвальнікаў - не заўсёды азначае хутчэй. Калі мы маем справу са выпадковымі невялікімі аперацыямі, даданне назапашвальнікаў у масіў пасля вызначанай мяжы ніяк не паляпшае прадукцыйнасць. Здавалася б чаму? Аказваецца ўсё ўпіраецца ў магчымасці кантролера, які вымушаны запісваць даныя на цэлую кучу назапашвальнікаў. Менавіта таму мы і закупілі платформы з максімум 12 назапашвальнікамі, каб паменшыць верагоднасць з'яўлення «бутэлькавага рыльца». Тым не менш, трэба глядзець на інтэнсіўнасць аперацый у межах кожнага праекту, часам 4 назапашвальніка большага аб'ёму, скажам 960GB, могуць апынуцца лепш і больш эканамічна эфектыўным рашэннем, чым куча назапашвальнікаў на 480GB.
Ужыванне сервераў Dell R730xd для сервераў Aerospike NoSQL Data
Aerospike - база дадзеных NoSQL з адкрытым зыходным кодам, аптымізаваная для флэш-памяці, якая забяспечвае высокую хуткасць працы і маштабаванасць. Aerospike створана для забеспячэння вельмі нізкай latency пры запытах на чытанне і вялікай нагрузцы на запіс, што задавальняе сучасныя патрабаванні бізнесу, які мае патрэбу ў забеспячэнні магчымасці апрацоўкі вялікай колькасці аперацый уводу-вываду. Aerospike напроста кіруе лакальным сховішчам на вузлах свайго кластара па-за залежнасцю ад файлавых сістэм зыходных носьбітаў, няхай гэта будзе DRAM, flash ці традыцыйныя цвёрдыя кружэлкі. Гэта дазваляе захоўваць найважныя дадзеныя на самым хуткім носьбіце, хуткая апрацоўка якіх найболей крытычная, у той час як размеркаваны характар базы дадзеных Aerospike забяспечвае высокую ступень надзейнасці ў выпадку збояў вузла кластара.
Серверы Dell 13-го пакаленні, а менавіта PowerEdge R730xd, з найноўшымі працэсарамі E5-2650 v4 і хуткай DDR4 SDRAM, забяспечваюць неверагодную вылічальную магутнасць. А магчымасць выкарыстання NVMe SSD, такіх як Samsung SM1715, можа дапамагчы атрымаць у вузлах з высокай нагрузкай вялізную прадукцыйнасць пры мінімальнай latency. Што дазваляе выканаць сучасныя патрабаванні SLA на час апрацоўкі адной транзакцыі з надзейным узроўнем абароны ад фрода нават у вельмі вялікіх базах дадзеных, робячы рашэнне прымальным нават для фінансавага сектара і банкаўскіх пераводаў, дзе транзакцыі часам праводзяцца на працягу некалькіх гадзін, і нават дзён.
Для банкаўскага сектара мы можам прапанаваць рашэнне на аснове гэтых платформаў з лакальнай сеткай у 40 і 100 Гбіт / с паміж вузламі кластара і прымяненнем адпаведных свіцей.
Ужыванне сервераў Dell R730xd у DMZ-сетках
Мы рады прапанаваць нашым абанентам самыя высокія стандарты бяспекі. Дата-цэнтры, у якіх мы прапануем дадзеныя серверы, маюць мноства сертыфікацый: , , , и .
Але для таго, каб задаволіць патрабаванні таго ж Google, некаторым кліентам патрабуецца пабудова так званых дэмілітарызаваных сетак (DMZ-сетак) - сетак з падвышанай бяспекай, што мае на ўвазе наяўнасць апаратнага firewall, які абмяжоўвае доступ да абсталявання і дазваляе схаваць неабходныя кампаненты за брандмаўарам і яшчэ больш павысіць бяспеку.
І ўсё ок, калі такое рашэнне заказваецца адразу, але вельмі складана рэалізаваць пераход практычна без даунтайма ў працэсе, што нядаўна адбылося з адным з нашых кліентаў, з праектам па апрацоўцы заяў на атрыманне віз для грамадзян з розных краін свету, дзе недаступнасць нават на працягу гадзіны можа прывесці да страт на дзясяткі тысяч долараў. Але мы знайшлі рашэнне, пайшлі на сустрэчу, паставілі дадатковае абсталяванне ў шафу, перамясціўшы меней важнае, а firewall уключылі па схеме, як і пажадаў кліент, каб ён мог правесці міграцыю без даунтайму.
Было / Стала
Магчыма дадзеная схема таксама апынецца для кагосьці карыснай пры ажыццяўленні падобнай міграцыі, бо інжынеры ў дата-цэнтрах не заўсёды жадаюць бачыць відавочныя рэчы, а настойваюць на даунтайме ў 2 гадзіны для пераключэння за firewall, але вельмі прашу Вас - заказвайце апаратны firewall усё ж загадзя, калі ён Вам неабходзен. Мы гнуткія, і заўсёды ідзем на сустрэчу, але ў некаторых сітуацыях нашыя магчымасці могуць быць абмежаваныя.
У будучых публікацыях мы паспрабуем правесці шэраг дадатковых тэстаў і падзеліцца дадатковым досведам, злучаным з выкарыстаннем дадзеных платформаў, якія дазволяць яшчэ больш падвысіць разуменне падборкі найболей эфектыўнага рашэння. Бо дзіўна бачыць той факт, што RAID0 з двух SSD назапашвальнікаў, у выпадках баз дадзеных з высокай нагрузкай можа апынуцца павольней, чым асобна ўзяты назапашвальнік на запіс, менавіта таму да нас час ад часу паступаюць запыты на NVMe PCIe SSD. Цалкам верагодна, што мы пакажам найболей эфектыўныя сцэнары рэалізацыі рашэнняў, падзелімся дадатковым досведам, калі пабудова шматлікіх RAID масіваў у межах аднаго RAID кантролера апыняецца эфектыўным, пакажам у якіх выпадках два незалежных масіва RAID10 з 4-х назапашвальнікаў апынуцца лепш аднаго масіва RAID10 з 8. Калі будзе эфектыўна прымяняць RAID1 для TempDB, а RAID5 для ўсяго астатняга. І як можна абыйсціся без NVMe PCIe SSD, калі маецца абмежаваны бюджэт.
Dell R730xd: бонус для чытачоў Habrahabr
Мы хочам прадастаўляць Вам лепшае і зрабілі ўсё для гэтага, прапанаваўшы унікальныя кошты на Dell R730xd:
- у Нідэрландах
- і ў ЗША
Канфігурацыі могуць быць самыя разнастайныя, напрыклад, для маментальнай актывацыі ў Нідэрландах даступныя такія:
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6×480 SSD 1Gbps 100 ТБ -*$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12×240 SSD 1Gbps 100 ТБ -*$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 4×4TB 4×480 SSD 1Gbps 100 ТБ – *$249
Dell R730xd 2х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 12x4TB SATA 1Gbps 100 ТБ – *$249
А сумленны выдзелены 1Gbps Unmetered (без уліку трафіку) да іх даступны за + $ 120 / месяц. Плюс магчымасць дакупіць firewall, сеткавыя карты, світч і пабудаваць мультыгігабітную лакальную сетку. Але ўмова па кошце дзейнічае пры кантракце на год.
Мы жадаем палепшыць умову і прапанаваць бонус пры кароткатэрміновай аплаце і арэндзе без кантракту, зрабіўшы прапанову больш даступным. Усім, хто замовіць і аплаціць любы з прапанаваных варыянтаў у Нідэрландах на тэрмін 1 месяц, мы дамо сапраўды такі ж сервер на 1 месяц цалкам бясплатна, альбо правядзём пераразлік на замоўленую канфігурацыю і палічым замоўлены сервер па кошце, як пры гадавым кантракце ($249 / месяц замест $369 / месяц), вярнуўшы розніцу на баланс. Для гэтага дастаткова пакінуць нумар замовы ў каментары. Тым жа, хто пакуль не дарос да выдзеленых рашэнняў, мы прапануем арандаваць любы VPS (KVM) c выдзеленымі назапашвальнікамі ў Нідэрландах або ЗША на гэтых платформах, да прыкладу, , і атрымаць бонусам 1-4 месяцы карыстання пры аплаце на 1, 3, 6, 12 месяцаў адпаведна, з указаннем нумара замовы ў каментары. Цяпер пабудаваць інфраструктуру стала прасцей!
Крыніца: habr.com