Ово је мит који је прилично чест у области серверског хардвера. У пракси су хиперконвергентна решења (када је све у једном) потребна за многе ствари. Историјски гледано, прве архитектуре су развили Амазон и Гоогле за своје услуге. Тада је идеја била да се направи рачунарска фарма од идентичних чворова, од којих је сваки имао своје дискове. Све је то објединио неки системски софтвер (хипервизор) и подељен на виртуелне машине. Главни циљ је минимум напора за сервисирање једног чвора и минимум проблема при скалирању: само купите још хиљаду или две истих сервера и повежите их у близини. У пракси су то изоловани случајеви, а много чешће говоримо о мањем броју чворова и нешто другачијој архитектури.
Али плус остаје исти - невероватна лакоћа скалирања и управљања. Недостатак је што различити задаци троше ресурсе различито, а на неким местима ће бити много локалних дискова, на другим ће бити мало РАМ-а и тако даље, односно за различите врсте задатака искоришћеност ресурса ће се смањити.
Испоставило се да плаћате 10–15% више за једноставно подешавање. То је оно што је изазвало мит у наслову. Дуго смо тражили где би технологија била оптимално примењена и нашли смо је. Чињеница је да Цисцо није имао сопствене системе за складиштење података, али је желео комплетно тржиште сервера. И направили су Цисцо Хиперфлек - решење са локалним складиштем на чворовима.
И ово се одједном показало као веома добро решење за резервне центре података (Дисастер Рецовери). Сада ћу вам рећи зашто и како. И показаћу вам кластер тестове.
Где је потребно
Хиперконвергенција је:
- Пренос дискова у рачунарске чворове.
- Потпуна интеграција подсистема за складиштење података са подсистемом виртуелизације.
- Пренос/интеграција са мрежним подсистемом.
Ова комбинација вам омогућава да имплементирате многе функције система за складиштење на нивоу виртуелизације и све то из једног контролног прозора.
У нашој компанији су веома тражени пројекти за пројектовање редундантних центара података, а често се бира хиперконвергентно решење због гомиле опција репликације (до метрокластера) из кутије.
У случају резервних центара података, обично говоримо о удаљеном објекту на локацији на другој страни града или уопште у другом граду. Омогућава вам да обновите критичне системе у случају делимичног или потпуног квара главног дата центра. Подаци о продаји се тамо стално реплицирају, а ова репликација може бити на нивоу апликације или на нивоу блок уређаја (складишта).
Стога ћу сада говорити о дизајну система и тестовима, а затим о неколико реалних сценарија апликација са подацима о уштеди.
Тестови
Наша инстанца се састоји од четири сервера, од којих сваки има 10 ССД дискова од 960 ГБ. Постоји наменски диск за кеширање операција писања и чување сервисне виртуелне машине. Само решење је четврта верзија. Први је искрено груб (судећи по рецензијама), други је влажан, трећи је већ прилично стабилан, а ово се може назвати издањем након завршетка бета тестирања за ширу јавност. Током тестирања нисам видео никакве проблеме, све ради као сат.
Промене у в4Гомила грешака је исправљена.
У почетку је платформа могла да ради само са ВМваре ЕСКСи хипервизором и подржавала је мали број чворова. Такође, процес имплементације се није увек завршавао успешно, неки кораци су морали да се поново покрену, било је проблема са ажурирањем са старијих верзија, подаци у ГУИ-у нису увек били исправно приказани (иако још увек нисам задовољан приказом графикона перформанси ), понекад су се јављали проблеми на интерфејсу са виртуелизацијом.
Сада су сви проблеми из детињства решени, ХиперФлек може да ради и са ЕСКСи и са Хипер-В, плус могуће је:
- Креирање растегнутог кластера.
- Прављење кластера за канцеларије без коришћења Фабриц Интерцоннецт, од два до четири чвора (купујемо само сервере).
- Способност рада са екстерним системима за складиштење података.
- Подршка за контејнере и Кубернетес.
- Креирање зона доступности.
- Интеграција са ВМваре СРМ ако уграђена функционалност није задовољавајућа.
Архитектура се не разликује много од решења својих главних конкурената, они нису направили бицикл. Све то ради на ВМваре или Хипер-В платформи за виртуелизацију. Хардвер је смештен на власничким Цисцо УЦС серверима. Има оних који мрзе платформу због релативне сложености почетног подешавања, много дугмади, нетривијалног система шаблона и зависности, али има и оних који су научили зен, инспирисани су идејом и више не желе за рад са другим серверима.
Размотрићемо решење за ВМваре, пошто је решење првобитно креирано за њега и има више функционалности; Хипер-В је додат успут како би се држао корак са конкурентима и испунио очекивања тржишта.
Постоји група сервера пуна дискова. Постоје дискови за складиштење података (ССД или ХДД - по вашем укусу и потребама), постоји један ССД диск за кеширање. Приликом писања података у складиште података, подаци се чувају на слоју за кеширање (наменски ССД диск и РАМ сервисне ВМ). Паралелно, блок података се шаље чворовима у кластеру (број чворова зависи од фактора репликације кластера). Након потврде са свих чворова о успешном снимању, потврда о снимку се шаље хипервизору, а затим ВМ. Снимљени подаци се дедуплицирају, компримују и записују на дискове за складиштење у позадини. У исто време, велики блок се увек уписује на дискове за складиштење и узастопно, што смањује оптерећење дискова за складиштење.
Дедупликација и компресија су увек омогућени и не могу се онемогућити. Подаци се читају директно са дискова за складиштење или из РАМ кеша. Ако се користи хибридна конфигурација, читања се такође кеширају на ССД-у.
Подаци нису везани за тренутну локацију виртуелне машине и равномерно су распоређени између чворова. Овај приступ вам омогућава да подједнако учитате све дискове и мрежне интерфејсе. Постоји очигледан недостатак: не можемо смањити кашњење читања колико год је то могуће, јер не постоји гаранција доступности података локално. Али верујем да је ово мала жртва у односу на добијене користи. Штавише, кашњења у мрежи су достигла такве вредности да практично не утичу на укупан резултат.
Специјални сервис ВМ Цисцо ХиперФлек Дата Платформ контролер, који се креира на сваком чвору за складиштење, одговоран је за целокупну логику рада дисковног подсистема. У нашој конфигурацији ВМ сервиса додељено је осам вЦПУ-а и 72 ГБ РАМ-а, што и није тако мало. Да вас подсетим да сам домаћин има 28 физичких језгара и 512 ГБ РАМ-а.
ВМ услуге има приступ физичким дисковима директно прослеђивањем САС контролера на ВМ. Комуникација са хипервизором се одвија преко специјалног модула ИОВИсор, који пресреће И/О операције, и помоћу агента који вам омогућава да шаљете команде АПИ хипервизора. Агент је одговоран за рад са ХиперФлек снимцима и клоновима.
Ресурси диска се монтирају у хипервизор као НФС или СМБ дељења (у зависности од типа хипервизора, погодите који се где налази). А испод хаубе, ово је дистрибуирани систем датотека који вам омогућава да додате функције пуноправних система за складиштење за одрасле: додељивање танког волумена, компресију и дедупликацију, снимке помоћу технологије Редирецт-он-Врите, синхрона/асинхрона репликација.
Сервис ВМ обезбеђује приступ ВЕБ интерфејсу за управљање подсистемом ХиперФлек. Постоји интеграција са вЦентер-ом и већина свакодневних задатака се може обављати из њега, али складишта података, на пример, погодније је исећи са засебне веб камере ако сте већ прешли на брзи ХТМЛ5 интерфејс или користите пуноправни Фласх клијент уз пуну интеграцију. У сервисној веб камери можете видети перформансе и детаљан статус система.
Постоји још један тип чвора у кластеру - рачунарски чворови. То могу бити рацк или бладе сервери без уграђених дискова. Ови сервери могу да покрећу ВМ чији се подаци чувају на серверима са дисковима. Са становишта приступа подацима, не постоји разлика између типова чворова, јер архитектура подразумева апстракцију од физичке локације података. Максимални однос рачунарских чворова и чворова за складиштење је 2:1.
Коришћење рачунарских чворова повећава флексибилност при скалирању ресурса кластера: не морамо да купујемо додатне чворове са дисковима ако нам је потребан само ЦПУ/РАМ. Поред тога, можемо додати бладе кавез и уштедети на постављању сервера у рацк.
Као резултат, имамо хиперконвергентну платформу са следећим карактеристикама:
- До 64 чвора у кластеру (до 32 чвора за складиштење).
- Минимални број чворова у кластеру је три (два за Едге кластер).
- Механизам редундантности података: зрцаљење са фактором репликације 2 и 3.
- Метро кластер.
- Асинхрона ВМ репликација на други ХиперФлек кластер.
- Оркестрација пребацивања ВМ-а на удаљени дата центар.
- Изворни снимци који користе технологију Редирецт-он-Врите.
- До 1 ПБ корисног простора са фактором репликације 3 и без дедупликације. Не узимамо у обзир фактор репликације 2, јер ово није опција за озбиљну продају.
Још један велики плус је једноставност управљања и примене. О свим сложеностима постављања УЦС сервера брине специјализовани ВМ који припремају Цисцо инжењери.
Конфигурација тестног стола:
- 2 к Цисцо УЦС Фабриц Интерцоннецт 6248УП као управљачки кластер и мрежне компоненте (48 портова који раде у Етхернет 10Г/ФЦ 16Г режиму).
- Четири Цисцо УЦС ХКСАФ240 М4 сервера.
Карактеристике сервера:
Процесор
2 к Интел® Ксеон® Е5-2690 в4
РАМ-
16 к 32 ГБ ДДР4-2400-МХз РДИММ/ПЦ4-19200/дуал ранк/к4/1.2в
мрежа
УЦСЦ-МЛОМ-ЦСЦ-02 (ВИЦ 1227). 2 10Г Етхернет порта
ХБА за складиштење
Цисцо 12Г модуларни САС контролер за пролаз
Дискови за складиштење
1 к ССД Интел С3520 120 ГБ, 1 к ССД Самсунг МЗ-ИЕС800Д, 10 к ССД Самсунг ПМ863а 960 ГБ
Више опција конфигурацијеПоред изабраног хардвера, тренутно су доступне следеће опције:
- ХКСАФ240ц М5.
- Један или два ЦПУ-а у распону од Интел Силвер 4110 до Интел Платинум И8260И. Доступна друга генерација.
- 24 меморијска слота, траке од 16 ГБ РДИММ 2600 до 128 ГБ ЛРДИММ 2933.
- Од 6 до 23 диска са подацима, један диск за кеширање, један системски диск и један диск за покретање.
Цапацити Дривес
- ХКС-СД960Г61Кс-ЕВ 960ГБ 2.5 инча Ентерприсе Валуе 6Г САТА ССД (1Кс издржљивост) САС 960 ГБ.
- ХКС-СД38Т61Кс-ЕВ 3.8ТБ 2.5 инча Ентерприсе Валуе 6Г САТА ССД (1Кс издржљивост) САС 3.8 ТБ.
- Кеширање дискова
- ХКС-НВМЕКСПБ-И375 375ГБ 2.5 инча Интел Оптане Дриве, Ектреме Перф & Ендуранце.
- ХКС-НВМЕХВ-Х1600* 1.6 ТБ 2.5 инча Ент. Перф. НВМе ССД (3Кс издржљивост) НВМе 1.6 ТБ.
- ХКС-СД400Г12ТКС-ЕП 400ГБ 2.5 инча Ент. Перф. 12Г САС ССД (10Кс издржљивост) САС 400 ГБ.
- ХКС-СД800ГБЕНК9** 800ГБ 2.5 инча Ент. Перф. 12Г САС СЕД ССД (10Кс издржљивост) САС 800 ГБ.
- ХКС-СД16Т123Кс-ЕП 1.6 ТБ 2.5 инча 12Г САС ССД за предузећа (3Кс издржљивост).
Систем/лог дискови
- ХКС-СД240ГМ1Кс-ЕВ 240ГБ 2.5 инча Ентерприсе Валуе 6Г САТА ССД (захтева надоградњу).
Боот Дривес
- ХКС-М2-240ГБ 240ГБ САТА М.2 ССД САТА 240 ГБ.
Повежите се на мрежу преко 40Г, 25Г или 10Г Етхернет портова.
ФИ може бити ХКС-ФИ-6332 (40Г), ХКС-ФИ-6332-16УП (40Г), ХКС-ФИ-6454 (40Г/100Г).
Сам тест
Да тестирам дисковни подсистем, користио сам ХЦИБенцх 2.2.1. Ово је бесплатни услужни програм који вам омогућава да аутоматизујете креирање оптерећења са више виртуелних машина. Само оптерећење генерише уобичајени фио.
Наш кластер се састоји од четири чвора, фактор репликације 3, сви дискови су Фласх.
За тестирање сам направио четири складишта података и осам виртуелних машина. За тестове писања, претпоставља се да диск за кеширање није пун.
Резултати теста су следећи:
100% Реад 100% Рандом
0% Реад 100%Рандом
Дубина блока/реда
128
256
512
1024
2048
128
256
512
1024
2048
4K
0,59 мс 213804 ИОПС
0,84 мс 303540 ИОПС
1,36мс 374348 ИОПС
2.47 мс 414116 ИОПС
4,86мс 420180 ИОПС
2,22 мс 57408 ИОПС
3,09 мс 82744 ИОПС
5,02 мс 101824 ИПОС
8,75 мс 116912 ИОПС
17,2 мс 118592 ИОПС
8K
0,67 мс 188416 ИОПС
0,93 мс 273280 ИОПС
1,7 мс 299932 ИОПС
2,72 мс 376,484 ИОПС
5,47 мс 373,176 ИОПС
3,1 мс 41148 ИОПС
4,7 мс 54396 ИОПС
7,09 мс 72192 ИОПС
12,77 мс 80132 ИОПС
КСНУМКСК
0,77 мс 164116 ИОПС
1,12 мс 228328 ИОПС
1,9 мс 268140 ИОПС
3,96 мс 258480 ИОПС
3,8 мс 33640 ИОПС
6,97 мс 36696 ИОПС
11,35 мс 45060 ИОПС
КСНУМКСК
1,07 мс 119292 ИОПС
1,79 мс 142888 ИОПС
3,56 мс 143760 ИОПС
7,17 мс 17810 ИОПС
11,96 мс 21396 ИОПС
КСНУМКСК
1,84 мс 69440 ИОПС
3,6 мс 71008 ИОПС
7,26 мс 70404 ИОПС
11,37 мс 11248 ИОПС
Подебљано означава вредности након којих нема повећања продуктивности, понекад је чак видљива и деградација. То је због чињенице да смо ограничени перформансама мреже/контролера/дискова.
- Секвенцијално читање 4432 МБ/с.
- Секвенцијално уписивање 804 МБ/с.
- Ако један контролер откаже (квар виртуелне машине или хоста), пад перформанси је двострук.
- Ако диск за складиштење поквари, повлачење је 1/3. Обнова диска узима 5% ресурса сваког контролера.
На малом блоку смо ограничени перформансама контролера (виртуелне машине), његов ЦПУ је оптерећен на 100%, а када се блок повећава, ограничени смо пропусним опсегом порта. 10 Гбпс није довољно да се откључа потенцијал АллФласх система. Нажалост, параметри обезбеђеног демо сталка нам не дозвољавају да тестирамо рад на 40 Гбит/с.
По мом утиску из тестова и проучавања архитектуре, због алгоритма који размешта податке између свих хостова, добијамо скалабилне, предвидљиве перформансе, али то је и ограничење при читању, јер би било могуће истиснути више са локалних дискова, овде може да уштеди продуктивнију мрежу, на пример, доступан је ФИ на 40 Гбит/с.
Такође, један диск за кеширање и дедупликацију може бити ограничење; у ствари, у овој тестној платформи можемо писати на четири ССД диска. Било би сјајно да повећате број дискова за кеширање и видите разлику.
Права употреба
Да бисте организовали резервни центар података, можете користити два приступа (не разматрамо постављање резервне копије на удаљену локацију):
- Активна пасивна. Све апликације се налазе у главном дата центру. Репликација је синхрона или асинхрона. Ако главни дата центар поквари, морамо да активирамо резервни. Ово се може урадити ручно/скриптама/апликацијама за оркестрацију. Овде ћемо добити РПО сразмеран учесталости репликације, а РТО зависи од реакције и вештине администратора и квалитета развоја/дебаговања плана пребацивања.
- Ацтиве-Ацтиве. У овом случају постоји само синхрона репликација; доступност центара података одређује кворум/арбитар који се налази стриктно на трећем месту. РПО = 0, а РТО може да достигне 0 (ако апликација дозвољава) или једнак времену преласка на грешку чвора у кластеру виртуелизације. На нивоу виртуелизације, креиран је растегнут (Метро) кластер који захтева Ацтиве-Ацтиве складиште.
Обично видимо да су клијенти већ имплементирали архитектуру са класичним системом складиштења у главном центру података, па дизајнирамо још једну за репликацију. Као што сам поменуо, Цисцо ХиперФлек нуди асинхрону репликацију и креирање кластера растегнуте виртуелизације. У исто време, не треба нам наменски систем складиштења средњег и вишег нивоа са скупим функцијама репликације и активно-активним приступом подацима на два система за складиштење.
Сценарио 1: Имамо примарни и резервни центар података, платформу за виртуелизацију на ВМваре вСпхере. Сви продуктивни системи се налазе у главном центру података, а репликација виртуелних машина се врши на нивоу хипервизора, што ће избећи задржавање ВМ-ова укључених у резервном центру података. Ми реплицирамо базе података и посебне апликације користећи уграђене алате и држимо ВМ укључене. Ако главни дата центар поквари, покрећемо системе у резервном дата центру. Верујемо да имамо око 100 виртуелних машина. Док је примарни центар података у функцији, центар података у стању приправности може да покреће тестна окружења и друге системе који се могу искључити ако се примарни дата центар пребаци. Такође је могуће да користимо двосмерну репликацију. Са хардверске тачке гледишта, ништа се неће променити.
У случају класичне архитектуре, у сваки центар података ћемо инсталирати хибридни систем за складиштење података са приступом преко ФибреЦханнел-а, разврставањем, дедупликацијом и компресијом (али не онлајн), 8 сервера за сваку локацију, 2 ФибреЦханнел свича и 10Г Етхернет. За управљање репликацијом и пребацивањем у класичној архитектури можемо користити ВМваре алате (Репликација + СРМ) или алате треће стране, који ће бити мало јефтинији, а понекад и практичнији.
На слици је приказан дијаграм.
Када се користи Цисцо ХиперФлек, добија се следећа архитектура:
За ХиперФлек користио сам сервере са великим ЦПУ/РАМ ресурсима, јер... Неки од ресурса ће ићи на ВМ ХиперФлек контролера; што се тиче ЦПУ-а и меморије, чак сам мало реконфигурисао ХиперФлек конфигурацију како не бих играо заједно са Цисцо-ом и гарантовао ресурсе за преостале ВМ. Али можемо напустити ФибреЦханнел прекидаче и неће нам бити потребни Етхернет портови за сваки сервер; локални саобраћај се пребацује унутар ФИ.
Резултат је била следећа конфигурација за сваки центар података:
Сервери
8 к 1У сервер (384 ГБ РАМ, 2 к Интел Голд 6132, ФЦ ХБА)
8 к ХКС240Ц-М5Л (512 ГБ РАМ, 2 к Интел Голд 6150, 3,2 ГБ ССД, 10 к 6 ТБ НЛ-САС)
СҺД
Хибридни систем за складиштење са ФЦ Фронт-Енд-ом (20ТБ ССД, 130 ТБ НЛ-САС)
-
ЛАН
2 к Етхернет прекидач 10Г 12 портова
-
САН
2 к ФЦ свитцх 32/16Гб 24 порта
2 к Цисцо УЦС ФИ 6332
Лиценце
ВМваре Ент Плус
Репликација и/или оркестрација пребацивања ВМ
ВМваре Ент Плус
Нисам обезбедио лиценце софтвера за репликацију за Хиперфлек, пошто је ово за нас доступно без употребе.
За класичну архитектуру изабрао сам продавца који се етаблирао као квалитетан и јефтин произвођач. За обе опције применио сам стандардни попуст за одређено решење и као резултат добио реалне цене.
Цисцо ХиперФлек решење се показало јефтинијим за 13%.
Сценарио 2: стварање два активна дата центра. У овом сценарију, ми дизајнирамо растегнути кластер на ВМваре-у.
Класична архитектура се састоји од сервера за виртуелизацију, САН-а (ФЦ протокол) и два система за складиштење података који могу да читају и пишу у волумен који се протеже између њих. На сваки систем складиштења стављамо користан капацитет за складиштење.
У ХиперФлек-у једноставно креирамо Стретцх Цлустер са истим бројем чворова на обе локације. У овом случају се користи фактор репликације 2+2.
Резултат је следећа конфигурација:
класична архитектура
ХиперФлек
Сервери
16 к 1У сервер (384 ГБ РАМ, 2 к Интел Голд 6132, ФЦ ХБА, 2 к 10Г НИЦ)
16 к ХКС240Ц-М5Л (512 ГБ РАМ, 2 к Интел Голд 6132, 1,6 ТБ НВМе, 12 к 3,8 ТБ ССД, ВИЦ 1387)
СҺД
2 к АллФласх система за складиштење (150 ТБ ССД)
-
ЛАН
4 к Етхернет прекидач 10Г 24 портова
-
САН
4 к ФЦ свитцх 32/16Гб 24 порта
4 к Цисцо УЦС ФИ 6332
Лиценце
ВМваре Ент Плус
ВМваре Ент Плус
У свим прорачунима нисам узео у обзир мрежну инфраструктуру, трошкове дата центра итд.: они ће бити исти за класичну архитектуру и за ХиперФлек решење.
Што се тиче трошкова, ХиперФлек се показао скупљим за 5%. Овде је вредно напоменути да сам у погледу ЦПУ/РАМ ресурса имао искривљење за Цисцо, јер сам у конфигурацији равномерно попуњавао канале меморијског контролера. Цена је нешто већа, али не за ред величине, што јасно указује да хиперконвергенција није нужно „играчка за богате“, већ може да се такмичи са стандардним приступом изградњи центра података. Ово такође може бити од интереса за оне који већ имају Цисцо УЦС сервере и одговарајућу инфраструктуру за њих.
Међу предностима добијамо одсуство трошкова за администрирање САН-а и система за складиштење, онлајн компресију и дедупликацију, јединствену улазну тачку за подршку (виртуализација, сервери, они су и системи за складиштење), уштеду простора (али не у свим сценаријима), поједностављивање операције.
Што се тиче подршке, овде је добијате од једног добављача - Цисцо. Судећи по мом искуству са Цисцо УЦС серверима, свиђа ми се; нисам морао да га отварам на ХиперФлек-у, све је функционисало исто. Инжењери реагују брзо и могу да реше не само типичне проблеме, већ и сложене ивичне случајеве. Понекад им се обраћам са питањима: „Да ли је могуће ово, зајебите?“ или „Конфигурисао сам нешто овде и не жели да ради. Помоћ!" - стрпљиво ће тамо пронаћи потребан водич и указати на исправне радње; неће одговорити: „Ми решавамо само хардверске проблеме.“
референце
- Моја пошта - [емаил заштићен]
Извор: ввв.хабр.цом