Молим вас, немојте пребрзо доносити закључке због наслова! Имамо тешке аргументе да то поткријепимо, и спаковали смо их што смо компактније могли. Представљамо вам пост о концепту и принципима рада нашег новог система складиштења, који је објављен у јануару 2020.
По нашем мишљењу, главну конкурентску предност Дорадо В6 породице складишта обезбеђују перформансе и поузданост поменуте у наслову. Да, да, тако је једноставно, али о каквим смо лукавим и не тако лукавим одлукама успели да постигнемо ово „једноставно“, данас ћемо разговарати.
У циљу бољег ослобађања потенцијала система нове генерације, говорићемо о старијим представницима асортимана модела (модели 8000, 18000). Осим ако није другачије наведено, требало би да буду.
Неколико речи о тржишту
Да бисмо боље разумели место Хуавеи решења на тржишту, окренимо се провереном мерилу - "» Гартнер. Пре две године, у сектору дискова опште намене, наша компанија је самоуверено ушла у групу лидера, одмах иза НетАпп-а и Хевлетт Пацкард Ентерприсе-а. Позицију Хуавеја на тржишту ССД складишта у 2018. карактерисао је статус „изазивача“, али је нешто недостајало да би се постигла лидерска позиција.
Гартнер је 2019. године у својој студији спојио оба горенаведена сектора у један – „Маин Стораге“. Као резултат тога, Хуавеи је поново био у водећим квадранту, поред добављача као што су ИБМ, Хитацхи Вантара и Инфинидат.
Да бисмо употпунили слику, напомињемо да Гартнер прикупља 80% података за анализу на америчком тржишту, а то доводи до значајне пристрасности у корист оних компанија које су добро заступљене у САД. У међувремену, добављачи оријентисани на европска и азијска тржишта налазе се у очигледно мање повољној позицији. Упркос томе, Хуавеи производи су прошле године заузели своје заслужено место у горњем десном квадранту и, према Гартнеровој пресуди, „могу се препоручити за употребу“.
Шта је ново у Дораду В6
Дорадо В6 линију производа, посебно, представљају системи из серије 3000 почетног нивоа. У почетку опремљени са два контролера, могу се хоризонтално проширити на 16 контролера, 1200 дискова и 192 ГБ кеш меморије. Такође, систем ће бити опремљен екстерним Фибре Цханнел (8 / 16 / 32 Гб / с) и Етхернет (1 / 10 / 25 / 40 / 100 Гб / с) портовима.
Имајте на уму да се употреба протокола који немају комерцијални успех сада постепено гаси, па смо на почетку одлучили да напустимо подршку за Фибре Цханнел овер Етхернет (ФЦоЕ) и Инфинибанд (ИБ). Они ће бити додати у каснијим верзијама фирмвера. Подршка за НВМе преко Фабриц-а (НВМе-оФ) је доступна без употребе на врху Фибре Цханнел-а. Следећи фирмвер, који је заказан за издавање у јуну, требало би да подржи НВМе преко Етхернет режима. По нашем мишљењу, горњи сет ће више него покрити потребе већине Хуавеи купаца.
Приступ датотекама није доступан у тренутној верзији фирмвера и појавиће се у једном од наредних ажурирања крајем године. Имплементација се претпоставља на нативном нивоу, од стране самих контролера са Етхернет портовима, без употребе додатне опреме.
Главна разлика између модела серије Дорадо В6 3000 и старијих је у томе што подржава један протокол на позадини - САС 3.0. Сходно томе, диск јединице се тамо могу користити само са именованим интерфејсом. Са наше тачке гледишта, перформансе које ово обезбеђује сасвим су довољне за уређај овог типа.
Системи серије Дорадо В6 5000 и 6000 су решења средњег ранга. Такође су направљени у формату 2У и опремљени са два контролера. Међусобно се разликују по перформансама, броју процесора, максималном броју дискова и величини кеша. Међутим, у архитектонском и инжењерском смислу, Дорадо В6 5000 и 6000 су идентични и изгледају исто.
Хи-енд класа укључује системе серије Дорадо В6 8000 и 18000. Направљени у величини 4У, подразумевано имају одвојену архитектуру, у којој су контролери и драјвови размакнути. Такође могу доћи са најмање два контролора, иако купци обично траже четири или више.
Дорадо В6 8000 се повећава на 16 контролера, а Дорадо В6 18000 до 32. Ови системи имају различите процесоре са различитим бројем језгара и величинама кеша. Истовремено, очуван је идентитет инжењерских решења, као код модела средње класе.
2У полице за складиштење су повезане преко РДМА са пропусним опсегом од 100 Гб / с. Старији Дорадо В6 бацкенд такође подржава САС 3.0, али више у случају да ССД-ови са овим интерфејсом знатно падну у цени. Тада ће постојати економска изводљивост њихове употребе чак и ако се узме у обзир нижа продуктивност. Тренутно је разлика у цени између ССД-ова са САС и НВМе интерфејсима толико мала да нисмо спремни да препоручимо такво решење.
Унутар контролера
Дорадо В6 контролери су направљени на сопственој бази елемената. Нема Интелових процесора, нема АСИЦ-а од Броадцома. Тиме је свака појединачна компонента матичне плоче, као и сама матична плоча, потпуно уклоњена од утицаја ризика повезаних са санкционим притиском америчких компанија. Они који су својим очима видели неку нашу опрему вероватно су приметили штитове са црвеном пругом испод логотипа. То значи да производ не садржи америчке компоненте. Ово је званични курс Хуавеја – прелазак на компоненте сопствене производње, или, у сваком случају, произведене у земљама које не следе политику САД.
Ево шта можете видети на самој плочи контролера.
- Универзални мрежни интерфејс (Хисилицон 1822 чип) одговоран за повезивање на Фибре Цханнел или Етхернет.
- Обезбеђивање даљинског приступа системском БМЦ чипу, односно Хисилицон 1710, за потпуно функционално даљинско управљање и надгледање система. Слични се користе и на нашим серверима иу другим решењима.
- Централна процесорска јединица, која је Кунпенг 920 чип изграђен на АРМ архитектури, коју производи Хуавеи. Он је тај који је приказан на дијаграму изнад, иако други контролери могу имати различите моделе са различитим бројем језгара, различитом брзином такта итд. Број процесора у једном контролеру се такође мења од модела до модела. На пример, у старијој серији Дорадо В6 их има четири на једној плочи.
- ССД контролер (Хисилицон 1812е чип) који подржава и САС и НВМе дискове. Поред тога, Хуавеи самостално производи ССД дискове, али не производи НАНД ћелије сами, већ радије купује од четири највећа светска произвођача у облику нерезаних силиконских плочица. Сечење, тестирање и паковање у чипове које Хуавеи производи самостално, након чега их издаје под сопственим брендом.
- Чип вештачке интелигенције је Асценд 310. Подразумевано, он је одсутан на контролеру и монтира се преко посебне картице, која заузима један од слотова резервисаних за мрежне адаптере. Чип се користи да обезбеди интелигентно понашање кеша, управљање перформансама или процесе дедупликације и компресије. Сви ови задаци се могу решити уз помоћ централног процесора, али АИ чип вам омогућава да то урадите много ефикасније.
Одвојено о Кунпенг процесорима
Кунпенг процесор је систем на чипу (СоЦ) где се поред рачунарске јединице налазе хардверски модули који убрзавају различите процесе, као што су израчунавање контролних сума или извршавање кодирања за брисање. Такође имплементира хардверску подршку за САС, Етхернет, ДДР4 (од шест до осам канала) итд. Све ово омогућава Хуавеи-у да креира контролере за складиштење података који по перформансама нису инфериорни класичним Интел решењима.
Поред тога, власничка решења заснована на АРМ архитектури омогућавају Хуавеи-ју да креира комплетна серверска решења и понуди их својим корисницима као алтернативу к86.
Нова Дорадо В6 архитектура…
Интерну архитектуру система за складиштење Дорадо В6 старије серије представљају четири главна поддомена (фабрике).
Прва фабрика је заједнички фронтенд (мрежни интерфејси одговорни за комуникацију са САН фабриком или домаћинима).
Други је сет контролера, од којих сваки може „доћи“ преко РДМА протокола и до било које предње мрежне картице и до суседног „мотора“, који је кутија са четири контролера, као и за напајање и хлађење. њима заједничке јединице. Сада модели Дорадо В6 високе класе могу бити опремљени са два таква "мотора" (односно, осам контролера).
Трећа фабрика је одговорна за позадину и састоји се од РДМА 100Г мрежних картица.
Коначно, четврту фабрику „у хардверу” представљају плуг-ин паметне полице за складиштење.
Ова симетрична структура ослобађа пуни потенцијал НВМе технологије и гарантује високе перформансе и поузданост. У/И процес је максимално паралелизован преко процесора и језгара, обезбеђујући истовремено читање и писање у више нити.
...и шта нам је дала
Максималне перформансе Дорадо В6 решења су приближно три пута веће од система претходне генерације (исте класе) и могу достићи 20 милиона ИОПС.
То је због чињенице да је у претходној генерацији уређаја подршка за НВМе проширена само на полице за увлачење дискова. Сада је присутан у свим фазама, од домаћина до ССД-а. Позадинска мрежа је такође претрпела промене: САС/ПЦИе је уступио место РоЦЕв2 са пропусношћу од 100 Гб/с.
Форма ССД-а се такође променила. Ако је раније било 2 драјвова по полици од 25У, сада је повећано на 36 физичких дискова величине длана. Поред тога, полице су се "мудриле". Сваки од њих сада има систем отпоран на грешке од два контролера заснована на АРМ чиповима, сличним онима који су инсталирани у централним контролерима.
До сада су се бавили само реорганизацијом података, али са издавањем новог фирмвера биће му додато кодирање компресије и брисања, што ће смањити оптерећење главних контролера са 15 на 5%. Пренос неких задатака на полицу истовремено ослобађа пропусни опсег интерне мреже. И све ово значајно повећава потенцијал скалабилности система.
Компресија и дедупликација у претходној генерацији система складиштења извршена је са блоковима фиксне дужине. Сада је додат и режим рада са блоковима променљиве дужине, који до сада треба принудно укључити. Накнадна ажурирања могу променити ову околност.
Такође укратко о толеранцији на неуспехе. Дорадо В3 је остао у функцији ако један од два контролера поквари. Дорадо В6 ће обезбедити доступност података чак и ако седам од осам контролера откаже узастопно или четири од једног мотора истовремено покваре.
Поузданост у економском смислу
Недавно је спроведено истраживање међу купцима компаније Хуавеи о томе колико застоја појединих елемената ИТ инфраструктуре компанија сматра прихватљивим. Испитаници су углавном били толерантни према хипотетичкој ситуацији у којој апликација не реагује у року од неколико стотина секунди. За оперативни систем или адаптер главне магистрале, десетине секунди (у суштини време поновног покретања) биле су критичне застоје. Корисници постављају још веће захтеве за мрежу: њен пропусни опсег не би требало да нестане дуже од 10-20 секунди. Као што можете претпоставити, најважнији испитаници су сматрали кварове система за складиштење података. Са становишта пословних представника, једноставно складиштење не би требало да прелази ... неколико секунди годишње!
Другим речима, ако клијентска апликација банке не одговори 100 секунди, то највероватније неће изазвати катастрофалне последице. Али ако систем за складиштење не ради за исти износ, вероватно је обустављање пословања и значајни финансијски губици.
Горњи графикон приказује цену сата рада за десет највећих банака (Форбсови подаци за 2017. годину). Слажете се, ако се ваша компанија приближава величини кинеских банака, неће бити тако тешко оправдати потребу за куповином система за складиштење за неколико милиона долара. Тачна је и супротна изјава: ако предузеће не претрпи значајне губитке током застоја, онда је мало вероватно да ће купити хи-енд системе за складиштење. У сваком случају, важно је да имате представу о томе које величине рупа прети да се створи у вашем новчанику док се администратор система бави системом за складиштење који је одбио да ради.
Други по преласку на грешку
У решењу А на горњој илустрацији, можете препознати нашу претходну генерацију Дорадо В3 систем. Његова четири контролера раде у паровима, а само два контролера садрже копије кеша. Контролери унутар пара могу прерасподелити оптерећење. У исто време, као што видите, овде нема фронт-енд и бацк-енд „фабрика“, тако да је свака од полица за складиштење повезана са одређеним паром контролера.
Решење Б дијаграм приказује решење које је тренутно на тржишту другог добављача (препознатог?). Овде већ постоје фронт-енд и бацк-енд фабрике, а дискови су повезани на четири контролера одједном. Истина, постоје нијансе које нису очигледне у првој апроксимацији у раду унутрашњих алгоритама система.
Десно је наша тренутна Дорадо В6 архитектура за складиштење са пуним скупом унутрашњих делова. Размотрите како ови системи преживљавају типичну ситуацију - квар једног контролера.
У класичним системима, који укључују Дорадо В3, период потребан за прерасподелу оптерећења у случају квара достиже четири секунде. Током овог времена, И/О се потпуно зауставља. Решење Б од наших колега, упркос модернијој архитектури, има још веће време застоја при квару од шест секунди.
Складиштење Дорадо В6 обнавља свој рад за само једну секунду након квара. Овај резултат се постиже захваљујући хомогеном унутрашњем РДМА окружењу које омогућава контролеру да приступи „страној“ меморији. Друга важна околност је присуство фронт-енд фабрике, захваљујући којој се пут за домаћина не мења. Порт остаје исти, а оптерећење се једноставно шаље здравим контролерима од стране управљачких програма за више пролаза.
Квар другог контролера у Дорадо В6 се решава у једној секунди по истој шеми. Дорадо В3 траје око шест секунди, а решење другог произвођача девет. За многе ДБМС, такви интервали се више не могу сматрати прихватљивим, јер се за то време систем пребацује у режим приправности и престаје да ради. Ово се пре свега односи на ДБМС који се састоји од многих секција.
Квар трећег контролера Решење А није у стању да преживи. Једноставно због чињенице да се губи приступ делу дискова са подацима. Заузврат, Решење Б у таквој ситуацији враћа свој радни капацитет, што траје, као иу претходном случају, девет секунди.
Шта је у Дораду В6? Једну секунду.
Шта се може урадити у секунди
Скоро ништа, али нам не треба. Још једном, у Дораду В6 хи-енд класе, фабрика фронт-енда је одвојена од фабрике контролера. То значи да не постоје тврдо кодирани портови који припадају одређеном контролеру. Прелазак на грешку не укључује проналажење алтернативних путања или реиницијализацију вишеструког пролаза. Систем наставља да ради као некада.
Вишеструка толеранција отказа
Старији Дорадо В6 модели могу лако преживети истовремени квар било која два (!) Контролора са било ког „мотора“. Ово је омогућено чињеницом да решење сада чува три копије кеша. Стога, чак и са двоструким неуспехом, увек ће постојати једна потпуна копија.
Синхрони квар сва четири контролера у једном од „мотора” такође неће изазвати фаталне последице, пошто се све три копије кеша дистрибуирају међу „моторима” у сваком тренутку. Сам систем прати усклађеност са таквом логиком рада.
Коначно, врло мало вероватан сценарио је узастопни квар седам од осам контролера. Штавише, минимални дозвољени интервал за одржавање оперативности између појединачних кварова је 15 минута. За то време, систем складиштења има времена да изврши операције неопходне за миграцију кеша.
Последњи преживели контролер ће покренути складиште података и одржавати кеш меморију пет дана (подразумевана вредност, која се лако може променити у подешавањима). Након тога, кеш ће бити онемогућен, али ће систем за складиштење наставити да ради.
Ажурирања која не ометају
Нови ОС Дорадо В6 вам омогућава да ажурирате фирмвер за складиштење без поновног покретања контролера.
Оперативни систем је, као иу случају претходних решења, заснован на Линук-у, међутим, многи оперативни процеси су пребачени из кернела у кориснички режим. Већина функција, попут оних одговорних за дедупликацију и компресију, сада су редовни демони који раде у позадини. Као резултат тога, није потребно мењати цео оперативни систем да бисте ажурирали појединачне модуле. Претпоставимо, да бисте додали подршку за нови протокол, биће потребно само да искључите одговарајући софтверски модул и покренете нови.
Јасно је да и даље остају проблеми ажурирања система у целини, јер у кернелу можда постоје елементи које треба ажурирати. Али то је, према нашим запажањима, мање од 6% од укупног броја. Ово вам омогућава да поново покрећете контролере десет пута ређе него раније.
Решења отпорна на катастрофе и висока доступност (ХА/ДР).
Дорадо В6 је из кутије спреман за интеграцију у гео-дистрибуисана решења, кластере на нивоу града (метро) и „троструке“ центре података.
На левој страни на горњој илустрацији је кластер метроа који је многима већ познат. Два система складиштења раде у активном / активном режиму на удаљености до 100 км један од другог. Таква инфраструктура са једним или више кворум сервера може бити подржана решењима различитих компанија, укључујући наш ФусионСпхере оперативни систем у облаку. Од посебног значаја у оваквим пројектима су карактеристике канала између сајтова, све остале задатке у нашем случају преузима ХиперМетро функција, доступна, опет, из кутије. Интеграција је могућа преко Фибре Цханнел-а, као и преко иСЦСИ-а у ИП мрежама, уколико се за то укаже потреба. Више нема потребе за обавезним присуством наменске „тамне“ оптике, јер систем може да комуницира преко постојећих канала.
Приликом изградње таквих система, једини хардверски захтев за складиштење је додела портова за репликацију. Довољно је купити лиценцу, покренути кворум сервере – физичке или виртуелне – и обезбедити ИП конекцију за контролере (10 Мбпс, 50 мс).
Ова архитектура се лако може пренети на систем са три дата центра (погледајте десну страну илустрације). На пример, када два дата центра раде у метро-кластер режиму, а трећа локација, која се налази на удаљености већој од 100 км, користи асинхрону репликацију.
Систем технолошки подржава различите пословне сценарије који ће бити имплементирани у случају већег ексцеса.
Опстанак метро кластера са вишеструким кваровима
Горе и испод такође су приказани класични метро кластер, који се састоји од два система за складиштење и кворум сервера. Као што видите, у шест од девет могућих сценарија вишеструких кварова, наша инфраструктура ће остати оперативна.
На пример, у другом сценарију, ако кворум сервер не успе и синхронизација између локација, систем остаје продуктиван, јер друга локација престаје да ради. Ово понашање је већ уграђено у уграђене алгоритме.
Чак и након три квара, приступ информацијама може се одржати ако је интервал између њих најмање 15 секунди.
Уобичајени адут из рукава
Подсетимо се да Хуавеи производи не само системе за складиштење података, већ и читав низ мрежне опреме. Којег год провајдера за складиштење да одаберете, ако се ВДМ мрежа користи између локација, у 90% случајева она ће бити изграђена на решењима наше компаније. Поставља се логично питање: зашто састављати зоолошки врт система када се сав хардвер који је гарантовано компатибилан један са другим може набавити од једног продавца?
На питање перформанси
Вероватно нико не треба да буде убеђен да прелазак на Алл-Фласх складиште може значајно смањити трошкове одржавања инфраструктуре, пошто се све рутинске операције обављају много пута брже. О томе сведоче сви добављачи такве опреме. У међувремену, многи добављачи почињу да буду лукави када је у питању деградација перформанси када су омогућени различити начини складиштења.
У нашој индустрији се широко практикује да се системи за складиштење издају за пробни рад на један или два дана. Продавац изводи 20-минутни тест на празном систему, добијајући бројке космичких перформанси. А у стварном раду, „подводне грабуље“ брзо испузају. Након једног дана, прелепе ИОПС вредности се смањују за половину или три пута, а ако је систем за складиштење попуњен за 80%, испоставља се да су још мање. Када укључите РАИД 5 уместо РАИД 10, губи се још 10-15%, а у метро-кластер режиму перформансе су додатно преполовљене.
Све што је горе наведено се не односи на Дорадо В6. Наши купци имају прилику да изврше тест перформанси током викенда или барем преко ноћи. Тада се манифестује сакупљање смећа, а такође постаје јасно како активација различитих опција – попут снимака и репликације – утиче на постигнуту количину ИОПС-а.
У Дорадо В6, снимци и РАИД са паритетом немају скоро никакав утицај на перформансе (3-5% уместо 10-15%). Сакупљање смећа (пуњење ћелија погона нулама), компресија, дедупликација на систему за складиштење који је 80% попуњен увек ће утицати на укупну брзину обраде захтева. Али управо Дорадо В6 је занимљив по томе што, без обзира на то коју комбинацију функција и заштитних механизама активирате, коначни учинак складиштења неће пасти испод 80% цифре добијене без оптерећења.
Балансирање оптерећења
Високе перформансе Дорадо В6 се постижу балансирањем у свакој фази, и то:
- мултипассинг;
- коришћење више веза са једног хоста;
- доступност фронт-енд фабрике;
- паралелизација рада контролера складиштења;
- расподела оптерећења на свим дисковима на нивоу РАИД 2.0+.
У суштини, ово је уобичајена пракса. Ових дана мало ко све податке држи на једном ЛУН-у: сви се труде да их има осам, па и четрдесет, па и више. Ово је очигледан и исправан приступ, који делимо. Али ако ваш задатак захтева само један ЛУН, који је лакши за одржавање, наша архитектонска решења му омогућавају да постигне 80% перформанси доступних са више ЛУН-ова.
Динамичко ЦПУ заказивање
Расподела оптерећења на процесорима при коришћењу једног ЛУН-а се спроводи на следећи начин: задаци на нивоу ЛУН-а подељени су у засебне мале „шардове“, од којих је свака ригидно додељена одређеном контролеру у „мотору“. Ово се ради како систем не би изгубио перформансе док "скаче" са овим подацима преко различитих контролера.
Други механизам за одржавање високих перформанси је динамичко планирање, у коме се одређена процесорска језгра могу доделити различитим групама задатака. На пример, ако је систем сада у стању мировања на нивоу дедупликације и компресије, онда нека од језгара могу бити укључена у процес сервисирања И/О. Или обрнуто. Све се то ради аутоматски и транспарентно за корисника.
Подаци о тренутном оптерећењу сваког од Дорадо В6 језгара се не приказују у графичком интерфејсу, али преко командне линије можете приступити ОС контролера и користити уобичајену Линук команду врх.
Подршка за НВМе и РоЦЕ
Као што је већ поменуто, Дорадо В6 тренутно у потпуности подржава НВМе преко Фибре Цханнел-а и не захтева никакве лиценце. Средином године појавиће се подршка за НВМе овер Етхернет режим. За његову потпуну употребу биће вам потребна подршка за Етернет са директним приступом меморији (ДМА) верзија в2.0 како из самог система за складиштење података тако и са прекидача и мрежних адаптера. На пример, као што су Мелланок ЦоннецтКс-4 или ЦоннецтКс-5. Можете користити и мрежне картице направљене на бази наших чипова. Такође, РоЦЕ подршка мора бити имплементирана на нивоу оперативног система.
Све у свему, сматрамо да је Дорадо В6 систем усредсређен на НВМе. Упркос постојећој подршци за Фибре Цханнел и иСЦСИ, у будућности се планира прелазак на брзи Етхернет са РДМА.
Прстохват маркетинга
Због чињенице да је систем Дорадо В6 веома отпоран на грешке, добро се скалира, подржава различите технологије миграције итд., економски ефекат његове набавке постаје очигледан са почетком интензивне употребе система за складиштење података. Наставићемо да се трудимо да власништво над системом учинимо што профитабилнијим, чак и ако то у првој фази није евидентно.
Конкретно, формирали смо ФЛАСХ ЕВЕР програм повезан са продужењем животног циклуса система за складиштење и дизајниран да растерети купца што је више могуће током надоградње.
Овај програм укључује низ мера:
- могућност постепене замене контролера и полица за дискове новим верзијама без замене целог хардвера (за Дорадо В6 хи-енд системе);
- могућност федералног складиштења (комбиновање различитих верзија Дорада као део једног хибридног складишног кластера);
- паметна виртуелизација (могућност коришћења хардвера треће стране као дела Дорадо решења).
Остаје да се примети да је тешка ситуација у свету мало утицала на комерцијалне изгледе новог система. Упркос чињеници да је званично издање Дорадо В6 одржано тек у јануару, видимо значајну потражњу за њим у Кини, као и велико интересовање за њега од стране руских и међународних партнера из финансијског и владиног сектора.
Између осталог, у вези са пандемијом, колико год да трају, посебно је акутно питање обезбеђивања виртуелних десктопа запослених на даљину. У овом процесу, Дорадо В6 би такође могао да отклони многа питања. У том циљу чинимо све потребне напоре, укључујући и практично договор око укључивања новог система на ВМваре листу компатибилности.
***
Узгред, не заборавите на наше бројне вебинаре који се одржавају не само у сегменту руског говорног подручја, већ и на глобалном нивоу. Списак вебинара за април доступан је на .
Извор: ввв.хабр.цом