Huawei OceanStor Dorado 18000 V6: каква е неговата врвна природа

Темелно тврдиме дека OceanStor Dorado 18000 V6 прави навистина висококвалитетен систем за складирање податоци со пристојна резерва за следните години. Во исто време, ги отфрламе вообичаените грижи за складирањето на сите блиц и покажуваме како Huawei го извлекува максимумот од нив: NVMe од крај до крај, дополнително кеширање на SCM и цел куп други решенија.

Нов пејзаж на податоци - ново складирање податоци

Интензитетот на податоците е во пораст во сите индустрии. А банкарскиот сектор е јасна илустрација за тоа. Во текот на изминатите неколку години, бројот на банкарски трансакции е зголемен за повеќе од десет пати. Како што покажува Студија за BCG, само во Русија во периодот од 2010 до 2018 година бројот на безготовински трансакции со користење на пластични картички покажа повеќе од триесеткратно зголемување - од 5,8 на 172 по лице годишно. Пред сè, триумфот на микроплаќањата: повеќето од нас станаа поврзани со онлајн банкарството, а банката сега е на дофат на раката - на телефон.

ИТ инфраструктурата на кредитната институција мора да биде подготвена за таков предизвик. И ова е навистина предизвик. Меѓу другото, ако порано банката требаше да обезбеди достапност на податоците само во текот на своето работно време, сега е 24/7. До неодамна, 5 ms се сметаше за прифатлива стапка на латентност, па што? Сега дури и 1 ms е претерано. За модерен систем за складирање, целта е 0,5 ms.

Истото е и со веродостојноста: во 2010-тите, беше формирано емпириско разбирање дека е доволно неговото ниво да се доведе до „пет десетици“ - 99,999%. Точно, ова разбирање стана застарено. Во 2020 година, апсолутно е нормално бизнисите да бараат 99,9999% за складирање и 99,99999% за целокупното архитектонско решение. И ова не е каприц, туку итна потреба: или нема временски прозорец за одржување на инфраструктурата, или е мал.

За јасност, погодно е да се проектираат овие индикатори на планот на пари. Најлесен начин е на примерот на финансиските институции. Графиконот погоре покажува колку заработува секоја од 10-те најдобри банки во светот на час. Само за Industrial and Commercial Bank of China тоа не е помалку од 5 милиони долари.Токму колку ќе чини еден час застој на ИТ инфраструктурата на најголемата кредитна организација во Кина (а се земаат предвид само изгубените профити во пресметката!). Од оваа перспектива, јасно е дека намалувањето на времето на застој и зголемувањето на доверливоста, не само за неколку проценти, туку дури и за делови од проценти, се сосема рационално оправдани. Не само заради зголемување на конкурентноста, туку едноставно заради задржување на позициите на пазарот.

Споредливи промени се случуваат и во другите индустрии. На пример, во воздушниот транспорт: пред пандемијата, воздушниот сообраќај добиваше на интензитет од година во година, а многумина почнаа да го користат речиси како такси. Што се однесува до моделите на потрошувачите, навиката за целосна достапност на услуги се вкорени во општеството: по пристигнувањето на аеродромот, треба да се поврземе на Wi-Fi, пристап до платежни услуги, пристап до мапа на областа итн. Како резултат на тоа, оптоварувањето на инфраструктурата и услугите на јавните простори се зголеми многукратно. А тие пристапи кон нејзината инфраструктура, изградба, кои ги сметавме за прифатливи уште пред една година, брзо застаруваат.

Дали е прерано да се префрлите на All-Flash?

За да се решат проблемите споменати погоре, во однос на перформансите, најдобро се вклопуваат AFA - низите со целосно блиц, односно низи целосно изградени на блиц. Освен ако до неодамна постоеја сомнежи дали тие се споредливи во сигурност со оние што се собрани врз основа на HDD и хибридни. На крајот на краиштата, флеш меморијата со цврста состојба има метрика наречена средно време помеѓу неуспесите или MTBF (средно време помеѓу неуспесите). Деградацијата на клетките поради I/O операциите, за жал, е дадена.

Така, изгледите за All-Flash беа засенети од прашањето како да се спречи губење на податоци во случај SSD да нареди да живее долго време. Резервната копија е позната опција, само времето за обновување би било неприфатливо големо врз основа на современите барања. Друг излез е да се постави второ ниво на складирање на погоните на вретеното, меѓутоа, со таква шема, некои од предностите на системот „строго блиц“ се губат.

Сепак, бројките велат поинаку: статистиката на гигантите од дигиталната економија, вклучително и Google, во последните години покажува дека блицот е неколку пати посигурен од хард дисковите. Покрај тоа, и за краток и за долг период: во просек, поминуваат четири до шест години пред да не успеат флеш-уредите. Во однос на доверливоста за складирање податоци, тие на никаков начин не се инфериорни во однос на погоните на магнетните дискови со вретено, па дури и ги надминуваат.

Друг традиционален аргумент во корист на погоните на вретеното е нивната достапност. Без сомнение, трошоците за складирање на терабајт на хард диск сè уште се релативно ниски. И ако се земе предвид само цената на опремата, поевтино е да се чува терабајт на вретено, отколку на SSD. Меѓутоа, во контекст на финансиското планирање, не е важно само колку е купен одреден уред, туку и колкав е вкупниот трошок за долгогодишно поседување - од три до седум години.

Од овој агол е сосема поинаку. Дури и ако ги игнорираме дедупликацијата и компресија, кои, по правило, се користат на блиц-низите и го прават нивното работење поекономично попрофитабилно, остануваат такви карактеристики како што е просторот на решетката окупиран од медиумите, дисипација на топлина и потрошувачка на енергија. И според нив, флешот ги надминува своите претходници. Како резултат на тоа, TCO на системите за флеш складирање, земајќи ги предвид сите параметри, често е речиси половина повеќе отколку во случајот со низи на погони за вретено или хибриди.

Според извештаите на ESG, системите за складирање со целосно блиц Dorado V6 може да постигнат намалување на трошоците за сопственост до 78% во интервал од пет години, вклучително и преку ефикасно отстранување и компресија, како и поради малата потрошувачка на енергија и дисипација на топлина. Германската аналитичка компанија DCIG исто така ги препорачува за употреба како најдобри во однос на TCO достапни денес.

Употребата на погони во цврста состојба овозможува заштеда на употреблив простор, намалување на бројот на дефекти, намалување на времето за одржување на растворот, намалување на потрошувачката на енергија и дисипација на топлина на системите за складирање. И излегува дека AFA е барем економски споредлива со традиционалните низи на погоните на вретеното, па често дури и ги надминува.

Huawei Royal Flush

Меѓу нашите складишта со All-Flash, највисокото место му припаѓа на висококвалитетниот систем OceanStor Dorado 18000 V6. И не само кај нашите: генерално, во индустријата, го држи рекордот за брзина - до 20 милиони IPOS во максимална конфигурација. Покрај тоа, тој е исклучително сигурен: дури и ако два контролори летаат одеднаш, или до седум контролери еден по друг, или цел мотор одеднаш, податоците ќе преживеат. Значителни предности на „осумнаесет илјадити“ се дадени од вештачката интелигенција вклучена во неа, вклучително и флексибилноста во управувањето со внатрешните процеси. Ајде да видиме како се постигнува ова.

Во голем дел, Huawei има добар почеток бидејќи е единствениот производител на пазарот кој самиот ги прави системи за складирање - целосно и целосно. Имаме сопствена кола, свој микрокод, наша сопствена услуга.

Контролерот во системите OceanStor Dorado е изграден на процесор со сопствен дизајн и производство на Huawei - Kunpeng 920. Тој користи контролен модул за интелигентен контролер за управување со основната плоча (iBMC), исто така наш. Чиповите со вештачка интелигенција, имено Ascend 310, кои ги оптимизираат предвидувањата за неуспех и даваат препораки за поставките, се исто така Huawei, како и I/O табли - модулот Smart I/O. Конечно, контролерите во SSD дисковите се дизајнирани и произведени од нас. Сето ова ја даде основата за изработка на интегрално избалансирано решение и со високи перформанси.

Во текот на изминатата година, спроведовме проект за имплементација на овој, наш врвен систем за складирање, во една од големите руски банки. Како резултат на тоа, повеќе од 40 единици OceanStor Dorado 18000 V6 во метро кластерот покажуваат стабилни перформанси: повеќе од милион IOPS може да се отстранат од секој систем, а тоа ги зема предвид доцнењата поради растојанието.

Од крај до крај NVMe

Најновите системи за складирање на Huawei поддржуваат NVMe од крај до крај, што го нагласуваме со причина. Традиционално користените протоколи за пристап до погоните беа развиени во вревата ИТ антика: тие се засноваат на SCSI команди (здраво, 1980-ти!), Кои повлекуваат многу функции за да обезбедат компатибилност наназад. Без оглед на методот на пристап што го користите, протоколот над глава во овој случај е колосален. Како резултат на тоа, за складишта кои користат протоколи поврзани со SCSI, доцнењето на I/O не може да биде помало од 0,4–0,5 ms. За возврат, како протокол дизајниран да работи со флеш меморија и ослободен од патерици заради озлогласената компатибилност наназад, NVMe - Non-Volatile Memory Express - ја намалува латентноста на 0,1 ms, и тоа не на системите за складирање, туку на целата магацинот, од домаќин до дискови. Не е изненадувачки што NVMe е во согласност со трендовите за развој на складирање податоци во догледна иднина. Ние, исто така, се потпиравме на NVMe - и постепено се оддалечуваме од SCSI. Сите системи за складирање на Huawei произведени денес, вклучувајќи ја и линијата Dorado, поддржуваат NVMe (сепак, тој е имплементиран како од крај до крај само на напредните модели од серијата Dorado V6).

FlashLink: неколку технологии

Технологијата-темелник за целата линија OceanStor Dorado е FlashLink. Поточно, тоа е термин кој комбинира интегрален сет на технологии кои служат за обезбедување високи перформанси и доверливост. Ова ги вклучува технологиите за дедупликација и компресија, функционирањето на системот за дистрибуција на податоци RAID 2.0+, одвојувањето на „ладните“ и „жешките“ податоци, секвенцијалното снимање на податоци со целосна лента (случајно запишување, со нови и променети податоци, се собираат во голем стек и се пишува последователно, што ја зголемува брзината на читање-пишување).

Меѓу другото, FlashLink вклучува две важни компоненти - Wear Leveling и Global Garbage Collection. Со нив треба да се постапува посебно.

Всушност, секој погон во цврста состојба е минијатурен систем за складирање, со голем број блокови и контролер кој обезбедува достапност на податоците. А тоа е обезбедено, меѓу другото, и поради фактот што податоците од „убиените“ ќелии се пренесуваат на „не убиените“. Ова осигурува дека тие можат да се читаат. Постојат различни алгоритми за таков трансфер. Во општиот случај, контролорот се обидува да го балансира абењето на сите ќелии за складирање. Овој пристап има негативна страна. Кога податоците се преместуваат внатре во SSD, бројот на I/O операции што ги извршува е драстично намален. Засега тоа е неопходно зло.

Така, ако има многу SSD-дискови во системот, на графиконот за перформанси се појавува „пила“, со остри подеми и падови. Проблемот е што еден диск од базенот може да започне со миграција на податоци во секое време, а целокупните перформанси се отстрануваат во исто време од сите SSD-дискови во низата. Но, инженерите на Huawei сфатија како да ја избегнат „пилата“.

За среќа, и контролорите во погоните, и контролорот за складирање и фирмверот на Huawei се „матични“, овие процеси во OceanStor Dorado 18000 V6 се стартуваат централно, синхроно на сите погони во низата. Покрај тоа, по команда на контролорот за складирање, и токму кога нема големо оптоварување на влезно/излез.

Чипот за вештачка интелигенција е вклучен и во изборот на вистинскиот момент за пренос на податоци: врз основа на статистиката на барањата во претходните неколку месеци, тој може со најголема веројатност да предвиди дали да очекува активен I/O во блиска иднина, и ако одговорот е негативен, а оптоварувањето на системот во моментот е мало, тогаш контролорот ги командува сите погони: оние на кои им треба Нивелирање на абење треба да го изведат одеднаш и синхроно.

Плус, системскиот контролер гледа што се случува во секоја ќелија на погонот, за разлика од системите за складирање на конкурентните производители: тие се принудени да купуваат медиуми со цврста состојба од трети продавачи, поради што деталите на ниво на ќелија не се достапни за контролорите на таквите складишта.

Како резултат на тоа, OceanStor Dorado 18000 V6 има многу краток период на деградација на перформансите на операцијата Wear Leveling и се изведува главно кога не се меша со други процеси. Ова дава високи стабилни перформанси на постојана основа.

Што го прави OceanStor Dorado 18000 V6 сигурен

Постојат четири нивоа на доверливост во современите системи за складирање податоци:

• хардвер, на ниво на погон;
• архитектонски, на ниво на опрема;
• архитектонски заедно со софтверскиот дел;
• кумулативно, што се однесува на решението како целина.

Бидејќи, да ве потсетиме, нашата компанија сама ги дизајнира и произведува сите компоненти на системот за складирање, обезбедуваме доверливост на секое од четирите нивоа, со можност темелно да следиме што се случува на кое од нив во моментот.

Доверливоста на погоните е загарантирана првенствено со претходно опишаното израмнување на носењето и глобалното собирање ѓубре. Кога SSD на системот изгледа како црна кутија, тој нема идеја како точно се истрошуваат ќелиите во него. За OceanStor Dorado 18000 V6, погоните се проѕирни, што овозможува рамномерно балансирање на сите погони во низата. Така, излегува дека значително го продолжува животниот век на SSD и обезбедува високо ниво на сигурност на нивната работа.

На сигурноста на погонот влијаат и дополнителните вишок ќелии во него. И заедно со едноставната резерва, системот за складирање користи таканаречени DIF ќелии, кои содржат контролни суми, како и дополнителни кодови кои овозможуваат заштита на секој блок од една грешка, покрај заштитата на ниво на RAID низа.

Клучот за архитектонска сигурност е решението SmartMatrix. Накратко, ова се четири контролери кои седат на пасивен заден авион како дел од еден мотор (мотор). Два од овие мотори - соодветно, со осум контролери - се поврзани со заеднички полици со погони. Благодарение на SmartMatrix, дури и ако седум од осум контролери престанат да функционираат, ќе остане пристапот до сите податоци, и за читање и за пишување. И со губење на шест од осум контролери, дури ќе биде можно да се продолжат операциите за кеширање.

I/O таблите на истата пасивна задна рамнина се достапни за сите контролери, и на предниот и на задниот крај. Со таква шема за поврзување со целосна мрежа, без разлика што не успее, пристапот до погоните секогаш е зачуван.

Најсоодветно е да се зборува за веродостојноста на архитектурата во контекст на режимите на дефект од кои системот за складирање може да се заштити.

Складирањето ќе ја преживее ситуацијата без загуба ако два контролори „паднат“, вклучително и во исто време. Таквата стабилност се постигнува поради фактот што секој кеш блок сигурно има уште две копии на различни контролери, односно вкупно постои во три копии. И барем еден е на различен мотор. Така, дури и ако целиот мотор престане да работи - со сите негови четири контролери - се гарантира дека сите информации што биле во кеш меморијата ќе бидат зачувани, бидејќи кешот ќе се дуплира во најмалку еден контролер од преостанатиот мотор. Конечно, со сериска врска, можете да изгубите до седум контролери, па дури и ако тие се елиминираат во блокови од два, - и повторно, сите I/O и сите податоци од кешот ќе бидат зачувани.

Во споредба со „hi-end“ складирање од други производители, може да се види дека само Huawei обезбедува целосна заштита на податоците и целосна достапност дури и по смртта на два контролори или на целиот мотор. Повеќето продавачи користат шема со таканаречени парови на контролери на кои се поврзани погоните. За жал, во оваа конфигурација, ако два контролери не успеат, постои ризик да се изгуби пристапот до влез/излез до уредот.

За жал, неуспехот на една компонента не може објективно да се исклучи. Во овој случај, перформансите ќе паднат некое време: неопходно е патеките да се обноват и да се обнови пристапот за I/O операции во врска со оние блокови кои или дошле за пишување, но сè уште не се напишани или биле побарани за читање. OceanStor Dorado 18000 V6 има просечно време на промена на лентата од приближно една секунда - значително помалку од најблискиот аналог во индустријата (4 секунди). Ова се постигнува благодарение на истата пасивна репродукција: кога контролорот откажува, другите веднаш го гледаат неговиот влез-излез, а особено кој блок на податоци не бил снимен; Како резултат на тоа, најблискиот контролер го зема процесот. Оттука и способноста да се врати продуктивноста буквално за секунда. Треба да се додаде дека интервалот е стабилен: секунда за еден контролер, втор за друг, итн.

Во пасивниот заден авион OceanStor Dorado 18000 V6, сите табли се достапни за сите контролери без дополнително адресирање. Ова значи дека секој контролер е способен да зема I/O на која било порта. Без оглед на предниот приклучок до кој доаѓа I/O, контролорот ќе биде подготвен да го обработи. Ова резултира со минимален број на внатрешни трансфери и забележително поедноставување на балансирањето.

Балансирањето на предниот дел се врши со помош на двигателот за повеќе патеки, а дополнителното балансирање се врши во самиот систем, бидејќи сите контролори ги гледаат сите I/O порти.

Традиционално, сите низи на Huawei се дизајнирани на таков начин што немаат ниту една точка на дефект. Сите компоненти може да се заменат без да се рестартира системот: контролери, модули за напојување, модули за ладење, I/O табли итн.

Ја зголемува доверливоста на системот како целина и технологијата како што е RAID-TP. Ова е името на групата RAID, која ви овозможува да се осигурате од истовремен дефект до три дискови. И обновата од 1 ТБ постојано трае помалку од 30 минути. Најдобриот снимен резултат е осум пати побрз отколку со иста количина на податоци на погонот на вретеното. Така, можно е да се користат екстремно обемни погони, да речеме 7,68 или дури 15 TB, и да не се грижите за доверливоста на системот.

Важно е обновата да се изврши не во резервниот погон, туку во резервниот простор - резервниот капацитет. Секој диск има посветен простор што се користи за враќање на податоците по дефект. Така, реставрацијата се врши не според шемата „многу на еден“, туку според шемата „многу до многу“, поради што е можно значително да се забрза процесот. И се додека има слободен капацитет, реставрацијата може да продолжи.

Треба да ја споменеме и веродостојноста на решението од неколку складишта - во метро кластер или, според терминологијата на Huawei, HyperMetro. Ваквите шеми се поддржани на целиот опсег на модели на нашите системи за складирање податоци и овозможуваат пристап и до датотеки и блокови. Покрај тоа, на блок еден, тој функционира и преку Fiber Channel и преку Ethernet (вклучително и преку iSCSI).

Во суштина, зборуваме за двонасочна репликација од еден систем за складирање на друг, во кој на реплицираниот LUN му се дава истиот LUN-ID како и главниот. Технологијата работи првенствено поради конзистентноста на кешовите од два различни системи. Така, за домаќинот не е важно на која страна е: и овде и таму го гледа истиот логичен погон. Како резултат на тоа, ништо не ве спречува да имплементирате кластер за неуспех кој опфаќа две локации.

За кворум, се користи физичка или виртуелна Линукс машина. Може да се наоѓа на трето место, а барањата за нејзините ресурси се мали. Вообичаено сценарио е да се изнајми виртуелна локација само за хостирање на кворум VM.

Технологијата овозможува и проширување: две складишта - во метро кластер, дополнителна локација - со асинхрона репликација.

Историски гледано, многу клиенти формирале „зоолошка градина за складирање“: куп системи за складирање од различни производители, различни модели, различни генерации, со различна функционалност. Во исто време, бројот на хостови може да биде импресивен, и тие често се виртуелизирани. Во такви услови, една од приоритетните задачи на администрацијата е брзо, рамномерно и погодно да им обезбеди логички дискови на домаќините, по можност без да навлегува во тоа каде се физички лоцирани овие дискови. Ова е она за што е дизајнирано нашето софтверско решение OceanStor DJ, кое може унифицирано да управува со различни системи за складирање податоци и да обезбедува услуги од нив без да биде поврзан со одреден модел за складирање.

Истото со вештачката интелигенција

Како што веќе споменавме, OceanStor Dorado 18000 V6 има вградени процесори со алгоритми за вештачка интелигенција - Ascend. Тие се користат, прво, за предвидување неуспеси, и второ, за формирање препораки за подесување, што исто така ги зголемува перформансите и сигурноста на складирањето.

Хоризонтот за предвидување е два месеци: машините за вештачка интелигенција претпоставуваат што ќе се случи со голема веројатност во ова време, дали е време да се прошири, да ги промени политиките за пристап итн. Препораките се издаваат однапред, што ви овозможува да закажете прозорци за одржување на системот однапред .

Следната фаза од развојот на вештачката интелигенција од Huawei е да ја донесе на глобално ниво. Во текот на сервисното одржување - неуспех или препораки - Huawei собира информации од системите за евиденција од складиштата на сите наши клиенти. Врз основа на собраните информации, се врши анализа на настанатите или потенцијалните дефекти и се даваат глобални препораки - не врз основа на функционирањето на еден специфичен систем за складирање или дури десетина, туку на она што се случува и се случило со илјадници такви уреди. Примерокот е огромен и врз основа на него алгоритмите за вештачка интелигенција почнуваат да учат исклучително брзо, поради што точноста на предвидувањата значително се зголемува.

Компатибилност

Во 2019-2020 година, имаше многу инсинуации за интеракцијата на нашата опрема со производите на VMware. За конечно да ги спречиме, одговорно изјавуваме: VMware е партнер на Huawei. Беше направен секој можен тест за да се утврди компатибилноста на нашиот хардвер со неговиот софтвер, и како резултат на тоа, на веб-страницата VMware, листот за хардверска компатибилност ги наведува моментално достапните системи за складирање на нашето производство без никакви резерви. Со други зборови, со софтверското опкружување VMware можете да го користите складирањето на Huawei, вклучувајќи го и Dorado V6, со целосна поддршка.

Истото важи и за нашата соработка со Brocade. Продолжуваме да соработуваме и да ја тестираме компатибилноста на нашите производи - и врз основа на нивните резултати, можеме со сигурност да тврдиме дека нашите системи за складирање се целосно компатибилни со најновите Brocade FC прекинувачи.

Што е следно?

Продолжуваме да ги развиваме и подобруваме нашите процесори: тие стануваат побрзи, посигурни, нивните перформанси растат. Ги подобруваме и чиповите со вештачка интелигенција - врз основа на нив се произведуваат и модули кои го забрзуваат дедупликацијата и компресија. Оние кои имаат пристап до нашиот конфигуратор можеби забележале дека овие картички се веќе достапни за нарачка во моделите Dorado V6.

Исто така, се движиме кон дополнително кеширање на меморијата од класата за складирање - неиспарлива меморија со особено мала латентност, околу десет микросекунди по читање. Меѓу другото, SCM обезбедува зголемување на перформансите, првенствено при работа со големи податоци и решавање на проблеми со OLTP. По следното ажурирање, SCM картичките треба да станат достапни за нарачка.

И, се разбира, функционалноста за пристап до датотеки ќе се прошири низ целиот опсег на складирање податоци на Huawei - останете во тек за нашите ажурирања.

Извор: www.habr.com