HiDC решение за изграждане на модерна ИКТ инфраструктура за центрове за данни, базирана на оборудване Huawei Enterprise

След като погледнахме от птичи поглед всички модерни решения на Huawei Enterprise, представени през 2020 г., преминаваме към по-фокусирани и подробни истории за отделни идеи и продукти, които могат да послужат като основа за дигиталната трансформация както на големи предприятия, така и на държавни агенции. Днес говорим за концепциите и технологиите, върху които Huawei предлага изграждането на центрове за данни.

В ерата на свързания свят предизвикателствата за съхранение и обработка на данни изискват нови подходи на всички етапи от жизнения цикъл на центъра за данни. Те трябва едновременно да станат по-прости и по-умни, за да се справят с ролята си на централни елементи на инфраструктурата на глобалната цифрова икономика.

През 2018 г. човечеството е съхранявало 33 зетабайта информация, но до 2025 г. общият й обем трябва да нарасне повече от пет пъти. Три десетилетия опит в разработването на ИКТ инфраструктури позволиха на Huawei да бъде добре подготвена за нарастващото „цунами от данни“ и да предложи на своите партньори и клиенти концепцията за интелигентен център за данни, включително всички етапи от неговото изграждане, експлоатация и поддръжка. Елементи на тази концепция са обединени под общото име HiDC.

Дигитализирайте го

В интернет пространството се носи пресен виц: кой ускори най-много дигиталната трансформация на вашата компания - CEO, CTO, борд на директорите? Епидемия от коронавирус! Само мързеливият не провежда уебинари, не пише статии, не казва на хората как и какво да правят. Но всичко това са реактивни действия. Някои подготвени предварително.

Не за самохвалство - по обективни причини ще използваме като пример нашата компания, в която преди няколко години започна масово дигиталната трансформация. В момента сме в състояние да прехвърлим почти всички наши служители на работа от вкъщи без загуба на ефективност. Показателна е историята на болница, построена за десет дни в град Ухан. Там дигиталната трансформация се прояви във факта, че всички ИТ системи бяха внедрени за три дни. Така че дигиталната трансформация не е „кога“ и „защо“, а „как“.

Архитектурен подход вместо спонтанно развитие

Кои са основните проблеми, които ни изправят, когато започнем да изграждаме дадена система? До момента всички наши клиенти работят в режим на комбиниране на бизнес задачи с приложни услуги и ИТ решения. Доста е трудно да се получи обща представа за функционирането на такъв комплекс, ако той е създаден просто чрез добавяне на различни блокове. А за да се изгради една система като единен организъм, първо е необходим архитектурен подход. Това е, което въплътихме в идеологията на нашето HiDC решение.

Максимална стойност и минимална цена

Цялата структура на HiDC се състои от два основни сегмента. Първият е това, което сте свикнали да виждате от Huawei – класическа инфраструктура. Елементите на втория срез най-лесно се комбинират с термина „интелигентни данни“.

Защо е необходимо това? В днешно време много компании натрупват колосални количества информация, често разпръсната или достъпна чрез различни видове „уплътнения“. Да, вземете поне обикновени бази данни. Попитайте вашите администратори на бази данни как тези бази данни се съчетават и как да използвате информацията от тях в BI системи за вземане на бизнес решения. Изненадващо, базите данни често са много слабо свързани една с друга и функционират като отделни „острови“. Затова, на първо място, помислихме какви архитектурни подходи биха могли да премахнат този проблем.

Принципи на проектиране на HiDC архитектура

Нека да разгледаме основните принципи на HiDC дизайна. Това ще бъде полезно преди всичко не за специалисти в дадена област, а за архитекти на решения, които могат да обхванат цялата панорама.

Най-често срещаните са блокът за конвергентни мрежи и блокът за управление на данни. И тук идва концепция, за която архитектите на решения рядко мислят: управление на жизнения цикъл на данните. От класическите бази данни той е мигрирал към много други системи, включително облачни и крайни изчисления.

Edge компютрите стават все по-разпространени. Най-очевидният пример за тяхното използване е автомобил с автопилот, който е препоръчително да се управлява от една платформа. Освен това има тенденция към „зелени“ технологии - по-енергийно ефективни, причиняващи минимални щети на околната среда. Можете да постигнете и двете, като преминете към интелектуални ресурси (повече за тях по-късно).

Страхотно е да разполагаме с всичките шест блока от HiDC структурата. Вярно е, че клиентите често работят в предварително създадена среда. Въпреки това, използването дори на един блок от диаграмата по-горе може да донесе плодове. И ако добавите втори, трети и така нататък, ще започне да се появява синергичен ефект. Комбинацията само от мрежа и разпределено хранилище ще доведе до по-висока производителност и по-ниска латентност. Блоковият подход ни позволява да се развиваме не хаотично, както често се случва в индустрията, а използвайки интегриран архитектурен подход. Е, отвореността на самите блокове дава свобода при избора на оптимално решение.

Времето на конвергентните мрежи

Напоследък на световния и руския пазар все повече насърчаваме концепцията за конвергентни мрежи. Вече днес нашите клиенти използват конвергентни решения, базирани на RoCEv2 (RDMA през конвергиран Ethernet v2), за изграждане на разпределени софтуерно дефинирани системи за съхранение. Основното предимство на този подход е неговата отвореност и липсата на необходимост от създаване на неопределен брой разнородни мрежи.

Защо това не беше направено преди? Спомнете си, че Ethernet стандартът е разработен през 1969 г. Повече от половин век той натрупа много проблеми, но Huawei се научи да ги решава. Сега, благодарение на редица допълнителни стъпки, можем да използваме Ethernet за критични приложения, решения с голямо натоварване и т.н.

От DCN към DCI

Следващата важна тенденция е синергичният ефект от внедряването на DCI (Data Center Interconnect). В Русия, за разлика от Китай, нещо подобно може да се намери само при телекомуникационните оператори. Когато клиентите обмислят мрежови решения за центъра за данни, те обикновено не обръщат достатъчно внимание на дълбоката интеграция на оптични мрежи и класически IP решения в рамките на една точка на присъствие. Те използват познати решения, които работят на IP слоя, което им е достатъчно.

За какво тогава е DCI? Представете си, че администраторът на DWDM възел и мрежовият администратор действат независимо. В даден момент провалът в който и да е от тях може сериозно да намали устойчивостта ви. И ако използваме принципа на синергията, IP маршрутизирането се извършва, като се вземе предвид това, което се случва в оптичната мрежа. Използването на такава интелигентна услуга значително увеличава броя на деветките в нивото на достъпност на цялата система.

Друго сериозно предимство на нашия DCI е неговият голям резерв на производителност. Като сумирате възможностите на диапазоните C и L, можете да получите около 220 ламбда. Такъв резерв едва ли ще бъде бързо изчерпан дори от голям корпоративен клиент, като се има предвид, че сегашното ни решение позволява до 400 Gbit/s да се предават през всяка ламбда. В бъдеще ще бъде възможно да се постигнат 800 Gbit/s на същото оборудване.

Допълнително удобство осигурява цялостната управляемост, която предоставяме чрез класически отворени интерфейси. NETCONF управлява не само комутатори, но и оптични мултиплексни устройства, което ви позволява да постигнете конвергенция на всички нива и да възприемате системата като интелектуален ресурс, а не като „набор от кутии“.

Edge компютрите стават все по-важни

Много хора са чували за Edge Computing. А тези, които се занимават с облачни и класически центрове за данни, трябва да имат предвид, че напоследък наблюдаваме сериозна промяна към периферните изчисления.

Какво причинява това? Нека да разгледаме общите модели на внедряване. В днешно време много се говори за „умни градове“, „умни къщи“ и т.н. Тази концепция позволява на предприемача да създаде добавена стойност и да увеличи цената на имота. „Умният дом“ идентифицира своя обитател, пуска го да влиза и излиза и му предоставя определени услуги. Според статистиката подобни услуги добавят около 10–15% към цената на апартаментите и като цяло могат да стимулират развитието на нови бизнес модели. Освен това вече беше казано за концепциите за автопилот. Скоро развитието на технологиите 5G и Wi-Fi 6 ще осигури изключително ниска латентност за трансфер на данни между интелигентни домове, автомобили и основния център за данни, които извършват периферни изчисления. Това означава, че ще могат да се извършват много по-голям брой операции, свързани със сериозна обработка на данни. За решаването на такива проблеми, по-специално, е възможно да се използват невронни процесори, които вече се доставят в Русия.

Обещанието на току-що очертаната тенденция е неоспоримо. Нека си представим, например, интелигентна система за управление на градския транспорт, способна да превключва светофари, да регулира трафика на определени улици или дори да предприема адекватни мерки при извънредни ситуации.

Сега да се обърнем към ресурсите, с които осигуряваме реализацията на концепцията HiDC.

изчислителен

Когато трябва да внедрим стандартна изчислителна система, в нея, разбира се, се използват процесори с x86 архитектура. Но щом възникне нуждата от персонализиране, е време да помислим за по-разнообразни решения.

Например ARM процесорите, поради големия си брой ядра, са отлични за много паралелни приложения. Многонишковостта дава увеличение на производителността от около 30%.

Когато ниската латентност е критична, програмируемите логически интегрални схеми (FPGA) излизат на преден план.

Невронните процесори са необходими предимно при решаване на проблеми с машинното обучение. Ако за конкретна реализация имаме нужда от 16 стелажа с по 8 сървъра всеки, пълни с невронни процесори, тогава решение от същото ниво, базирано на x86 архитектура, ще изисква (!) около 128 стелажа. Както можете да видите, голямото разнообразие от видове изчисления налага внимателен избор на хардуерни платформи.

Съхранение на данни

Вече втора година Huawei призовава партньори, клиенти и колеги от индустрията да изградят системи за съхранение на данни в съответствие с принципа Flash Only. И повечето от нашите клиенти използват механични шпинделни задвижвания само в по-стари решения или за рядко използвани архивни данни.

Флаш системите също се развиват. На пазара се появяват системи Storage Class Memory (SCM) като Intel Optane. Интересни разработки демонстрират китайски и японски производители. В момента SCM превъзхожда всички други решения по отношение на класа на обработка. Засега само високата цена не им позволява да се използват навсякъде.

В същото време виждаме, че качеството на системите за съхранение трябва да се подобри не само в конвенционалния бекенд, но и във фронтенда. Сега, де факто, в новите имплементации ние, като правило, предлагаме и използваме механизми за директен достъп до паметта през Ethernet, но виждаме заявки от клиенти и следователно към края на годината ще започнем да използваме NVMe над Fabrics по-често. Освен това, от край до край, за да се осигури обща архитектура, която, разбира се, трябва да бъде високопроизводителна и устойчива на повреда на контролера.

Системата за съхранение OceanStor Dorado е един от водещите ни продукти. Вътрешното тестване показа, че осигурява производителност от 20 милиона IOPS, поддържайки функционалност, когато седем от осем контролера се повредят.

Защо толкова много мощност? Нека да разгледаме сегашната ситуация. От няколко месеца жителите на Китай прекарват значително повече време у дома заради локдауна. Интернет трафикът към този момент се е увеличил средно с 30%, а в някои провинции дори се е удвоил. Потреблението на различни мрежови услуги се е увеличило. И в един момент същите банки започнаха да изпитват сериозно допълнително натоварване, за което техните системи за съхранение не бяха готови.

Ясно е, че не всеки има нужда от 20 милиона IOPS сега. Но какво ще стане утре? Нашите интелигентни системи максимизират пълния потенциал на невронните процесори, за да осигурят компактност на трафика, дедупликация, оптимизация и бързо възстановяване на данни.

Референтна мрежа

2020 г., както споменахме в предишната статия, ще бъде годината на основните мрежи за нас. Много клиенти, особено доставчици на услуги за приложения (ASP) и банки, вече мислят за това как техните приложения ще работят конкретно по отношение на комуникациите към и между центровете за данни. Тук на помощ ни идва нова опорна мрежа. Като пример, нека вземем най-големите китайски банки, които са преминали към опростени опорни системи, които използват не дузина различни протоколи за комуникация между центровете за данни, а относително казано, няколко - OSPF и SRv6. Освен това организацията получава същия набор от услуги.

Интелектуални ресурси

Как да използваме данните? Доскоро имаше фрагментирана система от разнородни бази данни: Microsoft SQL, MySQL, Oracle и др. За работа с тях бяха използвани решения от областта на големите данни, способни да комбинират тези данни, да ги вземат, да работят с тях. Всичко това създаде високо натоварване на ресурсите.

В същото време нямаше механизъм за извършване на операции с данни при настъпване на някакво събитие. Решението беше разработването на принципи за управление на жизнения цикъл на данните (DLM).

Всеки е чувал за езерата от данни. С прехода от управление на данни към управление на данни, „цифровите езера“ започнаха бързо да стават по-умни. Включително благодарение на решенията на Huawei. В следващите материали определено ще говорим за целия набор от софтуерни технологии, които използвахме. Сега е важно да се отбележи, че именно използването на интелигентно управление на жизнения цикъл на данните ни позволи да опростим използването на нашата мрежа и сървъри, както и да се научим да изграждаме архитектури от край до край, за да разберем по-добре принципите на работа с данни .

Инженерна инфраструктура на центъра за данни

Ще публикуваме отделни материали, посветени на инженерната инфраструктура, но в контекста на днешната тема бихме искали да споменем онези промени, които са свързани с концепцията HiDC.

Дълго време използването на литиеви батерии в системите за аварийно и резервно захранване (ESP) на центрове за данни беше забранено поради високата им опасност от пожар. Всяко механично увреждане или нарушаване на целостта на батерията може да доведе до нейния пожар и непредсказуеми последици. В тази връзка PSA беше оборудван с остарели киселинни батерии, които имаха ниска специфична плътност на заряда и голяма маса.

Новите системи за аварийно и резервно захранване на Huawei използват безопасни литиево-железни фосфатни (LFP) батерии с интелигентно проактивно управление. При еднакъв капацитет те заемат три пъти по-малък обем в сравнение с киселинните батерии. Техният жизнен цикъл е 10–15 години, което освен всичко друго намалява тежестта, която създават върху околната среда. Патентованата система за управление в екосистемата SmartLi позволява използването на хибридни системи, състоящи се от стар и нов тип батерийни масиви, а системата за превключване позволява „горещи“ промени в структурата на PSA, като същевременно запазва функцията за резервиране.

Интелигентна работа

Важна част от принципите на работа на HiDC инфраструктурата е идеологията на интелигентното самолечение. IN одной От предишни наши публикации споменахме интелигентната платформа O&M 1-3-5, която е в състояние не само да открие и анализира нежелано събитие в системата, но и да предложи на администратора няколко възможности за напълно автоматизирано решение на проблема.

Функцията за самоанализ ви позволява да откриете проблеми за около минута. Три минути се отделят на анализ и в рамките на пет минути се формират предложения за промяна на състоянието на системата.

Да кажем, че някаква операторска грешка е довела до образуването на затворен цикъл от процеси, намалявайки производителността на фермата за виртуализация от 100 на 77%. Администраторът на центъра за данни получава съответно съобщение на своето табло, което съдържа пълна визуализация на проблема, включително мрежова диаграма на ресурсите, засегнати от нежелания процес. След това администраторът може да продължи да коригира ситуацията ръчно или да използва един от няколко сценария за автоматично възстановяване, предложени му.

Системата познава около 75 такива сценария, които могат да бъдат реализирани за по-малко от десет минути, освен това те покриват 90% от проблемите, срещани в центровете за данни. По това време инженерът може спокойно да отговаря на обаждания от притеснени клиенти, уверен, че услугата ще бъде възстановена всеки момент.

Нови ключови продукти в HiDC

В допълнение към софтуерните продукти това трябва да включва ключови решения, работещи на ниво инфраструктура. На първо място, трябва да споменем невронните процесори, използвани в нашето семейство Atlas от AI клъстери, както и NPU и GPU базирани сървъри.

В допълнение, не можем да не споменем отново Dorado и неговото водещо в класа представяне, което ще продължи много години напред. Това е особено вярно в постсъветското пространство, където, с редки изключения, е обичайно да се актуализира нещо само когато то напълно спре да работи. Това обяснява експлоатационния живот на отделните системи за съхранение, достигащ десет години. Необходима е огромна продуктивност на Dorado, за да осигури висококачествена доставка на услуги след десет години.

Иновация във всеки елемент

При избора на конкретни инфраструктурни решения не трябва да забравяме за архитектурата и сценариите за нейното по-нататъшно развитие. Различните продукти от различни производители не гарантират очаквания синергичен ефект, който ще осигурят вече оптимизираните за съвместна употреба решения.

Инфраструктурата трябва да се основава на правилната технология. „Правилните“ включват отворени, осигуряващи висока производителност, работещи стабилно при високи натоварвания. За центровете за данни, например, е важно доброто съотношение на общата консумация на енергия към ИТ натоварването. За да постигнете всички горепосочени цели, трябва да изберете средата и компонентите. В съвременните условия това означава и все по-широко разпространение на изкуствения интелект.

Според нашите наблюдения сред стратегическите клиенти на Huawei все по-малко са тези, които все още не използват системи за машинно обучение. Без ML е просто невъзможно да се монетизират колкото е възможно повече натрупаните данни.

Системата за монетизация може да бъде различна: за банки - предлагане на нови целеви продукти, за телеком оператори - предоставяне на индивидуални услуги и осигуряване на лоялност, за държавни клиенти - висококачествено управление на жизнения цикъл на данните и високо ниво на взаимодействие с други организации. В крайна сметка моделите за управление на данни отдавна са надхвърлили настройката на защитна стена и осигуряването на мрежова видимост на техните бази данни.

От идея до работещ център за данни

Изграждането на стандартен център за данни отнема в най-добрия случай от година до година и половина. Нашият производствен цикъл ни позволява да правим това много по-бързо благодарение на използването на група решения, обединени под общото име FusionDC 2.0. Проектирането, разработването на дизайн на високо ниво, монтажът на всички елементи на ИТ товара се извършват директно в завода. За кратко време оборудването се доставя с морски контейнери от Китай до Русия. В резултат на това създаването на център за данни до ключ може да бъде постигнато буквално за четири до пет месеца.

Идеята за сглобяем облачен център за данни също е интересна, защото центърът за данни може да бъде разработен на етапи, като към него се добавят необходимите функционални блокове. Този подход е заложен в самата концепция на HiDC.

За да не превърнете материала за преглед в лист с данни, за допълнителна информация относно HiDC предлагаме да отидете на към нашия уебсайт. Там ще намерите описание и примери за реализация на подходите, продуктите и решенията, за които говорихме. Колкото по-високо е нивото ви на достъп до сайта, толкова повече материали ще има. Ако ви бъде присвоен статут на „партньор“, ще можете да изтегляте HiDC пътни карти, технически презентации, видеоклипове.

Бихме се осмелили да предположим, че мнозинството от тези, които четат тази статия, имат компетенциите на мрежови архитекти. Със сигурност ще им е интересно да посетят нашия зона за проектиране. Там говорим подробно за това как да изградим мрежова инфраструктура според правилата на Huawei Validated Design (HVD). Указанията, налични за изтегляне, ще ви помогнат да разберете напълно как работят решенията на компанията. Само не забравяйте, че без разрешение, по-малко материали ще бъдат достъпни за вас.

***

Многобройни уебинари, провеждани не само в рускоезичния сегмент, но и на международно ниво, също ще ви помогнат да се ориентирате. На тях споделяме както информация за нашите продукти, така и нашите бизнес практики. Също така говорим за това как Huawei, въпреки прекъсването на много вериги за услуги, продължава да осигурява непрекъсната доставка на своите продукти до различни страни. Наскоро например имаше случай, когато новопроизведеното оборудване за център за данни достигна московски клиент само за три седмици.

Списъкът с уеб семинари за април е наличен по ссылке.

Източник: www.habr.com