HiDC решение за изградба на модерна ИКТ инфраструктура за центри за податоци базирана на опрема на Huawei Enterprise

Откако ги погледнавме сите модерни решенија на Huawei Enterprise претставени во 2020 година, продолжуваме кон пофокусирани и подетални приказни за поединечни идеи и производи кои можат да послужат како основа за дигитална трансформација и на големите претпријатија и на владините агенции. Денес зборуваме за концептите и технологиите на кои Huawei предлага да се изградат центри за податоци.

Во ерата на поврзаниот свет, предизвиците за складирање и обработка на податоци бараат нови пристапи во сите фази од животниот циклус на центарот за податоци. Тие мора истовремено да станат поедноставни и попаметни за да се справат со нивната улога како централни елементи на инфраструктурата на глобалната дигитална економија.

Во 2018 година, човештвото складирало 33 зетабајти информации, но до 2025 година неговиот вкупен волумен би требало да се зголеми повеќе од пет пати. Тридецениското искуство во развојот на ИКТ инфраструктури му овозможи на Huawei да биде добро подготвен за растечкото „цунами на податоци“ и да им понуди на своите партнери и клиенти концептот на интелигентен центар за податоци, вклучувајќи ги сите фази од неговата изградба, работење и одржување. Елементите на овој концепт се обединети под општото име HiDC.

Дигитализирајте го

Една нова шега лебди низ Интернет: кој најмногу ја забрза дигиталната трансформација на вашата компанија - извршен директор, директор на директори, одбор на директори? Епидемија на коронавирус! Само мрзливиот не води вебинари, не пишува статии, не им кажува на луѓето како и што да прават. Но, сите овие се реактивни дејства. Некои се подготвени однапред.

Не заради фалење - од објективни причини ќе ја искористиме нашата компанија како пример, во која дигиталната трансформација беше иницирана во голем обем пред неколку години. Во моментов, ние сме во можност да ги префрлиме речиси сите наши вработени на работа од дома без никакво губење на ефикасноста. Индикативна е приказната за болницата изградена во градот Вухан за десет дена. Таму дигиталната трансформација се манифестираше во тоа што сите ИТ системи беа распоредени за три дена. Значи, дигиталната трансформација не е за „кога“ и „зошто“, туку за „како“.

Архитектонски пристап наместо спонтан развој

Кои се главните проблеми со кои се соочуваме кога ќе почнеме да градиме одреден систем? Досега, сите наши клиенти работат во режим на комбинирање деловни задачи со апликативни услуги и ИТ решенија. Прилично е тешко да се добие општа идеја за функционирањето на таков комплекс ако е создаден едноставно со додавање на разни блокови. А за да се изгради систем како единствен организам, прво е неопходен архитектонски пристап. Тоа е она што го отелотворивме во идеологијата на нашето решение HiDC.

Максимална вредност и минимална цена

Целата структура на HiDC е составена од два главни парчиња. Првиот е она што сте навикнати да го гледате од Huawei - класична инфраструктура. Елементите на вториот дел најлесно се комбинираат со терминот „интелигентни податоци“.

Зошто е ова потребно? Во денешно време, многу компании акумулираат огромни количини на информации, често расфрлани или достапни преку разни видови „дихтунзи“. Да, земете барем обични бази на податоци. Прашајте ги администраторите на вашата база на податоци како овие бази на податоци се вклопуваат заедно и како да ги користите информациите од нив во системите за БИ за да донесувате деловни одлуки. Изненадувачки, базите на податоци често се многу лабаво поврзани една со друга и функционираат како посебни „острови“. Затоа, пред сè, размислувавме за тоа кои архитектонски пристапи би можеле да го отстранат овој проблем.

Принципи за дизајн на архитектура HiDC

Ајде да ги погледнеме основните принципи на дизајнот на HiDC. Ова првенствено ќе биде корисно не за специјалисти во одредена област, туку за архитекти на решенија кои можат да ја разгледаат целата панорама.

Најчести се блокот на конвергирани мрежи и блокот за управување со податоци. И тука доаѓа концепт за кој архитектите на решенија ретко размислуваат: управување со животниот циклус на податоци. Од класичните бази на податоци, тој мигрираше во многу други системи, вклучително и cloud и edge computing.

Edge computing станува се повообичаено. Најочигледен пример за нивната употреба е автомобил со автопилот, кој се препорачува да се контролира од една платформа. Покрај тоа, постои тренд кон „зелени“ технологии - енергетски поефикасни, предизвикувајќи минимална штета на животната средина. Можете да ги постигнете и двете со префрлување на интелектуални ресурси (повеќе за нив подоцна).

Одлично е што ги имаме на располагање сите шест блокови од структурата HiDC. Точно, клиентите често работат во претходно создадена средина. Сепак, користењето дури и еден блок од дијаграмот погоре може да вроди со плод. И ако додадете втор, трет и така натаму, ќе почне да се појавува синергетски ефект. Само комбинацијата на мрежа и дистрибуирано складирање ќе донесе повисоки перформанси и помала латентност. Блоковиот пристап ни овозможува да се развиваме не хаотично, како што често се случува во индустријата, туку користејќи интегриран архитектонски пристап. Па, отвореноста на самите блокови обезбедува слобода во изборот на оптимално решение.

Времето на конвергирани мрежи

Неодамна, на глобалниот и рускиот пазар, сè повеќе го промовираме концептот на конвергентни мрежи. Веќе денес, нашите клиенти користат конвергирани решенија базирани на RoCEv2 (RDMA преку Converged Ethernet v2) за да изградат дистрибуирани системи за складирање дефинирани со софтвер. Главната предност на овој пристап е неговата отвореност и отсуството на потреба од создавање неопределен број различни мрежи.

Зошто ова не беше направено порано? Потсетиме дека етернет стандардот беше развиен во 1969 година. Повеќе од половина век, има акумулирано многу проблеми, но Huawei научи да ги решава. Сега, благодарение на голем број дополнителни чекори, можеме да користиме етернет за апликации кои се критични за мисијата, решенија со големо оптоварување итн.

Од DCN до DCI

Следниот важен тренд е синергетскиот ефект од имплементацијата на DCI (Data Center Interconnect). Во Русија, за разлика од Кина, нешто слично може да се најде само кај телекомуникациските оператори. Кога клиентите размислуваат за мрежни решенија за центарот за податоци, тие обично не посветуваат доволно внимание на длабоката интеграција на оптичките мрежи и класичните IP решенија во рамките на една точка на присуство. Тие користат познати решенија кои работат на IP слојот, што им е доволно.

За што е тогаш DCI? Замислете дека администраторот на јазолот DWDM и мрежниот администратор дејствуваат независно. Во одреден момент, неуспехот во кој било од нив може сериозно да ја намали вашата еластичност. И ако го користиме принципот на синергија, IP рутирањето се врши земајќи го предвид она што се случува на оптичката мрежа. Користењето на ваква интелигентна услуга значително го зголемува бројот на девет во нивото на достапност на целиот систем.

Друга сериозна предност на нашиот DCI е неговата голема маржа на перформанси. Со сумирање на можностите на опсегот C и L, можете да добиете околу 220 ламбди. Таквата резерва веројатно нема да биде брзо исцрпена дури и од голем корпоративен клиент, со оглед на тоа што нашето сегашно решение овозможува до 400 Gbit/s да се пренесат преку секоја ламбда. Во иднина ќе може да се постигнат 800 Gbit/s на истата опрема.

Дополнителна погодност е обезбедена од целокупната управливост што ја обезбедуваме преку класично отворените интерфејси. NETCONF управува не само со прекинувачи, туку и со оптички мултиплекс уреди, што ви овозможува да постигнете конвергенција на сите нивоа и да го перцепирате системот како интелектуален ресурс, а не како „сет на кутии“.

Edge computing е сè поважно

Многу луѓе слушнале за Edge Computing. И оние кои се вклучени во облакот и класичните центри за податоци треба да имаат на ум дека неодамна видовме сериозно поместување кон пресметување на работ.

Што го предизвикува ова? Да ги погледнеме вообичаените модели на распоредување. Во денешно време многу се зборува за „паметни градови“, „паметни куќи“ итн. Овој концепт му овозможува на инвеститорот да создаде додадена вредност и да ја зголеми цената на имотот. „Паметниот дом“ го идентификува својот жител, го пушта да влезе и да излезе и му обезбедува одредени услуги. Според статистичките податоци, таквите услуги додаваат околу 10-15% на цената на становите и, генерално, може да поттикнат развој на нови деловни модели. Исто така, веќе е кажано за концептите на автопилот. Наскоро, развојот на технологиите 5G и Wi-Fi 6 ќе обезбеди екстремно ниска латентност за пренос на податоци помеѓу паметните домови, автомобилите и главниот центар за податоци што вршат пресметување на работ. Тоа значи дека ќе може да се извршат многу поголем број операции поврзани со сериозна обработка на податоци. За да се решат ваквите проблеми, особено, можно е да се користат нервни процесори кои веќе се испорачуваат во Русија.

Ветувањето за трендот штотуку наведено е непобитно. Да замислиме, на пример, интелигентен систем за управување со урбан транспорт способен да менува семафори, да го регулира сообраќајното оптоварување на одредени улици, па дури и да преземе соодветни мерки за време на итни случаи.

Сега да се свртиме кон ресурсите со кои ја обезбедуваме имплементацијата на концептот HiDC.

Пресметки

Кога треба да имплементираме стандарден компјутерски систем, во него секако се користат процесори со x86 архитектура. Но, штом се појави потреба за прилагодување, време е да размислите за поразновидни решенија.

На пример, ARM процесорите, поради нивниот голем број јадра, се одлични за високо паралелни апликации. Multithreading дава зголемување на перформансите од околу 30%.

Кога ниската латентност е критична, теренските програмибилни логички интегрирани кола (FPGA) доаѓаат во прв план.

Невралните процесори се првенствено потребни кога се решаваат проблеми со машинско учење. Ако за специфична имплементација ни требаат 16 решетки со по 8 сервери, наполнети со невронски процесори, тогаш за решение на исто ниво засновано на x86 архитектура би биле потребни (!) околу 128 решетки. Како што можете да видите, широката разновидност на типови на пресметки го прави неопходно внимателно да се изберат хардверски платформи.

Складирање на податоци

Веќе втора година, Huawei ги повикува партнерите, клиентите и колегите од индустријата да изградат системи за складирање податоци во согласност со принципот Flash Only. И повеќето од нашите клиенти користат механички погони за вретено само во постари решенија или за ретко користени архивски податоци.

Системите за блиц исто така се развиваат. Системите за меморија од класа за складирање (SCM) како што е Intel Optane се појавуваат на пазарот. Кинеските и јапонските производители демонстрираат интересни случувања. Во моментов, SCM е супериорен во однос на сите други решенија во однос на класата на обработка. Засега само високата цена не дозволува да се користат насекаде.

Во исто време, гледаме дека квалитетот на системите за складирање треба да се подобри не само на конвенционалниот заден дел, туку и на предниот дел. Сега, де факто, во новите имплементации ние, по правило, нудиме и користиме механизми за директен пристап до меморија преку Ethernet, но гледаме барања на клиентите и затоа, кон крајот на годината, ќе почнеме почесто да користиме NVMe преку Fabrics. Покрај тоа, од крај до крај, со цел да се обезбеди заедничка архитектура, која, се разбира, мора да биде со високи перформанси и отпорна на дефект на контролерот.

Системот за складирање OceanStor Dorado е еден од нашите водечки производи. Внатрешното тестирање покажа дека обезбедува перформанси од 20 милиони IOPS, одржувајќи ја функционалноста кога седум од осум контролери откажуваат.

Зошто толку моќ? Да ја погледнеме моменталната ситуација. Веќе неколку месеци, жителите на Кина поминуваат значително повеќе време дома поради заклучувањето. Интернет сообраќајот во овој момент се зголеми во просек за 30%, а во некои провинции дури и двојно се зголеми. Потрошувачката на различни мрежни услуги е зголемена. И во одреден момент, истите банки почнаа да доживуваат сериозно дополнително оптоварување, за кое нивните системи за складирање не беа подготвени.

Јасно е дека не секому му требаат 20 милиони IOPS сега. Но, што ќе се случи утре? Нашите интелигентни системи го максимизираат целосниот потенцијал на невронските процесори со цел да се обезбеди компактност на сообраќајот, дедупликација, оптимизација и брзо обновување на податоците.

Референтна мрежа

2020 година, како што споменавме во претходната статија, ќе биде година на основни мрежи за нас. Многу клиенти, особено давателите на услуги за апликации (ASP) и банките, веќе размислуваат за тоа како нивните апликации ќе работат конкретно во однос на комуникациите до и помеѓу центрите за податоци. Ова е местото каде што ни доаѓа на помош нова мрежа на 'рбетот. Како пример, да ги земеме најголемите кинески банки кои се префрлија на поедноставени основни системи кои користат не десетина различни протоколи за комуникација помеѓу центрите за податоци, туку, релативно кажано, неколку - OSPF и SRv6. Покрај тоа, организацијата добива ист сет на услуги.

Интелектуални ресурси

Како да се користат податоците? До неодамна постоеше фрагментиран систем на хетерогени бази на податоци: Microsoft SQL, MySQL, Oracle итн. За работа со нив се користеа решенија од областа на големите податоци, способни да ги комбинираат овие податоци, да ги земат, да работат со нив. Сето ова создаде големо оптоварување на ресурсите.

Истовремено, не постоеше механизам за извршување на операции со податоци при појава на некој настан. Решението беше развојот на принципите за управување со животниот циклус на податоци (DLM).

Сите слушнале за езерата на податоци. Со преминот од управување со податоци кон управување со податоци, „дигиталните езера“ почнаа брзо да стануваат попаметни. Вклучително и благодарение на решенијата на Huawei. Во следните материјали дефинитивно ќе зборуваме за целиот куп софтверски технологии што ги користевме. Сега е важно да се напомене дека употребата на паметно управување со животниот циклус на податоци ни овозможи да ја поедноставиме употребата на нашата мрежа и сервери, како и да научиме да градиме архитектури од крај до крај за подобро да ги разбереме принципите на работа со податоци .

Инженерска инфраструктура на центри за податоци

Ќе објавиме посебни материјали посветени на инженерската инфраструктура, но во контекст на денешната тема би сакале да ги споменеме оние промени кои се поврзани со концептот HiDC.

Долго време, употребата на литиумски батерии во итни и резервни системи за напојување (ESP) на центрите за податоци беше забранета поради нивната висока опасност од пожар. Секое механичко оштетување или повреда на интегритетот на батеријата може да доведе до нејзин пожар и непредвидливи последици. Во овој поглед, PSA беше опремен со застарени киселински батерии, кои имаа мала специфична густина на полнење и голема маса.

Новите итни и резервни системи за напојување на Huawei користат безбедни батерии од литиум железо фосфат (LFP) со интелигентно проактивно управување. Со истиот капацитет, тие заземаат три пати помал волумен во споредба со киселинските батерии. Нивниот животен циклус е 10–15 години, што, меѓу другото, го намалува товарот што го создаваат врз животната средина. Патентираниот контролен систем во екосистемот SmartLi овозможува користење на хибридни системи кои се состојат од батериски низи од стари и нови типови, а системот за префрлување овозможува „жешки“ промени во структурата на PSA додека ја одржува функцијата на вишок.

Паметно работење

Важен дел од принципите на функционирање на инфраструктурата HiDC е идеологијата на паметно само-заздравување. ВО еден Од нашите претходни публикации, ја споменавме интелигентната платформа O&M 1-3-5, која е способна не само да открие и анализира несакан настан во системот, туку и да му понуди на администраторот неколку опции за целосно автоматизирано решение на проблемот.

Функцијата за самоанализа ви овозможува да откриете проблеми за околу една минута. Три минути се трошат на анализа, а во рок од пет минути се формираат предлози за промена на состојбата на системот.

Да речеме дека некоја грешка на операторот доведе до формирање на затворена јамка на процеси, намалувајќи ги перформансите на фармата за виртуелизација од 100 на 77%. Администраторот на центарот за податоци добива соодветна порака на неговата контролна табла, која содржи целосна визуелизација на проблемот, вклучувајќи мрежен дијаграм на ресурсите погодени од несаканиот процес. Следно, администраторот може да продолжи да ја коригира ситуацијата рачно или да користи едно од неколкуте сценарија за автоматско обновување што му се понудени.

Системот знае околу 75 такви сценарија кои можат да се имплементираат за помалку од десет минути, а исто така покриваат 90% од проблемите на центрите за податоци. Во тоа време, инженерот може мирно да одговара на повиците од загрижените клиенти, уверени дека услугата ќе биде обновена во секој момент.

Нови клучни производи во HiDC

Покрај софтверските производи, ова треба да вклучува клучни решенија кои работат на ниво на инфраструктура. Пред сè, треба да ги споменеме нервните процесори што се користат во нашето семејство Atlas на кластери за вештачка интелигенција, како и серверите базирани на NPU и GPU.

Дополнително, не можеме да не го споменеме повторно Dorado и неговите водечки перформанси во класата, кои ќе траат уште многу години. Ова е особено точно во постсоветскиот простор, каде што, со ретки исклучоци, вообичаено е да се ажурира нешто само кога целосно ќе престане да работи. Ова го објаснува работниот век на индивидуалните системи за складирање, достигнувајќи десет години. Огромна продуктивност е неопходна за Дорадо да обезбеди висококвалитетна испорака на услуги за десет години од сега.

Иновации во секој елемент

При изборот на конкретни инфраструктурни решенија, не смееме да заборавиме на архитектурата и сценаријата за нејзиниот понатамошен развој. Различните производи од различни производители не го гарантираат очекуваниот синергистички ефект што ќе го обезбедат веќе оптимизираните решенија за заедничка употреба.

Инфраструктурата мора да се заснова на вистинска технологија. „Коректните“ вклучуваат отворени, кои обезбедуваат висока пропусност, стабилно работат при високи оптоварувања. За центрите за податоци, на пример, добар сооднос на вкупната потрошувачка на енергија и оптоварувањето на ИТ е важен. За да ги постигнете сите горенаведени цели, треба да ја изберете околината и компонентите. Во современи услови тоа значи и сè пораспространета употреба на вештачката интелигенција.

Според нашите согледувања, меѓу стратешките клиенти на Huawei има се помалку и помалку кои сè уште не користат системи за машинско учење. Без ML, едноставно е невозможно да се монетизираат акумулираните податоци што е можно повеќе.

Системот за монетизација може да биде различен: за банки - нудат нови насочени производи, за телекомуникациски оператори - обезбедување на индивидуални услуги и обезбедување лојалност, за владини клиенти - управување со животниот циклус на податоци со висок квалитет и високо ниво на интеракција со други организации. На крајот на краиштата, моделите за управување со податоци одамна го надминаа поставувањето заштитен ѕид и обезбедувањето мрежна видливост на нивните бази на податоци.

Од идеја до оперативен центар за податоци

Изградбата на стандарден центар за податоци трае во најдобар случај од една година до една и пол година. Нашиот производствен циклус ни овозможува да го направиме тоа многу побрзо благодарение на употребата на група решенија обединети под заедничкото име FusionDC 2.0. Дизајн, развој на дизајн на високо ниво, склопување на сите елементи на ИТ оптоварувањето се изведуваат директно во фабриката. За кратко време опремата се доставува со морски контејнери од Кина во Русија. Како резултат на тоа, создавањето на центар за податоци со клуч на рака може да се постигне буквално за четири до пет месеци.

Идејата за префабрикуван центар за податоци во облак е исто така интересна затоа што центарот за податоци може да се развива во фази, додавајќи ги потребните функционални блокови на него. Овој пристап е вграден во самиот концепт на HiDC.

За да не се претвори материјалот за преглед во лист со податоци, за дополнителни информации за HiDC предлагаме да отидете на на нашата веб-страница. Таму ќе најдете опис и примери за имплементација на пристапите, производите и решенијата за кои зборувавме. Колку е повисоко вашето ниво на пристап до страницата, толку повеќе материјали ќе има. Ако ви е доделен статус на „партнер“, ќе можете да преземате патокази на HiDC, технички презентации, видеа.

Ќе се осмелиме да претпоставиме дека мнозинството од оние што ја читаат оваа статија имаат компетенции на мрежни архитекти. Тие сигурно ќе бидат заинтересирани да ја посетат нашата дизајнерска зона. Таму детално зборуваме за тоа како да изградиме мрежна инфраструктура според правилата на Huawei Validated Design (HVD). Упатствата достапни за преземање ќе ви помогнат темелно да разберете како функционираат решенијата на компанијата. Само запомнете дека без овластување ќе ви бидат достапни помалку материјали.

***

Бројни вебинари спроведени не само во сегментот на руски јазик, туку и на меѓународно ниво, исто така, ќе ви помогнат да се движите. На нив споделуваме информации за нашите производи и нашите деловни практики. Зборуваме и за тоа како Huawei, и покрај прекинот на многу синџири на услуги, продолжува да обезбедува континуирана испорака на своите производи во различни земји. Неодамна, на пример, имаше случај кога новопроизведената опрема за центар за податоци стигна до московски клиент за само три недели.

Списокот на вебинари за април е достапен по ссылке.

Извор: www.habr.com