Po spojrzeniu z lotu ptaka na wszystkie nowoczesne rozwiązania Huawei Enterprise zaprezentowane w 2020 roku, przechodzimy do bardziej konkretnych i szczegółowych opowieści o poszczególnych pomysłach i produktach, które mogą stanowić podstawę cyfrowej transformacji zarówno dużych przedsiębiorstw, jak i agencji rządowych. Dziś rozmawiamy o koncepcjach i technologiach, na których Huawei proponuje budować centra danych.
W dobie połączonego świata wyzwania związane z przechowywaniem i przetwarzaniem danych wymagają nowego podejścia na wszystkich etapach cyklu życia centrum danych. Muszą jednocześnie stać się prostsze i mądrzejsze, aby sprostać swojej roli jako centralnych elementów infrastruktury globalnej gospodarki cyfrowej.
W 2018 roku ludzkość przechowywała 33 zettabajty informacji, ale do 2025 roku ich łączna objętość powinna wzrosnąć ponad pięciokrotnie. Trzy dekady doświadczenia w rozwoju infrastruktur teleinformatycznych pozwoliły Huawei dobrze przygotować się na narastające „tsunami danych” i zaoferować swoim partnerom i klientom koncepcję inteligentnego centrum danych, obejmującą wszystkie etapy jego budowy, eksploatacji i utrzymania. Elementy tej koncepcji łączą się pod ogólną nazwą HiDC.
Zdigitalizuj to
W Internecie krąży świeży dowcip: kto najbardziej przyspieszył cyfrową transformację Twojej firmy – CEO, CTO, zarząd? Koronawirus epidemia! Tylko ten leniwy nie prowadzi webinarów, nie pisze artykułów, nie mówi ludziom jak i co mają robić. Ale to wszystko są działania reaktywne. Niektóre przygotowane wcześniej.
Nie po to, żeby się przechwalać – ze względów obiektywnych posłużymy się naszą firmą jako przykładem, w którym kilka lat temu zapoczątkowano cyfrową transformację na szeroką skalę. Obecnie jesteśmy w stanie przenieść prawie wszystkich naszych pracowników do pracy z domu bez utraty wydajności. Orientacyjna jest historia szpitala zbudowanego w mieście Wuhan w ciągu dziesięciu dni. Tam cyfrowa transformacja przejawiła się w tym, że wszystkie systemy informatyczne zostały wdrożone w ciągu trzech dni. Zatem transformacja cyfrowa nie polega na tym, „kiedy” i „dlaczego”, ale na tym, „jak”.
Podejście architektoniczne zamiast spontanicznego rozwoju
Jakie są główne problemy, które stoją przed nami, gdy zaczynamy budować określony system? Do tej pory wszyscy nasi Klienci pracują w trybie łączenia zadań biznesowych z usługami aplikacyjnymi i rozwiązaniami IT. Trudno jest uzyskać ogólne pojęcie o funkcjonowaniu takiego kompleksu, jeśli został on stworzony po prostu przez dodanie różnych bloków. Aby zbudować system jako pojedynczy organizm, konieczne jest najpierw podejście architektoniczne. To właśnie ucieleśniliśmy w ideologii naszego rozwiązania HiDC.
Maksymalna wartość i minimalny koszt
Cała struktura HiDC składa się z dwóch głównych segmentów. Pierwsza to to, do czego przywykłeś w Huawei – klasyczna infrastruktura. Elementy drugiego wycinka najłatwiej połączyć z terminem „inteligentne dane”.
Dlaczego jest to konieczne? W dzisiejszych czasach wiele firm gromadzi kolosalne ilości informacji, często rozproszonych lub dostępnych poprzez różnego rodzaju „uszczelki”. Tak, weź przynajmniej zwykłe bazy danych. Zapytaj administratorów baz danych, jak te bazy danych pasują do siebie i jak wykorzystywać zawarte w nich informacje w systemach BI do podejmowania decyzji biznesowych. Co zaskakujące, bazy danych są często bardzo luźno ze sobą powiązane i funkcjonują jako osobne „wyspy”. Dlatego przede wszystkim zastanawialiśmy się, jakie podejścia architektoniczne mogłyby wyeliminować ten problem.
Zasady projektowania architektury HiDC
Przyjrzyjmy się podstawowym zasadom projektowania HiDC. Przyda się to przede wszystkim nie specjalistom z jakiejś konkretnej dziedziny, ale architektom rozwiązań, którzy potrafią ogarnąć całą panoramę.
Najpopularniejsze to blok sieci konwergentnych i blok zarządzania danymi. I tu pojawia się koncepcja, o której rzadko myślą architekci rozwiązań: zarządzanie cyklem życia danych. Z klasycznych baz danych przeszedł migrację do wielu innych systemów, w tym do przetwarzania w chmurze i brzegowego.
Przetwarzanie brzegowe staje się coraz bardziej powszechne. Najbardziej oczywistym przykładem ich zastosowania jest samochód z autopilotem, którym wskazane jest sterowanie z jednej platformy. Ponadto istnieje trend w kierunku technologii „zielonych” – bardziej energooszczędnych, powodujących minimalne szkody dla środowiska. Możesz osiągnąć jedno i drugie, przechodząc na zasoby intelektualne (więcej o nich później).
Wspaniale jest mieć do dyspozycji wszystkie sześć bloków konstrukcji HiDC. To prawda, że klienci często pracują w wcześniej stworzonym środowisku. Jednak wykorzystanie choćby jednego bloku z powyższego schematu może zaowocować. A jeśli dodasz drugi, trzeci i tak dalej, zacznie się pojawiać efekt synergiczny. Samo połączenie sieci i rozproszonej pamięci masowej zapewni wyższą wydajność i mniejsze opóźnienia. Podejście blokowe pozwala nam rozwijać się nie chaotycznie, jak to często bywa w branży, ale stosując zintegrowane podejście architektoniczne. Otóż otwartość samych brył zapewnia swobodę w wyborze optymalnego rozwiązania.
Czas sieci konwergentnych
W ostatnim czasie na rynku światowym i rosyjskim coraz częściej promujemy koncepcję sieci konwergentnych. Już dziś nasi klienci korzystają z rozwiązań konwergentnych opartych na RoCEv2 (RDMA over Converged Ethernet v2) do budowy rozproszonych systemów pamięci masowej definiowanych programowo. Główną zaletą tego podejścia jest jego otwartość i brak konieczności tworzenia nieograniczonej liczby odrębnych sieci.
Dlaczego nie zrobiono tego wcześniej? Przypomnijmy, że standard Ethernet został opracowany w 1969 roku. Przez pół wieku narosło w nim wiele problemów, ale Huawei nauczył się je rozwiązywać. Teraz, dzięki szeregowi dodatkowych kroków, możemy wykorzystać Ethernet do zastosowań o znaczeniu krytycznym, rozwiązań o dużym obciążeniu itp.
Od DCN do DCI
Kolejnym ważnym trendem jest efekt synergiczny z wdrożenia DCI (Data Center Interconnect). W Rosji, w przeciwieństwie do Chin, coś podobnego można znaleźć tylko u operatorów telekomunikacyjnych. Klienci rozważający rozwiązania sieciowe dla centrum danych zazwyczaj nie zwracają wystarczającej uwagi na głęboką integrację sieci optycznych i klasycznych rozwiązań IP w ramach jednego punktu obecności. Korzystają ze znanych rozwiązań, które działają na warstwie IP i to im wystarcza.
Po co w takim razie DCI? Wyobraź sobie, że administrator węzła DWDM i administrator sieci działają niezależnie. W pewnym momencie awaria któregokolwiek z nich może poważnie zmniejszyć Twoją odporność. A jeśli zastosujemy zasadę synergii, routing IP odbywa się z uwzględnieniem tego, co dzieje się w sieci optycznej. Zastosowanie tak inteligentnej usługi znacznie zwiększa liczbę dziewiątek w poziomie dostępności całego systemu.
Kolejną poważną zaletą naszego DCI jest duży margines wydajności. Sumując możliwości zakresów C i L, można uzyskać około 220 lambd. Taka rezerwa raczej nie zostanie szybko wyczerpana nawet przez dużego klienta korporacyjnego, biorąc pod uwagę, że nasze obecne rozwiązanie pozwala na transmisję do 400 Gbit/s każdą lambdą. W przyszłości na tym samym sprzęcie będzie można osiągnąć prędkość 800 Gbit/s.
Dodatkową wygodę zapewnia ogólna łatwość zarządzania, którą zapewniamy poprzez klasycznie otwarte interfejsy. NETCONF zarządza nie tylko przełącznikami, ale także optycznymi urządzeniami multipleksowymi, co pozwala na osiągnięcie konwergencji na wszystkich poziomach i postrzeganie systemu jako zasobu intelektualnego, a nie „zestawu pudełek”.
Przetwarzanie brzegowe staje się coraz ważniejsze
Wiele osób słyszało o Edge Computing. Osoby zajmujące się chmurą i klasycznymi centrami danych powinny pamiętać, że ostatnio zaobserwowaliśmy poważny zwrot w kierunku przetwarzania brzegowego.
Co jest tego przyczyną? Przyjrzyjmy się typowym modelom wdrażania. Obecnie dużo mówi się o „inteligentnych miastach”, „inteligentnych domach” itp. Koncepcja ta pozwala deweloperowi stworzyć wartość dodaną i podnieść cenę nieruchomości. „Inteligentny dom” identyfikuje swojego mieszkańca, wpuszcza go i wychodzi oraz zapewnia mu określone usługi. Według statystyk usługi tego typu podnoszą cenę mieszkania o około 10–15% i generalnie mogą pobudzić rozwój nowych modeli biznesowych. Mówiono już także o koncepcjach autopilota. Już wkrótce rozwój technologii 5G i Wi-Fi 6 zapewni wyjątkowo niskie opóźnienia w przesyłaniu danych pomiędzy inteligentnymi domami, samochodami i głównym centrum danych realizującym przetwarzanie brzegowe. Oznacza to, że możliwe będzie wykonanie znacznie większej liczby operacji związanych z poważnym przetwarzaniem danych. W szczególności do rozwiązania takich problemów można wykorzystać procesory neuronowe, które są już dostarczane do Rosji.
Obietnica przedstawionego właśnie trendu jest niezaprzeczalna. Wyobraźmy sobie na przykład inteligentny system zarządzania transportem miejskim, zdolny do włączania sygnalizacji świetlnej, regulowania natężenia ruchu na określonych ulicach, a nawet podejmowania odpowiednich działań w sytuacjach awaryjnych.
Przejdźmy teraz do zasobów, za pomocą których zapewniamy realizację koncepcji HiDC.
Obliczenia
Kiedy potrzebujemy wdrożyć standardowy system obliczeniowy, stosuje się w nim oczywiście procesory o architekturze x86. Gdy jednak pojawi się potrzeba personalizacji, czas pomyśleć o bardziej zróżnicowanych rozwiązaniach.
Na przykład procesory ARM, ze względu na dużą liczbę rdzeni, doskonale nadają się do zastosowań wysoce równoległych. Wielowątkowość zapewnia wzrost wydajności o około 30%.
Gdy niskie opóźnienia mają kluczowe znaczenie, na pierwszy plan wysuwają się programowalne przez użytkownika układy logiczne (FPGA).
Procesory neuronowe są potrzebne przede wszystkim przy rozwiązywaniu problemów związanych z uczeniem maszynowym. Jeśli do konkretnej realizacji potrzebujemy 16 szaf po 8 serwerów w każdej, wypchanych procesorami neuronowymi, to rozwiązanie na tym samym poziomie oparte na architekturze x86 wymagałoby (!) około 128 szaf. Jak widać duża różnorodność typów obliczeń powoduje konieczność starannego doboru platform sprzętowych.
Przechowywanie danych
Już drugi rok Huawei wzywa partnerów, klientów i współpracowników z branży do tworzenia systemów przechowywania danych zgodnych z zasadą Flash Only. A większość naszych klientów wykorzystuje mechaniczne napędy wrzecionowe tylko w starszych rozwiązaniach lub do rzadko używanych danych archiwalnych.
Systemy Flash również ewoluują. Na rynku pojawiają się systemy Storage Class Memory (SCM), takie jak Intel Optane. Chińscy i japońscy producenci wykazują ciekawe osiągnięcia. Obecnie SCM przewyższa wszystkie inne rozwiązania pod względem klasy przetwarzania. Jak dotąd tylko wysoki koszt nie pozwala na ich stosowanie wszędzie.
Jednocześnie widzimy, że jakość systemów przechowywania wymaga poprawy nie tylko na konwencjonalnym backendzie, ale także na froncie. Teraz de facto w nowych wdrożeniach z reguły oferujemy i wykorzystujemy mechanizmy bezpośredniego dostępu do pamięci przez Ethernet, ale widząc prośby klientów, dlatego pod koniec roku zaczniemy częściej wykorzystywać NVMe over Fabrics. Co więcej, end-to-end, aby zapewnić wspólną architekturę, która oczywiście musi być wysokowydajna i odporna na awarie kontrolera.
System przechowywania OceanStor Dorado to jeden z naszych flagowych produktów. Wewnętrzne testy wykazały, że zapewnia wydajność na poziomie 20 milionów IOPS, zachowując funkcjonalność w przypadku awarii siedmiu z ośmiu kontrolerów.
Skąd taka moc? Spójrzmy na obecną sytuację. Od kilku miesięcy mieszkańcy Chin ze względu na izolację spędzają znacznie więcej czasu w domu. Ruch internetowy w tym czasie wzrósł średnio o 30%, a w niektórych województwach nawet dwukrotnie. Wzrosła konsumpcja różnorodnych usług sieciowych. W pewnym momencie te same banki zaczęły doświadczać poważnego dodatkowego obciążenia, na które ich systemy magazynowania nie były gotowe.
Wiadomo, że nie każdy potrzebuje teraz 20 milionów IOPS. Ale co stanie się jutro? Nasze inteligentne systemy maksymalizują pełny potencjał procesorów neuronowych, aby zapewnić zwartość ruchu, deduplikację, optymalizację i szybkie odzyskiwanie danych.
Sieć referencyjna
Rok 2020, jak wspominaliśmy w poprzednim artykule, będzie dla nas rokiem sieci szkieletowych. Wielu klientów, zwłaszcza dostawców usług aplikacyjnych (ASP) i banki, już myśli o tym, jak ich aplikacje będą działać, szczególnie pod względem komunikacji do i pomiędzy centrami danych. I tu z pomocą przychodzi nam nowa sieć szkieletowa. Jako przykład weźmy największe chińskie banki, które przeszły na uproszczone systemy szkieletowe, które wykorzystują nie kilkanaście różnych protokołów do komunikacji pomiędzy centrami danych, ale, relatywnie rzecz biorąc, parę – OSPF i SRv6. Ponadto organizacja otrzymuje ten sam zestaw usług.
Zasoby intelektualne
Jak korzystać z danych? Do niedawna istniał rozdrobniony system heterogenicznych baz danych: Microsoft SQL, MySQL, Oracle itp. Do pracy z nimi wykorzystywano rozwiązania z zakresu big data, potrafiące łączyć te dane, pobierać je, pracować z nimi. Wszystko to spowodowało duże obciążenie zasobów.
Jednocześnie nie istniał mechanizm umożliwiający wykonywanie operacji na danych po wystąpieniu jakiegoś zdarzenia. Rozwiązaniem było opracowanie zasad zarządzania cyklem życia danych (DLM).
O jeziorach danych słyszał każdy. Wraz z przejściem od zarządzania danymi do zarządzania danymi „cyfrowe jeziora” zaczęły szybko stawać się inteligentniejsze. W tym dzięki rozwiązaniom Huawei. W poniższych materiałach na pewno porozmawiamy o całym stosie technologii oprogramowania, z których korzystaliśmy. Teraz warto zaznaczyć, że to właśnie zastosowanie inteligentnego zarządzania cyklem życia danych pozwoliło nam uprościć korzystanie z naszej sieci i serwerów, a także nauczyć się budować architektury end-to-end, aby lepiej zrozumieć zasady pracy z danymi .
Infrastruktura inżynieryjna centrum danych
O infrastrukturze inżynierskiej będziemy publikować osobne materiały, ale w kontekście dzisiejszego tematu chcielibyśmy wspomnieć o zmianach, które wiążą się z koncepcją HiDC.
Przez długi czas stosowanie baterii litowych w systemach zasilania awaryjnego i rezerwowego (ESP) centrów danych było zabronione ze względu na duże zagrożenie pożarowe. Wszelkie uszkodzenia mechaniczne lub naruszenie integralności akumulatora mogą doprowadzić do jego pożaru i nieprzewidywalnych konsekwencji. Pod tym względem PSA został wyposażony w przestarzałe akumulatory kwasowe, które miały niską gęstość ładunku właściwego i dużą masę.
Nowe systemy zasilania awaryjnego i rezerwowego Huawei wykorzystują bezpieczne akumulatory litowo-żelazowo-fosforanowe (LFP) z inteligentnym, proaktywnym zarządzaniem. Przy tej samej pojemności zajmują trzy razy mniej objętości w porównaniu do akumulatorów kwasowych. Ich cykl życia wynosi 10–15 lat, co m.in. zmniejsza obciążenie, jakie stanowią dla środowiska. Opatentowany system sterowania w ekosystemie SmartLi pozwala na zastosowanie układów hybrydowych składających się z tablic akumulatorowych starego i nowego typu, a układ przełączający pozwala na „gorące” zmiany w strukturze PSA przy zachowaniu funkcji redundancji.
Inteligentna obsługa
Ważną częścią zasad funkcjonowania infrastruktury HiDC jest ideologia inteligentnego samoleczenia. W Z naszych poprzednich publikacji wspominaliśmy o inteligentnej platformie O&M 1-3-5, która jest w stanie nie tylko wykryć i przeanalizować niepożądane zdarzenie w systemie, ale także zaoferować administratorowi kilka opcji w pełni zautomatyzowanego rozwiązania problemu.
Funkcja autoanalizy pozwala wykryć problemy w ciągu około minuty. Na analizę poświęca się trzy minuty, a w ciągu pięciu minut powstają propozycje zmiany stanu systemu.
Załóżmy, że jakiś błąd operatora doprowadził do powstania zamkniętej pętli procesów, zmniejszając wydajność farmy wirtualizacji ze 100 do 77%. Administrator centrum danych otrzymuje na swoim dashboardzie odpowiedni komunikat, który zawiera pełną wizualizację problemu, łącznie ze schematem sieciowym zasobów objętych niepożądanym procesem. Następnie administrator może przystąpić do ręcznej naprawy sytuacji lub skorzystać z jednego z kilku zaproponowanych mu scenariuszy automatycznego odzyskiwania.
System zna około 75 takich scenariuszy, które można wdrożyć w mniej niż dziesięć minut, a ponadto pokrywają one 90% problemów spotykanych w centrach danych. W tym czasie inżynier może spokojnie odbierać telefony od zaniepokojonych klientów, mając pewność, że usługa zostanie przywrócona w każdej chwili.
Nowe kluczowe produkty w HiDC
Oprócz produktów programowych powinno to obejmować kluczowe rozwiązania działające na poziomie infrastruktury. Przede wszystkim musimy wspomnieć o procesorach neuronowych używanych w naszej rodzinie klastrów AI Atlas, a także o serwerach opartych na NPU i GPU.
Ponadto nie możemy nie wspomnieć jeszcze raz o Dorado i jego wiodących w swojej klasie osiągach, które będą służyć przez wiele lat. Jest to szczególnie prawdziwe w przestrzeni poradzieckiej, gdzie, z nielicznymi wyjątkami, zwyczajowo aktualizuje się coś dopiero wtedy, gdy całkowicie przestaje działać. Wyjaśnia to żywotność poszczególnych systemów przechowywania, sięgającą dziesięciu lat. Aby Dorado mogło zapewnić wysoką jakość usług za dziesięć lat, konieczna jest ogromna produktywność.
Innowacja w każdym elemencie
Wybierając konkretne rozwiązania infrastrukturalne nie możemy zapomnieć o architekturze i scenariuszach jej dalszego rozwoju. Odmienne produkty różnych producentów nie gwarantują oczekiwanego efektu synergii, jaki zapewnią rozwiązania już zoptymalizowane pod kątem wspólnego stosowania.
Infrastruktura musi opierać się na odpowiedniej technologii. Do „prawidłowych” zalicza się te otwarte, zapewniające dużą przepustowość, pracujące stabilnie przy dużych obciążeniach. Na przykład w przypadku centrów danych ważny jest dobry stosunek całkowitego zużycia energii do obciążenia IT. Aby osiągnąć wszystkie powyższe cele, należy wybrać środowisko i komponenty. We współczesnych warunkach oznacza to także coraz szersze wykorzystanie sztucznej inteligencji.
Z naszych obserwacji wynika, że wśród strategicznych klientów Huawei jest coraz mniej osób, które w dalszym ciągu nie korzystają z systemów uczenia maszynowego. Bez ML po prostu niemożliwe jest maksymalne spieniężenie zgromadzonych danych.
System monetyzacji może być inny: dla banków - oferujących nowe ukierunkowane produkty, dla operatorów telekomunikacyjnych - świadczących indywidualne usługi i zapewniających lojalność, dla klientów rządowych - wysokiej jakości zarządzanie cyklem życia danych i wysoki poziom interakcji z innymi organizacjami. W końcu modele zarządzania danymi już dawno wykraczają poza konfigurowanie zapory ogniowej i zapewnianie widoczności baz danych w sieci.
Od pomysłu do działającego centrum danych
Budowa standardowego centrum danych trwa od roku do maksymalnie półtora roku. Nasz cykl produkcyjny pozwala nam to zrobić znacznie szybciej, dzięki zastosowaniu grupy rozwiązań zjednoczonych pod wspólną nazwą FusionDC 2.0. Projektowanie, opracowywanie projektów na wysokim poziomie, montaż wszystkich elementów obciążenia IT odbywa się bezpośrednio w fabryce. W krótkim czasie sprzęt dostarczany jest kontenerami morskimi z Chin do Rosji. W rezultacie utworzenie centrum danych „pod klucz” można osiągnąć dosłownie w ciągu czterech do pięciu miesięcy.
Pomysł prefabrykowanego centrum danych w chmurze jest również ciekawy, ponieważ centrum danych można rozbudowywać etapami, dodając do niego niezbędne bloki funkcjonalne. Podejście to jest osadzone w samej koncepcji HiDC.
Aby nie zamieniać materiału recenzyjnego w arkusz danych, w celu uzyskania dodatkowych informacji na temat HiDC sugerujemy udać się tam . Znajdziesz tam opis i przykłady realizacji podejść, produktów i rozwiązań, o których rozmawialiśmy. Im wyższy poziom dostępu do witryny, tym więcej materiałów będzie na niej dostępnych. Jeśli otrzymasz status „partnera”, będziesz mógł pobierać plany HiDC, prezentacje techniczne, filmy.
Zaryzykowalibyśmy założenie, że większość czytających ten artykuł ma kompetencje architektów sieci. Z pewnością będą zainteresowani odwiedzeniem nas . Opowiadamy tam szczegółowo o tym, jak zbudować infrastrukturę sieciową zgodnie z zasadami Huawei Validated Design (HVD). Wytyczne dostępne do pobrania pomogą Ci dokładnie zrozumieć, jak działają rozwiązania firmy. Pamiętaj tylko, że bez autoryzacji mniej materiałów będzie dla Ciebie dostępnych.
***
W nawigacji pomogą Ci także liczne webinaria prowadzone nie tylko w segmencie rosyjskojęzycznym, ale także na poziomie międzynarodowym. Dzielimy się na nich zarówno informacjami o naszych produktach, jak i praktykach biznesowych. Rozmawiamy także o tym, jak Huawei pomimo zakłócenia wielu łańcuchów usług w dalszym ciągu zapewnia ciągłość dostaw swoich produktów do różnych krajów. Ostatnio na przykład miał miejsce przypadek, gdy nowo wyprodukowany sprzęt dla centrum danych dotarł do moskiewskiego klienta w zaledwie trzy tygodnie.
Lista webinarów na kwiecień jest już dostępna .
Źródło: www.habr.com