Pogledavši iz ptičje perspektive sve moderne Huawei Enterprise rješenja predstavljena 2020. godine, prelazimo na preciznije i detaljnije priče o pojedinim idejama i proizvodima koji mogu poslužiti kao osnova digitalne transformacije i velikih poduzeća i državnih institucija. Danas — o tome na temelju kojih koncepcija i tehnologija Huawei predlaže izgradnju podatkovnih centara.
U doba 'povezanog svijeta', zadaci pohrane i obrade podataka zahtijevaju nove pristupe na svim fazama životnog ciklusa podatkovnih centara. Oni moraju postati istovremeno jednostavniji i 'pametniji', kako bi se nosili s ulogom središnjih elemenata infrastrukture globalne digitalne ekonomije.
Godine 2018. čovječanstvo je pohranjivalo 33 zettabajta informacija, ali do 2025. godine ukupni volumen trebao bi porasti više od pet puta. Tri desetljeća iskustva u razvoju ICT infrastruktura omogućila su Huawei-u da se dobro pripremi za nadolazeći 'tsunami podataka' i ponudi svojim partnerima i klijentima koncept pametnog podatkovnog centra, koji obuhvaća sve faze njegove izgradnje, eksploatacije i tehničkog održavanja. Elementi ovog koncepta objedinjeni su pod zajedničkim nazivom HiDC.
Digitaliziraj to
Na mreži se širi svježi vic: tko je najviše ubrzao digitalnu transformaciju vaše tvrtke — CEO, CTO, odbor? Epidemija koronavirusa! Samo lijeni ne održavaju webinare, ne pišu članke, ne pričaju kako i što raditi. No, sve su to reaktivne mjere. Neki su se pripremali unaprijed.
Ne iz razmetljivosti — iz objektivnih razloga u primjeru ćemo navesti našu tvrtku, u kojoj je digitalna transformacija masovno pokrenuta prije nekoliko godina. Trenutno gotovo sve zaposlenike možemo prebaciti na rad od kuće bez ikakvog gubitka učinkovitosti. Pokušajmo se prisjetiti bolnice koja je izgrađena u gradu Wuhan za deset dana. Tamo se digitalna transformacija očitovala u tome da su svi IT sustavi bili postavljeni za tri dana. Dakle, digitalna transformacija nije o 'kada' i 'zašto', već o 'kako'.
Arhitektonski pristup umjesto ad-hoc razvoja
Koji su glavni problemi s kojima se suočavamo kada počnemo graditi neku sustav? Do sada su svi naši klijenti radili u režimu kombinovanja poslovnih zadataka s aplikativnim servisima i IT rješenjima. Dovoljno je teško dobiti sveobuhvatan pregled funkcioniranja takvog kompleksa, ako je stvoren jednostavno dodavanjem različitih blokova. Za izgradnju sustava kao jedinstvenog organizma, prvenstveno je potreban arhitektonski pristup. Taj pristup smo implementirali u ideologiji našeg rješenja HiDC.
Maksimalna vrijednost i minimalni trošak
Cijela struktura HiDC sastoji se od dva osnovna sloja. Prvi predstavlja ono što ste navikli vidjeti kod Huawija — klasičnu infrastrukturu. Elemente drugog sloja najlakše je spojiti terminom 'inteligentni podaci'.
Zašto je to važno? U današnje vrijeme mnoge tvrtke akumuliraju ogromne količine informacija, često dislociranih ili dostupnih kroz razne 'adaptere'. Uzmimo, na primjer, obične baze podataka. Pitajte svoje administratore Baza podataka koliko su te baze međusobno povezane i kako koristiti podatke iz njih u BI sustavima za donošenje poslovnih odluka. Fascinantno je, često su baze podataka vrlo slabo povezane i funkcioniraju kao odvojeni 'otok'. Stoga smo se prvenstveno zapitali kojim bi arhitektonskim pristupima mogao biti riješen ovaj problem.
Načela projektiranja arhitekture HiDC
Razmotrit ćemo osnovna načela projektiranja HiDC. Ovo će prvenstveno biti korisno ne stručnjacima iz nekog specifičnog područja, već arhitektama rješenja koji mogu obuhvatiti cijelu panorama.
Najčešći su blok konvergiranih mreža i blok upravljanja podacima. I već ovdje se javlja pojam o kojem rijetko razmišljaju arhitekti rješenja — upravljanje životnim ciklusom podataka. Iz klasičnih baza podataka prešao je u brojne druge sustave, uključujući oblačne i edge računarstvo.
Broj granicnih računalnih sistema neprestano raste. Najbolji primjer njihove primjene je automobil s autopilotom, kojim bi se poželjno upravljalo s jedinstvene platforme. Osim toga, očigledan je trend prema "zelenim" tehnologijama - energetski učinkovitijim, koje minimalno štete okolišu. Postizanje oba cilja moguće je kroz prijelaz na inteligentne resurse (o kojima ćemo govoriti kasnije).
Izvanredno je kada imamo na raspolaganju svih šest blokova strukture HiDC. Ipak, često klijenti rade u prethodno kreiranim okruženjima. Međutim, korištenje čak i jednog bloka iz gornje sheme može donijeti plodove. A ako dodamo drugi, treći i tako dalje, počinje se manifestirati sinergijski učinak. Samo kombinacija mreže i distribuiranog sustava pohrane podataka donosi veću produktivnost i niže latencije. Blokovski pristup omogućava nam da se razvijamo ne kaotično, kao što često biva u industriji, već koristeći holistički arhitektonski pristup. Pa otvorenost blokova sama po sebi pruža slobodu u izboru optimalnog rješenja.
Vrijeme konvergiranih mreža
U posljednje vrijeme na svjetskom i ruskom tržištu sve više promičemo koncept konvergiranih mreža. Već danas naši klijenti koriste konvergirana rješenja na RoCEv2 (RDMA over Converged Ethernet v2) za izgradnju distribuiranih softverski definiranih sustava pohrane podataka. Glavna prednost takvog pristupa je u njegovoj otvorenosti i izostanku potrebe za stvaranjem neodređenog broja odvojenih mreža.
Zašto to ranije nije rađeno? Podsjetimo, standard Ethernet je razvijen 1969. godine. Tijekom pola stoljeća akumuliralo se mnogo problema, ali u Huaweiju su naučili kako ih riješiti. Sada, zahvaljujući nizu dodatnih mjera, možemo koristiti Ethernet za kritične aplikacije, visoko opterećena rješenja itd.
Od DCN do DCI
Sljedeći važan trend je sinergijski efekt od implementacije DCI (Data Center Interconnect). U Hrvatskoj, za razliku od Kine, nešto slično se može vidjeti samo kod telekom operatera. Kada kupci razmatraju mrešna rješenja za podatkovne centre, obično ne obraćaju dovoljnu pažnju na duboku integraciju optičkih mreža i klasičnih IP rješenja unutar jedne prisutnosti. Oni koriste poznata rješenja koja rade na IP sloju, što im je dovoljno.
Za što je onda potreban DCI? Zamislite da administrator DWDM čvora i administrator mreže djeluju neovisno. U nekom trenutku, kvar koji se dogodi kod bilo kojeg od njih može ozbiljno smanjiti vašu otpornost na greške. A ako koristimo princip sinergije, IP usmjeravanje se vrši uzimajući u obzir što se događa na optičkoj mreži. Korištenje takve inteligentne usluge značajno povećava broj devetki u razini dostupnosti cijelog sustava.
Još jedna značajna prednost našeg DCI-a je velika rezerva performansi. Zbrajanjem mogućnosti C i L opsega, dobivamo oko 220 valova. Ova rezerva vjerojatno neće biti brzo potrošena čak ni od strane velikih korporativnih korisnika, ako se uzme u obzir da naše trenutno rješenje omogućuje prijenos do 400 Gbit/s kroz svaki val. U budućnosti će na istoj opremi biti moguće postići 800 Gbit/s.
Dodatna pogodnost osigurana je zajedničkom upravljivošću koju pružamo putem klasično otvorenih sučelja. Putem NETCONF-a moguće je upravljanje ne samo preklopnicima nego i uređajima za optičko kondenziranje, što omogućuje postizanje konvergencije na svim razinama i percipiranje sustava kao inteligentnog resursa, a ne 'skupa kutija'.
Edge computing postaje sve važniji
Mnogi su čuli za Edge Computing. I oni koji se bave oblacima i klasičnim podatkovnim centrima trebaju imati na umu da u posljednje vrijeme svjedočimo značajnom pomaku prema gраничnim proračunima.
Što je uzrok toga? Pogledajmo opće modele implementacije. Danas se mnogo govori o "pamtnim gradovima", "pamtnim kućama" i slično. Ova koncepcija omogućava investitorima da stvore dodanu vrijednost i povećaju cijenu nekretnine. "Pametna kuća" prepoznaje svog stanara, pušta ga unutra i izvana, te mu pruža određene usluge. Prema statistikama, takve usluge povećavaju cijenu stanova za oko 10–15% i u cjelini mogu potaknuti razvoj novih poslovnih modela. Također, ranije je već bilo riječi o konceptima autonomnih vozila. Uskoro će razvoj tehnologija 5G i Wi-Fi 6 omogućiti izrazito nisku kašnjenje pri prijenosu podataka između "pametnih" kuća, automobila i glavnog podatkovnog centra. To će omogućiti izvođenje mnogo većeg broja operacija vezanih uz ozbiljnu obradu podataka. Za rješavanje takvih zadataka, među ostalim, mogu se koristiti i neuronski procesori, koji su već isporučeni u Hrvatsku.
Perspektivnost upravo opisane trendovske koncepcije je nesumnjiva. Zamislimo, na primjer, inteligentni sustav upravljanja javnim prijevozom koji može upravljati semaforima, regulirati prometno opterećenje na specifičnim ulicama ili čak poduzimati adekvatne mjere tijekom izvanrednih situacija.
Sada se prebacimo na resurse kojima osiguravamo provedbu koncepcije HiDC.
Obračunavanje
Kada trebamo implementirati standardni sustav obr обработки, korištenje procesora s x86 arhitekturom je, naravno, primjereno. No, čim se pojavi potreba za prilagodbom, potrebno je razmisliti o raznolikijim rješenjima.
Na primjer, ARM procesori zbog velikog broja jezgri odlično su prilagođeni aplikacijama s visokom razinom paralelizma. Višekratno procesiranje donosi povećanje performansi od otprilike 30%.
Ako su nam izuzetno važne niske kašnjenja, na prvo mjesto dolaze programabilne logičke sklopke (FPGA).
Neuro procesori su prije svega potrebni za rješavanje problema strojnog učenja. Ako za određenu implementaciju trebamo 16 ormara s po 8 poslužitelja, opremljenih neuro procesorima, rješenje iste razine na bazi arhitekture x86 zahtijevalo bi (!) oko 128 ormara. Kao što vidite, velika raznolikost tipova izračuna zahtijeva temeljit odabir i hardverskih platformi.
Pohrana podataka
Već drugu godinu zaredom Huawei poziva partnere, kupce i kolege iz industrije da grade sustave pohrane podataka prema principu Flash Only. I većina naših kupaca koristi mehaničke špindelne diskove samo u starim rješenjima ili za rijetko korištene arhivske podatke.
Flash sustavi također evoluiraju. Na tržištu se pojavljuju sustavi za pohranu klase memorije (SCM) poput Intel Optane. Zanimljiva rješenja pokazuju kineski i japanski proizvođači. Trenutno SCM po klasi obrade nadmašuje sva ostala rješenja. Jedino visoka cijena sprječava njihovo šire korištenje.
U isto vrijeme, vidimo da kvalitetu SAN-a trebamo poboljšati ne samo na uvjetnom backendu, već i na frontend-u. Sada de facto u novim implementacijama obično nudimo i koristimo mehanizme izravnog pristupa memoriji putem Ethernet-a, ali vidimo zahtjeve kupaca i stoga ćemo bliže kraju godine početi češće koristiti NVMe over Fabrics. Pri čemu end-to-end, kako bismo osigurali zajedničku arhitekturu koja, naravno, mora biti visokih performansi i otporna na kvarove kontrolera.
Sustav pohrane podataka OceanStor Dorado — jedan od naših vodećih proizvoda. Interna ispitivanja su pokazala da osigurava performanse na razini od 20 milijuna IOPS, zadržavajući funkcionalnost čak i u slučaju kvara sedam od osam kontrolera.
Zašto toliko snage? Pogledajmo aktualnu situaciju. Već nekoliko mjeseci stanovnici Kine provode znatno više vremena kod kuće zbog režima izolacije. Internetski promet je u to vrijeme porastao u prosjeku za 30%, a u nekim provincijama čak i dvostruko. Povećala se potražnja za raznim mrežnim uslugama. I u nekom trenutku iste banke počele su doživljavati ozbiljno dodatno opterećenje na koje njihovi SAN-ovi nisu bili spremni.
Razumljivo je da 20 milijuna IOPS trenutno nije potrebno svima. No, što će biti sutra? Naši inteligentni sustavi maksimalno koriste potencijal neuronskih procesora kako bi osigurali kompaktnost prometa, dedupliciranje, optimizaciju i brzo obnavljanje podataka.
Osnovna mreža
Godina 2020., kao što smo spomenuli u prethodnom materijalu, bit će godina temeljnih mreža za nas. Mnogi klijenti, posebno pružatelji usluga aplikacija (ASP) i banke, već razmišljaju o tome kako će njihovi programi raditi s obzirom na komunikaciju s podatkovnim centrima i među njima. Pomoć pritom nudi nova temeljna mreža. Kao primjer možemo navesti najveće kineske banke koje su prešle na pojednostavljene temeljne sustave, koristeći za povezivanje između podatkovnih centara ne desetak različitih protokola, već, uvjetno rečeno, par — OSPF i SRv6. Pri tome organizacija dobiva isti set usluga.
Inteligentni resursi
Kako koristiti podatke? Do nedavno je postojala fragmentirana sustava raznoliki baza podataka: Microsoft SQL, MySQL, Oracle i dr. Za rad s njima korištena su rješenja iz područja big data, sposobna objediniti, preuzeti i raditi s tim podacima. Sve to stvaralo je visoku opterećenost resursa.
Osim toga, nedostajao je mehanizam za izvršenje operacija s podacima kada dođe do nekog događaja. Rješenje je bila razvoj principa upravljanja životnim ciklusom podataka (DLM).
Svi su čuli za data lakes. S prijelazom s upravljanja podacima na upravljanje podacima 'digitalna jezera' postala su brzo 'pametnija'. Uključujući i zahvaljujući rješenjima tvrtke Huawei. U narednim materijalima obavezno ćemo govoriti o cijelom paketu programskih tehnologija koje smo koristili. Sada je važno napomenuti da je upravo primjena 'pametnog' upravljanja životnim ciklusom podataka omogućila da pojednostavimo korištenje naše mreže i poslužitelja, kao i da naučimo graditi cjelovite arhitekture za bolje razumijevanje principa rada s podacima.
Inženjerska infrastruktura podatkovnog centra
Objavit ćemo odvojene materijale posvećene inženjerskoj infrastrukturi, međutim u kontekstu današnje teme željeli bismo spomenuti promjene koje se odnose na koncept HiDC.
Dugo vremena je korištenje litij baterija u sustavima za nužnu i rezervnu napajanje (UPS) u data centrima bilo zabranjeno zbog njihove visoke zapaljivosti. Svako mehaničko oštećenje ili narušavanje cjelovitosti baterije moglo je dovesti do njenog izgaranja i nepredvidivih posljedica. Zbog toga su UPS-ovi bili opremljeni zastarjelim kiselinskim baterijama s niskom gustoćom napunjenosti uz veliku masu.
U novim sustavima za nužnu i rezervnu napajanje Huawei koriste se sigurni litij-željezo-fosfatni akumulatori (LFP) s inteligentnim proaktivnim upravljanjem. Pri istoj kapaciteti zauzimaju tri puta manji volumen u usporedbi s kiselinskim baterijama. Njihov životni ciklus iznosi 10–15 godina, što, pored svega, smanjuje opterećenje na okoliš. Patentirani sustav upravljanja u ekosistemu SmartLi omogućava primjenu hibridnih sustava koji se sastoje od baterijskih sklopova starog i novog tipa, a sustav prebacivanja dopušta 'vruće' promjene u strukturi UPS-a uz neprekidno održavanje funkcije rezerviranja.
Pametno upravljanje
Važan dio načela upravljanja infrastrukturom HiDC je ideologija pametnog samopopravka. U od naših prethodnih publikacija spomenuli smo inteligentnu platformu O&M 1-3-5 koja je sposobna ne samo otkriti i analizirati neželjeni događaj u sustavu, već i ponuditi administratoru nekoliko opcija za potpuno automatizirano rješenje problema.
Funkcija samoanalize omogućava otkrivanje kvara otprilike unutar minute. Tri minute se troše na analizu, a unutar pet minuta formiraju se prijedlozi za promjenu stanja sustava.
Pretpostavimo da je neka greška operatera dovela do formiranja zatvorenog petlje procesa koja smanjuje performanse virtualizacijske farmi sa 100 na 77%. Administrator data centra dobiva na svom nadzornom panelu odgovarajuću poruku koja sadrži potpunu vizualizaciju problema, uključujući mrežnu shemu resursa zahvaćenih neželjenim procesom. Zatim administrator može početi rješavati situaciju ručno ili koristiti jedan od nekoliko predloženih automatiziranih scenarija oporavka.
Sustavi poznaje oko 75 scenarija koji se mogu provesti za manje od deset minuta. Oni pokrivaju 90% problema koji se javljaju u podatkovnim centrima. U tom trenutku inženjer može mirno odgovarati na pozive zabrinutih klijenata, uvjeren da će se usluga obnoviti za nekoliko trenutaka.
Novi ključni proizvodi u HiDC
Pored softverskih proizvoda, treba spomenuti ključna rješenja koja djeluju na razini infrastrukture. Prvo treba spomenuti neuronske procesore koji se koriste u našim AI klasterima obitelji Atlas, kao i servere temeljene na NPU i GPU.
Osim toga, ne možemo ponovno zanemariti Dorado i njegovu rekordnu učinkovitost u svojoj klasi, koja će lako trajati dugi niz godina. Ovo je posebno relevantno na postsovjetskom prostoru, gdje se, uz rijetke iznimke, obnavlja tek kada nešto potpuno prestane raditi. To objašnjava životni vijek pojedinih skladišta podataka, koji dosežu deset godina. Ogromna učinkovitost potrebna je Doradu kako bi i nakon deset godina osigurao visoku kvalitetu usluga.
Inovacije u svakom elementu
Pri odabiru konkretnih infrastrukturnih rješenja ne smijemo zaboraviti na arhitekturu i scenarije njenog daljnjeg razvoja. Različiti proizvodi od različitih proizvođača ne jamče očekivani sinergijski učinak, koji će osigurati rješenja već optimizirana za zajedničko korištenje.
Osnova infrastrukture trebaju biti prave tehnologije. 'Prave' uključuju otvorene, koji osiguravaju visoku propusnost i stabilno funkcioniranje pod visokim opterećenjima. U slučaju podatkovnih centara, važno je dobar omjer ukupne potrošnje energije prema IT opterećenju. Da bismo postigli sve navedene ciljeve, potrebno je odabrati okolinu i komponente. U modernim uvjetima to također znači sve širu primjenu umjetne inteligencije.
Prema našim zapažanjima, među strateškim kupcima Huaweija sve je manje onih koji još uvijek ne koriste sustave strojnog učenja. Bez ML jednostavno neće biti moguće maksimalno unovčiti akumulirane podatke.
Sustav monetizacije može biti različit: banke nude nove ciljane proizvode, telekomunikacijski operatori pružaju individualne usluge i osiguravaju lojalnost, a državni naručitelji pružaju kvalitetno upravljanje životnim ciklusom podataka i visoku razinu suradnje s drugim organizacijama. Modeli upravljanja podacima već dugo ne uključuju samo podešavanje vatrozida i osiguranje mrežne vidljivosti vlastitih Baza podataka.
Od ideje do funkcionalnog DATA CENTRA
Izgradnja standardnog DATA CENTRA traje najbolje od godine do godine i pol. Naš proizvodni ciklus omogućuje da to napravimo znatno brže zahvaljujući korištenju grupe rješenja pod zajedničkim nazivom FusionDC 2.0. Projektiranje, razvoj visokog nivoa dizajna, montaža svih IT komponenti odvija se direktno u tvornici. U kratkom vremenu oprema se dostavlja iz Kine u Rusiju morskim kontejnerima. U konačnici, izrada DATA CENTRA "ključ u ruke" može se osigurati doslovno za četiri do pet mjeseci.
Ideja prefabrikovanog cloud data centra zanimljiva je i zbog toga što se DATA CENTAR može razvijati postupno, dodajući potrebne funkcionalne module. Ovaj pristup je ugrađen u samu koncepciju HiDC.
Kako ne bismo pretvorili pregledni materijal u datasheet, za dodatne informacije o HiDC preporučujemo da se uputite . Tamo ćete pronaći opis i primjere implementacije tih pristupa, proizvoda i rješenja o kojima smo govorili. Materijala će biti više što je viši vaš nivo pristupa web stranici. Ako imate status "partner", moći ćete preuzeti mape puta HiDC, tehničke prezentacije i video snimke.
Riskiramo pretpostaviti da većina čitatelja ovog članka ima kompetencije mrežnih arhitekata. Sigurno će im biti zanimljivo posjetiti našu . Tamo detaljno objašnjavamo kako graditi mrežnu infrastrukturu prema pravilima Huawei Validated Design (HVD). Dostupni vodiči za preuzimanje će pomoći da se detaljno razumije kako rješenja tvrtke rade. Ne zaboravite samo da će vam bez autorizacije biti dostupno manje materijala.
***
Mnoge webinare, koje organiziramo ne samo na ruskom, već i na međunarodnom nivou, pomoći će vam da se snađete. Na njima dijelimo informacije o našim proizvodima, kao i o našim poslovnim praksama. Također govorimo o tome kako Huawei nastavlja osiguravati neprekidnu isporuku svojih proizvoda u različite zemlje usprkos prekidu mnogih opskrbnih lanaca. Nedavno je, na primjer, zabilježen slučaj kada je upravo proizvedena oprema za podatkovni centar stigla do moskovskog kupca za samo tri tjedna.
Popis webinara za travanj je dostupan .
Izvor: habr.com
