Nakon što smo iz ptičje perspektive pogledali sva suvremena Huawei Enterprise rješenja predstavljena 2020., prelazimo na fokusiranije i detaljnije priče o pojedinačnim idejama i proizvodima koji mogu poslužiti kao osnova za digitalnu transformaciju kako velikih poduzeća tako i državnih agencija. Danas govorimo o konceptima i tehnologijama na kojima Huawei predlaže izgradnju podatkovnih centara.
U eri povezanog svijeta izazovi pohrane i obrade podataka zahtijevaju nove pristupe u svim fazama životnog ciklusa podatkovnog centra. Moraju istovremeno postati jednostavniji i pametniji kako bi se nosili sa svojom ulogom središnjih elemenata infrastrukture globalne digitalne ekonomije.
U 2018. godini čovječanstvo je pohranilo 33 zetabajta informacija, no do 2025. njihov bi se ukupni volumen trebao povećati više od pet puta. Tri desetljeća iskustva u razvoju ICT infrastruktura omogućila su Huaweiju da se dobro pripremi za rastući “podatkovni tsunami” te da svojim partnerima i kupcima ponudi koncept inteligentnog podatkovnog centra, uključujući sve faze njegove izgradnje, rada i održavanja. Elementi ovog koncepta objedinjeni su pod općim nazivom HiDC.
Digitalizirajte ga
Internetom kruži svježi vic: tko je najviše ubrzao digitalnu transformaciju vaše tvrtke - CEO, CTO, upravni odbor? Koronavirus epidemija! Samo lijen ne vodi webinare, ne piše članke, ne govori ljudima kako i što da rade. Ali sve su to reaktivne radnje. Neki su se unaprijed pripremili.
Ne radi hvalisanja - iz objektivnih razloga kao primjer ćemo uzeti našu tvrtku u kojoj je digitalna transformacija u velikom obimu započela prije nekoliko godina. Trenutno smo u mogućnosti prebaciti gotovo sve svoje zaposlenike na rad od kuće bez gubitka učinkovitosti. Indikativna je priča o bolnici izgrađenoj u gradu Wuhanu za deset dana. Tamo se digitalna transformacija očitovala činjenicom da su svi IT sustavi postavljeni u tri dana. Dakle, digitalna transformacija nije pitanje "kada" i "zašto", već pitanje "kako".
Arhitektonski pristup umjesto spontanog razvoja
Koji su glavni problemi s kojima se susrećemo kada počnemo graditi određeni sustav? Do sada svi naši korisnici rade u načinu kombiniranja poslovnih zadataka s aplikativnim uslugama i IT rješenjima. Prilično je teško dobiti opću predodžbu o funkcioniranju takvog kompleksa ako je stvoren jednostavnim dodavanjem raznih blokova. A da bi se izgradio sustav kao jedinstveni organizam, prvo je nužan arhitektonski pristup. To je ono što smo utjelovili u ideologiji našeg HiDC rješenja.
Maksimalna vrijednost i minimalni trošak
Cijela HiDC struktura sastoji se od dva glavna kriška. Prvi je ono što ste navikli vidjeti od Huaweija – klasična infrastruktura. Elementi drugog odsječka najlakše se kombiniraju s pojmom "inteligentni podaci".
Zašto je to potrebno? U današnje vrijeme mnoge tvrtke nakupljaju ogromne količine informacija, često razbacanih ili dostupnih kroz razne vrste "brtvila". Da, uzmite barem obične baze podataka. Pitajte svoje administratore baza podataka kako se te baze podataka uklapaju i kako koristiti informacije iz njih u BI sustavima za donošenje poslovnih odluka. Iznenađujuće, baze podataka često su vrlo labavo povezane jedna s drugom i funkcioniraju kao zasebni "otoci". Stoga smo prije svega razmišljali o tome koji bi arhitektonski pristupi mogli eliminirati ovaj problem.
Principi dizajna HiDC arhitekture
Pogledajmo osnovne principe HiDC dizajna. Ovo će prije svega biti korisno ne stručnjacima u nekom određenom području, već arhitektima rješenja koji mogu obuhvatiti cijelu panoramu.
Najčešći su blok konvergentnih mreža i blok za upravljanje podacima. I tu dolazi koncept o kojem arhitekti rješenja rijetko razmišljaju: upravljanje životnim ciklusom podataka. Iz klasičnih baza podataka migrirao je na mnoge druge sustave, uključujući cloud i edge computing.
Rubno računalstvo postaje sve češće. Najočitiji primjer njihove uporabe je automobil s autopilotom, kojim je preporučljivo upravljati s jedne platforme. Osim toga, postoji trend prema "zelenim" tehnologijama - energetski učinkovitijim, uzrokujući minimalnu štetu okolišu. I jedno i drugo možete postići prelaskom na intelektualne resurse (više o njima kasnije).
Super je imati svih šest blokova HiDC strukture na raspolaganju. Istina, korisnici često rade u prethodno stvorenom okruženju. Međutim, korištenje čak i jednog bloka iz gornjeg dijagrama može uroditi plodom. A ako dodate drugi, treći i tako dalje, počet će se pojavljivati sinergijski učinak. Sama kombinacija mreže i distribuirane pohrane donijet će veću izvedbu i nižu latenciju. Blokovski pristup omogućuje nam da se ne razvijamo kaotično, kao što se često događa u industriji, već korištenjem integriranog arhitektonskog pristupa. Pa, otvorenost samih blokova daje slobodu u izboru optimalnog rješenja.
Vrijeme konvergiranih mreža
U posljednje vrijeme na svjetskom i ruskom tržištu sve više promoviramo koncept konvergentnih mreža. Već danas naši korisnici koriste konvergentna rješenja temeljena na RoCEv2 (RDMA preko konvergiranog Etherneta v2) za izgradnju distribuiranih softverski definiranih sustava za pohranu podataka. Glavna prednost ovog pristupa je njegova otvorenost i nepostojanje potrebe za stvaranjem neograničenog broja različitih mreža.
Zašto to prije nije učinjeno? Podsjetimo da je Ethernet standard razvijen 1969. godine. Tijekom pola stoljeća nagomilao je mnogo problema, ali Huawei ih je naučio riješiti. Sada, zahvaljujući nizu dodatnih koraka, možemo koristiti Ethernet za kritične aplikacije, rješenja s velikim opterećenjem itd.
Od DCN do DCI
Sljedeći važan trend je sinergijski učinak implementacije DCI-ja (Data Center Interconnect). U Rusiji se, za razliku od Kine, nešto slično može naći samo kod telekom operatera. Kada kupci razmatraju mrežna rješenja za podatkovni centar, obično ne obraćaju dovoljno pozornosti na duboku integraciju optičkih mreža i klasičnih IP rješenja unutar jedne točke prisutnosti. Koriste poznata rješenja koja rade na IP sloju, što im je dovoljno.
Čemu onda služi DCI? Zamislite da administrator DWDM čvora i mrežni administrator djeluju neovisno. U nekom trenutku, kvar u bilo kojem od njih može ozbiljno smanjiti vašu otpornost. A ako koristimo princip sinergije, IP usmjeravanje se provodi uzimajući u obzir ono što se događa na optičkoj mreži. Korištenjem ovako inteligentne usluge značajno se povećava broj devetki u razini dostupnosti cijelog sustava.
Još jedna ozbiljna prednost našeg DCI-ja je njegova velika margina performansi. Zbrajanjem mogućnosti C i L raspona, možete dobiti oko 220 lambda. Takvu rezervu vjerojatno neće brzo potrošiti čak ni veliki korporativni korisnik, s obzirom na to da naše trenutačno rješenje omogućuje prijenos do 400 Gbit/s kroz svaku lambdu. U budućnosti će na istoj opremi biti moguće postići 800 Gbit/s.
Dodatnu pogodnost pruža cjelokupna upravljivost koju pružamo kroz klasično otvorena sučelja. NETCONF upravlja ne samo preklopnicima, već i optičkim multipleks uređajima, što vam omogućuje postizanje konvergencije na svim razinama i percipiranje sustava kao intelektualnog resursa, a ne "skupa kutija".
Rubno računalstvo sve je važnije
Mnogi su ljudi čuli za Edge Computing. A oni koji se bave oblakom i klasičnim podatkovnim centrima trebaju imati na umu da smo nedavno vidjeli ozbiljan pomak prema rubnom računalstvu.
Što uzrokuje ovo? Pogledajmo uobičajene modele implementacije. Danas se mnogo govori o “pametnim gradovima”, “pametnim kućama” itd. Ovaj koncept omogućuje investitoru stvaranje dodane vrijednosti i povećanje cijene nekretnine. “Pametna kuća” identificira svog stanara, pušta ga unutra i van te mu pruža određene usluge. Prema statistici, takve usluge dodaju oko 10-15% na cijenu stanova i, općenito, mogu potaknuti razvoj novih poslovnih modela. Također, već je rečeno o konceptima autopilota. Uskoro će razvoj 5G i Wi-Fi 6 tehnologija omogućiti iznimno niske latencije za prijenos podataka između pametnih domova, automobila i glavnog podatkovnog centra koji obavlja rubno računalstvo. To znači da će biti moguće izvoditi puno veći broj operacija vezanih uz ozbiljnu obradu podataka. Za rješavanje takvih problema, posebno, moguće je koristiti neuronske procesore koji su već isporučeni Rusiji.
Obećanje upravo opisanog trenda je neporecivo. Zamislimo, na primjer, inteligentni sustav upravljanja gradskim prijevozom koji je sposoban uključiti semafore, regulirati prometno opterećenje na određenim ulicama ili čak poduzeti odgovarajuće mjere u hitnim slučajevima.
Sada se okrenimo resursima s kojima osiguravamo implementaciju HiDC koncepta.
računalstvo
Kada trebamo implementirati standardni računalni sustav, u njemu se, naravno, koriste procesori s x86 arhitekturom. Ali čim se pojavi potreba za prilagodbom, vrijeme je da razmislite o raznovrsnijim rješenjima.
Na primjer, ARM procesori su zbog velikog broja jezgri izvrsni za visoko paralelne aplikacije. Multithreading daje povećanje performansi od oko 30%.
Kada je niska latencija kritična, programibilni logički integrirani krugovi (FPGA) dolaze u prvi plan.
Neuralni procesori prvenstveno su potrebni pri rješavanju problema strojnog učenja. Ako nam za konkretnu implementaciju treba 16 regala sa po 8 servera, natrpanih neuronskim procesorima, tada bi rješenje iste razine bazirano na x86 arhitekturi zahtijevalo (!) oko 128 regala. Kao što vidite, širok izbor vrsta izračuna zahtijeva pažljiv odabir hardverskih platformi.
Pohrana podataka
Huawei već drugu godinu poziva partnere, kupce i kolege iz industrije da izgrade sustave za pohranu podataka u skladu s principom Flash Only. Većina naših kupaca koristi mehaničke vretenaste pogone samo u starijim rješenjima ili za rijetko korištene arhivske podatke.
Flash sustavi se također razvijaju. Na tržištu se pojavljuju sustavi Storage Class Memory (SCM) kao što je Intel Optane. Kineski i japanski proizvođači pokazuju zanimljiv razvoj. Trenutno je SCM superiorniji od svih drugih rješenja u smislu klase obrade. Do sada samo visoka cijena ne dopušta njihovu upotrebu posvuda.
U isto vrijeme, vidimo da kvalitetu sustava za pohranu treba poboljšati ne samo na konvencionalnom backendu, već i na frontendu. Sada, de facto, u novim implementacijama mi, u pravilu, nudimo i koristimo mehanizme izravnog pristupa memoriji preko Etherneta, ali vidimo zahtjeve kupaca i stoga ćemo pred kraj godine početi češće koristiti NVMe preko Fabrics-a. Štoviše, end-to-end, kako bi se osigurala zajednička arhitektura, koja, naravno, mora biti visokih performansi i otporna na kvar kontrolera.
OceanStor Dorado sustav za pohranu jedan je od naših vodećih proizvoda. Interno testiranje pokazalo je da pruža izvedbu od 20 milijuna IOPS-a, održavajući funkcionalnost kada sedam od osam kontrolera zakaže.
Zašto tolika snaga? Pogledajmo sadašnju situaciju. Kinezi već nekoliko mjeseci zbog karantene znatno više vremena provode kod kuće. Internetski promet u ovom trenutku porastao je u prosjeku za 30%, au nekim se pokrajinama čak udvostručio. Povećana je potrošnja raznih mrežnih usluga. I u nekom su trenutku iste banke počele doživljavati ozbiljno dodatno opterećenje za koje njihovi sustavi za pohranu nisu bili spremni.
Jasno je da sada ne treba svima 20 milijuna IOPS-a. Ali što će se dogoditi sutra? Naši inteligentni sustavi maksimiziraju puni potencijal neuronskih procesora kako bi se osigurala kompaktnost prometa, deduplikacija, optimizacija i brzi oporavak podataka.
Okosnica mreže
2020., kao što smo spomenuli u prethodnom članku, za nas će biti godina jezgrenih mreža. Mnogi klijenti, posebno pružatelji usluga aplikacija (ASP-ovi) i banke, već razmišljaju o tome kako će njihove aplikacije raditi posebno u smislu komunikacije prema i između podatkovnih centara. Ovdje nam u pomoć dolazi nova okosnica mreže. Kao primjer, uzmimo najveće kineske banke koje su prešle na pojednostavljene temeljne sustave koji koriste ne desetak različitih protokola za komunikaciju između podatkovnih centara, već, relativno govoreći, par - OSPF i SRv6. Štoviše, organizacija dobiva isti skup usluga.
Intelektualni resursi
Kako koristiti podatke? Sve donedavno postojao je fragmentirani sustav heterogenih baza podataka: Microsoft SQL, MySQL, Oracle itd. Za rad s njima korištena su rješenja iz područja big data koja su sposobna kombinirati te podatke, uzimati ih, raditi s njima. Sve je to stvorilo veliko opterećenje resursa.
Istodobno, nije postojao mehanizam za obavljanje operacija s podacima nakon pojave nekog događaja. Rješenje je bio razvoj principa upravljanja životnim ciklusom podataka (DLM).
Svi su čuli za podatkovna jezera. Prijelazom s upravljanja podacima na upravljanje podacima, "digitalna jezera" počela su brzo postajati pametnija. Uključujući i zahvaljujući Huawei rješenjima. U sljedećim materijalima svakako ćemo govoriti o cijelom nizu softverskih tehnologija koje smo koristili. Sada je važno napomenuti da nam je korištenje pametnog upravljanja životnim ciklusom podataka omogućilo da pojednostavimo korištenje naše mreže i poslužitelja, kao i da naučimo graditi end-to-end arhitekture kako bismo bolje razumjeli načela rada s podacima .
Inženjerska infrastruktura podatkovnog centra
Objavit ćemo zasebne materijale posvećene inženjerskoj infrastrukturi, ali u kontekstu današnje teme želimo spomenuti one promjene koje se odnose na HiDC koncept.
Dugo je vrijeme bilo zabranjeno korištenje litijevih baterija u sustavima za hitno i pomoćno napajanje (ESP) podatkovnih centara zbog velike opasnosti od požara. Svako mehaničko oštećenje ili narušavanje integriteta baterije može dovesti do požara i nepredvidivih posljedica. U tom smislu, PSA je bio opremljen zastarjelim kiselinskim baterijama, koje su imale nisku specifičnu gustoću punjenja i veliku masu.
Huawei novi sustavi napajanja za hitne slučajeve i rezervni sustavi koriste sigurne litij-željezo-fosfatne (LFP) baterije s inteligentnim proaktivnim upravljanjem. S istim kapacitetom zauzimaju tri puta manji volumen u usporedbi s kiselinskim baterijama. Životni ciklus im je 10-15 godina, što između ostalog smanjuje opterećenje okoliša. Patentirani sustav upravljanja u ekosustavu SmartLi omogućuje korištenje hibridnih sustava koji se sastoje od baterijskih nizova starog i novog tipa, a sustav prebacivanja omogućuje "vruće" promjene strukture PSA uz zadržavanje funkcije redundantnosti.
Pametan rad
Važan dio principa rada HiDC infrastrukture je ideologija pametnog samoizlječenja. U U našim prethodnim publikacijama spomenuli smo inteligentnu platformu O&M 1-3-5, koja je sposobna ne samo detektirati i analizirati neželjeni događaj u sustavu, već i ponuditi administratoru nekoliko opcija za potpuno automatizirano rješenje problema.
Funkcija samoanalize omogućuje otkrivanje problema u otprilike jednoj minuti. Tri minute se troše na analizu, a unutar pet minuta formiraju se prijedlozi za promjenu stanja sustava.
Recimo da je neka pogreška operatera dovela do stvaranja zatvorene petlje procesa, smanjujući performanse farme virtualizacije sa 100 na 77%. Administrator podatkovnog centra prima odgovarajuću poruku na svojoj nadzornoj ploči, koja sadrži potpunu vizualizaciju problema, uključujući mrežni dijagram resursa zahvaćenih neželjenim procesom. Zatim administrator može ručno ispraviti situaciju ili koristiti jedan od nekoliko scenarija automatskog oporavka koji su mu ponuđeni.
Sustav poznaje oko 75 takvih scenarija koji se mogu implementirati u manje od deset minuta, štoviše pokrivaju 90% problema koji se javljaju u podatkovnim centrima. U ovom trenutku inženjer može mirno odgovoriti na pozive zabrinutih kupaca, uvjeren da će usluga biti ponovno uspostavljena svakog trenutka.
Novi ključni proizvodi u HiDC-u
Uz softverske proizvode, to bi trebalo uključivati ključna rješenja koja djeluju na razini infrastrukture. Prije svega, moramo spomenuti neuronske procesore koji se koriste u našoj Atlas obitelji AI klastera, kao i NPU i GPU poslužitelje.
Osim toga, ne možemo ne spomenuti ponovno Dorado i njegove performanse vodeće u klasi, koje će trajati još mnogo godina. To je osobito istinito u post-sovjetskom prostoru, gdje je, uz rijetke iznimke, uobičajeno ažurirati nešto tek kada potpuno prestane raditi. To objašnjava životni vijek pojedinačnih sustava za pohranu, koji doseže deset godina. Ogromna produktivnost je neophodna kako bi Dorado osigurao visokokvalitetnu isporuku usluga za deset godina.
Inovacija u svakom elementu
Pri odabiru konkretnih infrastrukturnih rješenja ne smijemo zaboraviti na arhitekturu i scenarije njezina daljnjeg razvoja. Različiti proizvodi različitih proizvođača ne jamče očekivani sinergijski učinak koji će pružiti rješenja koja su već optimizirana za zajedničku upotrebu.
Infrastruktura se mora temeljiti na pravoj tehnologiji. "Ispravni" uključuju otvorene, koji pružaju visoku propusnost, rade stabilno pod velikim opterećenjima. Za podatkovne centre, primjerice, važan je dobar omjer ukupne potrošnje energije i IT opterećenja. Za postizanje svih gore navedenih ciljeva potrebno je odabrati okruženje i komponente. U suvremenim uvjetima to znači i sve rašireniju primjenu umjetne inteligencije.
Prema našim opažanjima, među Huaweijevim strateškim kupcima sve je manje onih koji još uvijek ne koriste sustave strojnog učenja. Bez ML-a jednostavno je nemoguće što više monetizirati akumulirane podatke.
Sustav monetizacije može biti različit: za banke - ponuda novih ciljanih proizvoda, za telekom operatere - pružanje pojedinačnih usluga i osiguranje lojalnosti, za državne korisnike - visokokvalitetno upravljanje životnim ciklusom podataka i visoka razina interakcije s drugim organizacijama. Uostalom, modeli upravljanja podacima odavno su nadišli postavljanje vatrozida i osiguravanje mrežne vidljivosti njihovih baza podataka.
Od ideje do operativnog podatkovnog centra
Izgradnja standardnog podatkovnog centra traje u najboljem slučaju od godinu do godinu i pol. Naš proizvodni ciklus omogućuje nam da to radimo mnogo brže zahvaljujući korištenju grupe rješenja objedinjenih pod zajedničkim nazivom FusionDC 2.0. Projektiranje, razvoj dizajna visoke razine, montaža svih elemenata IT opterećenja provode se izravno u tvornici. U kratkom vremenu oprema se isporučuje pomorskim kontejnerima iz Kine u Rusiju. Kao rezultat toga, stvaranje podatkovnog centra "ključ u ruke" može se postići za doslovno četiri do pet mjeseci.
Ideja o montažnom podatkovnom centru u oblaku također je zanimljiva jer se podatkovni centar može razvijati u fazama, dodajući mu potrebne funkcionalne blokove. Ovaj pristup ugrađen je u sam HiDC koncept.
Kako se pregledni materijal ne bi pretvorio u podatkovnu tablicu, za dodatne informacije o HiDC-u predlažemo da posjetite . Tamo ćete pronaći opis i primjere implementacije pristupa, proizvoda i rješenja o kojima smo govorili. Što je viša vaša razina pristupa stranici, to će biti više materijala. Ako vam je dodijeljen status “partner”, moći ćete preuzeti HiDC planove, tehničke prezentacije, video zapise.
Usudili bismo se pretpostaviti da većina onih koji čitaju ovaj članak ima kompetencije mrežnih arhitekata. Oni će sigurno biti zainteresirani posjetiti naš . Tamo detaljno govorimo o tome kako izgraditi mrežnu infrastrukturu prema pravilima Huawei Validated Design (HVD). Smjernice dostupne za preuzimanje pomoći će vam da temeljito razumijete kako rješenja tvrtke funkcioniraju. Samo zapamtite da će vam bez autorizacije biti dostupno manje materijala.
***
Brojni webinari koji se provode ne samo u segmentu ruskog jezika, već i na međunarodnoj razini također će vam pomoći u navigaciji. Na njima dijelimo informacije o našim proizvodima i poslovnim praksama. Također govorimo o tome kako Huawei, unatoč prekidu mnogih uslužnih lanaca, nastavlja osiguravati kontinuiranu isporuku svojih proizvoda u različite zemlje. Nedavno je, primjerice, zabilježen slučaj kada je novoproizvedena oprema za podatkovni centar stigla do moskovskog kupca za samo tri tjedna.
Dostupan je popis webinara za travanj .
Izvor: www.habr.com