Nakon što smo pogledali iz ptičje perspektive sva moderna Huawei Enterprise rješenja predstavljena 2020. godine, prelazimo na fokusiranije i detaljnije priče o pojedinačnim idejama i proizvodima koji mogu poslužiti kao osnova za digitalnu transformaciju kako velikih poduzeća tako i vladinih agencija. Danas govorimo o konceptima i tehnologijama na kojima Huawei predlaže za izgradnju podatkovnih centara.
U eri povezanog svijeta, izazovi skladištenja i obrade podataka zahtijevaju nove pristupe u svim fazama životnog ciklusa podatkovnog centra. Oni moraju istovremeno postati jednostavniji i pametniji kako bi se nosili sa svojom ulogom centralnih elemenata infrastrukture globalne digitalne ekonomije.
U 2018. godini, čovječanstvo je pohranilo 33 zetabajta informacija, ali bi do 2025. njihov ukupni volumen trebao porasti više od pet puta. Tri decenije iskustva u razvoju ICT infrastrukture omogućile su Huaweiju da se dobro pripremi za rastući „cunami podataka“ i da svojim partnerima i klijentima ponudi koncept inteligentnog data centra, uključujući sve faze njegove izgradnje, rada i održavanja. Elementi ovog koncepta objedinjeni su pod opštim nazivom HiDC.
Digitalizujte ga
Internetom kruži nova šala: ko je najviše ubrzao digitalnu transformaciju vaše kompanije - izvršni direktor, CTO, upravni odbor? Epidemija koronavirusa! Samo lijen ne vodi webinare, ne piše članke, ne govori ljudima kako i šta da rade. Ali to su sve reaktivne akcije. Neki su se pripremili unaprijed.
Ne radi hvalisanja – iz objektivnih razloga, za primjer ćemo uzeti našu kompaniju u kojoj je prije nekoliko godina u velikim razmjerima pokrenuta digitalna transformacija. Trenutno smo u mogućnosti da skoro sve naše zaposlene prebacimo na rad od kuće bez gubitka efikasnosti. Indikativna je priča o bolnici izgrađenoj u gradu Vuhanu za deset dana. Tamo se digitalna transformacija manifestovala u činjenici da su svi IT sistemi postavljeni za tri dana. Dakle, digitalna transformacija se ne odnosi na „kada“ i „zašto“, već na „kako“.
Arhitektonski pristup umjesto spontanog razvoja
Koji su glavni problemi sa kojima se suočavamo kada počnemo da gradimo određeni sistem? Do sada svi naši klijenti rade u načinu kombinovanja poslovnih zadataka sa aplikacijskim uslugama i IT rješenjima. Prilično je teško dobiti opću ideju o funkcioniranju takvog kompleksa ako je stvoren jednostavnim dodavanjem raznih blokova. A da bi se izgradio sistem kao jedinstven organizam, prvo je neophodan arhitektonski pristup. To je ono što smo utjelovili u ideologiji našeg HiDC rješenja.
Maksimalna vrijednost i minimalni trošak
Čitava HiDC struktura se sastoji od dvije glavne kriške. Prvi je ono što ste navikli da vidite od Huaweija - klasična infrastruktura. Elementi drugog preseka najlakše se kombinuju sa terminom „inteligentni podaci“.
Zašto je to potrebno? Danas mnoge kompanije akumuliraju kolosalne količine informacija, često razbacanih ili dostupnih kroz različite vrste „zaptivki“. Da, uzmite barem obične baze podataka. Pitajte svoje administratore baze podataka kako se ove baze podataka uklapaju i kako koristiti informacije iz njih u BI sistemima za donošenje poslovnih odluka. Iznenađujuće, baze podataka su često vrlo labavo povezane jedna s drugom i funkcioniraju kao odvojena “otoka”. Stoga smo prije svega razmišljali o tome koji bi arhitektonski pristupi mogli otkloniti ovaj problem.
Principi dizajna HiDC arhitekture
Pogledajmo osnovne principe HiDC dizajna. Ovo će prije svega biti korisno ne stručnjacima u nekoj određenoj oblasti, već arhitektima rješenja koji mogu uzeti u obzir cijelu panoramu.
Najčešći su blok konvergiranih mreža i blok za upravljanje podacima. I ovdje dolazi koncept o kojem arhitekti rješenja rijetko razmišljaju: upravljanje životnim ciklusom podataka. Sa klasičnih baza podataka, migrirao je na mnoge druge sisteme, uključujući cloud i edge computing.
Edge computing postaje sve uobičajeniji. Najočigledniji primjer njihove upotrebe je automobil s autopilotom, kojim je preporučljivo upravljati s jedne platforme. Osim toga, postoji trend ka „zelenim“ tehnologijama – energetski efikasnijim, uz minimalnu štetu okolišu. Možete postići oboje prelaskom na intelektualne resurse (više o njima kasnije).
Sjajno je imati svih šest blokova HiDC strukture na raspolaganju. Istina, kupci često rade u prethodno stvorenom okruženju. Međutim, korištenje čak i jednog bloka iz gornjeg dijagrama može uroditi plodom. A ako dodate drugu, treću i tako dalje, počet će se javljati sinergijski efekat. Kombinacija mrežnog i distribuiranog skladišta sama po sebi će dati veće performanse i manje kašnjenje. Blok pristup nam omogućava da se razvijamo ne haotično, kao što se često događa u industriji, već koristeći integrirani arhitektonski pristup. Pa, otvorenost samih blokova pruža slobodu u odabiru optimalnog rješenja.
Vrijeme konvergiranih mreža
U posljednje vrijeme na globalnom i ruskom tržištu sve više promoviramo koncept konvergentnih mreža. Naši kupci već danas koriste konvergentna rješenja zasnovana na RoCEv2 (RDMA preko konvergentnog Etherneta v2) za izgradnju distribuiranih softverski definiranih sustava za pohranu podataka. Glavna prednost ovog pristupa je njegova otvorenost i odsustvo potrebe za stvaranjem neograničenog broja disparatnih mreža.
Zašto to nije urađeno ranije? Podsjetimo da je Ethernet standard razvijen 1969. godine. Više od pola vijeka nakupio je mnogo problema, ali Huawei je naučio da ih rješava. Sada, zahvaljujući brojnim dodatnim koracima, možemo koristiti Ethernet za kritične aplikacije, rješenja s velikim opterećenjem itd.
Od DCN do DCI
Sljedeći važan trend je sinergijski efekat implementacije DCI (Interconnect Data Center). U Rusiji, za razliku od Kine, nešto slično se može naći samo kod telekom operatera. Kada kupci razmatraju mrežna rješenja za podatkovni centar, obično ne obraćaju dovoljno pažnje na duboku integraciju optičkih mreža i klasičnih IP rješenja unutar jedne točke prisutnosti. Koriste poznata rješenja koja rade na IP sloju, što im je dovoljno.
Čemu onda DCI? Zamislite da administrator DWDM čvora i mrežni administrator djeluju nezavisno. U nekom trenutku, neuspjeh u bilo kojem od njih može ozbiljno smanjiti vašu otpornost. A ako koristimo princip sinergije, IP rutiranje se provodi uzimajući u obzir ono što se događa na optičkoj mreži. Upotreba ovako inteligentne usluge značajno povećava broj devetki u nivou dostupnosti čitavog sistema.
Još jedna ozbiljna prednost našeg DCI-a je njegova velika margina performansi. Sumiranjem mogućnosti C i L opsega, možete dobiti oko 220 lambda. Takvu rezervu teško da će brzo iscrpiti čak ni veliki korporativni korisnik, s obzirom da naše trenutno rješenje omogućava prijenos do 400 Gbit/s kroz svaku lambdu. U budućnosti će biti moguće postići 800 Gbit/s na istoj opremi.
Dodatnu pogodnost pruža ukupna upravljivost koju pružamo kroz klasično otvorena sučelja. NETCONF upravlja ne samo prekidačima, već i optičkim multipleks uređajima, što vam omogućava da postignete konvergenciju na svim nivoima i da sistem percipirate kao intelektualni resurs, a ne kao "skup kutija".
Edge computing postaje sve važniji
Mnogi ljudi su čuli za Edge Computing. A oni koji se bave oblakom i klasičnim podatkovnim centrima trebaju imati na umu da smo nedavno vidjeli ozbiljan pomak prema rubnom računarstvu.
Šta uzrokuje ovo? Pogledajmo uobičajene modele implementacije. Danas se mnogo priča o “pametnim gradovima”, “pametnim kućama” itd. Ovaj koncept omogućava investitoru da stvori dodatnu vrijednost i poveća cijenu nekretnine. “Pametna kuća” identifikuje svog stanara, pušta ga i izlazi i pruža mu određene usluge. Prema statistikama, takve usluge dodaju oko 10-15% na cijenu stanova i općenito mogu potaknuti razvoj novih poslovnih modela. Takođe, već je rečeno o konceptima autopilota. Uskoro će razvoj 5G i Wi-Fi 6 tehnologija omogućiti izuzetno nisko kašnjenje za prijenos podataka između pametnih kuća, automobila i glavnog podatkovnog centra koji obavljaju rubno računanje. To znači da će biti moguće izvršiti mnogo veći broj operacija vezanih za ozbiljnu obradu podataka. Za rješavanje takvih problema, posebno, moguće je koristiti neuronske procesore koji se već isporučuju u Rusiju.
Obećanje trenda koji je upravo predstavljen je nepobitno. Zamislimo, na primjer, inteligentni sistem upravljanja gradskim transportom koji može uključiti semafore, regulisati saobraćajno opterećenje na određenim ulicama ili čak poduzeti adekvatne mjere u vanrednim situacijama.
Sada se okrenimo resursima kojima pružamo implementaciju HiDC koncepta.
Proračuni
Kada treba da implementiramo standardni računarski sistem, u njemu se, naravno, koriste procesori sa x86 arhitekturom. Ali čim se ukaže potreba za prilagođavanjem, vrijeme je da razmislite o raznovrsnijim rješenjima.
Na primjer, ARM procesori su, zbog velikog broja jezgara, odlični za visoko paralelne aplikacije. Multithreading daje povećanje performansi od oko 30%.
Kada je mala latencija kritična, programibilna logička integrisana kola (FPGA) dolaze u prvi plan.
Neuronski procesori su prvenstveno potrebni kada se rješavaju problemi mašinskog učenja. Ako nam je za konkretnu implementaciju potrebno 16 rekova sa po 8 servera, punjenih neuronskim procesorima, onda bi rešenje istog nivoa bazirano na x86 arhitekturi zahtevalo (!) oko 128 rekova. Kao što vidite, širok izbor tipova proračuna čini neophodnim pažljiv odabir hardverskih platformi.
Pohrana podataka
Huawei već drugu godinu poziva partnere, kupce i kolege iz industrije da izgrade sisteme za skladištenje podataka u skladu sa principom Flash Only. A većina naših kupaca koristi mehaničke vretenaste pogone samo u starijim rješenjima ili za rijetko korištene arhivske podatke.
Flash sistemi se takođe razvijaju. Storage Class Memory (SCM) sistemi kao što je Intel Optane se pojavljuju na tržištu. Kineski i japanski proizvođači pokazuju zanimljiv razvoj. Trenutno je SCM superioran u odnosu na sva druga rješenja u pogledu klase obrade. Za sada, samo visoka cijena ne dopušta im da se koriste posvuda.
Istovremeno, vidimo da je potrebno poboljšati kvalitet sistema za skladištenje podataka ne samo na konvencionalnom backendu, već i na frontendu. Sada, de facto, u novim implementacijama po pravilu nudimo i koristimo mehanizme direktnog pristupa memoriji preko Etherneta, ali vidimo zahtjeve kupaca i stoga ćemo krajem godine početi češće koristiti NVMe over Fabrics. Štaviše, end-to-end, kako bi se obezbijedila zajednička arhitektura, koja, naravno, mora biti visokih performansi i otporna na kvar kontrolera.
OceanStor Dorado sistem za skladištenje jedan je od naših vodećih proizvoda. Interno testiranje je pokazalo da pruža performanse od 20 miliona IOPS, održavajući funkcionalnost kada sedam od osam kontrolera pokvari.
Zašto tolika snaga? Pogledajmo trenutnu situaciju. Već nekoliko mjeseci kineski stanovnici provode znatno više vremena kod kuće zbog karantene. Internet promet je u to vrijeme porastao u prosjeku za 30%, au nekim provincijama čak i udvostručen. Povećana je potrošnja raznih mrežnih usluga. I u nekom trenutku, iste banke su počele doživljavati ozbiljno dodatno opterećenje, za koje njihovi sistemi za skladištenje nisu bili spremni.
Jasno je da sada nije svima potrebno 20 miliona IOPS. Ali šta će se dogoditi sutra? Naši inteligentni sistemi maksimiziraju puni potencijal neuronskih procesora kako bi osigurali kompaktnost prometa, deduplikaciju, optimizaciju i brz oporavak podataka.
Referentna mreža
2020., kao što smo spomenuli u prethodnom članku, za nas će biti godina osnovnih mreža. Mnogi klijenti, posebno provajderi aplikacijskih usluga (ASP) i banke, već razmišljaju o tome kako će njihove aplikacije raditi posebno u smislu komunikacije sa i između centara podataka. Tu nam u pomoć dolazi nova okosnica. Kao primjer, uzmimo najveće kineske banke koje su prešle na pojednostavljene backbone sisteme koji koriste ne desetak različitih protokola za komunikaciju između data centara, već, relativno govoreći, par - OSPF i SRv6. Štaviše, organizacija prima isti skup usluga.
Intelektualni resursi
Kako koristiti podatke? Donedavno je postojao fragmentiran sistem heterogenih baza podataka: Microsoft SQL, MySQL, Oracle itd. Za rad sa njima korišćena su rešenja iz oblasti velikih podataka, sposobna da ove podatke kombinuju, uzimaju, rade sa njima. Sve je to stvorilo veliko opterećenje resursima.
Istovremeno, nije postojao mehanizam za izvođenje operacija sa podacima po nastanku nekog događaja. Rješenje je bio razvoj principa upravljanja životnim ciklusom podataka (DLM).
Svi su čuli za data jezera. Sa prelaskom sa upravljanja podacima na upravljanje podacima, „digitalna jezera“ su brzo počela da postaju pametnija. Uključujući i zahvaljujući Huawei rješenjima. U narednim materijalima svakako ćemo govoriti o čitavom nizu softverskih tehnologija koje smo koristili. Sada je važno napomenuti da nam je korištenje pametnog upravljanja životnim ciklusom podataka omogućilo da pojednostavimo korištenje naše mreže i servera, kao i da naučimo da gradimo end-to-end arhitekture kako bismo bolje razumjeli principe rada s podacima .
Inženjerska infrastruktura data centra
Objavljivat ćemo posebne materijale posvećene inženjerskoj infrastrukturi, ali u kontekstu današnje teme želimo spomenuti one promjene koje se odnose na HiDC koncept.
Dugo vremena je bila zabranjena upotreba litijumskih baterija u sistemima za hitne slučajeve i rezervno napajanje (ESP) centara podataka zbog njihove velike opasnosti od požara. Svako mehaničko oštećenje ili narušavanje integriteta baterije može dovesti do njenog požara i nepredvidivih posljedica. U tom smislu, PSA je bio opremljen zastarjelim kiselinskim baterijama, koje su imale nisku specifičnu gustoću punjenja i veliku masu.
Huawei-jevi novi sistemi za hitno i rezervno napajanje koriste sigurne litijum-gvozdeno-fosfatne (LFP) baterije sa inteligentnim proaktivnim upravljanjem. Sa istim kapacitetom, zauzimaju tri puta manji volumen u odnosu na kiselinske baterije. Njihov životni ciklus je 10-15 godina, što, između ostalog, smanjuje opterećenje koje stvaraju po životnu sredinu. Patentirani sistem upravljanja u SmartLi ekosistemu omogućava upotrebu hibridnih sistema koji se sastoje od starih i novih tipova baterija, a sistem preklapanja omogućava „vruće“ promene u PSA strukturi uz zadržavanje redundantne funkcije.
Pametan rad
Važan dio principa upravljanja HiDC infrastrukturom je ideologija pametnog samoizlječenja. IN Iz naših prethodnih publikacija spomenuli smo inteligentnu platformu O&M 1-3-5, koja je sposobna ne samo da otkrije i analizira neželjeni događaj u sistemu, već i ponudi administratoru nekoliko opcija za potpuno automatizirano rješenje problema.
Funkcija samoanalize omogućava vam da otkrijete probleme za otprilike minut. Na analizu se troše tri minuta, a u roku od pet minuta formiraju se prijedlozi za promjenu stanja sistema.
Recimo da je neka greška operatera dovela do formiranja zatvorene petlje procesa, smanjujući performanse farme virtuelizacije sa 100 na 77%. Administrator data centra prima odgovarajuću poruku na svojoj kontrolnoj tabli, koja sadrži kompletnu vizualizaciju problema, uključujući mrežni dijagram resursa na koje utiče neželjeni proces. Dalje, administrator može nastaviti ispravljati situaciju ručno ili koristiti jedan od nekoliko scenarija automatskog oporavka koji su mu ponuđeni.
Sistem poznaje oko 75 takvih scenarija koji se mogu implementirati za manje od deset minuta, a pokrivaju 90% problema sa kojima se susreću u data centrima. U ovom trenutku, inženjer može mirno odgovarati na pozive zabrinutih kupaca, uvjeren da će usluga biti obnovljena svakog trenutka.
Novi ključni proizvodi u HiDC-u
Osim softverskih proizvoda, ovo bi trebalo uključivati ključna rješenja koja djeluju na infrastrukturnom nivou. Prije svega, moramo spomenuti neuronske procesore koji se koriste u našoj Atlas porodici AI klastera, kao i servere bazirane na NPU i GPU.
Osim toga, ne možemo ne spomenuti još jednom Dorado i njegove performanse u klasi, koje će trajati dugi niz godina. To se posebno odnosi na postsovjetski prostor, gdje je, uz rijetke izuzetke, običaj da se nešto ažurira tek kada potpuno prestane da radi. To objašnjava vijek trajanja pojedinačnih sistema za skladištenje, koji doseže deset godina. Doradu je neophodna ogromna produktivnost kako bi osigurao visoku kvalitetu usluge za deset godina od sada.
Inovacija u svakom elementu
Prilikom odabira konkretnih infrastrukturnih rješenja ne smijemo zaboraviti na arhitekturu i scenarije njenog daljnjeg razvoja. Različiti proizvodi različitih proizvođača ne jamče očekivani sinergijski učinak koji će pružiti rješenja koja su već optimizirana za zajedničku upotrebu.
Infrastruktura mora biti zasnovana na pravoj tehnologiji. „Ispravni“ uključuju otvorene, koji pružaju visoku propusnost, stabilno rade pod velikim opterećenjima. Za podatkovne centre, na primjer, važan je dobar omjer ukupne potrošnje energije i IT opterećenja. Da biste postigli sve gore navedene ciljeve, potrebno je odabrati okruženje i komponente. U savremenim uslovima to znači i sve širu upotrebu veštačke inteligencije.
Prema našim zapažanjima, među Huaweijevim strateškim kupcima sve je manje onih koji još uvijek ne koriste sisteme za strojno učenje. Bez ML-a jednostavno je nemoguće unovčiti akumulirane podatke što je više moguće.
Sistem monetizacije može biti različit: za banke - nudenje novih ciljanih proizvoda, za telekom operatere - pružanje pojedinačnih usluga i osiguravanje lojalnosti, za državne korisnike - kvalitetno upravljanje životnim ciklusom podataka i visok nivo interakcije sa drugim organizacijama. Na kraju krajeva, modeli upravljanja podacima odavno su otišli dalje od postavljanja zaštitnog zida i osiguravanja mrežne vidljivosti njihovih baza podataka.
Od ideje do operativnog data centra
Izgradnja standardnog data centra traje u najboljem slučaju od godinu do godinu i po dana. Naš proizvodni ciklus nam omogućava da to učinimo mnogo brže zahvaljujući korištenju grupe rješenja ujedinjenih pod zajedničkim imenom FusionDC 2.0. Projektovanje, razvoj dizajna visokog nivoa, montaža svih elemenata IT opterećenja izvode se direktno u fabrici. U kratkom roku oprema se isporučuje morskim kontejnerima iz Kine u Rusiju. Kao rezultat toga, stvaranje data centra po principu ključ u ruke može se postići za bukvalno četiri do pet mjeseci.
Ideja prefabrikovanog cloud data centra je takođe zanimljiva jer se data centar može razvijati u fazama, dodajući mu potrebne funkcionalne blokove. Ovaj pristup je ugrađen u sam koncept HiDC.
Kako se materijal za pregled ne bi pretvorio u tablicu sa podacima, za dodatne informacije o HiDC-u predlažemo da posjetite . Tamo ćete naći opis i primjere implementacije pristupa, proizvoda i rješenja o kojima smo govorili. Što je viši nivo pristupa sajtu, to će biti više materijala. Ako vam je dodijeljen status “partner”, moći ćete preuzeti HiDC mape puta, tehničke prezentacije, video zapise.
Usudili bismo se pretpostaviti da većina onih koji čitaju ovaj članak ima kompetencije mrežnih arhitekata. Oni će sigurno biti zainteresirani da nas posjete . Tamo detaljno govorimo o tome kako izgraditi mrežnu infrastrukturu prema pravilima Huawei Validated Design (HVD). Smjernice dostupne za preuzimanje pomoći će vam da temeljno shvatite kako funkcionišu rješenja kompanije. Samo zapamtite da će vam bez odobrenja biti dostupno manje materijala.
***
Brojni webinari koji se održavaju ne samo u segmentu na ruskom jeziku, već i na međunarodnom nivou također će vam pomoći u navigaciji. Na njima dijelimo informacije o našim proizvodima i našim poslovnim praksama. Također razgovaramo o tome kako Huawei, uprkos prekidu mnogih lanaca usluga, nastavlja da osigurava kontinuiranu isporuku svojih proizvoda u različite zemlje. Nedavno je, na primjer, bio slučaj kada je novoproizvedena oprema za data centar stigla do moskovskog kupca za samo tri sedmice.
Dostupna je lista webinara za april .
izvor: www.habr.com