V enem od klepetov so mi postavili vprašanje:
— Ali lahko kaj preberem o pravilnem pakiranju strežnikov v stojala?
Ugotovil sem, da takega besedila ne poznam, zato sem napisal svojega.
Prvič, to besedilo govori o fizičnih strežnikih v fizičnih podatkovnih centrih (DC). Drugič, verjamemo, da je strežnikov kar veliko: na stotisoče; za manjše število to besedilo nima smisla. Tretjič, menimo, da imamo tri omejitve: fizični prostor v omarah, napajanje na omaro in naj omarice stojijo v vrstah, tako da lahko uporabimo eno stikalo ToR za povezovanje strežnikov v sosednjih omarah.
Odgovor na vprašanje je zelo odvisen od tega, kateri parameter optimiziramo in kaj lahko spreminjamo, da dosežemo najboljši rezultat. Na primer, zavzeti moramo le najmanj prostora, da ga pustimo več za nadaljnjo rast. Ali pa imamo morda svobodo pri izbiri višine regalov, moči na regal, vtičnic v PDU, števila regalov v skupini stikal (eno stikalo za 1, 2 ali 3 regale), dolžine žic in vlečnega dela ( to je kritično na koncih vrstic: z 10 omarami v vrsti in 3 omarami na stikalo boste morali potegniti žice v drugo vrsto ali premalo uporabiti vrata v stikalu), itd., itd. Ločeni zgodbi: izbira strežnikov in izbira DC-jev, predvidevali bomo, da so izbrani.
Dobro bi bilo razumeti nekatere nianse in podrobnosti, predvsem povprečno/maksimalno porabo strežnikov in kako se nam dobavlja električna energija. Torej, če imamo ruski napajalnik 230 V in eno fazo na omaro, potem lahko stroj 32 A prenese ~ 7 kW. Recimo, da nominalno plačamo 6kW na omaro. Če nam ponudnik meri porabo samo za vrsto 10 regalov in ne za vsak regal in če je stroj nastavljen na pogojno mejo 7 kW, potem lahko tehnično porabimo v enem regalu 6.9 kW, v drugem 5.1 kW in vse bo ok - nekaznovano.
Običajno je naš glavni cilj zmanjšati stroške. Najboljše merilo za merjenje je zmanjšanje skupnih stroškov lastništva (TCO). Sestavljen je iz naslednjih kosov:
- CAPEX: nakup DC infrastrukture, strežnikov, omrežne strojne opreme in kablov
- OPEX: DC najem, poraba električne energije, vzdrževanje. OPEX je odvisen od življenjske dobe. Smiselno je domnevati, da je 3 leta.
Glede na to, kako veliki so posamezni kosi v celotnem kolaču, moramo optimizirati najdražjega, ostalim pa pustiti, da čim bolj učinkovito uporabljajo vse preostale vire.
Recimo, da imamo obstoječ DC, višina omarice H enot (na primer H=47), električna energija na omaro Prack (Prack=6kW) in odločili smo se za uporabo strežnikov z dvema enotama h=2U. Iz regala bomo odstranili 2..4 enote za stikala, patch panele in organizatorje. Tisti. fizično imamo Sh=rounddown((H-2..4)/h) strežnikov v naši omarici (tj. Sh = rounddown((47-4)/2)=21 strežnikov na omarico). Spomnimo se tega Sh.
V preprostem primeru so vsi strežniki v omari enaki. Če skupaj napolnimo rack s strežniki, lahko na vsakem strežniku v povprečju porabimo moč Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Zaradi enostavnosti tukaj zanemarimo porabo stikala.
Stopimo korak stran in ugotovimo, kakšna je največja poraba strežnika Pmax. Če je zelo preprosto, zelo neučinkovito in popolnoma varno, potem preberemo, kaj piše na napajalniku strežnika - to je to.
Če je bolj zapleteno in učinkovitejše, potem vzamemo TDP (thermal design package) vseh komponent in ga seštejemo (to ni zelo res, vendar je možno).
Običajno ne poznamo TDP komponent (razen CPU), zato uberemo najbolj pravilen, a tudi najbolj kompleksen pristop (potrebujemo laboratorij) - vzamemo eksperimentalni strežnik zahtevane konfiguracije in ga naložimo, na primer z Linpackom (CPU in pomnilnik) in fio (diski) merimo porabo. Če vzamemo resno, moramo med testi ustvariti tudi najtoplejše okolje v hladnem hodniku, ker bo to vplivalo tako na porabo ventilatorja kot na porabo procesorja. Dobimo največjo porabo določenega strežnika s specifično konfiguracijo v teh specifičnih pogojih pod to specifično obremenitvijo. Preprosto mislimo, da lahko nova strojna programska oprema sistema, drugačna različica programske opreme in drugi pogoji vplivajo na rezultat.
Torej, nazaj k Pserv in kako ga primerjamo s Pmax. Treba je razumeti, kako službe delujejo in kako močne živce ima vaš tehnični direktor.
Če sploh ne tvegamo, verjamemo, da lahko vsi strežniki hkrati začnejo porabljati svoj maksimum. V istem trenutku lahko pride do enega vhoda v DC. Tudi pod temi pogoji mora infra zagotoviti storitev, torej Pserv ≡ Pmax. To je pristop, kjer je zanesljivost absolutno pomembna.
Če tehnični direktor ne misli samo na idealno varnost, ampak tudi na denar podjetja in je dovolj pogumen, potem se lahko odločite, da
- Začenjamo upravljati naše prodajalce, zlasti prepovedujemo načrtovano vzdrževanje v času načrtovane konične obremenitve, da zmanjšamo padec v enem vložku;
- in/ali naša arhitektura vam omogoča, da izgubite stojalo/vrstico/DC, vendar storitve še naprej delujejo;
- in/ali dobro porazdelimo obremenitev vodoravno po regalih, tako da naše storitve nikoli ne bodo skočile na največjo porabo v enem regalu skupaj.
Tukaj je zelo uporabno ne samo ugibati, ampak spremljati porabo in vedeti, kako strežniki dejansko porabljajo elektriko v normalnih in koničnih pogojih. Zato tehnični direktor po nekaj analizah stisne vse, kar ima, in reče: "voljno se odločimo, da je največje dosegljivo povprečje največje porabe strežnika na omaro **toliko** pod največjo porabo," pogojno Pserv = 0.8* Pmaks.
In potem omara s 6 kW ne more več sprejeti 16 strežnikov s Pmax = 375 W, ampak 20 strežnikov s Pserv = 375 W * 0.8 = 300 W. Tisti. 25 % več strežnikov. To je zelo velik prihranek - navsezadnje takoj potrebujemo 25% manj regalov (in prihranili bomo tudi pri PDU-jih, stikalih in kablih). Resna pomanjkljivost takšne rešitve je, da moramo nenehno spremljati, ali so naše predpostavke še pravilne. Da nova različica firmware-a ne spremeni bistveno delovanja ventilatorjev in porabe, da razvoj nenadoma z novo verzijo ni začel veliko bolj učinkovito uporabljati strežnikov (beri: dosegel večjo obremenitev in večjo porabo na strežniku). Navsezadnje takrat tako naše začetne predpostavke kot sklepi takoj postanejo napačni. To je tveganje, ki ga je treba sprejeti odgovorno (ali se izogniti in nato plačati za očitno premalo izkoriščene regale).
Pomembna opomba - poskusite porazdeliti strežnike iz različnih storitev vodoravno po omarah, če je to mogoče. To je potrebno, da ne pride do situacij, ko pride ena serija strežnikov za eno storitev, stojala so navpično zapakirana z njo, da se poveča "gostota" (ker je tako lažje). V resnici se izkaže, da je eno omaro zapolnjeno z enakimi nizko obremenjenimi strežniki iste storitve, drugo pa z enako visoko obremenjenimi strežniki. Verjetnost drugega padca je bistveno večja, saj profil obremenitve je enak in vsi strežniki skupaj v tej omarici zaradi povečane obremenitve začnejo porabljati enako količino.
Vrnimo se k distribuciji strežnikov v regalih. Ogledali smo si fizični prostor v omari in omejitve moči, zdaj pa poglejmo omrežje. Uporabite lahko stikala z 24/32/48 N vrati (na primer imamo 48-portna ToR stikala). Na srečo ni veliko možnosti, če ne pomislite na prelomne kable. Razmišljamo o scenarijih, ko imamo eno stikalo na omarico, eno stikalo za dva ali tri omarice v skupini Rnet. Zdi se mi, da je že več kot tri regale v skupini preveč, ker... problem napeljave kablov med regali postane veliko večji.
Torej za vsak omrežni scenarij (1, 2 ali 3 omarice v skupini) porazdelimo strežnike med omarice:
Srack = min (Sh, zaokrožitev (Prack/Pserv), zaokrožitev (N/Rnet))
Tako za možnost z 2 stojaloma v skupini:
Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 strežnikov na omaro.
Preostale možnosti obravnavamo na enak način:
Srack1 = 20
Srack3 = 16
In skoraj smo tam. Preštejemo število omaric za distribucijo vseh naših strežnikov S (naj bo 1000):
R = zaokrožitev(S / (Srack * Rnet)) * Rnet
R1 = zaokrožitev (1000 / (20 * 1)) * 1 = 50 * 1 = 50 stojal
R2 = zaokrožitev (1000 / (20 * 2)) * 2 = 25 * 2 = 50 stojal
R3 = zaokrožitev (1000 / (16 * 3)) * 3 = 25 * 2 = 63 stojal
Nato izračunamo TCO za vsako možnost na podlagi števila omaric, zahtevanega števila stikal, kablov itd. Izberemo možnost, kjer je TCO nižji. Dobiček!
Upoštevajte, da čeprav je potrebno število regalov za možnosti 1 in 2 enako, bo njihova cena drugačna, ker število stikal pri drugi možnosti je za polovico manjše, dolžina potrebnih kablov pa daljša.
PS Če imate možnost igrati z močjo na stojalo in višino stojala, se variabilnost poveča. Toda postopek je mogoče zmanjšati na zgoraj opisanega, tako da preprosto preberete možnosti. Da, na voljo bo več kombinacij, a še vedno zelo omejeno število - napajanje omare za izračun je mogoče povečati v korakih po 1 kW, tipična omare so na voljo v omejenem številu standardnih velikosti: 42U, 45U, 47U, 48U , 52U. In tukaj lahko Excelova analiza Kaj-Če v načinu podatkovne tabele pomaga pri izračunih. Pogledamo prejete tablice in izberemo minimum.
Vir: www.habr.com