In unu di i chats m'hà dumandatu una dumanda:
- Ci hè qualcosa chì possu leghje nantu à cumu imballà bè i servitori in rack?
Aghju realizatu chì ùn cunnosci micca un tali testu, cusì aghju scrittu u mo propiu.
Prima, stu testu hè nantu à i servitori fisichi in centri di dati fisici (DC). Siconda, cridemu chì ci sò assai servitori: centu-mila per un numeru più chjucu stu testu ùn hà micca sensu. Terzu, cunsideremu chì avemu trè limitazioni: spaziu fisicu in i rack, alimentazione per rack, è lasciate i rack in fila in modu chì pudemu usà un cambiatore ToR per cunnette i servitori in rack adiacenti.
A risposta à a quistione dipende assai di quale paràmetru ottimisimu è ciò chì pudemu varià per ottene u megliu risultatu. Per esempiu, avemu bisognu di piglià un minimu spaziu per abbandunà più per più crescita. O forse avemu a libertà di sceglie l'altezza di i rack, a putenza per rack, sockets in a PDU, u numeru di rack in un gruppu di switches (un switch per 1, 2 o 3 rack), a lunghezza di i fili è u travagliu di pulling ( questu hè criticu à l'estremità di e fila: cù 10 rack in una fila è 3 rack per switch, vi tuccherà à tirà i fili à un'altra fila o underuse i porti in u switch), etc., etc. Storii separati: selezzione di servitori è selezzione di DC, assumeremu chì sò scelti.
Saria bonu per capiscenu alcune di e sfumature è ditaglii, in particulare, u cunsumu mediu / massimu di i servitori, è cumu l'electricità hè furnita à noi. Allora, s'è avemu un alimentazione russa di 230V è una fase per rack, allora una macchina 32A pò trattà ~ 7kW. Diciamu chì nominalmente paghemu per 6kW per rack. Se u fornitore misura u nostru cunsumu solu per una fila di 10 rack, è micca per ogni rack, è se a macchina hè stallata à un cutoff cundizionale di 7 kW, allora tecnicamente pudemu cunsumà 6.9 kW in un rack unicu, 5.1 kW in un altru è tuttu sarà bè - micca punibili.
Di solitu u nostru scopu principale hè di minimizzà i costi. U megliu criteriu per misurà hè una riduzione di TCO (costu tutale di pruprietà). Hè custituitu da i seguenti pezzi:
- CAPEX: compra di infrastruttura DC, servitori, hardware di rete è cablatura
- OPEX: affittu DC, cunsumu d'electricità, mantenimentu. OPEX dipende da a vita di serviziu. Hè ragiunate per suppone chì hè 3 anni.
Sicondu a grandezza di i pezzi individuali sò in u pezzu generale, avemu bisognu di ottimisà u più caru, è chì u restu utilizanu tutti i risorsi rimanenti in modu efficientemente pussibule.
Dicemu chì avemu un DC esistenti, ci hè una altezza di rack di unità H (per esempiu, H = 47), l'electricità per rack Prack (Prack = 6kW), è avemu decisu di utilizà h = 2U servitori di dui unità. Eliminaremu 2..4 unità da u rack per switches, patch panels è organizatori. Quelli. fisicamente, avemu Sh = rounddown ((H-2..4)/h) servitori in u nostru rack (vale à dì Sh = rounddown ((47-4)/2) = 21 servitori per rack). Ricordemu stu Sh.
In u casu simplice, tutti i servitori in un rack sò identici. In u tutale, si riempia un rack cù servitori, allora nantu à ogni servitore pudemu spende in media u putere Pserv = Prack / Sh (Pserv = 6000W / 21 = 287W). Per simplicità, ignoremu u cunsumu di cambià quì.
Facemu un passu da latu è stabilisce quale hè u cunsumu massimu di u servitore Pmax. S'ellu hè assai simplice, assai inefficace è cumplettamente sicuru, allora leghje ciò chì hè scrittu nantu à l'alimentazione di u servitore - questu hè questu.
S'ellu hè più cumplessu è più efficau, allora pigliamu u TDP (pacchettu di cuncepimentu termale) di tutti i cumpunenti è riassume (questu ùn hè micca assai veru, ma hè pussibule).
Di solitu ùn cunnosci micca u TDP di cumpunenti (eccettu per u CPU), cusì pigliamu l'approcciu più currettu, ma ancu l'approcciu più cumplessu (avemu bisognu di un laboratoriu) - pigliamu un servitore sperimentale di a cunfigurazione necessaria è carica, per esempiu, cù Linpack (CPU è memoria) è fio (dischi) , misuramu u cunsumu. Se l'avemu seriu, avemu ancu bisognu di creà l'ambienti più caldi in u corridore friddu durante e teste, perchè questu affettarà u cunsumu di fan è u cunsumu di CPU. Avemu u cunsumu massimu di un servitore specificu cù una cunfigurazione specifica in questi cundizioni specifichi sottu sta carica specifica. Vulemu solu dì chì u novu firmware di u sistema, una versione di software differente, è altre cundizione pò influenzà u risultatu.
Allora, torna à Pserv è cumu paragunemu cù Pmax. Hè una materia di capiscenu cumu funziona i servizii è quantu sò forti i nervi di u vostru direttore tecnicu.
Se ùn pigliamu micca risichi in tuttu, credemu chì tutti i servitori ponu simultaneamente cumincià à cunsumà u so massimu. À u listessu mumentu, un input in u DC pò accade. Ancu in queste cundizioni, infra deve furnisce u serviziu, cusì Pserv ≡ Pmax. Questu hè un approcciu induve a fiducia hè assolutamente impurtante.
Se u direttore tecnicu pensa micca solu à a sicurità ideale, ma ancu à i soldi di a cumpagnia è hè abbastanza bravu, pudete decide chì
- Cuminciamu à gestisce i nostri venditori, in particulare, pruibite u mantenimentu programatu à i tempi di carica di punta prevista per minimizzà a caduta in un input;
- è / o a nostra architettura permette di perde un rack / fila / DC, ma i servizii cuntinueghjanu à travaglià;
- è / o avemu spargugliatu a carica bè horizontale attraversu i rack, cusì i nostri servizii ùn saltaranu mai à u massimu cunsumu in un rack tutti inseme.
Quì hè assai utile micca solu per indovinà, ma per monitorà u cunsumu è sapè cumu i servitori cunsumu l'electricità in cundizioni normali è di punta. Dunque, dopu qualchì analisi, u direttore tecnulugicu stringhje tuttu ciò chì hà è dice: "facemu una decisione volitiva chì a media massima raggiungibile di u cunsumu massimu di u servitore per rack hè ** tantu ** sottu à u cunsumu massimu ", conditionally Pserv = 0.8* Pmax.
È dopu un rack di 6kW ùn pò più accoglie 16 servitori cù Pmax = 375W, ma 20 servitori cù Pserv = 375W * 0.8 = 300W. Quelli. 25% più servitori. Questu hè un risparmiu assai grande - dopu tuttu, avemu immediatamente bisognu di 25% di menu rack (è ancu salveremu in PDU, switches è cables). Un svantaghju seriu di una tale suluzione hè chì duvemu monitorà constantemente chì i nostri supposizioni sò sempre curretti. Chì a nova versione di firmware ùn cambia significativamente u funziunamentu di i fan è u cunsumu, chì u sviluppu di colpu cù a nova versione ùn hà micca cuminciatu à utilizà i servitori assai più efficaci (leghjite: anu ottenutu una carica più grande è un cunsumu più grande in u servitore). Dopu tuttu, allora e nostre ipotesi iniziali è cunclusioni diventanu immediatamente sbagliati. Questu hè un risicu chì deve esse pigliatu in modu rispunsevuli (o evitatu è poi pagà per racks ovviamente sottoutilizati).
Una nota impurtante - avete da pruvà à distribuzà i servitori da diversi servizii horizontale à traversu racks, se pussibule. Questu hè necessariu per chì e situazioni ùn succedenu micca quandu un batch di servitori ghjunghje per un serviziu, i racks sò verticalmente imballati cun ellu per aumentà a "densità" (perchè hè più faciule cusì). In a realità, risulta chì un rack hè pienu di servitori idèntici di bassa carica di u stessu serviziu, è l'altru hè pienu di servitori ugualmente altu. A probabilità di a seconda caduta hè significativamente più altu, perchè u prufilu di carica hè u listessu, è tutti i servitori inseme in questu rack cumincianu à cunsumà a listessa quantità per via di una carica aumentata.
Riturnemu à a distribuzione di servitori in racks. Avemu vistu u spaziu fisicu di u rack è e limitazioni di putenza, avà guardemu a reta. Pudete aduprà switches cù porti 24/32/48 N (per esempiu, avemu un switch ToR 48-port). Fortunatamente, ùn ci sò parechje scelte s'ellu ùn pensate micca à i cables di break-out. Avemu cunsiderà scenarii quandu avemu un switch per rack, un switch per dui o trè rack in u gruppu Rnet. Mi pare chì più di trè racks in un gruppu hè digià troppu, perchè... u prublema di cablatura trà i racks diventa assai più grande.
Dunque, per ogni scenariu di rete (1, 2 o 3 racks in un gruppu), distribuemu i servitori trà i racks:
Srack = min (Sh, rounddown (Prack/Pserv), rounddown (N/Rnet))
Cusì, per l'opzione cù 2 racks in un gruppu:
Srack2 = min (21, rounddown (6000/300), rounddown (48/2)) = min (21, 20, 24) = 20 servitori per rack.
Cunsideremu l'opzioni rimanenti in u listessu modu:
Srack1 = 20
Srack3 = 16
È simu quasi quì. Cuntemu u numeru di racks per distribuisce tutti i nostri servitori S (che sia 1000):
R = roundup (S / (Srack * Rnet)) * Rnet
R1 = roundup (1000 / (20 * 1)) * 1 = 50 * 1 = 50 rack
R2 = roundup (1000 / (20 * 2)) * 2 = 25 * 2 = 50 rack
R3 = roundup (1000 / (16 * 3)) * 3 = 25 * 2 = 63 rack
In seguitu, calculemu u TCO per ogni opzione basatu annantu à u nùmeru di racks, u numeru necessariu di switches, cabling, etc. Scegliemu l'opzione induve TCO hè più bassu. Prufittu !
Innota chì ancu s'è u numeru necessariu di racks per l'opzioni 1 è 2 hè u listessu, u so prezzu serà diversu, perchè u numaru di switches per a seconda opzione hè a mità di quantu, è a durata di i cavi necessarii hè più longa.
PS Sì avete l'uppurtunità di ghjucà cù u putere per rack è l'altezza di u rack, a variabilità aumenta. Ma u prucessu pò esse ridutta à quellu discritta sopra da solu passà per l'opzioni. Iè, ci saranu più cumminazzioni, ma ancu un numeru assai limitatu - l'alimentazione elettrica à u rack per u calculu pò esse aumentata in passi di 1 kW, i racks tipici venenu in un numeru limitatu di dimensioni standard: 42U, 45U, 47U, 48U. , 52U. E quì l'analisi What-If di Excel in u modu di Data Table pò aiutà cù i calculi. Fighjemu i piatti ricevuti è sceglie u minimu.
Source: www.habr.com