V jednom z rozhovorov som dostal otázku:
— Môžem si prečítať niečo o tom, ako správne zabaliť servery do stojanov?
Uvedomil som si, že takýto text nepoznám, a tak som napísal vlastný.
V prvom rade je tento text o fyzické servery vo fyzických dátových centrách (DC). Po druhé, predpokladáme, že existuje pomerne veľa serverov: stovky alebo tisíce; pre menšie počty je tento text bezvýznamný. Po tretie, predpokladáme, že máme tri obmedzenia: fyzický priestor v racku, napájanie racku a za predpokladu, že racky sú usporiadané v radoch, môžeme použiť jeden prepínač ToR na pripojenie serverov v susedných rackoch.
Odpoveď na otázku veľmi závisí od toho, aký parameter optimalizujeme a čo môžeme zmeniť, aby sme dosiahli najlepší výsledok. Napríklad nám stačí zabrať minimum miesta, aby sme si nechali viac na ďalší rast. Alebo možno máme voľnosť vo výbere výšky stojanov, výkonu na stojan, zásuviek v PDU, počtu stojanov v skupine spínačov (jeden spínač pre 1, 2 alebo 3 stojany), dĺžky vodičov a sťahovacích prác ( to je kritické na koncoch radov: s 10 stojanmi v rade a 3 stojanmi na prepínač budete musieť ťahať káble do iného radu alebo nedostatočne využívať porty v prepínači), atď., atď. Samostatné príbehy: výber serverov a výber DC, budeme predpokladať, že sú vybrané.
Bolo by dobré pochopiť niektoré nuansy a detaily, najmä priemernú / maximálnu spotrebu serverov a spôsob, akým sa k nám dodáva elektrina. Takže ak máme ruské napájanie 230V a jednu fázu na rack, tak 32A stroj zvládne ~7kW. Povedzme, že nominálne platíme za 6 kW na stojan. Ak nám poskytovateľ meria spotrebu iba pre rad 10 stojanov a nie pre každý stojan a ak je stroj nastavený na podmienečne 7 kW cutoff, tak technicky môžeme spotrebovať 6.9 kW v jednom stojane, 5.1 kW v druhom a všetko bude v poriadku - bez trestu.
Väčšinou je naším hlavným cieľom minimalizovať náklady. Najlepším kritériom na meranie je zníženie TCO (celkové náklady na vlastníctvo). Skladá sa z nasledujúcich kusov:
- CAPEX: nákup DC infraštruktúry, serverov, sieťového hardvéru a kabeláže
- OPEX: DC prenájom, spotreba elektriny, údržba. OPEX závisí od životnosti. Je rozumné predpokladať, že to budú 3 roky.
V závislosti od toho, aké veľké sú jednotlivé kusy v celkovom koláči, musíme optimalizovať to najdrahšie a zvyšok nechať využiť všetky zostávajúce zdroje čo najefektívnejšie.
Povedzme, že máme existujúci jednosmerný prúd, výška racku je H jednotiek (napríklad H=47), elektrina na jeden rack Prack (Prac=6kW) a rozhodli sme sa použiť dvojjednotkové servery h=2U. Odstránime 2..4 jednotky zo stojana na vypínače, patch panely a organizéry. Tie. fyzicky máme v našom racku Sh=rounddown((H-2..4)/h) servery (t.j. Sh = rounddown((47-4)/2)=21 serverov na rack). Pripomeňme si túto Sh.
V jednoduchom prípade sú všetky servery v racku identické. Takže, ak rack naplníme serverov, potom bude priemerná spotreba energie pre každý server Pserv = Prack/Sh (Pserv = 6000W/21 = 287W). Pre jednoduchosť tu spotrebu prepínača ignorujeme.
Urobme krok vedľa a zistime, aká je maximálna spotreba servera Pmax. Ak je to veľmi jednoduché, veľmi neúčinné a úplne bezpečné, potom čítame, čo je napísané na napájacom zdroji servera - to je ono.
Ak je to komplikovanejšie, efektívnejšie, tak vezmeme TDP (balíček tepelného dizajnu) všetkých komponentov a zhrnieme to (nie je to veľmi pravda, ale je to možné).
Zvyčajne nepoznáme TDP komponentov (okrem CPU), preto zvolíme najsprávnejší, ale aj najkomplexnejší prístup (potrebujeme laboratórium) - vezmeme experimentálny server požadovanej konfigurácie a načítame ho, napríklad pri Linpack (CPU a pamäť) a fio (disky) meriame spotrebu. Ak to zoberieme vážne, aj pri testoch musíme vytvoriť čo najteplejšie prostredie v chladnom koridore, pretože to ovplyvní spotrebu ventilátora aj procesora. Získame maximálnu spotrebu konkrétneho servera so špecifickou konfiguráciou v týchto špecifických podmienkach pri tomto špecifickom zaťažení. Jednoducho máme na mysli, že nový systémový firmvér, iná verzia softvéru a iné podmienky môžu ovplyvniť výsledok.
Takže späť k Pserv a ako ho porovnávame s Pmax. Ide o to, aby ste pochopili, ako tieto služby fungujú a aké silné sú nervy vášho technického riaditeľa.
Ak nebudeme riskovať, veríme, že všetky servery môžu súčasne začať spotrebúvať svoje maximum. Súčasne môže nastať jeden vstup do DC. Aj za týchto podmienok musí infra poskytovať službu, takže Pserv ≡ Pmax. Toto je prístup, kde je spoľahlivosť absolútne dôležitá.
Ak technický riaditeľ premýšľa nielen o ideálnej bezpečnosti, ale aj o peniazoch spoločnosti a je dostatočne odvážny, môžete sa rozhodnúť
- Začíname riadiť našich dodávateľov, najmä zakazujeme plánovanú údržbu v čase plánovaného špičkového zaťaženia, aby sme minimalizovali pokles jedného vstupu;
- a/alebo naša architektúra vám umožňuje stratiť rack/riadok/DC, ale služby naďalej fungujú;
- a/alebo náklad dobre rozložíme vodorovne cez regály, takže naše služby nikdy nevyskočia na maximálnu spotrebu v jednom regáli dokopy.
Tu je veľmi užitočné nielen hádať, ale aj sledovať spotrebu a vedieť, koľko elektriny servery skutočne spotrebúvajú za normálnych a špičkových podmienok. Preto po nejakej analýze technický riaditeľ stlačí všetko, čo má, a povie: „Vôľne sa rozhodneme, že maximálny dosiahnuteľný priemer maximálnej spotreby servera na rack je **toľko** pod maximálnou spotrebou,“ podmienečne Pserv = 0.8* Pmax.
A potom 6kW rack už nepojme 16 serverov s Pmax = 375W, ale 20 serverov s Pserv = 375W * 0.8 = 300W. Tie. O 25 % viac serverov. To je veľmi veľká úspora – veď hneď potrebujeme o 25 % menej rackov (a ušetríme aj na PDU, switchoch a kábloch). Vážnou nevýhodou takéhoto riešenia je, že musíme neustále sledovať, či sú naše predpoklady stále správne. Že nová verzia firmvéru výrazne nemení chod ventilátorov a spotrebu, že vývoj zrazu s novým vydaním nezačal využívať servery oveľa efektívnejšie (čítaj: dosiahli väčšiu záťaž a väčšiu spotrebu na serveri). Potom sa naše počiatočné predpoklady a závery okamžite stanú nesprávnymi. Toto je riziko, ktoré treba brať zodpovedne (alebo sa mu vyhnúť a potom platiť za zjavne nevyužité regály).
Dôležitá poznámka - mali by ste sa pokúsiť distribuovať servery z rôznych služieb horizontálne cez stojany, ak je to možné. Je to potrebné, aby nenastali situácie, keď príde jedna dávka serverov pre jednu službu, stojany sú ňou vertikálne zabalené, aby sa zvýšila „hustota“ (pretože je to takto jednoduchšie). V skutočnosti sa ukazuje, že jeden stojan je naplnený identickými nízko zaťaženými servermi rovnakej služby a druhý je naplnený rovnako vysoko zaťaženými servermi. Pravdepodobnosť druhého pádu je podstatne vyššia, pretože profil zaťaženia je rovnaký a všetky servery spolu v tomto stojane začnú spotrebovávať rovnaké množstvo v dôsledku zvýšeného zaťaženia.
Vráťme sa k distribúcii serverov v rackoch. Pozreli sme sa na fyzický priestor v racku a obmedzenia napájania, teraz sa pozrime na sieť. Môžete použiť prepínače s 24/32/48 N portami (máme napríklad 48-portové ToR prepínače). Našťastie nie je veľa možností, ak nemyslíte na prerušovacie káble. Zvažujeme scenáre, keď máme jeden prepínač na rack, jeden prepínač pre dva alebo tri racky v skupine Rnet. Zdá sa mi, že viac ako tri stojany v skupine je už priveľa, pretože... problém kabeláže medzi stojanmi sa stáva oveľa väčším.
Takže pre každý sieťový scenár (1, 2 alebo 3 stojany v skupine) rozdeľujeme servery medzi stojany:
Srack = min (Sh, zaokrúhlenie nadol (Prack/Pserv), zaokrúhlenie nadol (N/Rnet))
Pre možnosť s 2 stojanmi v skupine:
Srack2 = min(21, zaokrúhlené nadol (6000/300), zaokrúhlené nadol(48/2)) = min(21, 20, 24) = 20 serverov na stojan.
Zostávajúce možnosti zvažujeme rovnakým spôsobom:
Srack1 = 20
Srack3 = 16
A už sme skoro tam. Počítame počet stojanov na distribúciu všetkých našich serverov S (nech je to 1000 XNUMX):
R = roundup (S / (Srack * Rnet)) * Rnet
R1 = zaokrúhlenie (1000 20 / (1 * 1)) * 50 = 1 * 50 = XNUMX stojanov
R2 = zaokrúhlenie (1000 20 / (2 * 2)) * 25 = 2 * 50 = XNUMX stojanov
R3 = zaokrúhlenie (1000 16 / (3 * 3)) * 25 = 2 * 63 = XNUMX stojanov
Ďalej vypočítame TCO pre každú možnosť na základe počtu stojanov, požadovaného počtu prepínačov, kabeláže atď. Vyberáme možnosť, kde sú TCO nižšie. Zisk!
Upozorňujeme, že aj keď je požadovaný počet stojanov pre možnosti 1 a 2 rovnaký, ich cena bude iná, pretože počet spínačov pre druhú možnosť je polovičný a dĺžka potrebných káblov je dlhšia.
PS Ak máte možnosť hrať sa s výkonom na stojan a výškou stojana, variabilita sa zvyšuje. Proces však možno zredukovať na vyššie opísaný postup jednoduchým prejdením možností. Áno, bude viac kombinácií, ale stále veľmi obmedzený počet - napájanie do racku pre výpočet je možné zvyšovať v krokoch po 1 kW, typické racky sa dodávajú v obmedzenom počte štandardných veľkostí: 42U, 45U, 47U, 48U , 52U. A tu môže analýza What-If v Exceli v režime tabuľky údajov pomôcť s výpočtami. Pozeráme sa na prijaté taniere a vyberieme minimum.
Zdroj: hab.com
