Në një nga chat-et më bënë pyetjen:
â A ka diçka pĂ«r tĂ« lexuar se si duhen vendosur siç duhet serverĂ«t nĂ« rack?
E kuptova që nuk njihja një tekst të tillë, ndaj shkrova timin.
Së pari, ky tekst është për serverë fizikë në data center fizikë (DC). Së dyti, supozojmë se serverët janë mjaftueshëm shumë: qindra deri në mijëra; për sasi më të vogla ky tekst nuk ka kuptim. Së treti, supozojmë se kemi tre kufizime: hapësirën fizike në rack, furnizimin me energji për rack dhe që rack-et janë të vendosura në rreshta, kështu që mund të përdorim një switch ToR për të lidhur serverët në rack-et fqinje.
Përgjigjja ndaj kësaj pyetjeje varet shumë nga parametri që po optimizojmë dhe nga çfarë mund të ndryshojmë për të arritur rezultatin më të mirë. Për shembull, mund të na duhet thjesht të zëmë sa më pak hapësirë, që të mbetet më shumë vend për rritje të mëtejshme. Ose mund të kemi liri në zgjedhjen e lartësisë së rack-eve, fuqisë për rack, prizave në PDU, numrit të rack-eve në një grup switch-esh (një switch për 1, 2 ose 3 rack), gjatësisë së kabllove dhe punimeve për shtrirjen e tyre (kjo është kritike në skajet e rreshtave: me 10 rack në një rresht dhe 3 rack për switch, kabllot do të duhet të kalohen në një rresht tjetër ose portat e switch-it do të mbeten të pashfrytëzuara), etj., etj. Histori më vete janë zgjedhja e serverëve dhe zgjedhja e DC; do të supozojmë se ato tashmë janë bërë.
Do tĂ« ishte mirĂ« tĂ« kuptoheshin disa nuanca dhe hollĂ«si, veçanĂ«risht konsumi mesatar/maksimal i serverĂ«ve dhe mĂ«nyra si na furnizohet energjia elektrike. PĂ«r shembull, nĂ«se kemi furnizim 230V dhe njĂ« fazĂ« pĂ«r çdo rack, atĂ«herĂ« njĂ« automat 32A mund tĂ« mbajĂ« rreth 7kW. Le tĂ« supozojmĂ« se nominalisht paguajmĂ« pĂ«r 6kW pĂ«r rack. NĂ«se ofruesi e mat konsumin tonĂ« vetĂ«m pĂ«r njĂ« rresht prej 10 rack-esh, dhe jo pĂ«r secilin rack veçmas, dhe nĂ«se automatiku Ă«shtĂ« vendosur tĂ« ndĂ«rpresĂ« afĂ«rsisht nĂ« 7kW, atĂ«herĂ« teknikisht mund tĂ« konsumojmĂ« 6.9kW nĂ« njĂ« rack tĂ« vetĂ«m, 5.1kW nĂ« njĂ« tjetĂ«r, dhe gjithçka do tĂ« jetĂ« nĂ« rregull â pa pasoja.
Zakonisht, qĂ«llimi ynĂ« kryesor Ă«shtĂ« minimizimi i kostove. Kriteri mĂ« i mirĂ« pĂ«r matje Ă«shtĂ« ulja e TCO (total cost of ownership â kostoja totale e pronĂ«sisĂ«). Ajo pĂ«rbĂ«het nga pjesĂ«t e mĂ«poshtme:
- CAPEX: blerja e infrastrukturës së DC, serverëve, pajisjeve të rrjetit dhe kabllimit
- OPEX: qiraja e DC, energjia elektrike e konsumuar, mirĂ«mbajtja. OPEX varet nga jetĂ«gjatĂ«sia e pĂ«rdorimit. ĂshtĂ« e arsyeshme ta supozojmĂ« atĂ« si 3 vjet.
VarĂ«sisht sa tĂ« mĂ«dha janĂ« pjesĂ«t e veçanta nĂ« tĂ« gjithĂ« âbyrekunâ, duhet tĂ« optimizojmĂ« atĂ« qĂ« kushton mĂ« shumĂ«, ndĂ«rsa pjesa tjetĂ«r le tĂ« pĂ«rdorĂ« sa mĂ« me efikasitet tĂ« gjitha burimet e mbetura.
Le të themi se kemi një DC ekzistues, kemi lartësinë e rack-ut H njësi (për shembull H=47), energjinë për rack Prack (Prack=6kW), dhe kemi vendosur të përdorim serverë dy-njësi h=2U. Heqim 2..4 njësi nga rack-u për switch-et, patch panelet dhe organizuesit. Pra, fizikisht në rack na hyjnë Sh=rounddown((H-2..4)/h) serverë (domethënë Sh = rounddown((47-4)/2)=21 serverë për rack). Le ta mbajmë mend këtë vlerë Sh.
Në rastin e thjeshtë, të gjithë serverët në rack janë të njëjtë. Pra, nëse e mbushim rack-un serverë, atëherë për çdo server mesatarisht mund të shpenzojmë fuqi Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Për thjeshtësi, këtu po injorojmë konsumin e switch-it.
TĂ« bĂ«jmĂ« njĂ« hap anash dhe tĂ« pĂ«rcaktojmĂ« çfarĂ« Ă«shtĂ« konsumi maksimal i serverit Pmax. NĂ«se e marrim shumĂ« thjesht, shumĂ« joefikasisht dhe krejtĂ«sisht nĂ« mĂ«nyrĂ« tĂ« sigurt, atĂ«herĂ« lexojmĂ« çfarĂ« Ă«shtĂ« shkruar nĂ« furnizuesin me energji tĂ« serverit â kjo Ă«shtĂ« vlera.
Nëse e trajtojmë më thellë dhe më me efikasitet, atëherë marrim TDP (thermal design package) të të gjithë komponentëve dhe i mbledhim (nuk është plotësisht e saktë, por mund të bëhet edhe kështu).
Zakonisht nuk e dimĂ« TDP-nĂ« e komponentĂ«ve (pĂ«rveç CPU), prandaj zgjedhim qasjen mĂ« tĂ« saktĂ«, por edhe mĂ« tĂ« ndĂ«rlikuar (duhet laborator) â marrim njĂ« server testues me konfigurimin e nevojshĂ«m dhe e ngarkojmĂ«, pĂ«r shembull, me Linpack (CPU dhe memoria) dhe fio (disqet), pastaj masim konsumin. NĂ«se doni tâi qaseni seriozisht, duhet gjithashtu tĂ« krijoni mjedisin mĂ« tĂ« ngrohtĂ« tĂ« mundshĂ«m nĂ« korridorin e ftohtĂ« gjatĂ« testeve, sepse kjo ndikon si nĂ« konsumin e ventilatorĂ«ve, ashtu edhe nĂ« konsumin e CPU. KĂ«shtu marrim konsumin maksimal tĂ« njĂ« serveri konkret me njĂ« konfigurim konkret, nĂ« kĂ«to kushte konkrete dhe nĂ«n kĂ«tĂ« ngarkesĂ« konkrete. Thjesht mbani parasysh se njĂ« firmware i ri i sistemit, njĂ« version tjetĂ«r i softuerit apo kushte tĂ« tjera mund tĂ« ndikojnĂ« nĂ« rezultat.
Pra, kthehemi te Pserv dhe te mënyra si ta krahasojmë me Pmax. Kjo është çështje e kuptimit të mënyrës si funksionojnë shërbimet dhe e faktit sa të forta i ka nervat drejtori juaj teknik.
Nëse nuk doni të merrni aspak rrezik, atëherë llogarisim që të gjithë serverët mund të nisin njëkohësisht të konsumojnë maksimumin e tyre. Në të njëjtin moment mund të bjerë edhe një hyrje energjie në DC. Infrastruktura duhet ta ofrojë shërbimin edhe në këto kushte, prandaj Pserv ⥠Pmax. Kjo është qasja ku besueshmëria ka rëndësi absolute.
Nëse drejtori teknik nuk mendon vetëm për sigurinë ideale, por edhe për buxhetin e kompanisë dhe është mjaftueshëm i guximshëm, mund të vendoset që
- ne fillojmë të menaxhojmë furnitorët tanë, në veçanti u ndalojmë të kryejnë mirëmbajtje të planifikuar gjatë periudhave të ngarkesës së parashikuar kulmore, për të minimizuar rënien e një hyrjeje;
- dhe/ose arkitektura jonë lejon humbjen e një rack-u/rreshti/qendre të të dhënave, ndërsa shërbimet vazhdojnë të funksionojnë;
- dhe/ose ne e shpërndajmë mirë ngarkesën horizontalisht nëpër rack-e, prandaj shërbimet tona nuk do të kalojnë kurrë të gjitha njëherësh në konsumin maksimal brenda një rack-u të vetëm.
Këtu është shumë e dobishme jo thjesht të hamendësosh, por të monitorosh konsumin dhe të dish se sa energji elektrike konsumojnë realisht serverët në kushte normale dhe në pikun e ngarkesës. Prandaj, pas një analize të caktuar, drejtori teknik i mbledh të gjitha të dhënat që ka dhe thotë: «me një vendim të vetëdijshëm pranojmë se mesatarja maksimale e arritshme e kulmeve të konsumit të serverëve për rack është **kaq** më e ulët se konsumi maksimal», me kusht Pserv=0.8*Pmax.
Dhe atĂ«herĂ« nĂ« njĂ« rack prej 6 kW nuk futen mĂ« 16 serverĂ« me Pmax = 375 W, por 20 serverĂ« me Pserv = 375 W * 0.8 = 300 W. Pra, 25% mĂ« shumĂ« serverĂ«. Kjo Ă«shtĂ« njĂ« kursim shumĂ« i madh, sepse menjĂ«herĂ« na duhen edhe 25% mĂ« pak rack-e (dhe aty kursejmĂ« edhe nĂ« PDU, switch-e dhe kabllo). Disavantazhi serioz i kĂ«tij vendimi Ă«shtĂ« se duhet monitoruar vazhdimisht nĂ«se supozimet tona mbeten ende tĂ« vlefshme. QĂ« njĂ« version i ri i firmware-it tĂ« mos ndryshojĂ« nĂ« mĂ«nyrĂ« tĂ« ndjeshme funksionimin e ventilatorĂ«ve dhe konsumin, dhe qĂ« ekipi i zhvillimit tĂ« mos fillojĂ« papritur me njĂ« release tĂ« ri tâi pĂ«rdorĂ« serverĂ«t shumĂ« mĂ« me efikasitet (lexo: tĂ« arrijĂ« ngarkesĂ« mĂ« tĂ« lartĂ« dhe konsum mĂ« tĂ« madh pĂ«r server). Sepse atĂ«herĂ« si supozimet tona fillestare, ashtu edhe pĂ«rfundimet, bĂ«hen menjĂ«herĂ« tĂ« pavlefshme. Ky Ă«shtĂ« njĂ« rrezik qĂ« duhet pranuar me pĂ«rgjegjĂ«si (ose shmangur dhe atĂ«herĂ« tĂ« paguhet pĂ«r rack-e dukshĂ«m tĂ« nĂ«nngarkuara).
NjĂ« vĂ«rejtje e rĂ«ndĂ«sishme: nĂ«se Ă«shtĂ« e mundur, ia vlen tĂ« pĂ«rpiqeni tâi shpĂ«rndani horizontalisht nĂ«pĂ«r rack serverĂ«t nga shĂ«rbime tĂ« ndryshme. Kjo bĂ«het pĂ«r tĂ« shmangur situata kur vjen njĂ« seri serverĂ«sh pĂ«r njĂ« shĂ«rbim tĂ« vetĂ«m dhe rack-Ă«t mbushen vertikalisht me ta pĂ«r tĂ« rritur «densitetin» (sepse kĂ«shtu Ă«shtĂ« mĂ« e thjeshtĂ«). NĂ« praktikĂ«, rezulton qĂ« njĂ« rack mbushet me serverĂ« tĂ« njĂ«jtĂ« me ngarkesĂ« tĂ« ulĂ«t nga i njĂ«jti shĂ«rbim, ndĂ«rsa njĂ« tjetĂ«r me serverĂ« tĂ« njĂ«jtĂ« me ngarkesĂ« tĂ« lartĂ«. Probabiliteti i dĂ«shtimit tĂ« tĂ« dytit Ă«shtĂ« dukshĂ«m mĂ« i lartĂ«, sepse profili i ngarkesĂ«s Ă«shtĂ« i njĂ«jtĂ« dhe tĂ« gjithĂ« serverĂ«t nĂ« atĂ« rack fillojnĂ« njĂ«kohĂ«sisht tĂ« konsumojnĂ« po aq shumĂ« si pasojĂ« e rritjes sĂ« ngarkesĂ«s.
Le të kthehemi te shpërndarja e serverëve në rack. Kemi shqyrtuar kufizimet fizike të hapësirës në rack dhe kufizimet e furnizimit me energji elektrike; tani të shohim edhe rrjetin. Mund të përdoren switch-e me 24/32/48 porta N (në shembullin tonë kemi switch-e ToR me 48 porta). Për fat, opsionet nuk janë të shumta, nëse nuk marrim parasysh kabllot break-out. Po shqyrtojmë skenarë ku kemi një switch për çdo rack, një switch për dy rack ose për tre rack brenda një grupi Rnet. Mendoj se më shumë se tre rack në një grup tashmë është e tepërt, sepse problemi i kabllimit midis rack-ëve bëhet shumë më i madh.
Pra, për secilin skenar rrjeti (1, 2 ose 3 rack në grup), i shpërndajmë serverët nëpër rack:
Srack = min(Sh, rounddown(Prack/Pserv), rounddown(N/Rnet))
Kështu, për variantin me 2 rack në grup:
Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 serverë për rack.
Në të njëjtën mënyrë llogarisim variantet e tjera:
Srack1 = 20
Srack3 = 16
Dhe pothuajse kemi arritur në fund. Llogarisim numrin e rack-ëve për të shpërndarë të gjithë serverët tanë S (le të jenë 1000):
R = roundup(S / (Srack * Rnet)) * Rnet
R1 = roundup(1000 / (20 * 1)) * 1 = 50 * 1 = 50 rack
R2 = roundup(1000 / (20 * 2)) * 2 = 25 * 2 = 50 rack
R3 = roundup(1000 / (16 * 3)) * 3 = 25 * 2 = 63 rack
Më pas llogarisim TCO për secilin variant, bazuar në numrin e rack-ëve, numrin e nevojshëm të switch-eve, kabllimin, etc. Zgjedhim variantin me TCO më të ulët. Profit!
Vëmë re se, megjithëse numri i nevojshëm i rack-ëve për variantet 1 dhe 2 është i njëjtë, kostoja e tyre do të jetë e ndryshme, sepse numri i switch-eve për variantin e dytë është dy herë më i vogël, ndërsa gjatësia e kabllove të nevojshme është më e madhe.
P.S. NĂ«se ka mundĂ«si tĂ« luhet me fuqinĂ« pĂ«r rack dhe me lartĂ«sinĂ« e rack-ut, numri i varianteve rritet. MegjithatĂ«, procesi mund tĂ« reduktohet te skema e pĂ«rshkruar mĂ« sipĂ«r, thjesht duke kaluar opsionet njĂ« nga njĂ«. Po, kombinimeve do tâu shtohen disa variante tĂ« tjera, por gjithsesi numri i tyre mbetet mjaft i kufizuar â furnizimi me energji pĂ«r rack, pĂ«r llogaritje, mund tĂ« rritet me hap prej 1 kW, ndĂ«rsa rack-et standarde vijnĂ« vetĂ«m nĂ« disa madhĂ«si tipike: 42U, 45U, 47U, 48U, 52U. KĂ«tu, pĂ«r llogaritjet, mund tĂ« ndihmojĂ« edhe funksioni What-If Analysis i Excel nĂ« mĂ«nyrĂ«n Data Table. Shikoni tabelat e pĂ«rfituara dhe zgjidhni minimumin.
Burimi: habr.com
