Í einu af spjallunum var ég spurð spurningar:
— Er eitthvað sem ég get lesið um hvernig á að pakka netþjónum almennilega í rekki?
Ég áttaði mig á því að ég þekkti ekki slíkan texta, svo ég skrifaði minn eigin.
Í fyrsta lagi er þessi texti um líkamlega netþjóna í líkamlegum gagnaverum (DC). Í öðru lagi teljum við að það séu ansi margir netþjónar: hundruðir þúsunda; fyrir minni fjölda er þessi texti ekki skynsamlegur. Í þriðja lagi teljum við að við höfum þrjár skorður: líkamlegt pláss í rekkunum, aflgjafi á hverri rekki og látum rekkana standa í röðum þannig að við getum notað einn ToR rofa til að tengja netþjóna í aðliggjandi rekki.
Svarið við spurningunni fer mjög eftir því hvaða færibreytu við erum að hagræða og hverju við getum breytt til að ná sem bestum árangri. Til dæmis þurfum við bara að taka upp lágmarks pláss til að skilja eftir meira til frekari vaxtar. Eða kannski höfum við frelsi til að velja hæð á rekkunum, afl á rekki, innstungur í PDU, fjölda rekka í hópi rofa (einn rofi fyrir 1, 2 eða 3 rekka), lengd víra og togvinnu ( þetta er mikilvægt á endum raðanna: með 10 rekki í röð og 3 rekki í hverjum rofa, verður þú að draga vírana í aðra röð eða vannýta tengin í rofanum) osfrv., osfrv. Aðskildar sögur: val á netþjónum og val á DC, við munum gera ráð fyrir að þeir séu valdir.
Það væri gott að átta sig á sumum blæbrigðum og smáatriðum, einkum meðal-/hámarksnotkun netþjóna og hvernig rafmagni er afhent okkur. Svo, ef við erum með rússneska aflgjafa upp á 230V og einn fasa á rekki, þá þolir 32A vél ~7kW. Segjum að við borgum að nafninu til fyrir 6kW á rekki. Ef veitandinn mælir neyslu okkar aðeins fyrir röð af 10 rekkum, en ekki fyrir hverja rekki, og ef vélin er stillt á skilyrt 7 kW skerðingu, þá getum við tæknilega séð neytt 6.9 kW í einni rekki, 5.1 kW í annarri og allt verður í lagi - ekki refsivert.
Venjulega er meginmarkmið okkar að lágmarka kostnað. Besta mælikvarðinn er lækkun á eignarhaldskostnaði (heildarkostnaður við eignarhald). Það samanstendur af eftirfarandi hlutum:
- CAPEX: kaup á DC innviðum, netþjónum, netbúnaði og kaðall
- OPEX: DC leiga, rafmagnsnotkun, viðhald. OPEX fer eftir endingartíma. Það er eðlilegt að gera ráð fyrir að það sé 3 ár.
Það fer eftir því hversu stórir einstakir bitar eru í heildarbökunni, við þurfum að hagræða því dýrasta og láta afganginn nýta allar þær auðlindir sem eftir eru á eins skilvirkan hátt og mögulegt er.
Segjum að við höfum núverandi DC, það er rekkihæð H einingar (til dæmis H=47), rafmagn á hverja rekki Prack (Prack=6kW), og við ákváðum að nota h=2U tveggja einingar netþjóna. Við munum fjarlægja 2..4 einingar úr rekkanum fyrir rofa, plásturspjöld og skipuleggjanda. Þeir. líkamlega erum við með Sh=rounddown((H-2..4)/h) netþjóna í rekki okkar (þ.e. Sh = rounddown((47-4)/2)=21 netþjóna á hvern rekka). Við skulum muna eftir þessum Sh.
Í einföldu tilviki eru allir netþjónar í rekki eins. Alls, ef við fyllum rekki af netþjónum, þá getum við á hverjum netþjóni eytt að meðaltali kraftinum Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Til einföldunar, hunsum við rofanotkun hér.
Við skulum taka skref til hliðar og ákvarða hver hámarksnotkun netþjóna Pmax er. Ef það er mjög einfalt, mjög árangurslaust og alveg öruggt, þá lesum við það sem er skrifað á aflgjafa netþjónsins - þetta er það.
Ef það er flóknara og skilvirkara, þá tökum við TDP (varmahönnunarpakka) allra íhluta og tökum það saman (þetta er ekki mjög satt, en það er mögulegt).
Venjulega vitum við ekki TDP íhluta (nema CPU), svo við tökum réttustu, en líka flóknustu nálgunina (við þurfum rannsóknarstofu) - við tökum tilraunaþjón með nauðsynlegri uppsetningu og hleðum hann, til dæmis, með Linpack (CPU og minni) og fio (diskar) mælum við neyslu. Ef við tökum þetta alvarlega þurfum við líka að búa til heitasta umhverfið í köldu ganginum á meðan á prófunum stendur, því það mun hafa áhrif á bæði viftunotkun og örgjörvanotkun. Við fáum hámarksnotkun tiltekins netþjóns með tiltekinni uppsetningu við þessar tilteknu aðstæður við þetta tiltekna álag. Við meinum einfaldlega að nýr fastbúnaður kerfisins, önnur hugbúnaðarútgáfa og aðrar aðstæður geta haft áhrif á niðurstöðuna.
Svo, aftur að Pserv og hvernig við berum það saman við Pmax. Það er spurning um að skilja hvernig þjónustan virkar og hversu sterkar taugar tæknistjórans þíns eru.
Ef við tökum enga áhættu, teljum við að allir netþjónar geti samtímis byrjað að neyta hámarks. Á sama augnabliki getur eitt inntak í DC átt sér stað. Jafnvel við þessar aðstæður verður infra að veita þjónustu, þannig að Pserv ≡ Pmax. Þetta er nálgun þar sem áreiðanleiki er algjörlega mikilvægur.
Ef tæknistjórinn hugsar ekki aðeins um fullkomið öryggi, heldur einnig um peninga fyrirtækisins og er nógu hugrakkur, þá geturðu ákveðið það
- Við erum að byrja að stjórna söluaðilum okkar, sérstaklega erum við að banna áætlað viðhald á tímum fyrirhugaðs hámarksálags til að lágmarka lækkun á einu inntaki;
- og/eða arkitektúr okkar gerir þér kleift að missa rekki/röð/DC, en þjónustan heldur áfram að virka;
- og/eða við dreifum álaginu vel lárétt yfir rekkana, þannig að þjónusta okkar mun aldrei hoppa upp í hámarksnotkun í einum rekka allt saman.
Hér er mjög gagnlegt, ekki bara að giska á, heldur að fylgjast með neyslu og vita hvernig netþjónarnir í raun neyta rafmagns við venjulegar aðstæður og hámarksskilyrði. Þess vegna, eftir nokkra greiningu, kreistir tæknistjórinn allt sem hann á og segir: "við tökum viljandi ákvörðun um að hámarks meðaltal af hámarksnotkun netþjóns á rekki sé **svo mikið** undir hámarksnotkun," skilyrt Pserv = 0.8* Pmax.
Og þá getur 6kW rekki ekki lengur rúmað 16 netþjóna með Pmax = 375W, heldur 20 netþjóna með Pserv = 375W * 0.8 = 300W. Þeir. 25% fleiri netþjónar. Þetta er mjög mikill sparnaður - þegar allt kemur til alls þurfum við strax 25% færri rekki (og við munum líka spara PDU, rofa og snúrur). Alvarlegur ókostur við slíka lausn er að við verðum stöðugt að fylgjast með því að forsendur okkar séu enn réttar. Að nýja fastbúnaðarútgáfan breyti ekki verulega starfsemi viftanna og neyslu, að þróunin með nýju útgáfunni hafi skyndilega ekki byrjað að nota netþjónana miklu skilvirkari (lesist: þeir náðu meira álagi og meiri neyslu á þjóninum). Þegar allt kemur til alls, þá verða bæði upphaflegar forsendur okkar og ályktanir strax rangar. Þetta er áhætta sem verður að taka á ábyrgan hátt (eða forðast og síðan borga fyrir augljóslega vannýttar rekki).
Mikilvæg athugasemd - þú ættir að reyna að dreifa netþjónum frá mismunandi þjónustu lárétt yfir rekki, ef mögulegt er. Þetta er nauðsynlegt svo að aðstæður komi ekki upp þegar einn hópur netþjóna kemur fyrir eina þjónustu, rekkarnir eru lóðrétt pakkaðir með því til að auka „þéttleikann“ (vegna þess að það er auðveldara þannig). Í raun og veru kemur í ljós að annar rekki er fylltur með eins lághlaða netþjónum af sömu þjónustu og hinn er fylltur með jafn mikið álagsþjónum. Líkurnar á öðru falli eru verulega meiri, vegna þess að hleðslusniðið er það sama og allir netþjónar saman í þessu rekki byrja að neyta sama magns vegna aukins álags.
Snúum okkur aftur að dreifingu netþjóna í rekki. Við höfum skoðað líkamlegt rekkarými og afltakmarkanir, nú skulum við líta á netið. Þú getur notað rofa með 24/32/48 N tengi (til dæmis erum við með 48 porta ToR rofa). Sem betur fer eru ekki margir möguleikar ef þú hugsar ekki um útbrotssnúrur. Við erum að íhuga atburðarás þegar við erum með einn rofa á hvern rekki, einn rofa fyrir tvo eða þrjá rekka í Rnet hópnum. Mér sýnist að meira en þrjú rekki í hóp sé nú þegar of mikið, vegna þess að... vandamálið við kaðall milli rekka verður miklu stærra.
Svo, fyrir hverja netatburðarás (1, 2 eða 3 rekki í hóp), dreifum við netþjónunum á milli rekkana:
Srack = min(Sh, rounddown(Prack/Pserv), rounddown(N/Rnet))
Þannig, fyrir valkostinn með 2 rekki í hóp:
Srack2 = mín(21, rounddown(6000/300), rounddown(48/2)) = mín(21, 20, 24) = 20 netþjónar á hvern rekki.
Við lítum á þá valkosti sem eftir eru á sama hátt:
Srack1 = 20
Srack3 = 16
Og við erum næstum komin. Við teljum fjölda rekkja til að dreifa öllum netþjónum okkar S (látum það vera 1000):
R = roundup(S / (Srack * Rnet)) * Rnet
R1 = samantekt (1000 / (20 * 1)) * 1 = 50 * 1 = 50 rekki
R2 = samantekt (1000 / (20 * 2)) * 2 = 25 * 2 = 50 rekki
R3 = samantekt (1000 / (16 * 3)) * 3 = 25 * 2 = 63 rekki
Næst reiknum við út TCO fyrir hvern valmöguleika út frá fjölda rekkja, nauðsynlegum fjölda rofa, snúru osfrv. Við veljum þann kost þar sem TCO er lægra. Hagnaður!
Athugaðu að þó að nauðsynlegur fjöldi rekkja fyrir valkosti 1 og 2 sé sá sami, þá verður verð þeirra öðruvísi, vegna þess að fjöldi rofa fyrir seinni valkostinn er helmingi fleiri og lengd nauðsynlegra snúra er lengri.
PS Ef þú hefur tækifæri til að spila með krafti á rekki og hæð á rekki eykst breytileikinn. En ferlið er hægt að minnka í það sem lýst er hér að ofan með því einfaldlega að fara í gegnum valkostina. Já, það verða fleiri samsetningar, en samt mjög takmarkaður fjöldi - hægt er að auka aflgjafa í rekkann til útreiknings í þrepum um 1 kW, dæmigerðir rekkar koma í takmörkuðum fjölda staðlaðra stærða: 42U, 45U, 47U, 48U , 52U. Og hér getur Excel's What-If greining í gagnatöfluham hjálpað til við útreikninga. Við skoðum mótteknar plötur og veljum lágmarkið.
Heimild: www.habr.com