Sa usa sa mga chat gipangutana ko:
β Aduna bay bisan unsa nga akong mabasa bahin sa kung giunsa ang pag-pack sa mga server sa mga rack?
Akong naamgohan nga wala ko kaila sa maong teksto, mao nga ako nagsulat sa akong kaugalingon.
Una, kini nga teksto mahitungod sa pisikal nga mga server sa pisikal nga mga sentro sa datos (DCs). Ikaduha, nagtuo kami nga adunay daghang mga server: gatusan-libo; alang sa gamay nga gidaghanon kini nga teksto dili makatarunganon. Ikatulo, among gikonsiderar nga kami adunay tulo ka mga limitasyon: pisikal nga espasyo sa mga rack, suplay sa kuryente matag rack, ug pasagdi ang mga rack nga maglumbay aron magamit namon ang usa ka switch sa ToR aron makonektar ang mga server sa kasikbit nga mga rack.
Ang tubag sa pangutana nagdepende pag-ayo kung unsa nga parameter ang atong gi-optimize ug kung unsa ang mahimo naton magkalainlain aron makab-ot ang labing kaayo nga sangputanan. Pananglitan, kinahanglan lang nga mokuha kita og usa ka minimum nga luna aron magbilin og dugang alang sa dugang nga pagtubo. O tingali kita adunay kagawasan sa pagpili sa gitas-on sa mga racks, gahum kada rack, mga socket sa PDU, ang gidaghanon sa mga racks sa usa ka grupo sa mga switch (usa ka switch alang sa 1, 2 o 3 racks), gitas-on sa mga wire ug pagbira trabaho ( kritikal kini sa mga tumoy sa mga laray: nga adunay 10 ka rack sa usa ka laray ug 3 rack matag switch, kinahanglan nimo nga ibira ang mga wire sa lain nga laray o dili gamiton ang mga pantalan sa switch), ug uban pa, ug uban pa. Pagbulag nga mga istorya: pagpili sa mga server ug pagpili sa mga DC, atong hunahunaon nga sila gipili.
Maayo nga masabtan ang pipila sa mga nuances ug mga detalye, ilabi na, ang kasagaran / maximum nga konsumo sa mga server, ug kung giunsa ang paghatag sa elektrisidad kanato. Busa, kung kita adunay suplay sa kuryente sa Russia nga 230V ug usa ka hugna matag rack, nan ang usa ka 32A nga makina makahimo sa pagdumala ~ 7kW. Ingnon ta nga nagbayad kami og 6kW kada rack. Kung gisukod sa provider ang among konsumo lamang sa usa ka laray nga 10 ka rack, ug dili alang sa matag rack, ug kung ang makina gitakda sa usa ka kondisyon nga 7 kW cutoff, nan sa teknikal nga paagi mahimo naton konsumo ang 6.9 kW sa usa ka rack, 5.1 kW sa lain ug ang tanan mahimong ok - dili silotan.
Kasagaran ang among panguna nga katuyoan mao ang pagminus sa gasto. Ang labing maayong sukdanan nga sukdon mao ang pagkunhod sa TCO (total cost of ownership). Kini naglangkob sa mosunod nga mga piraso:
- CAPEX: pagpalit sa imprastraktura sa DC, mga server, hardware sa network ug pag-cabling
- OPEX: Pag-abang sa DC, konsumo sa kuryente, pagmentinar. Ang OPEX nagdepende sa kinabuhi sa serbisyo. Makatarunganon nga isipon nga kini 3 ka tuig.
Depende kung unsa ka dako ang indibidwal nga mga piraso sa kinatibuk-ang pie, kinahanglan naton nga i-optimize ang labing mahal, ug tugotan ang uban nga mogamit sa tanan nga nahabilin nga mga kahinguhaan ingon ka episyente kutob sa mahimo.
Ingnon ta nga kita adunay kasamtangan nga DC, adunay taas nga rack sa H units (pananglitan, H=47), kuryente kada rack Prack (Prack=6kW), ug nakahukom kami nga gamiton ang h=2U nga duha ka unit nga server. Among tangtangon ang 2..4 ka unit gikan sa rack para sa mga switch, patch panel ug organizer. Mga. sa pisikal, kita adunay Sh=rounddown((H-2..4)/h) servers sa atong rack (ie Sh = rounddown((47-4)/2)=21 servers kada rack). Atong hinumduman kining Sh.
Sa yano nga kaso, ang tanan nga mga server sa usa ka rack managsama. Sa kinatibuk-an, kung pun-on nato ang usa ka rack sa mga server, nan sa matag server mahimo natong igugol sa kasagaran ang gahum Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Alang sa kayano, wala namo gibalewala ang pagkonsumo sa switch dinhi.
Atong likayan ang usa ka lakang ug mahibal-an kung unsa ang labing kadaghan nga konsumo sa server nga Pmax. Kung kini yano kaayo, dili kaayo epektibo ug hingpit nga luwas, nan atong basahon kung unsa ang nahisulat sa suplay sa kuryente sa server - kini na.
Kung kini mas komplikado, mas episyente, unya atong kuhaon ang TDP (thermal design package) sa tanan nga mga sangkap ug isumada kini (kini dili kaayo tinuod, apan kini posible).
Kasagaran wala kami nahibal-an ang TDP sa mga sangkap (gawas sa CPU), mao nga among gikuha ang labing tama, apan usab ang labing komplikado nga pamaagi (kinahanglan namon ang usa ka laboratoryo) - nagkuha kami usa ka eksperimento nga server sa gikinahanglan nga pag-configure ug gikarga kini, pananglitan, uban sa Linpack (CPU ug memorya) ug fio (disks), atong gisukod ang konsumo. Kung seryosohon naton kini, kinahanglan usab naton nga himuon ang labing kainit nga palibot sa bugnaw nga koridor sa panahon sa mga pagsulay, tungod kay kini makaapekto sa pagkonsumo sa fan ug pagkonsumo sa CPU. Nakuha namon ang labing kadaghan nga konsumo sa usa ka piho nga server nga adunay usa ka piho nga pagsumpo sa kini nga mga piho nga kondisyon sa ilawom sa kini nga piho nga karga. Gipasabot lang namo nga ang bag-ong sistema sa firmware, lahi nga bersyon sa software, ug uban pang kondisyon mahimong makaapekto sa resulta.
Mao nga, balik sa Pserv ug kung giunsa naton kini itandi sa Pmax. Kini usa ka butang nga masabtan kung giunsa ang pagtrabaho sa mga serbisyo ug kung unsa ka lig-on ang mga nerves sa imong teknikal nga direktor.
Kung wala gyud kami magdala sa bisan unsang mga peligro, kami nagtuo nga ang tanan nga mga server mahimo nga dungan nga magsugod sa pagkonsumo sa ilang labing kadaghan. Sa samang higayon, ang usa ka input sa DC mahimong mahitabo. Bisan sa kini nga mga kondisyon, ang infra kinahanglan maghatag serbisyo, busa Pserv β‘ Pmax. Kini usa ka pamaagi diin ang pagkakasaligan hinungdanon kaayo.
Kung ang direktor sa tech naghunahuna dili lamang bahin sa sulundon nga seguridad, apan bahin usab sa salapi sa kompanya ug adunay igong kaisog, nan mahimo nimo kana nga desisyon.
- Nagsugod kami sa pagdumala sa among mga tigbaligya, labi na, gidid-an namon ang naka-iskedyul nga pagmentinar sa mga oras sa giplano nga peak load aron maminusan ang pagkunhod sa usa ka input;
- ug/o ang among arkitektura nagtugot kanimo nga mawad-an sa usa ka rack/row/DC, apan ang mga serbisyo nagpadayon sa pagtrabaho;
- ug/o gipakaylap namo og maayo ang load nga pinahigda tabok sa mga racks, aron ang among mga serbisyo dili gyud molukso sa kinatas-ang konsumo sa usa ka rack tanan.
Dinhi kini mapuslanon kaayo dili lamang sa pagtag-an, apan sa pag-monitor sa konsumo ug mahibal-an kung giunsa ang mga server sa aktuwal nga paggamit sa elektrisidad ubos sa normal ug peak nga kondisyon. Busa, human sa pipila ka pag-analisar, ang tech nga direktor nagpilit sa tanan nga anaa kaniya ug nag-ingon: "nagahimo kami usa ka boluntaryo nga desisyon nga ang labing kadaghan nga maabut nga average sa labing kadaghan nga konsumo sa server matag rack mao ang **kaayo ** ubos sa labing kadaghan nga konsumo," kondisyon nga Pserv = 0.8* Pmax.
Ug unya ang usa ka 6kW rack dili na maka-accommodate sa 16 server nga adunay Pmax = 375W, apan 20 server nga adunay Pserv = 375W * 0.8 = 300W. Mga. 25% pa nga mga server. Kini usa ka dako kaayo nga pagtipig - pagkahuman, kinahanglan dayon namon ang 25% nga gamay nga racks (ug makatipig usab kami sa mga PDU, switch ug mga kable). Ang usa ka grabe nga disbentaha sa ingon nga solusyon mao nga kinahanglan naton kanunay nga bantayan nga husto pa ang atong mga pangagpas. Nga ang bag-ong bersyon sa firmware wala kaayo magbag-o sa operasyon sa mga fans ug konsumo, nga ang pag-uswag sa kalit sa bag-ong pagpagawas wala magsugod sa paggamit sa mga server nga labi ka episyente (basaha: nakab-ot nila ang labi ka daghang karga ug labi nga pagkonsumo sa server). Human sa tanan, unya ang atong unang mga pangagpas ug mga konklusyon mahimong sayop dayon. Kini usa ka peligro nga kinahanglan nga madawat nga responsable (o likayan ug dayon magbayad alang sa klaro nga wala magamit nga mga rack).
Usa ka importante nga nota - kinahanglan nimong sulayan ang pag-apod-apod sa mga server gikan sa lainlaing mga serbisyo nga pinahigda sa mga rack, kung mahimo. Kinahanglan kini aron dili mahitabo ang mga sitwasyon kung moabut ang usa ka batch sa mga server alang sa usa ka serbisyo, ang mga rack giputos nga patayo niini aron madugangan ang "densidad" (tungod kay mas sayon ββββang paagiha). Sa tinuud, nahimo nga ang usa ka rack napuno sa parehas nga low-load nga mga server sa parehas nga serbisyo, ug ang lain napuno sa parehas nga high-load nga mga server. Ang kalagmitan sa ikaduha nga pagkapukan mao ang kamahinungdanon mas taas, tungod kay ang load profile parehas, ug ang tanan nga mga server nga magkauban sa kini nga rack nagsugod sa pag-ut-ot sa parehas nga kantidad ingon usa ka sangputanan sa pagtaas sa karga.
Balik ta sa pag-apod-apod sa mga server sa mga racks. Gitan-aw namon ang pisikal nga rack space ug mga limitasyon sa kuryente, karon tan-awon naton ang network. Mahimo nimong gamiton ang mga switch nga adunay 24/32/48 N port (pananglitan, kami adunay 48-port ToR switch). Maayo na lang, wala'y daghang mga kapilian kung wala ka maghunahuna bahin sa mga break-out nga mga kable. Gikonsiderar namon ang mga senaryo kung kami adunay usa ka switch matag rack, usa ka switch alang sa duha o tulo nga rack sa Rnet nga grupo. Para nako sobra na sa tulo ka racks sa usa ka grupo, kay... ang problema sa kable sa taliwala sa mga racks mahimong mas dako.
Mao nga, alang sa matag senaryo sa network (1, 2 o 3 rack sa usa ka grupo), among giapod-apod ang mga server taliwala sa mga rack:
Srack = min(Sh, rounddown(Prack/Pserv), rounddown(N/Rnet))
Busa, alang sa kapilian nga adunay 2 racks sa usa ka grupo:
Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 server kada rack.
Gikonsiderar namon ang nahabilin nga mga kapilian sa parehas nga paagi:
Srack1 = 20
Srack3 = 16
Ug hapit na mi. Giihap namo ang gidaghanon sa mga racks aron ipang-apod-apod ang tanan namong mga server S (pahimoa kini nga 1000):
R = roundup(S / (Srack * Rnet)) * Rnet
R1 = roundup(1000 / (20 * 1)) * 1 = 50 * 1 = 50 racks
R2 = roundup(1000 / (20 * 2)) * 2 = 25 * 2 = 50 racks
R3 = roundup(1000 / (16 * 3)) * 3 = 25 * 2 = 63 racks
Sunod, kalkulado namon ang TCO alang sa matag kapilian base sa gidaghanon sa mga rack, gikinahanglan nga gidaghanon sa mga switch, pag-cabling, ug uban pa. Gipili namo ang opsyon diin mas ubos ang TCO. Kita!
Timan-i nga bisan kung ang gikinahanglan nga gidaghanon sa mga racks alang sa mga kapilian 1 ug 2 managsama, ang ilang presyo managlahi, tungod kay ang gidaghanon sa mga switch alang sa ikaduha nga kapilian mao ang katunga sa daghan, ug ang gitas-on sa gikinahanglan nga mga kable mas taas.
PS Kung adunay ka higayon nga magdula gamit ang gahum matag rack ug ang gitas-on sa rack, ang pagbag-o nagdugang. Apan ang proseso mahimong mapakunhod ngadto sa gihulagway sa ibabaw pinaagi lamang sa pag-agi sa mga kapilian. Oo, adunay daghang mga kombinasyon, apan sa gihapon usa ka limitado nga gidaghanon - ang suplay sa kuryente sa rack alang sa pagkalkula mahimong madugangan sa mga lakang nga 1 kW, ang kasagaran nga mga rack moabut sa usa ka limitado nga gidaghanon sa mga standard nga gidak-on: 42U, 45U, 47U, 48U , 52U. Ug dinhi ang Excel's What-If analysis sa Data Table mode makatabang sa mga kalkulasyon. Gitan-aw namon ang nadawat nga mga palid ug gipili ang minimum.
Source: www.habr.com