Yn un o’r sgyrsiau gofynnwyd cwestiwn i mi:
- A oes unrhyw beth y gallaf ei ddarllen am sut i bacio gweinyddwyr yn raciau'n iawn?
Sylweddolais nad oeddwn yn gwybod y fath destun, felly ysgrifennais fy un i.
Yn gyntaf, mae'r testun hwn yn ymwneud â gweinyddwyr ffisegol mewn canolfannau data ffisegol (DCs). Yn ail, credwn fod cryn dipyn o weinyddion: cannoedd o filoedd; i nifer llai nid yw'r testun hwn yn gwneud synnwyr. Yn drydydd, rydym yn ystyried bod gennym dri chyfyngiad: gofod corfforol yn y raciau, cyflenwad pŵer fesul rac, a gadewch i'r raciau sefyll mewn rhesi fel y gallwn ddefnyddio un switsh ToR i gysylltu gweinyddwyr mewn raciau cyfagos.
Mae'r ateb i'r cwestiwn yn dibynnu'n fawr ar ba baramedr yr ydym yn ei optimeiddio a'r hyn y gallwn ei amrywio i sicrhau'r canlyniad gorau. Er enghraifft, mae angen i ni gymryd lleiafswm o le er mwyn gadael mwy ar gyfer twf pellach. Neu efallai bod gennym ryddid i ddewis uchder y raciau, pŵer fesul rac, socedi yn y PDU, nifer y raciau mewn grŵp o switshis (un switsh ar gyfer raciau 1, 2 neu 3), hyd gwifrau a gwaith tynnu ( mae hyn yn hanfodol ar ddiwedd y rhesi: gyda 10 rac yn olynol a 3 rac y switsh, bydd yn rhaid i chi dynnu'r gwifrau i res arall neu danddefnyddio'r porthladdoedd yn y switsh), ac ati, ac ati. Straeon ar wahân: dewis gweinyddwyr a dewis DCs, byddwn yn cymryd yn ganiataol eu bod yn cael eu dewis.
Byddai’n dda deall rhai o’r arlliwiau a’r manylion, yn arbennig, defnydd cyfartalog/uchafswm y gweinyddwyr, a sut mae trydan yn cael ei gyflenwi i ni. Felly, os oes gennym gyflenwad pŵer Rwsiaidd o 230V ac un cam fesul rac, yna gall peiriant 32A drin ~7kW. Gadewch i ni ddweud ein bod ni'n talu am 6kW fesul rac mewn enw. Os yw'r darparwr yn mesur ein defnydd ar gyfer rhes o 10 rac yn unig, ac nid ar gyfer pob rac, ac os yw'r peiriant wedi'i osod ar doriad amodol o 7 kW, yna yn dechnegol gallwn ddefnyddio 6.9 kW mewn un rac, 5.1 kW mewn un arall a bydd popeth yn iawn - ni ellir ei gosbi.
Fel arfer ein prif nod yw lleihau costau. Y maen prawf gorau i'w fesur yw gostyngiad mewn TCO (cyfanswm cost perchnogaeth). Mae'n cynnwys y darnau canlynol:
- CAPEX: prynu seilwaith DC, gweinyddwyr, caledwedd rhwydwaith a cheblau
- OPEX: Rhent DC, defnydd trydan, cynnal a chadw. Mae OPEX yn dibynnu ar fywyd y gwasanaeth. Mae'n rhesymol tybio ei fod yn 3 blynedd.
Yn dibynnu ar ba mor fawr yw'r darnau unigol yn y pei cyffredinol, mae angen i ni wneud y gorau o'r rhai drutaf, a gadael i'r gweddill ddefnyddio'r holl adnoddau sy'n weddill mor effeithlon â phosibl.
Gadewch i ni ddweud bod gennym ni DC presennol, mae uchder rac o unedau H (er enghraifft, H = 47), trydan fesul rac Prack (Prack = 6kW), a phenderfynon ni ddefnyddio gweinyddwyr dwy uned h = 2U. Byddwn yn tynnu 2..4 uned o'r rac ar gyfer switshis, paneli patch a threfnwyr. Y rhai. yn gorfforol, mae gennym weinyddion Sh = rounddown ((H-2..4) / h) yn ein rac (hy Sh = rounddown ((47-4)/2) = gweinyddwyr 21 fesul rac). Gadewch i ni gofio hyn Sh.
Yn yr achos syml, mae pob gweinydd mewn rac yn union yr un fath. Yn gyfan gwbl, os byddwn yn llenwi rac gyda gweinyddwyr, yna ar bob gweinydd gallwn wario ar gyfartaledd y pŵer Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Er mwyn symlrwydd, rydym yn anwybyddu defnydd switsh yma.
Gadewch i ni gymryd cam o'r neilltu a phenderfynu beth yw uchafswm defnydd gweinyddwr Pmax. Os yw'n syml iawn, yn aneffeithiol iawn ac yn gwbl ddiogel, yna rydym yn darllen yr hyn sydd wedi'i ysgrifennu ar gyflenwad pŵer y gweinydd - dyma ni.
Os yw'n fwy cymhleth ac yn fwy effeithlon, yna rydym yn cymryd y TDP (pecyn dylunio thermol) o'r holl gydrannau ac yn ei grynhoi (nid yw hyn yn wir iawn, ond mae'n bosibl).
Fel arfer nid ydym yn gwybod TDP y cydrannau (ac eithrio'r CPU), felly rydym yn cymryd y dull mwyaf cywir, ond hefyd y mwyaf cymhleth (mae angen labordy arnom) - rydym yn cymryd gweinydd arbrofol o'r cyfluniad gofynnol ac yn ei lwytho, er enghraifft, gyda Linpack (CPU a chof) a fio (disgiau), rydym yn mesur defnydd. Os byddwn yn ei gymryd o ddifrif, mae angen i ni hefyd greu'r amgylchedd cynhesaf yn y coridor oer yn ystod profion, oherwydd bydd hyn yn effeithio ar y defnydd o ffan a defnydd CPU. Rydym yn cael y defnydd mwyaf posibl o weinydd penodol gyda chyfluniad penodol yn yr amodau penodol hyn o dan y llwyth penodol hwn. Yn syml, rydym yn golygu y gall firmware system newydd, fersiwn meddalwedd gwahanol, ac amodau eraill effeithio ar y canlyniad.
Felly, yn ôl at Pserv a sut rydyn ni'n ei gymharu â Pmax. Mae’n fater o ddeall sut mae’r gwasanaethau’n gweithio a pha mor gryf yw nerfau eich cyfarwyddwr technegol.
Os na chymerwn unrhyw risgiau o gwbl, credwn y gall pob gweinydd ar yr un pryd ddechrau defnyddio eu huchafswm. Ar yr un pryd, gall un mewnbwn i'r DC ddigwydd. Hyd yn oed o dan yr amodau hyn, rhaid i infra ddarparu gwasanaeth, felly Pserv ≡ Pmax. Mae hwn yn ddull lle mae dibynadwyedd yn gwbl bwysig.
Os yw'r cyfarwyddwr technoleg yn meddwl nid yn unig am ddiogelwch delfrydol, ond hefyd am arian y cwmni a'i fod yn ddigon dewr, yna gallwch chi benderfynu hynny.
- Rydym yn dechrau rheoli ein gwerthwyr, yn benodol, rydym yn gwahardd cynnal a chadw wedi'i drefnu ar adegau o lwyth brig a gynlluniwyd i leihau'r gostyngiad mewn un mewnbwn;
- a/neu mae ein pensaernïaeth yn caniatáu ichi golli rac/rhes/DC, ond mae'r gwasanaethau'n parhau i weithio;
- a/neu rydym yn lledaenu'r llwyth yn dda yn llorweddol ar draws y raciau, felly ni fydd ein gwasanaethau byth yn neidio i'r defnydd mwyaf posibl mewn un rac gyda'i gilydd.
Yma mae'n ddefnyddiol iawn nid yn unig i ddyfalu, ond i fonitro'r defnydd a gwybod sut mae'r gweinyddwyr mewn gwirionedd yn defnyddio trydan o dan amodau arferol ac oriau brig. Felly, ar ôl rhywfaint o ddadansoddi, mae'r cyfarwyddwr technoleg yn gwasgu popeth sydd ganddo ac yn dweud: "rydym yn gwneud penderfyniad gwirfoddol bod uchafswm y cyfartaledd cyraeddadwy o uchafswm defnydd gweinydd fesul rhesel **gymaint** yn is na'r defnydd uchaf," yn amodol Pserv = 0.8* Pmax.
Ac yna ni all rac 6kW ddarparu ar gyfer 16 gweinydd bellach gyda Pmax = 375W, ond 20 gweinydd gyda Pserv = 375W * 0.8 = 300W. Y rhai. 25% yn fwy o weinyddion. Mae hwn yn arbediad mawr iawn - wedi'r cyfan, mae angen 25% yn llai o raciau ar unwaith (a byddwn hefyd yn arbed ar PDUs, switshis a cheblau). Anfantais ddifrifol ateb o'r fath yw bod yn rhaid inni fonitro'n gyson bod ein rhagdybiaethau yn dal yn gywir. Nad yw'r fersiwn firmware newydd yn newid gweithrediad y cefnogwyr a'r defnydd yn sylweddol, nad oedd y datblygiad yn sydyn gyda'r datganiad newydd yn dechrau defnyddio'r gweinyddwyr yn llawer mwy effeithlon (darllenwch: fe wnaethant gyflawni mwy o lwyth a mwy o ddefnydd ar y gweinydd). Wedi'r cyfan, yna mae ein tybiaethau a'n casgliadau cychwynnol yn mynd yn anghywir ar unwaith. Mae hon yn risg y mae'n rhaid ei chymryd yn gyfrifol (neu ei hosgoi ac yna talu am raciau sy'n amlwg yn cael eu tanddefnyddio).
Nodyn pwysig - dylech geisio dosbarthu gweinyddwyr o wahanol wasanaethau yn llorweddol ar draws raciau, os yn bosibl. Mae hyn yn angenrheidiol fel nad yw sefyllfaoedd yn digwydd pan fydd un swp o weinyddion yn cyrraedd ar gyfer un gwasanaeth, mae'r raciau wedi'u pacio'n fertigol ag ef i gynyddu'r “dwysedd” (oherwydd ei bod yn haws felly). Mewn gwirionedd, mae'n ymddangos bod un rac wedi'i lenwi â gweinyddwyr llwyth isel union yr un gwasanaeth, a'r llall wedi'i lenwi â gweinyddwyr llwyth yr un mor uchel. Mae tebygolrwydd yr ail gwymp yn sylweddol uwch, oherwydd mae'r proffil llwyth yr un peth, ac mae'r holl weinyddion gyda'i gilydd yn y rac hwn yn dechrau defnyddio'r un faint o ganlyniad i lwyth cynyddol.
Gadewch i ni ddychwelyd at ddosbarthiad gweinyddwyr mewn raciau. Rydyn ni wedi edrych ar ofod rac corfforol a chyfyngiadau pŵer, nawr gadewch i ni edrych ar y rhwydwaith. Gallwch ddefnyddio switshis gyda phorthladdoedd 24/32/48 N (er enghraifft, mae gennym switshis ToR 48-porthladd). Yn ffodus, nid oes llawer o opsiynau os nad ydych chi'n meddwl am geblau torri allan. Rydym yn ystyried senarios pan fydd gennym un switsh fesul rac, un switsh ar gyfer dau neu dri rac yn y grŵp Rnet. Mae'n ymddangos i mi fod mwy na thri rac mewn grŵp eisoes yn ormod, oherwydd ... mae problem ceblau rhwng raciau yn dod yn llawer mwy.
Felly, ar gyfer pob senario rhwydwaith (1, 2 neu 3 rac mewn grŵp), rydym yn dosbarthu'r gweinyddwyr ymhlith y raciau:
Srac = mun(Sh, talgrynnu(Prack/Pserv), rounddown(N/Rnet))
Felly, ar gyfer yr opsiwn gyda 2 rac mewn grŵp:
Srack2 = mun(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 gweinydd fesul rhesel.
Rydym yn ystyried yr opsiynau sy’n weddill yn yr un modd:
Srac 1 = 20
Srac 3 = 16
Ac rydym bron yno. Rydym yn cyfrif nifer y raciau i ddosbarthu ein holl weinyddion S (gadewch iddo fod yn 1000):
R = roundup (S / (Srac * Rnet)) * Rnet
R1 = roundup (1000 / (20 * 1)) * 1 = 50 * 1 = 50 rac
R2 = roundup (1000 / (20 * 2)) * 2 = 25 * 2 = 50 rac
R3 = roundup (1000 / (16 * 3)) * 3 = 25 * 2 = 63 rac
Nesaf, rydym yn cyfrifo'r TCO ar gyfer pob opsiwn yn seiliedig ar nifer y raciau, y nifer ofynnol o switshis, ceblau, ac ati. Rydyn ni'n dewis yr opsiwn lle mae TCO yn is. Elw!
Sylwch, er bod y nifer gofynnol o raciau ar gyfer opsiynau 1 a 2 yr un peth, bydd eu pris yn wahanol, oherwydd mae nifer y switshis ar gyfer yr ail opsiwn yn hanner cymaint, ac mae hyd y ceblau gofynnol yn hirach.
PS Os cewch gyfle i chwarae gyda'r pŵer fesul rac ac uchder y rac, mae'r amrywioldeb yn cynyddu. Ond gellir lleihau'r broses i'r un a ddisgrifir uchod trwy fynd trwy'r opsiynau yn unig. Oes, bydd mwy o gyfuniadau, ond nifer gyfyngedig iawn o hyd - gellir cynyddu'r cyflenwad pŵer i'r rac i'w gyfrifo mewn camau o 1 kW, daw raciau nodweddiadol mewn nifer gyfyngedig o feintiau safonol: 42U, 45U, 47U, 48U , 52U. Ac yma gall dadansoddiad Beth-Os Excel yn y modd Tabl Data helpu gyda chyfrifiadau. Edrychwn ar y platiau a dderbyniwyd a dewis yr isafswm.
Ffynhonnell: hab.com