🥇Kuidas me investeerisime serveriruumide energiatõhususse

Pühendan selle postituse neile, kes valetavad sertifikaatides, mille tõttu peaaegu paigaldasime meie saalidesse ilutulestikku.

Lood on üle nelja aasta vanad, aga avaldan need nüüd, kuna NDA on lõppenud. Siis mõistsime, et oleme renditud andmekeskuse peaaegu täielikult täitnud, aga selle energiatõhusus ei paranenud just palju. Varem olime arvamusel, et mida rohkem me seda täidame, seda parem, kuna inseneritöö jaotub kõigi peale. Aga selgus, et petame end selles osas ja headel koormustel esines kuskil kaotusi. Töö suundadega oli mitmeid, kuid meie julge meeskond keskendus jahutusele.

Reaalne elu andmekeskuses ei ole täiesti see, mis projektis. Pidevad täiendused hooldusteenuse kaudu efektiivsuse tõstmiseks ja seadistuste optimeerimine uute ülesannete järgi. Võtame näiteks müütilise keskmise riiuli. Praktiliselt seda ei eksisteeri, koormuse jaotamine on ebaühtlane, kuskil on tihedalt, kuskil tühi. Nii et pidime mõned asjad parema energiatõhususe nimel ümber seadistama.

Meie andmekeskuse Kompressor on mõeldud erinevatele tellijatele. Seetõttu võivad seal tavaliste kahe–neljakilovatise riiulite seas olla täiesti olemas 23-kilovatilised või suuremad. Vastavalt sellele on konditsioneere seadistatud nende jahutamiseks, ning läbi vähem võimsate riiulite õhk lihtsalt puhub mööda.

Teine hüpotees oli, et soe ja külm koridor ei segune. Pärast mõõtmisi võin öelda, et see on illusioon, ja tõeline aerodünaamika erineb mudelist peaaegu kõiges.

Uuring

Alustasime õhuvoogude jälgimist saalides. Miks me sinna ronisime? Sest mõistsime, et andmekeskus on mõeldud viieks-kuueks kW riiuli kohta, aga teadsime, et need on tegelikult vahemikus 0 kuni 25 kW. Kõike seda seente abil reguleerida on peaaegu võimatu: esimesed mõõtmised näitasid, et need lasevad peaaegu sama palju õhku läbi. Ja 25 kW plaate ei eksisteeri, need peavad olema mitte lihtsalt tühjad, vaid vedelate vaakumitega.

Ostetud anemomeeter ja hakkasime mõõtma õhuvooge rackide vahel ja nende kohal. Üldiselt tuleks sellega töötada vastavalt standarditele ja hulga nõuetele, mis on keeruliselt täidetavad ilma masinasaali peatamata. Meid huvitas mitte täpsus, vaid põhimõtteline pilt. See tähendab, et mõõtsime umbkaudu.

Mõõtmise kohaselt 100 protsendist õhust, mis tuleb plaatidest, jõuab rackidesse 60 protsenti, ülejäänud lendab mööda. See on tingitud sellest, et on rasked rack'id 15–25 kW ulatuses, millele on rajatud jahutus.

Me ei saa lihtsalt konditsioneere välja lülitada, kuna ülemiste serverite piirkonnas soojadel rack'idel muutub liiga soojaks. Sel hetkel mõistame, et tuleb midagi millestki isoleerida, et õhk ei hüppaks rida-rida ja et soojusvahetus plokis ikkagi toimuks.

Samas küsime endalt, kas see on rahaliselt mõistlik.

Rõõmuga avastame, et andmekeskuse energiatarve on meil olemas, kuid kindla ruumi fankoolide arvutamine osutub liiga keeruliseks. Ehkki analüütiliselt saame selle välja arvutada, praktikas mitte. Ja säästu hindamine on meie võimuses. Ülesanne muutub aina huvitavamaks. Kui säästame 10% konditsioneeri võimsusest, kui palju raha saab isolatsiooniks kõrvale panna? Kuidas seda arvutada?

Läksime automatiseerijate juurde, kes täiendasid jälgimisse süsteemi. Tänu poistele: kõiki andureid oli neil olemas, polnud muud kui koodi lisada. Nad hakkasid eraldi kuvama külmikud, UPS-i, valgustust. Uue seadmega tekkis võimalus näha, kuidas süsteemi osade olukord muutub.

Katsetused kausside ja ekraanidega

Samal ajal alustame katsetusi kausside (seinte) osas. Otsustame need kinnitada kaabli kastide naeltest (rohkem pole ka kuhugi kinnitada), kuna need peavad olema kerged. Katuseraudade või kärgede valik oli kiire.

Probleem seisneb selles, et oleme varem töötanud paljude tarnijatega. Kõigil on lahendused oma ettevõtte andmekeskuste jaoks, kuid kommertsdatal keskuses pole praktikas valmis lahendusi. Meil on pidevalt kliente, kes sisenevad ja väljuvad. Oleme üks vähestest 'raskest' andmekeskusest, kus pole riistvara laiariba piiranguid ja mis suudab vastu võtta servereid, mis vajavad kuni 25 kW. Ei mingit infrastruktuuri eelplaneerimist. See tähendab, et kui me hakkame võtma tootjate modulaarsüsteeme, jäävad alati kaks kuud auke. See tähendab, et masinasaal ei saa kunagi energiatõhus olla.

Otsustasime ise teha, hea, et meil on oma insenerid.

Esimene asi, mille me võtsime, olid tööstuslike külmikute rihmad. Need on paindlikud polüetüleenist ribad, millega saab peksa anda. Olete neid kindlasti näinud kaupluste lihaosakonnas. Alustasime mittetoksiliste ja mitte süttivate materjalide otsimist. Leidsime, ostsime kahe rida. Kinnitasime need üles ja hakkasime vaatama, mis välja tuleb.

Saime arusaama, et ei tule just kõige paremat. Ent tegelikult tuli see ute kohe väga mitte hea. Nad hakkavad nagu pastad voolama. Leidsime magnetlintide tüüpi nagu külmiku magnetid. Klappisime need nende ribadele, kleepisime nad kokku, sein tuli piisavalt monoliitne.

Hakkasime mõtlema, mis toimub saalis.

Käisime ehitajate juures, näitame oma projekti. Nemad vaatavad, ütlevad: teie kardinad on kuidagi väga rasked. 700 kilogrammi kogu masinaruumis. Minge, ütlevad nad, head inimesed, põrgusse. Täpsemalt SKS tiimi juurde. Las nad arvutavad, kui palju neil seal nuudleid on, sest 120 kg ruutmeetri kohta on maksimum.

SKS ütleb: kas te mäletate, et üks suur tellija tuli meie juurde? Tal on kümneid tuhandeid porte ühes saalis. ääred masinaruumis on veel normaalsed, aga lähemal ristkihtide juurde kinnitada enam ei saa: korvid kukuvad maha.

Ehitajad palusid ka materjali sertifikaati. Tõden, et enne tegime oomeri usaldusväärse vahega, kuna see oli lihtsalt testproov. Pöördusime selle tarnija poole, ütleme: OK, oleme valmis beetaversiooniks, viige kõik paberid välja. Nad saadavad midagi mitte eriti standardset.

Me ütleme: kuulake, kust te selle paberi saite? Nad: see on meie Hiina tootja meile küsimustele vastuseks saatnud. Paberil on kirjas, et see asi ei põle üldse.

Sel hetkel saime aru, et on aeg peatuda ja fakte kontrollida. Läheme keskuse tuleohutusproovide tüdrukute juurde, nad ütlevad meile labori, mis kontrollib kergestisüttivust. Täiesti mõistlikud kulud ja ajad (kuid me mõnitasime kõike, kui koostasime vajalikku hulka pabereid). Seal ütlevad teadlased: tooge materjali, teeme testid.

Kokkuvõttes on kirjutatud, et ühest kilogrammist ainet jääb umbes 50 grammi tuhka. Ülejäänud põleb eredalt, voolab ja toetab väga hästi süttimist vees.

Me mõistame — on hea, et ei hakanud ostma. Hakake otsima teist materjali.

Leidsime polükarbaadist. See osutus kõvemaks. Selge leht — kaks mm, uksed — nelja mm. Tegelikult on see akrüülist. Koos tootjaga alustame tuleohutuse keskust rääkimist: saatke meile sertifikaat. Nad saadavad. Allkirjastatud sama instituudi poolt. Me helistame sinna, ütleme: no mis on, poisid, kas te kontrollisite seda?

Nad ütlevad: jah, nad kontrollisid. Esiteks põletasid nad enda juures, siis alles tõid testimiseks. Kilogrammist materjalist jääb (kui seda põletiga kütta) umbes 930 grammi tuhka. See sulab ja tilgub, kuid järve see ei põle.

Kontrollime kohe meie magnetid (need on polümeeri alusel). Üllataval kombel põlevad nad halvasti.

Koostamine

Sellest hakkame koguma. Polükarbonaat on suurepärane, sest see on kergem kui polüetüleen, mis paindub palju halvemini. Tõsi, toimetatakse lehed 2,5 x 3 meetrit, ja tarnijale on ükskõik, mida sellega teha. Aga me vajame 2,8 laiusega 20–25 sentimeetrit. Uksed saadeti firmadesse, kus lõigatakse lehed õigesti. Lamellid lõikasime ise. Lõikamise protsess on kaks korda kallim kui leht ise.

Siin on tulemused:

Kokkuvõtteks — kütuse süsteem tasub end vähem kui aastaga. Säästsime umbes 200–250 kW pidevalt ventilaatorite võimsusest. Veel midagi chillereid pealt, täpselt ei tea. Serverid tarbivad pidevalt, ventilaatorid puhuvad. A ja kütteperioodil lülituvad chillereid sisse ja välja: nende andmeid on keeruline välja saada. Masinat ei saa testide jaoks peatada.

Oleme rõõmsad, et kunagi oli reegel paigaldada 5x5 rack'id nii, et nende keskmine tarbimine ei ületaks kuut kW. See tähendab, et soe ei koondu saarekestena, vaid jaotub kogu masinasaali ulatuses. Kuid on olukord, kus 10 tükki 15 kW rack'e asuvad kõrvuti, aga seal on upgradi masin. See on külm. Kaalub tasakaalu.

Kohas, kus ei ole rack'i, on vaja põrandani ulatuvat müüri.

Meie mõned kliendid on aga isolatsiooniga riistadega. Nendega oli samuti mõned eripärad.

Lamelid lõigati, kuna rack'ide laius ei ole fikseeritud, kuid kinnituse hammaste sagedus on määratud: kolm-neli cm vasakule või paremale, see jääb alati samaks. Kui sul on 600 mm plokk rack'i kohta, siis on tõenäosus 85 protsenti, et see ei sobi. Ja lühikesed ja pikad lamelid eksisteerivad koos ning liimitakse kokku. Mõnikord lõikame lameli G-kirja kujul vastavalt rack'ide kontuuridele.

Andurid

Enne fancoilide võimsuse vähendamist tuli väga täpselt seadistada temperatuuri jälgimine erinevates kohtades saalis, et mitte üllatusi saada. Nii tekkisid traadita andurid. Juhtmed — igasse ritta tuleb paigaldada oma seade nende andurite ristamiseks ja mõnikord pikendused. See muutub garlandiks. Väga halb. Ja kui need juhtmed sisenevad klientide kappidest, ärritavad turvamehed kohe ja paluvad sertifikaadiga seletada, mida nende juhtmete kaudu mõõdetakse. Turvameestest tuleb hoolida. Miks nad traadita andureid ei puuduta, jääb arusaamatuks.

Ja veel, kapid tulevad ja lähevad. Magnetanduri üleviimine on lihtsam, sest seda tuleb iga kord paigaldada kõrgemale või madalamale. Kui serverid on kapi alumises kolmandikus — tuleb paigaldada allapoole, mitte standardi järgi poolteise meetri kõrgusele põrandast kapi ustes külmas koridoris. Seal on mõõtmine kasutule, tuleb mõõta seda, mis on rauas.

Üks andur kolme riiuli kohta — tihti pole vaja rohkem paigaldada. Temperatuur ei erine. Kartsime, et õhk hakkab riiulite kaudu ringi liikuma, kuid seda ei juhtunud. Sellegipoolest anname natuke rohkem külma õhku, kui arvutatud väärtused ette näevad. Tegime ribide 3, 7 ja 12 kohal augud. Riiuli kohal teeme avause. Selle kaudu asetame mõõturit: vaatame, et voog läheb õigesse kohta.

Seejärel riputasime eredad nöörid: vana praktika snaiprite jaoks. Näeb imelik välja, aga võimaldab probleeme kiiremini tuvastada.

Naljakas

Kuna me kõik seda vaikselt tegime, tuli kohale teenusepakkuja, kes toodab andureid andmekeskustele. Ta ütleb: tulge räägime energiatõhususest. Nad tulevad, hakkavad räägima mitteoptimaalsest ruumist ja õhuvoogudest. Me noogutame mõistvalt. Sest meil on seda kolme aasta jooksul juba paigaldatud.

Igal rackil on kolm sensori. Jälgimise pildid on ägedad ja ilusad. Üle poole selle lahenduse maksumusest on tarkvara. Tasemel "alert Zabbixis", kuid patenteeritud ja väga kallis. Probleem on ka selles, et neil on sensorid, tarkvara ja nad otsivad seejärel kohapeal hankijat: ei ole oma tarnijaid cage'ide jaoks.

Selgub, et nende kaudu maksab see viis–seitsme korra võrra rohkem, kui meie tegime.