🥇Kuidas me pühendusime masinasaali energiatõhususele

Pühendan selle postituse nendele inimestele, kes valetasid sertifikaatides, mille tõttu peaaegu ei pannud me oma saalidesse pürotehnikat.

Lood on rohkem kui neli aastat vanad, kuid avaldan need nüüd, kuna NDA on lõppenud. Siis mõistsime, et oleme peaaegu täielikult koormanud meie renditud andmekeskust, kuid selle energiatiheduse paranemine ei olnud just kõige parem. Varasem hüpotees oli, et mida rohkem me seda täidame, seda parem, kuna inseneritehnika jaguneb kõigi vahel. Kuid osutus, et olime ennast selles suhtes petnud ning suure koormuse korral tekkis kuskil kaotusi. Töö tegime paljude suundadega, kuid meie julge meeskond võttis ette jahutuse.

Reaalne elu andmekeskuses ei ole päris see, mis projektis. Pidevad kohandamised teenindusosakonnalt efektiivsuse suurendamiseks ja seadistuste optimeerimine uute ülesannete jaoks. Võtame näiteks müütilise keskmise rack’i. Praktikas seda ei ole, koormuse jaotus on ebaühtlane, kuskil tihe, kuskil tühi. Nii et tuli midagi kohandada parema energiatiheduse nimel.

Meie andmekeskus Kompressor on vajalik erinevatele klientidele. Seetõttu võib tavaliste kahe–neljakilovattiste rackide seas olla täiesti 23-kilovattine või suurem. Vastavalt sellele olid õhukonditsioneerid seadistatud neid jahutama ja vähem võimsate rackide kaudu tuli õhk lihtsalt mööda.

Teine hüpotees oli, et soe ja külm koridor ei seguneda. Pärast mõõtmisi võin öelda, et see on illusioon, ja tõeline aerodünaamika erineb mudelist peaaegu igas aspektis.

Uurimine

Esmalt hakkasime vaatama õhuvooge saalides. Miks me sinna läksime? Kuna mõistsime, et andmekeskus on projekteeritud viie-kuue kW rack’i peale, kuid teadisime, et need on tegelikult 0 kuni 25 kW. Kõike seda reguleerida plaatidega on peaaegu võimatu: esimesed mõõtmised näitasid, et need lasevad peaaegu võrdselt läbi. Ja 25 kW plaate ei ole üldse olemas, need peavad olema mitte lihtsalt tühjad, vaid vedeliku vaakumiga.

Ostame anemomeetri ja alustame voogude mõõtmist rackide vahel ja rackide kohal. Üldiselt tuleb sellega töötada vastavalt GOSTile ja paljudele standarditele, mis on koos masinasaali peatamisega raskesti teostatavad. Meid huvitas mitte täpsus, vaid põhimõtteline pilt. Seega mõõtsime umbkaudu.

Mõõtmiste kohaselt 100 protsendist õhust, mis plaatidest välja tuleb, jõuab 60 protsenti rackidesse, ülejäänud lendab mööda. See on tingitud sellest, et on rasked rackid 15–25 kW, millele on rajatud jahutus.

Me ei saa lihtsalt konditsioneere kinni panna, sest sooja racki lähedal ülemiste serverite piirkonnas on väga soe. Sel hetkel mõistame, et tuleb midagi millegi eest isoleerida, et õhk ei hüppelduks ridadelt ridadele ning et soojusvahetus plokis ikka toimuks.

Samas küsime endalt, kas see on rahaliselt mõttekas.

Imestusega avastame, et meie andmekeskuse energiatarbimine on meil olemas, kuid fankoolide suhtes konkreetses saalis ei oska me lihtsalt arvutada. Analüütiliselt oskame, kuid tegelikult — ei. Ja me ei ole suuteline hindama kokkuhoidu. Ülesanne muutub üha huvitavamaks. Kui me säästame 10% konditsioneeride võimsusest — kui palju raha saame isoleerimiseks kõrvale panna? Kuidas arvutada?

Läksime automatiseerijate juurde, kes töötasid välja vaatssüsteemi. Aitäh meestele: neil olid kõik andurid, pidime vaid koodi lisama. Nad hakkasid eraldi välja tooma chillereid, UPS-e, valgustust. Uue seadmega tekkis võimalus jälgida, kuidas olukord süsteemi elementide vahel muutub.

Katsed kardinate (piirdete) tegemisega.

Samas alustame katsed kardinate (piirdete) tegemisega. Otsustame kinnitada neid kaabli kanali pulkadele (rohkem pole nagunii kuhugi kinnitada), olles tänulik, et need peavad olema kerged. Katusekonstruktsioonide või harjaste osas leppisime kiiresti kokku.

Küsimus seisneb selles, et oleme varem töötanud paljude tarnijatega. Kõigil on lahendused oma ettevõtete andmekeskustele, kuid kommertstandardeid, mis sobiksid andmekeskusele, ei ole põhimõtteliselt olemas. Meie kliendid tulevad ja lahkuvad pidevalt. Oleme üks vähestest „raske” andmekeskusest, kus ei ole riiulite laiusest piirangut ning kus on võimalik võtta vastu neid 25 kW serversid. Ei mingit infrastruktuuri eelplaneerimist. See tähendab, et kui hakkame võtma tarnijate moodsat keldrit, siis jääb alati kaks kuud tühikuid. See tähendab, et masaal ei ole põhimõtteliselt kunagi energiatõhus.

Otsustasime teha ise, onneks on meil oma insenerid.

Esiteks, mida me valisime, olid riba plastikust, nagu tööstuslikud külmkapid kasutavad. Need on sellised paindlikud polüetüleenist ribad, millega saab toimetada. Olete neid tõenäoliselt näinud kusagil toidupoe lihaosakonnas. Hakkasime otsima mittetoksilisi ja põletamatuid materjale. Leidsime, ostsime kahele reale. Riputasime üles ja hakkasime vaatama, mis välja tuleb.

Mõistsime, et see ei tule sugugi hästi välja. Aga läks täiesti kehvasti. Need hakkavad, nagu pasta, voolama. Leidsime magnetribad, nagu külmiku magnetid. Kleepisime need ribadele ja liimime omavahel kokku, seinale tuli parasjagu monoliitne.

Hakkasime mõtlema, mis saalile tehakse.

Läksime ehitajate juurde, näitasime oma projekti. Nemad vaatavad ja ütlevad: teie kardinad on ikka väga rasked. 700 kilogrammi üle kogu saali. Minge, head inimesed, kuradile. Täpsemalt SKS meeskonna juurde. Las nad arvutavad, kui palju neil seal taldrikes on, sest 120 kg ruutmeetri kohta on maksimaalne.

SKS ütleb: kas mäletate, et üks suur klient külastas meid? Tal on saalis kümneid tuhandeid porte. Saali servades on kõik korras, aga lähemale krosseri ei kinnita, taldrikud lähevad lahti.

Ehitajad palusid ka materjali sertifikaati. Tähistan, et oleme varem töötanud tarnija headel lubadel, kuna see oli vaid testproov. Keskendusime sellele tarnijale, ütlesime: OKEI, oleme betasse minemas, saame kõik dokumendid. Nad saadavad meile midagi, mis ei ole just väga professionaalselt koostatud.

Ütleme: kuulge, kust te selle paberi saite? Nad vastavad: meie hiinlane tootja saatis meile vastuseks meie päringutele. Selle paberiga see asi ei põlenud.

Sel hetkel mõistsime, et on aeg peatuda ja fakte kontrollida. Suundume andmesidekeskuse tuleohutuskiibide juurde, nad nimetavad meile laboratooriumi, mis testib süttivust. Täiesti mõistlikud rahad ja ajad (tõsi, me läkitasime kõik, kui eelnevalt vajalikud paberid kokku panime). Seal ütlevad teadlased: tooge materjal, teeme testid.

Kokkuvõttes oli kirjas, et ühest kilogrammist ainet jääb umbes 50 grammi tuhka. Ülejäänu põleb eredalt, voolab ja toetab väga hästi põletamist väikese käepide.

Mõistame — hea, et ei hakanud ostma. Alustasime teise materjali otsingut.

Leidsime polükarbonaadi. See osutus jäigemaks. Läbipaistev leht — kaks mm, uksed — nelja mm paksused. Sisuliselt on see akrüülklaas. Koos tootjaga alustame vestlust tuleohutuse osakonnaga: palun saatke sertifikaat. Nad saadavad. Allkirjastatud sama instituudi poolt. Helistame sinna, räägime: no mis, mehed, kas seda olete testinud?

Nad ütlevad: jah, oleme testinud. Esiteks põletasime seda enda juures, siis tõime katseteks. Seal ühest kilogrammist materjalist jääb (kui jubedvalt põletama hakata) umbes 930 grammi tuhka. See sulab ja tilgub, kuid väike kogus ei põle.

Kontrollime kohe ka meie magneteid (need on polümeerkatte all). Üllatavalt põlevad nad halvasti.

Kogumine

Sellest hakkame kokku panema. Polükarbonaat on suurepärane, sest see on kergem kui polüetüleen, mis paindub palju halvemini. Tõsi, toovad lehti 2,5 x 3 meetrit ning tarnijal ei ole savi, mida selle kõikidega teha. Aga me vajame 2,8 laiust 20–25 sentimeetrit. Uksed saadetakse kontoritesse, mis lõikavad lehe nii nagu vaja. Ja lamineerime lõikame ise. Lõikamisprotsess maksab kaks korda rohkem kui leht.

Siin on tulemus:

Kokkuvõttes — kaitsmesüsteem tasub end ära vähem kui aasta jooksul. Oleme pidevalt kokku hoidnud 200–250 kW fankoolide võimsusest. Veidi veel külmikutes, kui palju täpselt — ei tea. Serverid tõmbavad pideva kiirusena, fankoolid puhuvad. Külmikud lülituvad sisse ja välja ribadena: sealt on andmeid raske välja võtta. Tootmist ei tohi testide jaoks peatada.

Oleme rõõmsad, et kunagi oli reegel paigaldada 5x5 serveririiulid nii, et nende keskmine tarbimine ei ületaks kuut kW. See tähendab, et soe õhk ei koondu saarekesena, vaid jaotub kogu masinaruumis. Kuid on olukordi, kus kümme 15-kilovatti serverit on üksteise kõrval, ja vastas on külm salvestus. See kompenseerib.

Kohtades, kus riiulit ei ole, on vajalik põrandani ulatuv sein.

Ja meil on mõned tellijad, kes on võrku isolatsioonis. Nendega on samuti olnud mitmeid eripärasid.

Lamellidel lõikamine oli vajalik, kuna riiulite laius ei ole fikseeritud ja joonte kinnituste periodicity on määratud: kolm-neli sentimeetrit kas paremale või vasakule on alati olemas. Kui sul on 600-blokk serveririiuli all, siis on tõenäosus 85 protsenti, et see ei mahu. Lühikesed ja pikad lamellid eksisteerivad koos ja liimitakse kokku. Mõnikord lõikame lamelli G-tähe kujul riiulite äärte järgi.

Andurid

Enne kui vähendada fännide võimsust, oleks pidanud seadistama väga täpse temperatuuri jälgimise erinevates kohtades saalis, et mitte üllatustele sattuda. Nii tekkisid juhtmevabad andurid. Juhtmeühendus — iga rea jaoks peab olema oma seade nende andurite ristsildamiseks, ja mõnikord ka pikendused. See muutub nagu jõulugirlandiks. Väga kehv. Ja kui need juhtmed sattuvad klientide kappidesse, aktiveeruvad turvamehed kohe ja paluvad seletada sertifikaadiga, mis informatsiooni nende juhtmete kaudu saadakse. Turvameeste närve tuleb hoida. Miks nad juhtmevabu andureid ei puutu, jääb arusaamatuks.

Ja serveririiulid tulevad ja lähevad. Magnetiga anduri ümberpaigutamine on lihtsam, kuna seda tuleb iga kord paigaldada kõrgemale või madalamale. Kui serverid on riiuli alumises kolmandikus, tuleb andur riputada allapoole, mitte standardi kohaselt 1,5 meetri kõrgusele riiuli ustest külmas koridoris. Seal mõõtmine ei aita, tuleb mõõta seda, mis on riistvaras.

Üks andur kolme riiuli kohta — tihti pole vaja paigaldada. Temperatuur ei erine. Kartsime, et õhk tõmbab liiga palju läbi riiulite, — seda ei juhtunud. Siiski anname me natuke rohkem külma õhku, kui kalkuleeritud väärtused näitavad. Tehes lamellides augud 3, 7 ja 12, teeme üle riiuli ava. Sellest tehes paigaldame anemomeetri: vaatame, et õhuvool läheb sinna, kuhu peab.

Hiljem riputasime erksad niidid: vana praktika snaiprite jaoks. See näeb imelik välja, kuid aitab kiiremini tuvastada võimalikke probleeme.

Lõbus

Kuna me seda vaikides tegime, saabus tarnija, kes toodab inseneritehnilisi lahendusi andmekeskustele. Ta ütleb: tulge, räägime energiatarbimise efektiivsusest. Nad tulevad, hakkavad rääkima ebatõhusast saalist, õhuvoogudest. Me noogutame arusaadavalt. Sest meil on juba kolm aastat paigaldatud.

Iga racki külge on kinnitatud kolm andurit. Jälgimisvisualiseerimine on hämmastav, ilus. Üle poole sellest lahendusest on hind — tarkvara. Tasemel „häire Zabbixis”, kuid patenteeritud ja väga kallis. Probleem on veel ka selles, et neil on andurid, tarkvara ning seejärel otsivad nad kohapeal alltöövõtjat: oma tarnijaid cage'i jaoks ei ole.

Selgub, et nende poolt tehtud on viis–seitsme korra kallim, kui meie tehtud.