Ik draag dit bericht op aan de mensen die op de certificaten hebben gelogen, waardoor we bijna sterretjes in onze hallen hebben geïnstalleerd.
Het verhaal is ruim vier jaar oud, maar ik publiceer het nu omdat de geheimhoudingsverklaring is verlopen. Toen realiseerden we ons dat het datacenter (dat we verhuren) bijna volledig bezet was en dat de energie-efficiëntie niet veel was verbeterd. Voorheen was de hypothese dat hoe meer we het vullen, hoe beter, omdat de ingenieur onder iedereen verdeeld is. Maar het bleek dat we onszelf in dit opzicht voor de gek hielden, en hoewel de lading goed was, waren er ergens verliezen. We hebben op veel gebieden gewerkt, maar ons moedige team concentreerde zich op koeling.
Het echte leven van een datacenter verschilt enigszins van wat er in het project gebeurt. Voortdurende aanpassingen vanuit de operationele dienst om de efficiëntie te verhogen en de instellingen voor nieuwe taken te optimaliseren. Neem de mythische B-stijl. In de praktijk gebeurt dit niet; de lastverdeling is ongelijkmatig, ergens dicht, ergens leeg. We moesten dus een aantal dingen opnieuw configureren voor een betere energie-efficiëntie.
Ons datacenter Compressor is nodig voor verschillende klanten. Daarom is er onder de gebruikelijke racks van twee tot vier kilowatt misschien wel een rack van 23 kilowatt of meer. Dienovereenkomstig waren de airconditioners ingesteld om ze te koelen, en de lucht snelde eenvoudigweg langs de minder krachtige rekken.
De tweede hypothese was dat de warme en koude corridors niet vermengen. Na metingen kan ik zeggen dat dit een illusie is, en dat de echte aerodynamica in bijna alle opzichten verschilt van het model.
Vragenlijst
Eerst zijn we gaan kijken naar de luchtstromen in de hallen. Waarom gingen ze daarheen? Omdat ze begrepen dat het datacenter is ontworpen voor vijf tot zes kW per rack, maar ze wisten dat ze in werkelijkheid van 0 tot 25 kW zijn. Met tegels is het vrijwel onmogelijk om dit allemaal te regelen: uit de allereerste metingen bleek dat ze vrijwel gelijkmatig uitzenden. Maar er zijn helemaal geen tegels van 25 kW; ze moeten niet alleen leeg zijn, maar met vloeistofvacuüm.
We kochten een windmeter en begonnen de stromen tussen de rekken en boven de rekken te meten. Over het algemeen moet je ermee werken in overeenstemming met GOST en een aantal normen die moeilijk te implementeren zijn zonder de turbinehal af te sluiten. We waren niet geïnteresseerd in nauwkeurigheid, maar in het fundamentele beeld. Dat wil zeggen, ze hebben ongeveer gemeten.
Volgens metingen komt van de lucht die uit de tegels komt, 100 procent, 60 procent in de rekken terecht, de rest vliegt voorbij. Dit komt doordat er zware 15-25 kW racks staan waarlangs de koeling is gebouwd.
We kunnen de airconditioners niet uitzetten, omdat het erg warm zal zijn op de warme racks in de omgeving van de bovenste servers. Op dit moment begrijpen we dat we iets van iets anders moeten isoleren, zodat de lucht niet van rij naar rij springt en er toch warmte-uitwisseling in het blok plaatsvindt.
Tegelijkertijd vragen wij ons af of dit financieel haalbaar is.
We zijn verrast als we ontdekken dat we het energieverbruik van het datacenter als geheel kennen, maar dat we de fancoilunits voor een specifieke ruimte eenvoudigweg niet kunnen tellen. Dat wil zeggen: analytisch gezien kunnen we dat wel, maar in feite kunnen we dat niet. En we kunnen de besparingen niet inschatten. De taak wordt steeds interessanter. Als we 10% aan airconditioningenergie besparen, hoeveel geld kunnen we dan opzij zetten voor isolatie? Hoe te tellen?
We gingen naar de automatiseringsspecialisten, die het monitoringsysteem aan het afwerken waren. Dank aan de jongens: ze hadden alle sensoren, ze hoefden alleen maar de code toe te voegen. Ze begonnen koelmachines, UPS en verlichting afzonderlijk te installeren. Met de nieuwe gadget werd het mogelijk om te zien hoe de situatie verandert tussen de elementen van het systeem.
Experimenten met gordijnen
Tegelijkertijd beginnen we met experimenten met gordijnen (hekken). We besluiten ze op de pinnen van de kabelgoten te monteren (meer hoeft toch niet), want ze moeten licht zijn. We kozen al snel voor luifels of kammen.
Het addertje onder het gras is dat we eerder met een aantal leveranciers hadden samengewerkt. Voor de eigen datacenters van bedrijven heeft iedereen oplossingen, maar voor een commercieel datacenter bestaan er in principe geen kant-en-klare oplossingen. Onze klanten komen en gaan voortdurend. Wij zijn een van de weinige “zware” datacenters zonder beperkingen op de rackbreedte met de mogelijkheid om deze grinderservers tot 25 kW te hosten. Geen infrastructuurplanning vooraf. Dat wil zeggen: als we modulaire kooisystemen van leveranciers nemen, zullen er altijd gaten blijven gedurende twee maanden. Dat wil zeggen dat de turbinehal in principe nooit energiezuinig zal zijn.
We hebben besloten om het zelf te doen, omdat we onze eigen ingenieurs hebben.
Het eerste dat ze meenamen waren banden van industriële koelkasten. Dit zijn flexibele polyethyleensnots waar je tegenaan kunt slaan. Je hebt ze vast wel eens ergens gezien bij de ingang van de vleesafdeling van de grootste supermarkten. Ze gingen op zoek naar niet-giftige en niet-brandbare materialen. We hebben het gevonden en gekocht voor twee rijen. We hingen het op en begonnen te kijken wat er gebeurde.
We begrepen dat het niet zo goed zou zijn. Maar over het algemeen pakte het heel, heel niet zo goed uit. Ze beginnen als pasta in de beken te fladderen. We hebben magneetbanden gevonden die lijken op koelkastmagneten. We hebben ze op deze stroken gelijmd, aan elkaar gelijmd en de muur bleek redelijk monolithisch te zijn.
We begonnen uit te zoeken wat het publiek te wachten stond.
Laten we naar de bouwers gaan en u ons project laten zien. Ze kijken en zeggen: je gordijnen zijn erg zwaar. 700 kilogram door de hele turbinehal. Ga naar de hel, zeggen ze, beste mensen. Om precies te zijn, aan het SKS-team. Laat ze tellen hoeveel noedels er in de bakjes zitten, want 120 kg per vierkante meter is het maximum.
SKS zegt: weet je nog dat er één grote klant bij ons kwam? Het heeft tienduizenden poorten in één kamer. Langs de randen van de turbinekamer gaat het nog wel, maar dichter bij de dwarskamer zal het niet lukken: de bakken vallen er dan af.
De bouwers vroegen ook om een certificaat voor het materiaal. Ik merk op dat we hiervoor aan het erewoord van de leverancier hebben gewerkt, aangezien dit slechts een testrun was. We hebben contact opgenomen met deze leverancier en gezegd: Oké, we zijn klaar om in bèta te gaan, geef ons al het papierwerk. Ze sturen iets dat niet volgens een vast patroon is.
Wij zeggen: luister, waar heb je dit stukje papier vandaan? Zij: onze Chinese fabrikant stuurde dit naar ons als antwoord op verzoeken. Volgens de krant brandt dit ding helemaal niet.
Op dit punt beseften we dat het tijd was om te stoppen en de feiten te controleren. We gaan naar de meisjes van de brandveiligheidsafdeling van het datacentrum, zij vertellen ons het laboratorium dat de ontvlambaarheid test. Heel aards geld en deadlines (hoewel we alles vervloekten terwijl we het vereiste aantal stukjes papier aan het samenstellen waren). Wetenschappers daar zeggen: breng het materiaal, we gaan testen doen.
Concluderend werd geschreven dat er uit een kilogram stof ongeveer 50 gram as overblijft. De rest brandt helder, stroomt naar beneden en onderhoudt de verbranding in de plas zeer goed.
We begrijpen het - het is goed dat we het niet hebben gekocht. We gingen op zoek naar ander materiaal.
We hebben polycarbonaat gevonden. Hij bleek stoerder. De transparante plaat is twee mm, de deuren zijn gemaakt van vier mm. In wezen is het plexiglas. Samen met de fabrikant gaan we het gesprek aan over brandveiligheid: geef ons een certificaat. Ze zenden. Ondertekend door hetzelfde instituut. We bellen daar en zeggen: jongens, hebben jullie dit gecontroleerd?
Ze zeggen: ja, ze hebben het gecontroleerd. Eerst verbrandden ze het thuis, daarna brachten ze het alleen mee voor tests. Daar blijft van een kilogram materiaal ongeveer 930 gram as over (als je het verbrandt met een brander). Het smelt en druppelt, maar de plas zal niet verbranden.
We controleren meteen onze magneten (ze zitten op een polymeerbekleding). Verrassend genoeg branden ze slecht.
montage
Hieruit beginnen we te verzamelen. Polycarbonaat is geweldig omdat het lichter is dan polyethyleen en veel minder gemakkelijk buigt. Toegegeven, ze nemen platen mee van 2,5 bij 3 meter en het maakt de leverancier niet uit wat hij ermee moet doen. Maar we hebben 2,8 nodig met een breedte van 20-25 centimeter. De deuren werden naar kantoren gestuurd die de platen indien nodig afsneden. En de lamellen snijden we zelf. Het snijproces zelf kost twee keer zoveel als een plaat.
Dit is wat er gebeurde:
Het resultaat is dat het kooisysteem zichzelf in minder dan een jaar terugbetaalt. Zo hebben we constant 200–250 kW bespaard op het vermogen van de ventilatorconvectoren. We weten niet hoeveel er nog in de koelmachines zit, hoeveel precies. De servers zuigen met een constante snelheid, de ventilatorconvectoren blazen. En de koelmachines worden met een kam aan en uit gezet: het is moeilijk om er gegevens uit te halen. De turbinehal kan niet stilgezet worden voor tests.
We zijn blij dat er ooit een regel was om 5x5 racks in modules te installeren, zodat hun gemiddelde verbruik maximaal zes kW bedroeg. Dat wil zeggen dat de warmte niet door het eiland wordt geconcentreerd, maar door de turbinekamer wordt verspreid. Maar er is een situatie waarin er 10 stuks rekken van 15 kilowatt naast elkaar staan, maar er tegenover staat een stapel. Hij heeft het koud. Evenwichtig.
Als er geen balie is, heb je een hek tot op de grond nodig.
En een deel van onze klanten is geïsoleerd met roosters. Er waren ook verschillende eigenaardigheden bij hen.
Ze snijden in lamellen, omdat de breedte van de palen niet vaststaat en de frequentie van de kam van de bevestigingen wordt bepaald: drie of vier cm naar rechts of naar links zal altijd zijn. Als je een 600-blok voor rackruimte hebt, dan is de kans 85 procent dat het niet past. En korte en lange lamellen bestaan naast elkaar en blijven aan elkaar plakken. Soms snijden we de lamel met de letter G langs de contouren van de rekken.
Датчики
Voordat het vermogen van de ventilatorconvectoren werd verlaagd, was het noodzakelijk om op verschillende punten in de hal een zeer nauwkeurige temperatuurmonitoring op te zetten, om niet voor verrassingen te komen. Zo ontstonden draadloze sensoren. Bedraad - op elke rij moet je je eigen ding ophangen om deze sensoren en soms verlengsnoeren erop aan te sluiten. Dit verandert in een slinger. Heel slecht. En als deze draden de kooien van de klanten binnenkomen, raken de beveiligers meteen enthousiast en vragen om met een certificaat uit te leggen wat er langs deze draden wordt verwijderd. De zenuwen van de beveiligers moeten worden beschermd. Om de een of andere reden raken ze draadloze sensoren niet aan.
En er komen en gaan steeds meer stands. Het is makkelijker om een sensor opnieuw op een magneet te monteren, omdat deze telkens hoger of lager moet worden gehangen. Als de servers zich in het onderste derde deel van het rack bevinden, moeten ze naar beneden worden gehangen, en niet volgens de norm anderhalve meter vanaf de vloer aan de rackdeur in een koude gang. Het heeft geen zin om daar te meten; je moet meten wat er in het strijkijzer zit.
Eén sensor voor drie rekken – vaker hoeft u hem niet op te hangen. De temperatuur is niet anders. We waren bang dat er lucht door de stutten zelf zou worden gezogen, maar dat gebeurde niet. Maar we zorgen toch voor iets meer koude lucht dan de berekende waarden. We hebben ramen gemaakt in de latten 3, 7 en 12, en een gat boven de standaard gemaakt. Als we rondgaan, plaatsen we er een windmeter in: we zien dat de stroom gaat waar hij moet zijn.
Daarna hingen ze heldere touwtjes: een oude praktijk voor sluipschutters. Het ziet er vreemd uit, maar je kunt een mogelijk probleem hierdoor sneller opsporen.
grappig
Terwijl we dit allemaal in stilte deden, arriveerde er een leverancier die technische apparatuur voor datacenters produceert. Hij zegt: laten we komen vertellen over energie-efficiëntie. Ze arriveren en beginnen te praten over de suboptimale hal en luchtstromen. Wij knikken begrijpend. Omdat we drie jaar zo gevestigd zijn.
Aan elk rek hangen drie sensoren. De monitoringfoto's zijn verbluffend en mooi. Meer dan de helft van de prijs van deze oplossing bestaat uit software. Op het Zabbix-waarschuwingsniveau, maar eigen en erg duur. Het probleem is dat ze sensoren en software hebben en vervolgens op zoek gaan naar een aannemer ter plaatse: ze hebben geen eigen leveranciers voor cadging.
Het blijkt dat hun handen vijf tot zeven keer meer kosten dan wat wij deden.
referenties
- .
- .
- .
- .
- .
- Mijn mail: [e-mail beveiligd]
Bron: www.habr.com