🥇Wie wir hart an der Energieeffizienz der Turbinenhalle gearbeitet haben

Ich widme diesen Beitrag den Leuten, die auf den Zertifikaten gelogen haben, weshalb wir fast Wunderkerzen in unseren Hallen installiert hätten.

Die Geschichte ist über vier Jahre alt, aber ich veröffentliche sie jetzt, weil die NDA abgelaufen ist. Dann stellten wir fest, dass das Rechenzentrum (das wir vermieteten) fast vollständig ausgelastet war und sich seine Energieeffizienz nicht wesentlich verbessert hatte. Bisher galt die Hypothese, dass es umso besser ist, je mehr wir füllen, da der Ingenieur auf alle verteilt ist. Aber es stellte sich heraus, dass wir uns in dieser Hinsicht getäuscht hatten und obwohl die Auslastung gut war, gab es irgendwo Verluste. Wir haben in vielen Bereichen gearbeitet, aber unser mutiges Team hat sich auf die Kühlung konzentriert.

Das wirkliche Leben eines Rechenzentrums unterscheidet sich ein wenig von dem, was im Projekt passiert. Ständige Anpassungen seitens des Betriebsdienstes zur Effizienzsteigerung und Optimierung der Einstellungen für neue Aufgaben. Nehmen Sie die mythische B-Säule. In der Praxis passiert das nicht, die Lastverteilung ist ungleichmäßig, irgendwo dicht, irgendwo leer. Daher mussten wir einige Dinge für eine bessere Energieeffizienz umkonfigurieren.

Unser Rechenzentrumskompressor wird für eine Vielzahl von Kunden benötigt. Daher kann es zwischen den üblichen Zwei- bis Vier-Kilowatt-Racks durchaus auch eines mit 23 Kilowatt oder mehr geben. Dementsprechend wurden die Klimaanlagen auf Kühlung eingestellt und die Luft strömte einfach durch die leistungsschwächeren Racks vorbei.

Die zweite Hypothese war, dass sich die warmen und kalten Korridore nicht vermischen. Nach den Messungen kann ich sagen, dass dies eine Illusion ist und die tatsächliche Aerodynamik in fast allen Punkten vom Vorbild abweicht.

Prüfung

Zuerst begannen wir, die Luftströmungen in den Hallen zu untersuchen. Warum sind sie dorthin gegangen? Denn sie wussten, dass das Rechenzentrum für fünf bis sechs kW pro Rack ausgelegt ist, wussten aber, dass es sich tatsächlich um 0 bis 25 kW handelt. Bei Fliesen lässt sich das alles kaum regulieren: Schon die ersten Messungen zeigten, dass sie nahezu gleich stark übertragen. Aber es gibt überhaupt keine 25-kW-Kacheln, sie müssen nicht nur leer sein, sondern mit Flüssigkeitsvakuum.

Wir kauften ein Anemometer und begannen mit der Messung der Strömungen zwischen den Gestellen und über den Gestellen. Im Allgemeinen müssen Sie damit in Übereinstimmung mit GOST und einer Reihe von Standards arbeiten, die ohne Stilllegung der Turbinenhalle schwer umzusetzen sind. Uns ging es nicht um Genauigkeit, sondern um das grundsätzliche Bild. Das heißt, sie haben ungefähr gemessen.

Messungen zufolge gelangen von 100 Prozent der Luft, die aus den Fliesen austritt, 60 Prozent in die Regale, der Rest fliegt vorbei. Dies liegt daran, dass es schwere 15-25-kW-Racks gibt, entlang derer die Kühlung aufgebaut ist.

Wir können die Klimaanlagen nicht ausschalten, da es auf den warmen Racks im Bereich der oberen Server sehr warm wird. In diesem Moment verstehen wir, dass wir etwas von etwas anderem isolieren müssen, damit die Luft nicht von Reihe zu Reihe springt und der Wärmeaustausch im Block trotzdem stattfindet.

Gleichzeitig fragen wir uns, ob dies finanziell machbar ist.

Wir sind überrascht, dass wir den Energieverbrauch des Rechenzentrums als Ganzes kennen, aber die Fan-Coil-Einheiten für einen bestimmten Raum einfach nicht zählen können. Das heißt, analytisch gesehen können wir das, aber in Wirklichkeit können wir es nicht. Und wir können die Einsparungen nicht abschätzen. Die Aufgabe wird immer interessanter. Wenn wir 10 % der Klimaanlagenleistung einsparen, wie viel Geld können wir dann für die Isolierung zurücklegen? Wie man zählt?

Wir gingen zu den Automatisierungsspezialisten, die das Überwachungssystem fertigstellten. Vielen Dank an die Jungs: Sie hatten alle Sensoren, sie mussten nur den Code hinzufügen. Sie begannen, Kältemaschinen, USV und Beleuchtung separat zu installieren. Mit dem neuen Gadget wurde es möglich zu sehen, wie sich die Situation zwischen den Elementen des Systems verändert.

Experimente mit Vorhängen

Gleichzeitig beginnen wir mit Vorhängen (Zäunen) zu experimentieren. Wir entscheiden uns, sie auf den Stiften der Kabelrinnen zu montieren (es ist sowieso nichts anderes nötig), da sie leicht sein sollten. Wir haben uns schnell für Baldachine oder Waben entschieden.

Der Haken daran ist, dass wir zuvor mit einer Reihe von Anbietern zusammengearbeitet hatten. Jeder hat Lösungen für unternehmenseigene Rechenzentren, aber für ein kommerzielles Rechenzentrum gibt es grundsätzlich keine fertigen Lösungen. Unsere Kunden kommen und gehen ständig. Wir sind eines der wenigen „schweren“ Rechenzentren ohne Einschränkungen bei der Rackbreite und können diese Grinder-Server mit bis zu 25 kW hosten. Keine Infrastrukturplanung im Voraus. Das heißt, wenn wir modulare Käfigsysteme von Anbietern übernehmen, bleiben zwei Monate lang immer Löcher. Das heißt, die Turbinenhalle wird grundsätzlich nie energieeffizient sein.

Wir haben uns entschieden, es selbst zu machen, da wir über eigene Ingenieure verfügen.

Das erste, was sie mitnahmen, waren Bänder aus Industriekühlschränken. Dabei handelt es sich um flexible Polyethylen-Rotze, auf die man schlagen kann. Sie haben sie wahrscheinlich irgendwo am Eingang der Fleischabteilung der größten Lebensmittelgeschäfte gesehen. Sie begannen, nach ungiftigen und nicht brennbaren Materialien zu suchen. Wir haben es gefunden und für zwei Reihen gekauft. Wir hängten es auf und begannen zu sehen, was passierte.

Uns war klar, dass es nicht sehr gut sein würde. Aber im Großen und Ganzen ist es sehr, sehr schlecht geworden. Sie beginnen in den Bächen zu flattern wie Nudeln. Wir haben Magnetbänder wie Kühlschrankmagnete gefunden. Wir haben sie auf diese Streifen geklebt, sie miteinander verklebt und die Wand ist ziemlich monolithisch geworden.

Wir begannen herauszufinden, was das Publikum erwarten würde.

Gehen wir zu den Bauherren und zeigen Ihnen unser Projekt. Sie schauen und sagen: Ihre Vorhänge sind sehr schwer. 700 Kilogramm in der gesamten Turbinenhalle. Fahr zur Hölle, sagen sie, gute Leute. Genauer gesagt an das SKS-Team. Lassen Sie sie zählen, wie viele Nudeln sie in den Schalen haben, denn 120 kg pro Quadratmeter sind das Maximum.

SKS sagt: Erinnern Sie sich, ein großer Kunde kam zu uns? Es verfügt über Zehntausende Ports in einem Raum. An den Rändern des Turbinenraums ist es noch in Ordnung, näher am Querraum lässt sich das Gerät aber nicht befestigen, da die Wannen abfallen.

Die Bauherren verlangten außerdem ein Zertifikat für das Material. Ich stelle fest, dass wir zuvor auf Ehrenwort des Lieferanten gearbeitet haben, da es sich lediglich um einen Testlauf handelte. Wir kontaktierten diesen Lieferanten und sagten: OK, wir sind bereit für die Betaphase, geben Sie uns den gesamten Papierkram. Sie senden etwas, das keinem sehr etablierten Muster entspricht.

Wir sagen: Hören Sie, wo haben Sie dieses Stück Papier her? Sie: Unser chinesischer Hersteller hat uns dies auf Anfrage zugesandt. Laut der Zeitung brennt dieses Ding überhaupt nicht.

An diesem Punkt wurde uns klar, dass es an der Zeit war, innezuhalten und die Fakten zu überprüfen. Wir gehen zu den Mädels von der Brandschutzabteilung des Rechenzentrums, sie nennen uns das Labor, das die Entflammbarkeit prüft. Ziemlich irdisches Geld und Fristen (obwohl wir alles verfluchten, während wir die erforderliche Anzahl an Zetteln zusammenstellten). Die Wissenschaftler dort sagen: Bringt das Material, wir machen Tests.

Abschließend wurde geschrieben, dass von einem Kilogramm Substanz etwa 50 Gramm Asche übrig bleiben. Der Rest brennt hell, fließt nach unten und hält die Verbrennung in der Pfütze sehr gut aufrecht.

Wir verstehen – es ist gut, dass wir es nicht gekauft haben. Wir begannen, nach anderem Material zu suchen.

Wir haben Polycarbonat gefunden. Er erwies sich als härter. Die transparente Folie ist zwei mm dick, die Türen bestehen aus vier mm. Im Wesentlichen handelt es sich um Plexiglas. Gemeinsam mit dem Hersteller beginnen wir ein Gespräch zum Thema Brandschutz: Geben Sie uns ein Zertifikat. Sie senden. Unterzeichnet vom selben Institut. Wir rufen dort an und sagen: Na Leute, habt ihr das überprüft?

Sie sagen: Ja, sie haben es überprüft. Zuerst verbrannten sie es zu Hause, dann brachten sie es nur noch zu Tests mit. Dort bleiben von einem Kilogramm Material etwa 930 Gramm Asche übrig (wenn man sie mit einem Brenner verbrennt). Es schmilzt und tropft, aber die Pfütze brennt nicht.

Wir überprüfen sofort unsere Magnete (sie sind auf einer Polymerauskleidung). Überraschenderweise brennen sie schlecht.

Montage

Daraus beginnen wir zu sammeln. Polycarbonat ist großartig, weil es leichter als Polyethylen ist und sich viel weniger leicht verbiegen lässt. Sie bringen zwar Platten im Format 2,5 x 3 Meter mit, und dem Lieferanten ist es egal, was er damit machen soll. Wir brauchen aber 2,8 mit einer Breite von 20–25 Zentimetern. Die Türen wurden an Büros geschickt, die die Blätter nach Bedarf zuschnitten. Und wir schneiden die Lamellen selbst. Der Schneidvorgang selbst kostet doppelt so viel wie ein Blech.

Hier ist, was passiert:

Das Ergebnis ist, dass sich das Käfigsystem in weniger als einem Jahr amortisiert. Dadurch haben wir konstant 200–250 kW an Fan-Coil-Leistung eingespart. Wir wissen nicht, wie viel genau noch auf den Kühlschränken ist. Die Server saugen mit konstanter Geschwindigkeit, die Gebläsekonvektoren blasen durch. Und die Kältemaschinen werden mit einem Kamm ein- und ausgeschaltet: Es ist schwierig, daraus Daten zu extrahieren. Die Turbinenhalle kann für Tests nicht angehalten werden.

Wir freuen uns, dass es früher die Regel gab, 5x5 Racks in Modulen zu installieren, so dass ihr durchschnittlicher Verbrauch maximal sechs kW betrug. Das heißt, die Wärme wird nicht durch die Insel konzentriert, sondern im gesamten Turbinenraum verteilt. Aber es gibt eine Situation, in der 10 Stück 15-Kilowatt-Racks nebeneinander stehen, aber ein Stapel davon gegenüber. Er ist kalt. Ausgewogen.

Wo keine Theke ist, braucht man einen bodenlangen Zaun.

Und einige unserer Kunden sind mit Gittern isoliert. Es gab auch einige Besonderheiten bei ihnen.

Sie schneiden in Lamellen, weil die Breite der Pfosten nicht festgelegt ist und die Häufigkeit des Kamms der Befestigungen bestimmt ist: drei oder vier cm entweder nach rechts oder nach links werden es immer sein. Wenn Sie einen 600er-Block als Rack-Platz haben, besteht eine Wahrscheinlichkeit von 85 Prozent, dass er nicht hineinpasst. Und kurze und lange Lamellen existieren nebeneinander und halten zusammen. Manchmal schneiden wir die Lamelle mit dem Buchstaben G entlang der Konturen der Gestelle.

Sensoren

Vor der Reduzierung der Leistung der Fan-Coil-Einheiten war es notwendig, an verschiedenen Stellen der Halle eine sehr genaue Temperaturüberwachung einzurichten, um keine Überraschungen zu erleben. So entstanden drahtlose Sensoren. Verkabelt – in jeder Reihe müssen Sie Ihr eigenes Gerät aufhängen, um diese Sensoren und manchmal auch Verlängerungskabel daran anzuschließen. Daraus entsteht eine Girlande. Sehr schlecht. Und wenn diese Drähte in die Käfige der Kunden eindringen, sind die Sicherheitsleute sofort aufgeregt und bitten darum, mit einem Zertifikat zu erklären, was entlang dieser Drähte entfernt wird. Die Nerven der Sicherheitskräfte müssen geschont werden. Aus irgendeinem Grund berühren sie keine drahtlosen Sensoren.

Und immer mehr Stände kommen und gehen. Es ist einfacher, einen Sensor wieder an einem Magneten anzubringen, da dieser jedes Mal höher oder tiefer aufgehängt werden muss. Stehen die Server im unteren Drittel des Racks, sollten sie nach unten gehängt werden und nicht wie üblich anderthalb Meter über dem Boden an der Racktür in einem kalten Flur. Es ist sinnlos, dort zu messen; man muss messen, was im Eisen ist.

Ein Sensor für drei Racks – öfter muss man ihn nicht aufhängen. Die Temperatur ist nicht anders. Wir hatten Angst, dass Luft durch die Streben selbst angesaugt würde, aber das ist nicht passiert. Wir sorgen aber dennoch für etwas mehr Kaltluft als die berechneten Werte. Wir haben Fenster in den Lamellen 3, 7 und 12 hergestellt und über dem Ständer ein Loch gemacht. Wenn wir herumlaufen, setzen wir einen Windmesser ein: Wir sehen, dass die Strömung dorthin geht, wo sie hin soll.

Dann hängten sie bunte Schnüre auf: eine alte Praxis für Scharfschützen. Es sieht seltsam aus, aber es ermöglicht Ihnen, ein mögliches Problem schneller zu erkennen.

lustig

Während wir das alles schweigend erledigten, kam ein Anbieter, der technische Ausrüstung für Rechenzentren herstellt. Er sagt: Kommen Sie vorbei und erzählen Sie uns etwas über Energieeffizienz. Sie kommen und beginnen über die suboptimale Halle und die Luftströme zu sprechen. Wir nicken verständnisvoll. Weil wir seit drei Jahren etabliert sind.

Sie hängen an jedem Rack drei Sensoren auf. Die Überwachungsbilder sind atemberaubend und wunderschön. Mehr als die Hälfte des Preises dieser Lösung entfällt auf Software. Auf Zabbix-Alarmstufe, aber proprietär und sehr teuer. Das Problem besteht darin, dass sie über Sensoren und Software verfügen und dann vor Ort nach einem Auftragnehmer suchen: Sie haben keine eigenen Lieferanten für Cadmium.

Es stellt sich heraus, dass ihre Hände fünf- bis siebenmal mehr kosten als das, was wir getan haben.

Referenzen

Source: habr.com

Wie wir hart daran gearbeitet haben, die Energieeffizienz der Turbinenhalle zu verbessern