{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Wie wir uns in die Energieeffizienz des Maschinenraums gest\u00fcrzt haben","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Wie
\n
\nIch widme diesen Post den Menschen, die in Zertifikaten gelogen haben, weshalb wir kurz davor waren, bengalische Feuer in unseren Hallen zu installieren.<\/p>\n

Die Geschichte ist \u00fcber vier Jahre alt, aber ich ver\u00f6ffentliche sie jetzt, weil die NDA abgelaufen ist. Damals haben wir festgestellt, dass wir das Rechenzentrum (das wir mieten) fast vollst\u00e4ndig ausgelastet haben, w\u00e4hrend die Energieeffizienz sich nicht wesentlich verbessert hatte. Fr\u00fcher war die Hypothese, dass je mehr wir es f\u00fcllen, desto besser, weil die Ingenieurtechnik auf alle verteilt wird. Aber es stellte sich heraus, dass wir uns in dieser Hinsicht get\u00e4uscht hatten, und bei hoher Auslastung gab es \u00fcberall Verluste. Wir arbeiteten in vielen Bereichen, aber unser mutiges Team k\u00fcmmerte sich um die K\u00fchlung. <\/p>\n

Das echte Leben eines Rechenzentrums ist ein wenig anders als im Projekt. St\u00e4ndige Anpassungen vom Betriebsteam zur Steigerung der Effizienz und Optimierung der Einstellungen f\u00fcr neue Aufgaben. Nehmen wir das mythische durchschnittliche Rack. In der Praxis gibt es so etwas nicht, die Lastverteilung ist ungleichm\u00e4\u00dfig, dort wo viel ist, ist woanders wenig. Daher mussten wir einige Einstellungen zur Verbesserung der Energieeffizienz \u00fcberarbeiten.<\/p>\n

Unser Rechenzentrum Kompressor ist f\u00fcr die verschiedensten Kunden gedacht. Deshalb kann es mitten zwischen gew\u00f6hnlichen zwei\u2013vier Kilowatt-Racks auch ein ganz normales 23-Kilowatt-Rack oder mehr geben. Entsprechend wurden die Klimaanlagen darauf eingestellt, diese zu k\u00fchlen, und die Luft str\u00f6mte einfach an den weniger leistungsstarken Racks vorbei. <\/p>\n

Die zweite Hypothese war, dass warme und kalte G\u00e4nge sich nicht vermischen. Nach den Messungen kann ich sagen, dass das eine Illusion ist, und die echte Aerodynamik unterscheidet sich in fast jeder Hinsicht von dem Modell. <\/a><\/noindex><\/p>\n

Untersuchung<\/h3>\n

\nZuerst begannen wir, die Luftstr\u00f6me in den Hallen zu beobachten. Warum haben wir uns da hineingewagt? Weil wir verstanden, dass das Rechenzentrum auf f\u00fcnf bis sechs kW pro Rack ausgelegt ist, aber wussten, dass die tats\u00e4chliche Last zwischen 0 und 25 kW liegt. Alles mit Platten zu regeln, ist fast unm\u00f6glich: Die ersten Messungen zeigten, dass sie fast gleich viel durchl\u00e4sst. Und Platten f\u00fcr 25 kW gibt es \u00fcberhaupt nicht, sie m\u00fcssen nicht nur leer sein, sondern mit Fl\u00fcssigkeitsvakuum. <\/p>\n

Wir kauften ein Anemometer und begannen, die Str\u00f6mungen zwischen und \u00fcber den Racks zu messen. Man muss mit ihm nach GOST und einer Menge Standards arbeiten, die ohne Unterbrechung des Maschinenraums schwer umsetzbar sind. Uns interessierte nicht die Genauigkeit, sondern das sinnvolle Gesamtbild. Das hei\u00dft, wir haben ungef\u00e4hr gemessen.<\/p>\n

Von 100 Prozent der Luft, die aus den Racks entweicht, gelangen 60 Prozent in die St\u00fctzrahmen, der Rest geht vorbei. Das liegt daran, dass es schwere St\u00fctzrahmen mit 15\u201325 kW gibt, \u00fcber die die K\u00fchlung l\u00e4uft. <\/p>\n

Wir k\u00f6nnen die Klimaanlagen nicht einfach abschalten, da es an den warmen St\u00fctzrahmen in der N\u00e4he der oberen Server zu warm werden w\u00fcrde. In diesem Moment erkennen wir, dass wir etwas isolieren m\u00fcssen, damit die Luft nicht von Reihe zu Reihe springt und der W\u00e4rme\u00fcbergang im Block dennoch stattfindet. <\/p>\n

Parallel dazu stellen wir uns die Frage, ob dies finanziell sinnvoll ist. <\/p>\n

Mit \u00dcberraschung stellen wir fest, dass wir einen \u00dcberblick \u00fcber den Energieverbrauch des Rechenzentrums haben, aber die Fan-Coils f\u00fcr einen konkreten Raum einfach nicht berechnen k\u00f6nnen. Das hei\u00dft, analytisch w\u00e4re es m\u00f6glich, aber faktisch nicht. Und wir k\u00f6nnen die Einsparungen nicht einsch\u00e4tzen. Die Aufgabe wird immer interessanter. Wenn wir 10 % der K\u00fchlleistung einsparen \u2014 wie viel Geld k\u00f6nnen wir dann f\u00fcr die Isolation zur\u00fccklegen? Wie rechnen wir das aus?<\/p>\n

Wir sind zu den Automatisierern gegangen, die das \u00dcberwachungssystem optimierten. Danke an die Jungs: Alle Sensoren waren vorhanden, es musste nur zus\u00e4tzlicher Code geschrieben werden. Sie haben die Chiller, USV-Anlagen und Beleuchtung separat dargestellt. Mit dem neuen Ger\u00e4t konnten wir sehen, wie sich die Situation bei den Elementen des Systems ver\u00e4ndert.<\/p>\n

Experimente mit Vorh\u00e4ngen<\/h3>\n

\nParallel beginnen wir Experimente mit Vorh\u00e4ngen (Abtrennungen). Wir entscheiden uns, sie an den Stangen der Kabelrinnen zu befestigen (mehr gibt es sowieso nicht), da sie leicht sein sollten. Mit den Dachbauten oder Riegeln haben wir uns schnell entschieden. <\/p>\n

\"Wie
\n
\n\"Wie
\n
\nDas Problem ist, dass wir zuvor mit einer Vielzahl von Anbietern gearbeitet haben. Alle haben L\u00f6sungen f\u00fcr ihre eigenen Rechenzentren, aber f\u00fcr kommerzielle Rechenzentren gibt es praktisch keine fertigen L\u00f6sungen. Unsere Kunden kommen und gehen st\u00e4ndig. Wir sind eines der wenigen \u201eschwereren\u201c Rechenzentren ohne Einschr\u00e4nkungen in der Rack-Breite mit der M\u00f6glichkeit, diese Hochleistungsserver bis zu 25 kW zu akzeptieren. Es gibt keine Planung der Infrastruktur im Voraus. Das hei\u00dft, wenn wir modulare Systemk\u00e4fige der Anbieter nehmen \u2014 wird es immer L\u00f6cher f\u00fcr zwei Monate geben. Das bedeutet, dass der Maschinenraum prinzipiell nie energieeffizient sein kann. <\/p>\n

Wir haben beschlossen, es selbst zu machen, da wir eigene Ingenieure haben. <\/p>\n

Zuerst haben wir die B\u00e4nder von industriellen K\u00fchlschr\u00e4nken genommen. Es handelt sich um flexible Polyethylenstreifen, mit denen man richtig zupacken kann. Ihr habt sie wahrscheinlich irgendwo am Eingang zur Fleischabteilung der gr\u00f6\u00dften Superm\u00e4rkte gesehen. Wir haben nach ungiftigen und nicht brennbaren Materialien gesucht. Wir haben welche gefunden, die wir in zwei Reihen gekauft haben. Wir haben sie aufgeh\u00e4ngt und geschaut, was passiert. <\/p>\n

Wir wussten, dass es nicht ganz einfach sein w\u00fcrde. Aber es kam insgesamt doch sehr, sehr schlecht heraus. Sie beginnen, sich wie Spaghetti in den Str\u00f6men zu entfalten. Wir fanden magnetische B\u00e4nder, wie die K\u00fchlschrankmagnete. Wir klebten sie auf diese Streifen und zusammen, die Wand wurde einigerma\u00dfen massiv. <\/p>\n

Wir begannen zu \u00fcberlegen, was im Raum geschehen w\u00fcrde. <\/p>\n

Wir gingen zu den Bauarbeitern und zeigten ihnen unser Projekt. Sie schauten uns an und sagten: \"Eure Vorh\u00e4nge sind irgendwie sehr schwer. 700 Kilogramm im gesamten Maschinenraum. Geht, sagen sie, gute Leute, zum Teufel. Genauer gesagt zu dem SKS-Team. Lasst sie z\u00e4hlen, wie viel Nudel in den Wannen ist, denn 120 kg pro Quadratmeter sind das Maximale.\" <\/p>\n

Das SKS-Team sagt: \"Erinnerst du dich, dass ein gro\u00dfer Kunde zu uns kam? Er hat Tausende von Anschl\u00fcssen in einem Raum. Am Rand des Maschinenraums ist es noch in Ordnung, aber n\u00e4her am Kreuzungsbereich wird es nicht klappen: die Beh\u00e4lter werden abfallen.\" <\/p>\n

Die Bauarbeiter forderten auch ein Zertifikat f\u00fcr das Material. Ich m\u00f6chte erw\u00e4hnen, dass wir vorher auf das ehrliche Wort des Lieferanten gesetzt hatten, da es sich nur um einen Testlauf handelte. Wir wandten uns an diesen Lieferanten und sagten: \"OK, wir sind bereit, in die Beta-Phase zu gehen, lasst uns alle Unterlagen.\" Sie schickten uns etwas, das nicht wirklich Standard war. <\/p>\n

Wir sagten: \"Moment mal, wo habt ihr dieses Dokument her?\" Sie antworteten: \"Das hat uns unser chinesischer Hersteller als Antwort auf unsere Anfragen geschickt. Laut dem Dokument brennt das Zeug \u00fcberhaupt nicht.\" <\/p>\n

In diesem Moment verstanden wir, dass es Zeit war, innezuhalten und Fakten zu \u00fcberpr\u00fcfen. Wir gingen zu den M\u00e4dels aus der Brandschutzabteilung des Rechenzentrums, sie nannten uns ein Labor, das die Brennbarkeit \u00fcberpr\u00fcft. Die Kosten und der Zeitrahmen sind recht ertr\u00e4glich (aber wir haben alles verflucht, als wir die erforderliche Menge an Unterlagen zusammenstellten). Dort sagten die Wissenschaftler: \"Bringt das Material mit, wir werden Tests durchf\u00fchren.\" <\/p>\n

Im Abschlussbericht stand, dass von einem Kilogramm Substanz etwa 50 Gramm Asche \u00fcbrigbleiben. Der Rest brennt hell, l\u00e4uft ab und unterst\u00fctzt das Brennen in der Pf\u00fctze sehr gut. <\/p>\n

Wir waren froh, dass wir nicht gekauft hatten. Wir begannen, nach einem anderen Material zu suchen. <\/p>\n

Wir haben Polycarbonat gefunden. Es stellte sich als steifer heraus. Die transparente Platte ist zwei mm dick, die T\u00fcren sind aus vier mm dickem Material. Im Grunde genommen handelt es sich um Acrylglas. Zusammen mit dem Hersteller beginnen wir ein Gespr\u00e4ch \u00fcber Brandschutz: Lassen Sie uns das Zertifikat sehen. Sie schicken es. Unterzeichnet von demselben Institut. Wir rufen dort an und fragen: Na, Jungs, habt ihr das getestet?<\/p>\n

Sie sagen: Ja, das haben wir getestet. Zuerst haben wir es selbst verbrannt und erst dann zur Pr\u00fcfung gebracht. Von einem Kilogramm Material bleiben (wenn man es mit einem Brenner verbrennt) etwa 930 Gramm Asche \u00fcbrig. Es schmilzt und tropft, aber es wird keine Pf\u00fctze brennen. <\/p>\n

Umgehend \u00fcberpr\u00fcfen wir unsere Magnete (sie haben eine polymere Unterlage). \u00dcberraschenderweise brennen sie schlecht. <\/p>\n

Bau<\/h3>\n

\nDarauf basierend beginnen wir mit dem Zusammenbau. Polycarbonat ist hervorragend, da es leichter als Polyethylen ist und viel schlechter biegt. Allerdings werden Platten in den Gr\u00f6\u00dfen 2,5 auf 3 Meter geliefert, und der Lieferant ist egal, was damit zu machen ist. Wir ben\u00f6tigen jedoch 2,8 m in einer Breite von 20-25 cm. Die T\u00fcren wurden zu Firmen geschickt, die die Platten nach Bedarf zuschneiden. Die Lamellen haben wir selbst geschnitten. Der Schneideprozess selbst kostet etwa doppelt so viel wie die Platte.<\/p>\n

Das ist das Ergebnis:<\/p>\n

\"Wie
\n
\nDas Ergebnis ist, dass sich das Cage-System in weniger als einem Jahr amortisiert. Dadurch haben wir st\u00e4ndig 200\u2013250 kWh an der Leistung der Fan-Coils gespart. Dazu kommt noch etwas an den Chiller, genau wissen wir es nicht. Die Server ziehen konstant Strom, w\u00e4hrend die Fan-Coils Luft blasen. Die Chiller schalten sich in einem Raster ein und aus: Es ist schwierig, die Daten zu extrahieren. Den Maschinenraum f\u00fcr Tests abzustellen, ist nicht m\u00f6glich. <\/p>\n

Wir freuen uns, dass es damals eine Regel gab, die besagte, dass in Modulen mit 5\u00d75 Gestellen so platziert werden, dass ihr durchschnittlicher Verbrauch maximal sechs kWh betr\u00e4gt. Also ist die W\u00e4rme nicht wie eine Insel konzentriert, sondern im Maschinenraum verteilt. Es gibt jedoch eine Situation, in der 10 St\u00fcck 15-kW-Stellen dicht beieinanderstehen, aber gegen\u00fcber ist ein kaltes Lager. Das gleicht sich aus.<\/p>\n

Wo es kein Gestell gibt, ist eine Trennwand bis zum Boden erforderlich. <\/p>\n

Au\u00dferdem haben einige unserer Kunden Gitter zur Isolation. Auch hier gab es einige Besonderheiten. <\/p>\n

Die Lamellen wurden geschnitten, weil die Breite der Gestelle nicht festgelegt ist, die H\u00e4ufigkeit des Rasters der Befestigungen jedoch definiert ist: drei bis vier cm, entweder nach rechts oder nach links, wird es immer geben. Wenn du einen Block von 600 unter dem Arbeitsplatz hast, wird er mit einer Wahrscheinlichkeit von 85 Prozent nicht stehen. Kurze und lange Lamellen koexistieren und werden verklebt. Manchmal schneiden wir die Lamellen in Form eines 'L' entlang der Konturen der Gestelle.<\/p>\n

\"Wie
\n<\/p>\n

Sensoren<\/h3>\n

\nBevor die Leistung der Fancoils verringert wurde, musste eine sehr pr\u00e4zise Temperatur\u00fcberwachung an verschiedenen Punkten im Raum eingerichtet werden, um unangenehme \u00dcberraschungen zu vermeiden. So entstanden drahtlose Sensoren. Bei den kabelgebundenen muss man f\u00fcr jede Reihe ein eigenes Ger\u00e4t zur Kreuzung dieser Sensoren anbringen und manchmal auch Verl\u00e4ngerungskabel. Das verwandelt sich in eine Lichterkette. Sehr unpraktisch. Und wenn diese Kabel in die Racks der Kunden eindringen, reagieren die Sicherheitsbeauftragten sofort und verlangen eine Erkl\u00e4rung mit Zertifikat, was dort \u00fcber diese Kabel abgelesen wird. Die Nerven der Sicherheitsbeauftragten m\u00fcssen geschont werden. Drahtlose Sensoren scheinen sie aus irgendeinem Grund nicht zu st\u00f6ren. <\/p>\n

Und au\u00dferdem kommen die Racks an und fahren wieder weg. Ein Sensor mit Magnet ist einfacher umzusetzen, weil man ihn jedes Mal h\u00f6her oder niedriger aufh\u00e4ngen muss. Wenn die Server im unteren Drittel des Racks sind, muss man ihn unten anbringen und nicht nach dem Standard anderthalb Meter \u00fcber dem Boden an der T\u00fcr des Racks im kalten Gang. Dort ist es nutzlos zu messen, man muss das messen, was im Metall ist. <\/p>\n

Ein Sensor f\u00fcr drei Racks \u2013 meistens kann man es sich sparen, ihn aufzuh\u00e4ngen. Die Temperatur unterscheidet sich nicht. Man hatte Angst, dass eine Luftverlagerung durch die Racks selbst stattfindet, - ist aber nicht passiert. Trotzdem geben wir etwas mehr kalte Luft ab als die berechneten Werte. Wir haben Fenster in den Lamellen 3, 7 und 12 gemacht und \u00fcber dem Rack machen wir ein Loch. Darin stellen wir beim Rundgang ein Anemometer auf: wir schauen, dass der Luftstrom dorthin geht, wo er hin soll.<\/p>\n

\"Wie
\n
\nDann haben wir bunte Schn\u00fcre aufgeh\u00e4ngt: eine alte Praxis f\u00fcr Scharfsch\u00fctzen. Sieht seltsam aus, erm\u00f6glicht aber eine schnellere Erkennung m\u00f6glicher Probleme. <\/p>\n

\"Wie
\n <\/p>\n

Witzig<\/h3>\n

\nW\u00e4hrend wir all dies stillschweigend taten, kam ein Anbieter, der Technik f\u00fcr Rechenzentren herstellt. Er sagt: Lassen Sie uns kommen und \u00fcber Energieeffizienz sprechen. Sie kamen, fingen an, \u00fcber den suboptimalen Raum, \u00fcber Luftstr\u00f6me zu reden. Wir nicken verst\u00e4ndnisvoll. Denn wir haben das seit drei Jahren installiert. <\/p>\n

Sie h\u00e4ngen f\u00fcr jedes Rack drei Sensoren auf. Die \u00dcberwachungsbilder sind beeindruckend, sch\u00f6n. Mehr als die H\u00e4lfte dieser L\u00f6sung ist im Preis \u2013 Software. Auf dem Niveau \u201eAlert in Zabbix\u201c, aber propriet\u00e4r und sehr teuer. Das Problem ist zudem, dass sie Sensoren und Software haben, und danach suchen sie vor Ort einen Auftragnehmer: sie haben keine eigenen Anbieter f\u00fcr die K\u00e4fige.<\/p>\n

Es stellt sich heraus, dass es von ihrer Seite f\u00fcnf bis sieben Mal teurer ist, als wir es gemacht haben.<\/p>\n

Links<\/h3>\n

<\/p>\n