{"id":37785,"date":"2019-10-31T22:19:45","date_gmt":"2019-10-31T19:19:45","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-uporolis-po-energoeffektivnosti-mashzala\/"},"modified":"2019-10-31T22:19:45","modified_gmt":"2019-10-31T19:19:45","slug":"kak-my-uporolis-po-energoeffektivnosti-mashzala","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kak-my-uporolis-po-energoeffektivnosti-mashzala","title":{"rendered":"Wie wir uns um die Energieeffizienz des Rechenzentrums gek\u00fcmmert haben","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Wie
\n
\nIch widme diesen Beitrag den Menschen, die in Zertifikaten gelogen haben, was dazu f\u00fchrte, dass wir fast bengalische Feuer in unseren R\u00e4umen installiert h\u00e4tten.<\/p>\n

Die Geschichte ist \u00fcber vier Jahre alt, aber ich ver\u00f6ffentliche sie jetzt, da die NDA abgelaufen ist. Damals stellten wir fest, dass wir unser fast vollst\u00e4ndig vermietetes Rechenzentrum nahezu ausgelastet hatten und die Energieeffizienz nicht wirklich gestiegen war. Zuvor war die Hypothese, dass je st\u00e4rker wir es f\u00fcllen, desto besser es w\u00e4re, da die Technik auf alle verteilt wird. Doch es stellte sich heraus, dass wir uns diesbez\u00fcglich get\u00e4uscht hatten und bei hoher Auslastung irgendwo Verluste entstanden. Wir haben in vielen Bereichen gearbeitet, aber unser mutiges Team hat sich dem K\u00fchlungssystem gewidmet. <\/p>\n

Das wirkliche Leben eines Rechenzentrums weicht etwas vom Projekt ab. St\u00e4ndige Anpassungen durch den Betrieb zur Steigerung der Effizienz und Optimierung der Einstellungen f\u00fcr neue Aufgaben. Nehmen wir zum Beispiel die mythische Standard-Rack-Einheit. In der Praxis existiert sie nicht; die Lastverteilung ist ungleichm\u00e4\u00dfig, manchmal ist es stark belegt, manchmal leer. Daher mussten einige Dinge f\u00fcr eine bessere Energieeffizienz neu konfiguriert werden.<\/p>\n

Unser Rechenzentrum Kompressor ist f\u00fcr verschiedene Kundenbed\u00fcrfnisse ausgelegt. Daher kann es zwischen den herk\u00f6mmlichen zwei- bis vierkilowatt St\u00e4ndern durchaus einen 23-Kilowatt-St\u00e4nder oder sogar gr\u00f6\u00dfere geben. Die Klimaanlagen wurden entsprechend eingestellt, um diese zu k\u00fchlen, und die Luft str\u00f6mte einfach an den weniger leistungsstarken St\u00e4ndern vorbei. <\/p>\n

Die zweite Hypothese war, dass sich warme und kalte Flure nicht vermischen. Nach den Messungen kann ich sagen, dass dies eine Illusion ist und die tats\u00e4chliche Aerodynamik sich etwa in allen Aspekten von dem Modell unterscheidet. <\/a><\/noindex><\/p>\n

Untersuchung<\/h3>\n

\nZun\u00e4chst haben wir die Luftstr\u00f6me in den Hallen betrachtet. Warum haben wir das getan? Weil wir wussten, dass das Rechenzentrum f\u00fcr f\u00fcnf bis sechs kW pro Rack ausgelegt ist, aber tats\u00e4chlich Werte zwischen 0 und 25 kW hat. Es ist fast unm\u00f6glich, dies alles mit Platten zu regulieren: Die ersten Messungen haben gezeigt, dass sie nahezu gleichm\u00e4\u00dfig durchlassen. Und Platten f\u00fcr 25 kW gibt es nicht, sie m\u00fcssen nicht nur leer sein, sondern mit fl\u00fcssigem Vakuum. <\/p>\n

Wir haben einen Anemometer gekauft und begonnen, die Luftstr\u00f6me zwischen den Racks und \u00fcber den Racks zu messen. Man sollte dabei die relevanten Normen und Standards einhalten, was ohne eine Unterbrechung des Rechenzentrums ziemlich schwierig ist. Uns interessierte nicht die Pr\u00e4zision, sondern das grundlegende Bild. Das hei\u00dft, wir haben ungef\u00e4hr gemessen.<\/p>\n

Bei der Messung stellte sich heraus, dass von den 100 Prozent Luft, die aus den Platten austreten, 60 Prozent in die Racks gelangen, der Rest streicht vorbei. Das liegt daran, dass es schwere Racks mit 15\u201325 kW gibt, auf denen die K\u00fchlung basiert. <\/p>\n

Wir k\u00f6nnen die Klimaanlagen nicht einfach abstellen, da es in den w\u00e4rmeren Racks im Bereich der oberen Server sonst zu warm wird. In diesem Moment wird uns klar, dass wir etwas isolieren m\u00fcssen, damit die Luft nicht von Reihe zu Reihe springt und der W\u00e4rme\u00fcbergang im Block dennoch stattfinden kann. <\/p>\n

Parallel dazu stellt sich die Frage, ob dies finanziell sinnvoll ist. <\/p>\n

Es \u00fcberrascht uns, dass wir insgesamt den Energieverbrauch des Rechenzentrums ermittelt haben, aber die spezifischen Werte f\u00fcr die Fan-Coils in bestimmten R\u00e4umen einfach nicht berechnen k\u00f6nnen. Theoretisch k\u00f6nnen wir das, aber praktisch geht es nicht. Daher sind wir nicht in der Lage, die Einsparungen zu bewerten. Die Aufgabe wird immer interessanter. Wenn wir 10 % der Leistung der Klimaanlagen einsparen \u2014 wie viel Geld k\u00f6nnen wir dann f\u00fcr die Isolierung zur\u00fccklegen? Wie berechnen wir das?<\/p>\n

Wir haben uns an die Automatisierer gewandt, die das \u00dcberwachungssystem optimiert haben. Danke an die Jungs: Sie hatten alle Sensoren, wir mussten nur den Code erg\u00e4nzen. Sie haben angefangen, die Chiller, die USVs und die Beleuchtung separat darzustellen. Mit dem neuen System k\u00f6nnen wir nun beobachten, wie sich die Situation in den einzelnen Systemkomponenten ver\u00e4ndert.<\/p>\n

Experimente mit Vorh\u00e4ngen<\/h3>\n

\nParallel dazu beginnen wir mit Experimenten mit Vorh\u00e4ngen (Abtrennungen). Wir entscheiden, sie an die St\u00e4be der Kabelkan\u00e4le zu befestigen (da gibt es sonst nichts mehr), zum Gl\u00fcck sollten sie leicht sein. Mit den \u00dcberdachungen oder Riegeln haben wir uns schnell geeinigt. <\/p>\n

\"Wie
\n
\n\"Wie
\n
\nDas Problem ist, dass wir zuvor mit vielen Anbietern gearbeitet haben. Alle haben L\u00f6sungen f\u00fcr ihre eigenen Unternehmens-Rechenzentren, aber f\u00fcr kommerzielle Rechenzentren gibt es praktisch keine fertigen L\u00f6sungen. Unsere Kunden kommen und gehen st\u00e4ndig. Wir sind eines der wenigen \u201egro\u00dfen\u201c Rechenzentren ohne Begrenzung der Rack-Breite und k\u00f6nnen diese Hochleistungsserver bis zu 25 kW aufnehmen. Eine vorherige Planung der Infrastruktur gibt es nicht. Wenn wir modulare Systeme von Anbietern f\u00fcr die K\u00e4figbildung verwenden, entstehen immer L\u00fccken von zwei Monaten. Das hei\u00dft, der Maschinenraum wird nie grunds\u00e4tzlich energieeffizient sein. <\/p>\n

Wir haben uns entschieden, es selbst zu machen, da wir unsere eigenen Ingenieure haben. <\/p>\n

Das erste, was wir besorgt haben, sind B\u00e4nder von industriellen K\u00fchlsystemen. Das sind flexible Polyethylenschl\u00e4uche, mit denen man sehr gut arbeiten kann. Sie haben diese sicher schon einmal im Eingangsbereich der Fleischabteilung in gro\u00dfen Superm\u00e4rkten gesehen. Wir haben nach ungiftigen und nicht brennbaren Materialien gesucht. Wir fanden welche, kauften sie f\u00fcr zwei Reihen und h\u00e4ngten sie auf, um zu sehen, was dabei herauskommt. <\/p>\n

Wir hatten das Gef\u00fchl, dass es nicht ideal sein w\u00fcrde. Aber es stellte sich als wirklich alles andere als ideal heraus. Sie beginnen, wie Spaghetti, sich in den Str\u00f6mungen zu entfalten. Wir fanden magnetische B\u00e4nder, \u00e4hnlich wie die Magnete f\u00fcr den K\u00fchlschrank. Wir klebten sie an diese Streifen, verbanden sie miteinander, und so entstand eine Wand, die gerade so monolithisch war. <\/p>\n

Wir fingen an zu \u00fcberlegen, wie es im Saal aussehen w\u00fcrde. <\/p>\n

Wir gingen zu den Bauarbeitern, zeigten ihnen unser Projekt. Sie schauten und sagten: \"Eure Vorh\u00e4nge sind ziemlich schwer. Insgesamt 700 Kilogramm im Maschinenraum. Geht, sagt man, gute Leute, zum Teufel. Genauer gesagt, zum Team der strukturierten Verkabelung. Lasst sie berechnen, wie viel Nudeln sie in den Rinnen haben, denn 120 kg pro Quadratmeter \u2013 das ist das Maximum.\" <\/p>\n

Das Team f\u00fcr strukturierte Verkabelung sagte: \"Erinnern Sie sich, ein gro\u00dfer Kunde kam zu uns? Er hat zehntausende Ports in einem Raum. An den R\u00e4ndern des Maschinenraums ist es noch in Ordnung, aber n\u00e4her zur Kreuzungsstelle wird es nicht funktionieren: die Rinnen werden abfallen.\" <\/p>\n

Die Bauarbeiter baten zudem um ein Zertifikat f\u00fcr das Material. Ich m\u00f6chte anmerken, dass wir zuvor auf das ehrliche Wort des Lieferanten vertraut hatten, da es sich nur um einen Testlauf handelte. Wir wandten uns an diesen Lieferanten und sagten: \"Okay, wir sind bereit, in die Beta-Phase zu gehen, lasst uns alle Papiere.\" Sie schickten uns etwas, das nicht gerade einem festgelegten Muster entsprach. <\/p>\n

Wir sagen: H\u00f6rt mal, wo habt ihr dieses Papier her? Sie: Das hat uns unser chinesischer Hersteller als Antwort auf unsere Anfragen geschickt. Laut dem Papier brennt dieses Zeug \u00fcberhaupt nicht. <\/p>\n

In diesem Moment haben wir erkannt, dass es Zeit ist, innezuhalten und die Fakten zu \u00fcberpr\u00fcfen. Wir gehen zu den Damen von der Brandschutzabteilung des Rechenzentrums, sie nennen uns ein Labor, das die Brennbarkeit testet. Preislich und zeitlich v\u00f6llig im Rahmen (wir haben alles verflucht, w\u00e4hrend wir die n\u00f6tige Menge an Unterlagen zusammengetragen haben). Dort sagen die Wissenschaftler: Bringt das Material mit, wir werden Tests durchf\u00fchren. <\/p>\n

Im Abschlussbericht stand, dass von einem Kilogramm des Stoffes etwa 50 Gramm Asche zur\u00fcckbleiben. Der Rest brennt leuchtend, schmilzt und unterst\u00fctzt das Feuer sehr gut in der Pf\u00fctze. <\/p>\n

Wir verstehen \u2014 gut, dass wir es nicht gekauft haben. Wir haben angefangen, nach einem anderen Material zu suchen. <\/p>\n

Wir fanden Polycarbonat. Es stellte sich als stabiler heraus. Die transparente Platte hat eine Dicke von zwei mm, die T\u00fcren sind aus vier mm dickem Material. Im Grunde handelt es sich um Plexiglas. Zusammen mit dem Hersteller beginnen wir das Gespr\u00e4ch \u00fcber Brandschutz: Geben Sie uns das Zertifikat. Sie schicken es. Vom selben Institut unterzeichnet. Wir rufen dort an und fragen: Na, Leute, habt ihr das \u00fcberpr\u00fcft?<\/p>\n

Sie sagen: Ja, wir haben getestet. Zuerst haben sie es bei sich verbrannt, dann haben sie es nur f\u00fcr die Tests mitgebracht. Aus einem Kilogramm Material bleiben (wenn man es mit einem Brenner verbrennt) etwa 930 Gramm Asche \u00fcbrig. Es schmilzt und tropft, aber eine Pf\u00fctze wird nicht brennen. <\/p>\n

Sofort \u00fcberpr\u00fcfen wir unsere Magnete (diese sind auf einer Polymerunterlage). Zu unserer \u00dcberraschung brennen sie schlecht. <\/p>\n

Zusammenbau<\/h3>\n

\nDamit beginnen wir zu sammeln. Polycarbonat ist hervorragend, weil es leichter ist als Polyethylen, welches sich viel schlechter biegt. Allerdings kommen die Platten in den Ma\u00dfen 2,5 auf 3 Meter, und dem Lieferanten ist es egal, was wir damit machen sollen. Wir brauchen jedoch 2,8 in der Breite und 20\u201325 Zentimeter. Die T\u00fcren wurden an Firmen geschickt, die die Platten richtig zuschneiden. Die Lamellen haben wir selbst geschnitten. Der gesamte Zuschneideprozess kostet etwa doppelt so viel wie die Platte.<\/p>\n

Das ist das Ergebnis:<\/p>\n

\"Wie
\n
\nDas Ergebnis \u2014 das System der K\u00e4figbildung amortisiert sich in weniger als einem Jahr. Damit haben wir st\u00e4ndig 200\u2013250 kWh an Leistung der Fan-Coils gespart. Etwas auch bei den Chillern, wie viel genau \u2014 wissen wir nicht. Die Server ziehen konstant den Strom, die Fan-Coils blasen. Die K\u00fchler werden mit einem Schalter ein- und ausgeschaltet: aus ihr sind die Daten schwer zu entnehmen. Das Maschinenzimmer kann f\u00fcr Tests nicht gestoppt werden. <\/p>\n

Wir freuen uns, dass es zu unserer Zeit eine Regel gab, die 5x5-Racks so anzuordnen, dass ihr durchschnittlicher Verbrauch maximal sechs kW betr\u00e4gt. Dadurch wird W\u00e4rme nicht in einem Block konzentriert, sondern gleichm\u00e4\u00dfig im Maschinenraum verteilt. Es gibt jedoch eine Situation, in der zehn 15-kW-Racks nebeneinander stehen, w\u00e4hrend auf der gegen\u00fcberliegenden Seite ein kalter Speicher ist. Das wird ausbalanciert.<\/p>\n

Wo es kein Rack gibt, ist eine Trennwand bis zum Boden notwendig. <\/p>\n

Einige unserer Kunden sind zudem durch Gitter abgeschottet. Auch mit ihnen gab es einige Besonderheiten. <\/p>\n

Auf den Lamellen wurde geschnitten, da die Breite der Racks nicht festgelegt ist und der Abstand der Befestigungsgitter immer drei bis vier cm nach rechts oder links betragen wird. Wenn du ein Modul von 600 unter einem Rack hast, steht die Wahrscheinlichkeit bei 85 Prozent, dass es nicht passt. Kurze und lange Lamellen koexistieren und werden zusammengeklebt. Manchmal schneiden wir die Lamellen in Form eines L nach den Konturen der Racks.<\/p>\n

\"Wie
\n<\/p>\n

Sensoren<\/h3>\n

\nBevor die Leistung der Fan-Coils verringert wird, muss eine pr\u00e4zise Temperatur\u00fcberwachung an verschiedenen Stellen im Raum eingerichtet werden, um unerwartete \u00dcberraschungen zu vermeiden. So kamen drahtlose Sensoren ins Spiel. Bei drahtgebundenen Sensoren muss f\u00fcr jede Reihe eine eigene Einheit zur Koppelung dieser Sensoren angebracht werden, und manchmal sind daf\u00fcr Verl\u00e4ngerungen n\u00f6tig. Das wird schnell un\u00fcbersichtlich. Zudem geraten die Sicherheitskr\u00e4fte in Aufregung, wenn diese Kabel in die Racks der Kunden gebracht werden, und verlangen sofort eine Erkl\u00e4rung mit Zertifikat, was \u00fcber diese Kabel abgerufen wird. Die Nerven der Sicherheitskr\u00e4fte sollten geschont werden. Aus irgendeinem Grund haben sie es nicht auf drahtlose Sensoren abgesehen. <\/p>\n

Au\u00dferdem kommen die Racks an und ab. Ein Magnet-Sensor ist einfacher neu zu montieren, da er jedes Mal h\u00f6her oder niedriger angebracht werden muss. Wenn die Server im unteren Drittel des Racks sind, muss er unten angebracht werden, und nicht, wie es der Standard vorsieht, anderthalb Meter \u00fcber dem Boden an der T\u00fcr des Racks im kalten Gang. Es ist sinnlos, an dieser Stelle zu messen; man muss das messen, was im Ger\u00e4t ist. <\/p>\n

Ein Sensor f\u00fcr drei Racks \u2014 oft ist es nicht notwendig, mehr zu installieren. Die Temperatur unterscheidet sich nicht. Wir hatten Bedenken, dass Luft durch die Racks selbst str\u00f6mt, aber das ist nicht passiert. Dennoch geben wir etwas mehr kalte Luft ab, als berechnet. Wir haben \u00d6ffnungen in den Lamellen 3, 7 und 12 gemacht und \u00fcber dem Rack ein Loch gebohrt. Darin platzieren wir beim Rundgang ein Anemometer: wir pr\u00fcfen, ob der Luftstrom dorthin geht, wo er soll.<\/p>\n

\"Wie
\n
\nDann haben wir bunte Schn\u00fcre aufgeh\u00e4ngt: eine alte Praxis f\u00fcr Sniper. Sieht seltsam aus, erm\u00f6glicht aber, m\u00f6gliche Probleme schneller zu erkennen. <\/p>\n

\"Wie
\n <\/p>\n

Lustig<\/h3>\n

\nW\u00e4hrend wir all dies stillschweigend machten, kam ein Anbieter, der Technik f\u00fcr Rechenzentren produziert. Er sagte: Lassen Sie uns vorbei kommen und \u00fcber Energieeffizienz sprechen. Sie kommen, fangen an, \u00fcber den suboptimalen Raum und Luftstr\u00f6me zu reden. Wir nicken verst\u00e4ndnisvoll. Denn wir haben das seit drei Jahren installiert. <\/p>\n

F\u00fcr jedes Rack werden drei Sensoren angebracht. Die \u00dcberwachungsbilder sind beeindruckend und ansprechend. Mehr als die H\u00e4lfte dieser L\u00f6sung liegt im Preis \u2013 die Software. Auf dem Niveau von \u201eAlert in Zabbix\u201c, aber propriet\u00e4r und sehr teuer. Das Problem ist auch, dass sie Sensoren und Software haben, aber dann suchen sie einen lokalen Auftragnehmer: sie haben keine eigenen Anbieter f\u00fcr Cage-In.<\/p>\n

Es stellt sich heraus, dass ihre Umsetzung f\u00fcnf bis sieben Mal teurer ist als das, was wir gemacht haben.<\/p>\n

Links<\/h3>\n

<\/p>\n