🥇Der Alltag eines Rechenzentrums: unerwartete Details nach 7 Jahren Betrieb. Und die Fortsetzung über die Ratte

Ich sage gleich: Die Ratte im gelieferten Server, die wir vor ein paar Jahren mit Tee nach einem Stromschlag aufgepäppelt haben, ist wahrscheinlich entkommen. Denn wir haben kürzlich ihre Freundin bei einer Begehung gesehen. Daher haben wir uns sofort entschieden, Ultraschall-Abwehrgeräte aufzustellen.

Jetzt ist das Land um das Rechenzentrum verflucht: Vögel setzen sich nicht auf das Gebäude, und wahrscheinlich sind alle Maulwürfe und Würmer geflohen. Wir hatten Bedenken, dass der Schall einen HDD-Ausfall verursachen könnte, aber wir haben überprüft, die Frequenzen sind nicht die richtigen.

Die nächste Geschichte ist viel unterhaltsamer. Wir haben einmal für ein paar Millionen Rubel ein Gerät in einer Box mit Neigungssensoren, Vibrationen und Feuchtigkeitssensoren erhalten. Alles heil. Wir haben die Verpackung vorsichtig entfernt, und das Gerät war verbogen. Mystik.

Das Gehäuse ist direkt gebogen. So schön.

Krimi

Wir hätten dem keine Bedeutung beigemessen, denn das gebogene Metallgehäuse sah fast wie ein Designerstück aus. So schön, ohne Absplitterungen. Und wenn nicht andere solche Geräte in der Nähe gewesen wären, hätten wir beim Auspacken nicht einmal gedacht, dass etwas nicht stimmt. Aber daneben waren ähnliche, nur mit einer korrekteren geometrischen Form.

Glücklicherweise wird das Auspacken solcher Geräte auf Video aufgenommen (ich empfehle jedem, sich diese Gewohnheit anzueignen), daher konnten wir dem Hersteller beweisen, dass es so angekommen ist. Eine intakte Verpackung und ein vorsichtig verbogenes Gehäuse sind kein Schlag von den Arbeitern. Höchstwahrscheinlich ist es bereits vor dem Versand nach Russland beschädigt worden.

Der Hersteller sagt: „Ähh, Jungs, lasst uns das gleich im Rahmen der Garantie umtauschen.“ Und hier erwartete uns ein epischer Fallstrick.

Das Problem ist, dass der Zoll uns die Einfuhr solcher Geräte laut Dokumenten ohne Ausfuhrrecht erlaubt. Das heißt, man kann es bringen, aber nicht an jemand anderen außerhalb Russlands verkaufen. Wenn wir zum Beispiel ein defektes Netzteil zurücksenden, ist alles klar. Das ist ein Ersatzteil, ein Netzteil.

Aber hier musste alles zurückgeschickt werden:
— Jungs, schaut, wir senden das Gerät zurück zum Hersteller.
— Das gesamte Gerät?
— Ja.
— So ein Modell?
— Ja.
— Kann es funktionieren?
— Wissen wir nicht, wir haben es nicht eingeschaltet.
— Das heißt, es ist ein komplettes Gerät.
— Nun, es funktioniert nicht.
— Schaut, ein komplettes Gerät dieses Modells. Ohne Recht auf Wiederexport. Lassen wir nicht durch.

Kurz gesagt, es gab viele Sitzungen, bevor wir herausfanden, dass wir es nicht exportieren, sondern zurückgeben. Am Ende gelang es uns, alles zu klären.

Es gab auch Hausschuhe

Vor vielen Jahren hatten wir die erste automatische Fußüberzieher-Maschine, der Traum eines jeden Administrators. Man steckt die Fußüberzieher einfach in einen Haufen hinein, die Maschine packt sie selbst aus, öffnet sie und positioniert sie so, dass man nur noch hineintreten muss. Zipp-zapp und fertig.

Ungefähr ein halbes Jahr später hat sie etwa hundert Packungen Fußüberzieher zermahlen und ist daran erstickt. Es stellte sich heraus, dass sie so viele bewegliche Teile hat, dass man sie entweder einmal im Monat reparieren muss, um mit unserer hohen Auslastung (wir haben viele Ingenieure, die ständig im Rechenzentrum unterwegs sind, weil wir ein kommerzielles Rechenzentrum sind) oder man muss eine neue kaufen.

Das zweite Problem war, dass wir bei einer der regelmäßigen Reinigungen irgendwie ein "blaues Tuch" gefunden haben, das an einem der Gitter unserer Teststation hing. Der Gerichtsmediziner in Form eines Ingenieurs des X-Teams identifizierte es als einen Teil eines Fußüberziehers. Es stellte sich heraus, dass es in der Klinik mit Fußüberziehern praktisch ist: eine halbe Stunde läuft man damit und das war's. Einige Ingenieure können jedoch den ganzen Tag mit der Hardware arbeiten. Schleifend und stark schleifend. Und dabei werden die Fußüberzieher in kleine Fetzen abgerieben, die dann durch den Maschinenraum fliegen.

Fast sofort kauften wir eine neue Fußüberzieher-Maschine. Wir entschieden uns für eine Thermo-Fußüberzieher-Maschine: eine Maschine, in die eine Folie eingelegt wird, und die sie sorgfältig thermisch versiegelt. Schön, effizient und robust. Sie verteilt die Überzieher weniger. Sie stand ziemlich lange bei uns, aber man musste die thermisch versiegelnde Folie ungefähr alle 1-2 Stunden wechseln, weil die Sohle dazu neigt, sich von selbst zu lösen.

Zuerst dachten wir, dass wir einfach Pech haben und dass andere irgendwie dieses Problem lösen. Aber nein. Wir haben unsere westlichen Kollegen gefragt – die haben die gleiche Geschichte. Schließlich begannen wir zu überlegen, wie wir das richtig machen können. Aus dem Maschinenraum für neue Fußüberzieher zurückzukehren – naja, das ist einfach keine gute Idee. Wir fanden industrielle Reiniger für Baustellen und Produktionen. Das sind etwas wie Matten, auf denen das Personal in die Werkstatt tritt. Matten mit einer Menge Rollen, die alles reinigen, und so gebaut, dass sie es auf jeden Fall erfassen und reinigen. Diese kosten etwa eine halbe bis eine Million Rubel. Wir haben nachgerechnet und eine ähnliche für 200.000 gefunden, aber man muss den Fuß selbst hineinstecken. Vom Format her sieht es aus wie eine Schuhputzmaschine. Man geht hin, steckt den Fuß hinein, sie kaut ihn und gibt ihn sauber zurück. Wir haben sie am Eingang zum Rechenzentrum aufgestellt.

Es funktioniert hervorragend, mit Ausnahme von zwei Punkten. Erstens stellte sich schnell heraus, dass es für uns Ingenieure in Ordnung war. In der Praxis kommen jedoch die unterschiedlichsten Menschen in das Rechenzentrum, darunter Führungskräfte großer Unternehmen. Mit Schuhen aus dem Leder von Drachenhinterteilen. Und für die Anwendung von Schuhcreme gibt es eine Bürste, die teurer ist als meine Sportschuhe, die haben dort extra den Flor ausgesucht. Diese Leute weigerten sich, ihre Füße in unser Wundergerät zu stecken. Das zweite Problem trat im Winter auf: Wenn die Schuhe wirklich sehr schmutzig sind, kann der tiefe Profil nicht alles herausholen. Dann läuft man durch den Saal und hinterlässt Spuren von Ektoplasma.

Wir haben es einfach gelöst. Wir haben nebenan eine Rollbahn für Überschuhe aufgestellt. Schließlich muss bei uns alles standardmäßig doppelt vorhanden sein.

Ein neues Problem trat auf. Beobachtend das Verhalten der Ingenieure und Auftraggeber sahen wir folgendes Bild: Zuerst steckten sie ihre Füße in die Reinigungsmaschine, und dann zogen sie die Überschuhe von der Rollbahn an. Jetzt haben wir ein Schild aufgehängt, dass man entweder das eine oder das andere machen soll, und es ist besser, sich zu reinigen, aber wenn die Lebensprinzipien das Reinigen der Schuhe verbieten, dann sollen sie die Überschuhe anziehen. Es schien ein Ticket zu sein, das nur ein paar Tage dauern würde, aber es zog sich lange hin und wurde geschlossen. Hier ist das Gerät:

Zweimal "ku"

Laut den Anforderungen des PCI DSS muss es möglich sein, die Rollen der Personen im Rechenzentrum visuell zu unterscheiden. Ohne genau auf die ID zu schauen und dort etwas zu lesen, sondern direkt visuell, wie Soldaten sich durch die Abzeichen unterscheiden, nur noch deutlicher. Wir entschieden uns, nicht zu prahlen und nutzten die gute alte chatlanische Methode - die farbliche Differenzierung der Hosen. Genauer gesagt, wir fingen an, ID-Bänder in verschiedenen Farben zu erstellen. Grün wurde sofort von unseren Administratoren als ihr Favorit übernommen.

Es klingt einfach, aber das führte zu drei unerwarteten Effekten:

Wir brauchten Retrax für das automatische Einziehen dieser IDs beim Tragen (das sind solche Teile, die die Länge des Bandes selbst regulieren). Wir schrieben ein Lastenheft, in dem wir alle Wünsche aller Abteilungen berücksichtigten. Das war ein strategischer Fehler. Farbe, Format, Material, der Retraktor sollte nicht aus Plastik sein, die Schnur aus Metall, damit das Logo angebracht werden konnte, damit es in das Band eingenäht werden konnte. Die Teile wurden so teuer, dass wir später die Anforderungen zurückschrauben und das Format ändern mussten.
Als die Differenzierung der Bänder in Kraft trat, wurde es sehr bequem. Die Auftragnehmer haben andere Bänder, die externen Administratoren andere, und unsere Administratoren wieder andere. Man sieht, welche Rolle jeder hat. Bei der Elektrik — nur grau, bei der Klimatisierung — blau. Und dann kamen Bänder für die Fahrer hinzu (das ist eine separate Rolle, sie dürfen in die Entladezone, aber nicht anderswohin gehen, außer nach draußen). Dabei benötigen die Fahrer keine Pässe. Zunächst gaben wir ihnen Bänder ohne Pässe. Dann beschlossen die Sicherheitsleute, dass das seltsam ist und die menschliche Würde der Fahrer erniedrigt. Sie haben ihre eigene militärische Logik, deshalb kommen die Fahrer jetzt, um ihren Pass sofort mit dem Band zu bekommen, aber dieser Pass erlaubt keinen Zugang. Aus Sicht der Sicherheit dient es als Marker, dass die Sicherheit diese Person überprüft hat.
Einer unserer Ingenieure schlug vor, anstelle von Bändern grüne Uniformpullover zu machen und reichte einen Rationalisierungsvorschlag ein. Wir haben es halbherzig umgesetzt: Die Pässe mit Bändern blieben, zusätzlich wurden tatsächlich grüne Uniformpullover genäht. Jetzt haben wir eine Admin-Uniform. Die Sicherheitsleute haben den Witz unterstützt und in die Vorschriften aufgenommen. Jetzt ist sie verpflichtend (Hosen, Hemd, Pullover, aber den Pullover kann man ausziehen).

Unsere Kunden beschwerten sich häufig über kurvenreiche Routen in den Karten zum Eingang unseres Rechenzentrums "Kompressor". Man gibt die Adresse ein, und der Weg wird falsch angezeigt. Besucher lenkten oft falsch ab, weil dort eine Eisenbahn und dahinter ein Stau ist, und man dort nicht umdrehen kann. Zunächst wollten wir Hinweisschilder über der Straße anbringen. Es gibt einen solchen Dienst von der Stadt – unter den normalen Schildern zusätzliche gelbe anbringen, sie gelten als Werbung. Der Preis für sie ist wie für Werbung: auf der Enthusiastenstraße kostet ein Schild eine Million Rubel pro Jahr. Gleichzeitig schrieben wir an Yandex, und sie antworteten sogar unerwartet. Und sie hörten auf, sich schlecht zu benehmen. Man kann sogar die Dioden für die Tore angeben: Einfahrt durch die einen, Ausfahrt durch die anderen.

Google, wenn Sie uns hören, wissen Sie bitte: Ihr Problem besteht weiterhin, und wir wissen nicht, wem wir das sagen sollen, damit wir gehört werden.

In die Einladungsmails haben wir Links nicht nur zur Adresse, sondern zur Adresse mit einer geplanten Route von der geografischen Position des Benutzers eingefügt. Dadurch ist die Wahrscheinlichkeit eines Fehlers gesunken.

Gobo-Projektoren und andere Kleinigkeiten

Wissen Sie, was Gobo-Projektoren sind? Wir auch nicht. Wir haben darüber nachgedacht, wie wir die Reihen von Ständern kennzeichnen können. Die Ständer selbst sind natürlich mit speziellen schnell abnehmbaren Markierungen beschriftet, aber diese sind nur aus einer Entfernung von 1-2 Metern sichtbar. Der Raum ist 500 qm groß, daher kann man sich leicht verlaufen. Deshalb haben wir uns schließlich daran gemacht, die Reihen zu kennzeichnen. Brainstorming begann. Wie markiert man, womit und wo? Auf dem Boden, an der Wand, mit Schildern an der Decke usw. Dann sah unser Kollege, dass es bei „IKEA“ früher abriebbare Aufkleber auf dem Boden gab, jetzt aber Lichtpfeile. Also beschlossen wir, es einfach zu machen: Wir gingen zu „IKEA“ und wollten einen der Projektoren aus dem Regal holen. Das klappte nicht: Während wir die Stühle trugen, fragte der Verkäufer, was wir machen. Und er half sofort und sagte, dass es sich um Gobo handelt. Es stellte sich heraus, dass das nicht der Projektor selbst ist, sondern eine Platte oder Linse für farbige Bilder. Dieser Farbfilter ist das Gobo. Ein Projektor kostet ab 40.000 Rubel (dort gibt es eine leistungsstarke Lampe für die Tagesnutzung), und wir haben 14 Reihen in jedem der vier Maschinenräume. Daher haben wir Aufkleber angebracht.

Auch unsere Pläne an den Wänden verblassen im Laufe der Jahre. Wir haben sie durch laminierte Pläne mit „eingebauten“ speziellen Taschen für den Reviseur ersetzt. Der Reviseur in unserem Fall ist der Hauptingenieur, dessen Aufgabe es ist, die Aktualität aller im Rechenzentrum angezeigten Pläne zu überprüfen. Alle Pläne müssen jährlich geprüft und von diesem Reviseur unterschrieben werden. Das Vorhandensein eines speziellen kleinen Protokolls in der Tasche des Plans erleichtert dieses Verfahren und erfordert nicht alle drei Jahre einen Austausch des Plans. Profit!

Wir haben eine Rotationsreinigung des falschen Bodens von außen durchgeführt. Wir haben regelmäßige Reinigungen, es gibt Methoden und Zeitpläne für die Reinigungen. Aber von den schweren Ständern bleiben Spuren zurück. Wir haben die Reinigung durchgeführt. Jetzt sind wir nervös: Es sieht nicht besonders viel besser aus, aber es gibt Reflexionen aus bestimmten Winkeln bei bestimmten Personen, die ihre Markierungen nach ihrem Geschmack haben. Jetzt denken wir darüber nach und suchen nach einer Chemie, die den Boden bleichen und ihm Glanz verleihen könnte. Damit es selbst bei den Auserwählten keine Fragen gibt.

Haben Sie die Konsolenstände gesehen? Das sind diese mobilen Stehtische für Buffets, nur dass dort anstelle von Getränken ein Terminal zum Anschließen an den Stand vorhanden ist. Bei diesen Konsolenständen sind die Rollen abgebrochen und blockieren, wie bei Einkaufswagen im Supermarkt. Das hat uns enorm genervt. Letztendlich war die einzige Möglichkeit, sie wieder funktionsfähig zu machen – ein neues Rad zu kaufen. Und die spezifischen Räder für unsere Modelle haben wir nirgendwo bekommen, wir haben alle möglichen Lieferanten kontaktiert. Also haben wir selbst einen Stand entworfen, der auf die einfache Bewegung im Maschinenraum und Reparierbarkeit ausgerichtet ist. Es ist sehr gut gelungen.

Es gab eine Geschichte mit synthetischen Socken. Es gibt so etwas – antistatische Armbänder. Das ist, wenn du zum Stand gehst, das Armband mit dem Erdungspunkt am Stand verbindest und es sich mit dem System zur Potentialausgleichung verbindet. Der Stand ist also geerdet, aber es könnte sein, dass der Ingenieur nicht geerdet ist. Kollegen von früheren Arbeitsstellen haben erzählt, dass sie ein paar Mal Funken auf der Videoüberwachung gesehen haben, und wir haben uns entschlossen, aus Sicherheitsgründen alle gemäß den Vorschriften zur Nutzung zu verpflichten.

Kritische Vorfälle

Es gab eine ernsthafte Situation, als plötzlich alle Chiller ausfielen. Unsere Chiller sind nicht durch USV geschützt, weil wir an die Physik glauben, und als Temperaturrückhalt haben wir einen Pool mit gekühltem Wasser. Wenn etwas ausfällt, benötigen wir keine Batterien, um die Chiller, die das Wasser kühlen, mit Strom zu versorgen, sondern einfach nur kaltes Wasser, das bereits bereitsteht. Praktisch und einfach, aber es gibt einen Haken. An den Chillern gibt es eine Sicherheitsautomatik, die sie bei gefährlichen Parametern im Stromnetz automatisch abschaltet. Wenn die Einspeisung ausfällt, schalten wir die Notstromaggregate ein, und die Chiller werden von diesen versorgt. Das wäre alles gut, wenn wir nicht in Russland leben würden. Wir hatten schon mehrfach Spannungseinbrüche im Netz, aber es lief gut. Doch eines Tages gab es einen plötzlichen Sprung, zunächst nach unten, dann schnell nach oben und dann wieder nach unten - innerhalb weniger Sekunden schwankten die Parameter in etwa um das Vierfache. Die Chiller schalteten sich selbstverständlich ab. Wir haben zuerst versucht, sie remote einzuschalten, aber sie haben sich sehr zuverlässig und notfallmäßig selbst geschützt. Ich musste also persönlich aufs Dach gehen und sie manuell anbringen. Wichtig ist, dass so eine Situation gemäß Tier-III-Standard einen legitimen Grund für die Stilllegung des Rechenzentrums darstellt. Eine Stilllegung gab es bei uns nicht, weil die Leute vor Ort klug sind und wir regelmäßig Übungen durchführen. Dafür wurde unser UI regelmäßig mit dem Ziel überprüft, sicherzustellen, dass wir TIII Operational sind. Übrigens haben wir die Rezertifizierung von UI für TIII Gold – Operative Nachhaltigkeit bestanden. Auf dem russischen kommerziellen Markt für Rechenzentren gibt es nichts Besseres, abgesehen von unserem, das die gleiche Auszeichnung hat. RechenzentrumIch möchte anmerken, dass es schwieriger ist, sich rezertifizieren zu lassen, als ein Zertifikat von Grund auf zu erhalten, da sie auch den vergangenen Zeitraum prüfen, was ein wenig chaotisch ist, und es wesentlich mehr Nachweise erfordert.

Es gab einen interessanten Vorfall mit den Kameras. Wir beschlossen, die toten Winkel aus Sicherheitsgründen zu überprüfen, zeichneten die Überschneidungen auf, erstellten diagonale Sichtlinien auf dem Plan, und plötzlich fanden wir einen toten Bereich von etwa 30 Zentimetern auf 15 Metern genau in der Mitte eines der Räume. Schmal und lang. Im benachbarten Raum gab es so etwas nicht. Es stellte sich heraus, dass die schwenkbare Kamera über die Jahre hinweg so langsam verrutschte, dass sie jetzt etwa anderthalb Grad nach links zeigt, als sie sollte, wenn sie in der extremeren Position ist.

Ein weiterer großer Vorfall war im Beitrag über den Austausch des DDIBP..