🥇Alltag im Rechenzentrum: Unauffällige Details nach 7 Jahren Betrieb. Und die Fortsetzung zur Ratte

Ich sage es gleich: Die Maus im gelieferten Server, die wir vor ein paar Jahren nach einem Stromschlag mit Tee gefüttert haben, ist wahrscheinlich entwischt. Denn wir haben neulich ihr Freundchen während einer Inspektion gesehen. Und sofort entschieden, Ultraschallabschreckgeräte aufzustellen.

Jetzt ist das Land um das Rechenzentrum verflucht: Auf dem Gebäude setzen sich keine Vögel nieder, und wahrscheinlich sind alle Maulwürfe und Würmer geflohen. Wir waren besorgt, dass der Ton einen HDD-Ausfall verursachen könnte, aber wir haben es überprüft, die Frequenzen sind nicht die richtigen.

Die nächste Geschichte ist viel lustiger. Wir erhielten einmal eine Hardware für mehrere Millionen Rubel in einer Box mit Neigungssensoren, Vibrationen und Feuchtigkeit. Alles intakt. Vorsichtig die Verpackung entfernt, und das Metallteil war verbogen. Mysteriös.

Das Gehäuse ist wirklich bogenförmig. Sehr schön.

Detektiv

Wir hätten dem keine Bedeutung beigemessen, da das gebogene Metallgehäuse fast wie ein Designerstück aussah. Sehr schön, ohne Absplitterungen. Und wenn nicht die anderen gleichartigen Metallteile daneben gewesen wären, hätten wir bei der Auspackung nicht einmal gedacht, dass etwas nicht stimmt. Aber daneben waren solche, nur in einer korrekteren geometrischen Form.

Zum Glück wird das Auspacken solcher Hardware gefilmt (ich empfehle jedem, sich diese Gewohnheit anzulegen), weshalb wir dem Hersteller nachweisen konnten, dass sie in diesem Zustand angekommen ist. Die gesamte Verpackung und das ordentlich gebogene Gehäuse sind kein Schlag von den Möbelpackern. Wahrscheinlich wurde es schon vor dem Versand nach Russland beschädigt.

Der Anbieter sagt: „Ähh, Leute, lasst uns das gleich im Rahmen der Garantie umtauschen.“ Und hier erwartete uns eine epische Falle.

Das Problem ist, dass der Zoll uns erlaubt, solche Geräte mit den richtigen Dokumenten ohne Ausfuhrrecht einzuführen. Man kann sie also importieren, aber nicht weiterverkaufen. Wenn wir beispielsweise ein defektes Netzteil zurückschicken, ist alles klar. Das ist ein Ersatzteil, ein Netzteil.

Aber hier musste alles zurückgeschickt werden:
— Leute, seht her, wir schicken die Hardware zurück zum Hersteller.
— Die gesamte Ausstattung?
— Ja.
— So ein Modell?
— Ja.
— Kann es funktionieren?
— Wissen wir nicht, haben es nicht eingeschaltet.
— Das heißt, es handelt sich um die gesamte Ausrüstung.
— Aber sie funktioniert nicht.
— Schaut, die gesamte Ausrüstung dieses Modells. Ohne Ausfuhrrecht. Lassen wir nicht passieren.

Insgesamt gab es viele Herausforderungen, bis wir herausfanden, dass wir es nicht exportieren, sondern zurückgeben. Letztendlich haben wir es dann hinbekommen.

Es gab auch Überziehschuhe.

Vor vielen Jahren hatten wir unser erstes automatisches Modell, ein Traum für Administratoren. Man steckt eine ganze Packung Überziehschuhe hinein, und sie packt sie selbst aus, öffnet sie und platziert sie so, dass man nur noch hineintreten muss. Zzip-zap und fertig.

Nach etwa einem halben Jahr hatte sie rund hundert Packungen Überziehschuhe durchgekaut und war verstopft. Es stellte sich heraus, dass es so viele bewegliche Teile gibt, dass man sie entweder einmal im Monat bei unserer Auslastung reparieren muss (wir haben sehr viele Ingenieure, die auf der Baustelle unterwegs sind, weil wir ein kommerzielles Rechenzentrum sind), oder man muss eine neue kaufen.

Das zweite Problem war, dass wir bei einer der regelmäßigen Reinigungen irgendwie ein "blaues Tuch" gefunden haben, das an einem der Testgestelle hing. Der Gerichtsmediziner in Form des Ingenieurs vom X-Team identifizierte ein Fragment einer Überschuh. Es stellte sich heraus, dass dies in der Klinik mit Überschuhen praktisch ist: Eine halbe Stunde getragen – und das war alles. Einige Ingenieure können jedoch den ganzen Tag mit Hardware arbeiten. Scharren mit den Füßen. Ganz stark scharren. Und die Überschuhe verschleißen dabei zu diesen kleinen Fetzen, die durch den Maschinenraum fliegen.

Wir haben fast sofort einen neuen Überschuhe-Generator gekauft. Wir haben einen Thermo-Überschuhe-Generator genommen: eine Maschine, in die eine Folie geladen wird, und sie zieht diese Folie sorgfältig mit Wärme über den Schuh. Schön, effizient, stabil. Weniger Verstreuung. Sie stand ziemlich lange bei uns, aber etwa alle 1-2 Stunden musste die Thermo-Schrumpffolie gewechselt werden, da die Sohle die Eigenschaft hatte, sich selbst zu lösen.

Zunächst dachten wir, dass wir einfach Pech haben, während andere diese Probleme scheinbar lösen. Doch so war es nicht. Wir haben unsere westlichen Kollegen gefragt – und die haben die gleiche Erfahrung gemacht. Schließlich haben wir angefangen, darüber nachzudenken, wie wir das besser machen können. Ständig aus dem Maschinenraum zu kommen, um neue Überschuhe zu holen – das ist, gelinde gesagt, keine praktische Idee. Schließlich haben wir industrielle Reiniger für Baustellen und Produktionsstätten entdeckt. Das sind im Grunde genommen Matten, über die die Schicht ins Werk geht. Diese Matten sind mit zahlreichen Rollen ausgestattet, die alles reinigen und so konzipiert sind, dass sie es einfach tun, egal ob man es will oder nicht. Diese kosten zwischen einer halben und einer Million Rubel. Nach einigem Suchen fanden wir eine ähnliche für 200.000, aber man muss den Fuß selbst hineinstecken. Sie sieht aus wie eine Schuhputzmaschine. Man tritt näher, steckt den Fuß hinein, und sie reinigt ihn und gibt ihn wieder sauber zurück. Wir haben sie am Eingang zum Rechenzentrum aufgestellt.

Es funktioniert hervorragend, abgesehen von zwei Aspekten. Erstens stellte sich schnell heraus, dass es für uns Ingenieure in Ordnung ist. In der Praxis kommen jedoch die unterschiedlichsten Menschen ins Rechenzentrum, darunter auch Führungskräfte großer Unternehmen. Mit Schuhen aus Drachenleder. Und für die Anwendung von Schuhcreme haben sie sogar eine Bürste, die teurer ist als meine Trainingsschuhe; dort wählen sie den Flor speziell aus. Diese Personen weigerten sich, ihre Füße in unser Wundergerät zu stecken. Das zweite Problem trat im Winter auf: Wenn die Schuhe wirklich sehr schlammig sind, können sie nicht alles aus dem tiefen Profil herausholen. Dann läuft man durch den Raum und hinterlässt Spuren wie Ektoplasma.

Wir haben es einfach gelöst. Wir haben einen Rollständer für Überschuhe daneben gestellt. Schließlich müssen wir alles nach Standard duplizieren.

Ein neues Problem ist aufgekommen. Bei der Beobachtung des Verhaltens der Ingenieure haben wir Folgendes festgestellt: Sie steckten zuerst den Fuß in die Reinigungsmaschine und ziehen dann die Schuhe von einem Rollen-Bahillchen an. Jetzt haben wir ein Schild aufgehängt, dass man entweder das eine oder das andere machen soll, und es ist besser, sich zu reinigen. Wenn die Lebensgrundsätze allerdings das Reinigen der Schuhe verbieten, dann sollen einfach die Bahillchen angezogen werden. Ein Ticket, das eigentlich nur ein paar Tage dauern sollte, hat sich inzwischen lange hingezogen und wurde nun geschlossen. Hier ist das Gerät:

Zweimal „ku“

Gemäß den Anforderungen an PCI DSS müssen wir in der Lage sein, die Rollen der Personen im Rechenzentrum visuell zu unterscheiden. Nicht indem wir auf den Ausweis schauen und dort etwas lesen, sondern einfach visuell, so wie die Militärs einander durch Rangabzeichen unterscheiden, nur noch heller. Wir haben beschlossen, es nicht kompliziert zu machen und haben die bewährte Methode der Farbunterscheidung verwendet – durch farbige Bänder für die Ausweise. Grün, wie unser Liebling, wurde sofort von unseren Admins übernommen.

Das klingt einfach, brachte jedoch drei unerwartete Effekte mit sich:

Wir benötigten Retraktoren für die automatische Rückführung dieser Ausweise beim Tragen (das sind die Teile, die selbst die Länge des Bandes regulieren). Wir haben ein Lastenheft erstellt, in dem wir alle Wünsche der Abteilungen berücksichtigt haben. Das war ein strategischer Fehler. Farbe, Format, Material, der Retraktor sollte nicht aus Plastik sein, die Schnur aus Metall, um das Logo anzubringen, und er sollte in das Band eingearbeitet werden. Am Ende wurden die Teile so teuer, dass wir die Anforderungen nachträglich kürzen und das Format ändern mussten.
Als die Differenzierung der Anhänger funktionierte, wurde es sehr praktisch. Bei den Auftragnehmern gibt es eine Art von Bändern, bei den externen Administratoren eine andere und bei unseren Administratoren wiederum eine dritte. Man sieht, welche Rolle jemand hat. In der Elektrotechnik sind es nur graue Bänder, in der Klimatisierung sind sie blau. Dann gab es auch Bänder für die Fahrer (das ist eine separate Rolle, sie dürfen in den Entladebereich hinein, aber nicht hinaus, außer nach draußen). Dabei benötigen die Fahrer keine speziellen Ausweise. Zunächst gaben wir ihnen Bänder ohne Ausweise. Dann entschieden die Sicherheitskräfte, dass das doch seltsam sei und die Würde der Fahrer beeinträchtige. Sie haben ihre eigene militärische Logik, deshalb kommen die Fahrer jetzt, um ihren Ausweis zusammen mit dem Band zu erhalten, aber dieser Ausweis gewährt keinen Zugang. Aus Sicht der Sicherheit dient es als Marker, dass der Sicherheitsdienst diese Person überprüft hat.
Einer unserer Techniker schlug vor, statt Bändern grüne Uniformpullover zu machen. Er reichte auch einen Verbesserungsvorschlag ein. Wir haben es halbherzig umgesetzt: die Bänder wurden beibehalten, und wir haben tatsächlich grüne Uniformpullover genäht. Jetzt haben wir eine Admin-Uniform. Die Sicherheitsleute fanden den Scherz lustig und haben ihn in die Richtlinien aufgenommen. Jetzt ist es Pflicht (Hosen, Hemd, Pullover, aber den Pullover kann man ablegen).

Außerdem haben sich unsere Kunden oft über fehlerhafte Routen in den Karten bis zum Eingang unseres Rechenzentrums „Kompressor“ beschwert. Man gibt die Adresse ein, aber die Straße wird falsch angezeigt. Letztendlich bogen die Besucher an der falschen Stelle ab, da dort ein Bahnübergang ist und dahinter ein Stau, wo man nicht wenden kann. Zunächst wollten wir Schilder über der Straße anbringen. Die Stadt bietet einen solchen Service an – man kann unter den regulären Schildern zusätzliche gelbe Schilder anbringen; diese gelten als Werbung. Und die Preise dafür sind wie bei Werbung: ein Schild an der Enthusiasten-Autobahn kostet eine Million Rubel pro Jahr. Parallel dazu haben wir an Yandex geschrieben, und sie haben überraschenderweise geantwortet. Sie hörten auf, sich daneben zu benehmen. Man kann sogar die Diode des Tores angeben: Eingang durch das eine, Ausgang durch das andere.

Google, wenn Sie uns lesen, wissen Sie: Es gibt immer noch ein Problem, und wir wissen nicht, an wen wir uns wenden sollen, um gehört zu werden.

In die Einladungs-E-Mails wurden nicht nur Adressen eingefügt, sondern auch Routen, die von der Geoposition des Nutzers abgeleitet werden. Dadurch kam es seltener zu Fehlleitungen.

Gobo-Projektoren und andere Kleinigkeiten

Wissen Sie, was Goboprojektoren sind? Wir auch nicht. Wir dachten irgendwann darüber nach, wie wir die Reihen der Ständer kennzeichnen sollten. Die Ständer selbst sind selbstverständlich mit speziellen abnehmbaren Markierungen versehen, doch diese sind aus einer Distanz von 1-2 Metern kaum sichtbar. Der Raum hat eine Fläche von 500 qm, da gibt es genug Platz, um sich zu verlieren. Daher haben wir uns entschieden, auch die Reihen zu kennzeichnen. Ein Brainstorming begann. Wie sollen wir kennzeichnen, womit und wo? Auf dem Boden, an der Wand, Hinweise an der Decke usw. Dann bemerkte ein Kollege, dass es bei Ikea früher abnutzbare Aufkleber auf dem Boden gab, und später leuchtende Pfeile. Also beschlossen wir einen einfachen Ansatz: Wir gehen zu Ikea und versuchen, einen der Projektoren zu betrachten. Leider konnten wir ihn nicht herausnehmen; während wir die Stühle trugen, fragte der Verkäufer, was wir machen würden. Er half sofort und sagte, dass es sich um ein Goboprojektor handelt. Es stellte sich heraus, dass es nicht der Projektor selbst ist, sondern eine Platte oder Linse für farbige Bilder. Dieser Lichtfilter ist das Gobos. Ein Projektor kostet ab 40.000 Rubel (es gibt eine leistungsstarke Lampe für den Tagesgebrauch), und wir haben 14 Reihen in jedem der vier Maschinenräume. Daher haben wir Aufkleber angebracht.

Unsere Schaltpläne an den Wänden verblassen mit den Jahren. Wir haben sie durch laminierte Pläne ersetzt, die mit speziellen Taschen für den 'Revisor' ausgestattet sind. Der Revisor, in unserem Fall der leitende Ingenieur, ist dafür verantwortlich, die Aktualität aller im Rechenzentrum platzierten Pläne zu überprüfen. Alle Pläne müssen jährlich kontrolliert und vom Revisor signiert werden. Das Vorhandensein eines speziellen kleinen Journals in der Tasche des Plans erleichtert diesen Prozess und erspart den Austausch des Plans alle drei Jahre. Ein Gewinn!

Wir haben eine rotierende Reinigung des Fußbodens von außen durchgeführt. Wir haben regelmäßige Reinigungen und Methoden sowie Zeitpläne für die Reinigungen. Doch die schweren Racks hinterlassen Spuren. Wir haben die Reinigung durchgeführt. Jetzt sind wir etwas nervös: Die Sicht hat sich nicht stark verbessert, aber es gibt jetzt reflektierende Stellen aus bestimmten Blickwinkeln bei bestimmten Personen, die ihre eigenen Marker haben. Jetzt denken wir darüber nach und suchen nach einem chemischen Mittel, das den Boden aufhellt und ihm Glanz verleiht. So dass selbst bei den Auserwählten keine Fragen offen bleiben.

Haben Sie die Konsolenständer gesehen? Das sind die mobilen Buffet-Tische, nur dass es anstelle von Getränken einen Anschlussterminal gibt. Diese Konsolenständer haben Räder, die sich lösen und klemmen, wie bei Einkaufswagen im Supermarkt. Es hat uns unglaublich gestört. Letztendlich war der einzige Weg, sie wieder funktionsfähig zu machen – ein neues Rad zu kaufen. Räder speziell für unsere Modelle zu finden, war jedoch nicht möglich, trotz der Befragung aller Anbieter. Schließlich haben wir uns entschieden, den Ständer selbst zu entwerfen, wobei wir den Schwerpunkt auf die Mobilität im Maschinenraum und die Wartungsfreundlichkeit gelegt haben. Das Ergebnis ist sehr gelungen.

Es gab eine Geschichte mit synthetischen Socken. Es gibt so etwas wie antistatische Armbänder. Dabei kommt man an den Ständer, verbindet das Armband mit der Erde am Ständer und es wird mit dem System zur Potentialausgleichung verknüpft. Der Ständer ist zwar geerdet, aber es kann sein, dass der Ingenieur nicht geerdet ist. Kollegen aus vorhergehenden Arbeitsstellen erzählten, dass sie ein paar Mal auf der Videoüberwachung Funken gesehen haben, und wir haben beschlossen, aus Vorsicht alle verbindlich zu verpflichten, die Vorschriften einzuhalten.

Kritische Vorfälle

In der Tat hatten wir einmal eine Situation, in der alle Chiller gleichzeitig ausfielen. Unsere Chiller sind nicht durch eine unterbrechungsfreie Stromversorgung (USV) geschützt, da wir auf physikalische Lösungen vertrauen. Als Temperaturschutz haben wir einen Pool mit gekühltem Wasser. Wenn etwas ausfällt, benötigen wir nicht die Batterien für die Chiller, die das Wasser kühlen, sondern einfach das bereits kalte Wasser. Praktisch und einfach, aber es gibt einen Haken. An den Chillern ist eine Schutzeinrichtung installiert, die sie bei gefährlichen Werten im Stromnetz abschaltet. Wenn der Strom ausfällt, schalten wir die Dieselgeneratoren (DGU) ein, und die Chiller werden von diesen gespeist. Das wäre alles in Ordnung, wenn wir nicht in Russland leben würden. Wir hatten schon oft Spannungseinbrüche, aber es war immer alles gut. Doch einmal gab es einen plötzlichen Sprung – zuerst nach unten, dann schnell nach oben, dann wieder nach unten – die Eingangsparameter änderten sich innerhalb weniger Sekunden etwa um das Vierfache. Die Chiller schalteten sich natürlich ab. Wir haben zunächst versucht, sie aus der Ferne neu zu starten, aber sie haben sich sehr zuverlässig in den Notfallmodus versetzt. Wir mussten also zu Fuß aufs Dach gehen, um sie manuell einzuschalten. Wichtig ist, dass gemäß Tier III-Standard eine solche Situation einen legitimen Grund für die Stilllegung eines Rechenzentrums darstellt. Bei uns gab es keine Ausfallzeiten, weil die Leute vor Ort kompetent sind und es regelmäßige Schulungen gibt. Dafür hat uns die UI regelmäßig kontaktiert, um sicherzustellen, dass wir den TIII-Betriebsstandard erfüllen. Übrigens haben wir die Rezertifizierung der UI für TIII Gold – Operative Nachhaltigkeit bestanden. Auf dem russischen kommerziellen Markt für Rechenzentren gibt es nichts Vergleichbares, außer einem weiteren Anbieter, der ebenfalls diese Auszeichnung besitzt. Rechenzentrum. Ich möchte darauf hinweisen, dass es schwieriger ist, sich rezertifizieren zu lassen, als ein Zertifikat von Grund auf zu erhalten, da auch der vorherige Zeitraum geprüft wird und wesentlich mehr Nachweise erforderlich sind.

Es gab einen interessanten Vorfall mit den Kameras. Wir haben beschlossen, die blinden Flecken zur Sicherheit zu zählen, Kreuzungen gezeichnet und die Diagonalen der Sichtwinkel im Plan erstellt, und plötzlich fanden wir einen toten Winkel von etwa 30 Zentimetern auf 15 Metern genau in der Mitte eines der Räume. Schmal und lang. Im Nachbarraum gibt es so etwas nicht. Es stellte sich heraus, dass die Schwenkkamera sich über die Jahre langsam so verschoben hat, dass sie etwa anderthalb Grad weiter links zeigt, als sie im Extremfall sollte.

Ein weiterer großer Vorfall war im Post über den Austausch von DDIBP.