Alltag eines Rechenzentrums: nicht offensichtliche Kleinigkeiten über 7 Jahre Betrieb. Und eine Fortsetzung über die Ratte

Alltag eines Rechenzentrums: nicht offensichtliche Kleinigkeiten über 7 Jahre Betrieb. Und eine Fortsetzung über die Ratte

Ich sage gleich: Die Ratte im mitgebrachten Server, der wir vor ein paar Jahren nach einem Stromschlag Tee gegeben haben, ist höchstwahrscheinlich entkommen. Denn wir haben ihre Freundin einmal auf einer Runde gesehen. Und wir haben uns sofort für die Installation von Ultraschall-Repellern entschieden.

Jetzt liegt rund um das Rechenzentrum ein verfluchtes Land: Keine Vögel werden mehr auf dem Gebäude landen, und wahrscheinlich sind alle Maulwürfe und Würmer entkommen. Wir haben uns darüber Sorgen gemacht Ton kann Ursache für Festplattenfehler, aber überprüft, die Frequenzen sind nicht gleich.

Die nächste Geschichte macht viel mehr Spaß. Wir haben einmal für ein paar Millionen Rubel ein Stück Hardware in einer Box mit Neigungs-, Vibrations- und Feuchtigkeitssensoren erhalten. Alles ist ganz. Entfernen Sie vorsichtig die Verpackung und das Stück Eisen war verbogen. Mystiker.

Der Körper ist gerade in einem Bogen. So schön.

Detektivgeschichte

Darauf würden wir keinen Wert legen, denn der geschwungene Metallkörper war schon fast ein Designbild. So schön, keine Chips. Und wenn es nicht andere ähnliche Hardware-Teile in der Nähe gäbe, hätten wir beim Auspacken nicht einmal gedacht, dass etwas nicht stimmt. Aber in der Nähe gab es dieselben, nur mit einer regelmäßigeren geometrischen Form.

Glücklicherweise wird das Auspacken solcher Hardware gefilmt (ich empfehle jedem, sich das anzuwöhnen), sodass wir dem Hersteller nachweisen konnten, dass es so angekommen ist. Ein intaktes Paket und eine ordentlich gebogene Karosserie sind kein Schlag für die Umzugsunternehmen. Höchstwahrscheinlich wurde sie bereits vor ihrer Abreise nach Russland verletzt.

Der Verkäufer sagt: „Äh, Leute, lasst es uns im Rahmen der Garantie sofort für euch austauschen.“ Und dann erwartete uns ein epischer Hinterhalt.

Tatsache ist, dass der Zoll uns die Einfuhr solcher Geräte mit Dokumenten ohne Ausfuhrrecht erlaubt. Das heißt, Sie können es mitbringen, aber nicht an jemanden außerhalb Russlands weiterverkaufen. Wenn wir beispielsweise ein durchgebranntes Netzteil zurücksenden, ist alles klar. Dies ist ein Ersatzteil, ein Netzteil.

Und dann musste ich alles zurückschicken:
- Leute, seht mal, wir schicken das Stück Hardware an den Hersteller zurück.
- Komplette Ausrüstung?
- Ja.
— Modell so und so?
- Ja.
- Kann arbeiten?
– Wir wissen es nicht, wir haben es nicht eingeschaltet.
- Das ist also ein ganzes Gerät.
- Nun, es funktioniert nicht.
- Schauen Sie, die gesamte Ausstattung ist von diesem Modell. Keine Wiederausfuhrrechte. Wir lassen dich nicht rein.

Im Allgemeinen gab es viele Besetzungen, bevor wir herausfanden, dass wir es nicht exportierten, sondern zurückgaben. Am Ende haben wir alles geschafft.

Es gab auch Schuhüberzüge

Erstens hatten wir vor vielen Jahren die erste automatische Lösung, der Traum eines jeden Administrators. Man lädt dort eine Packung Schuhüberzüge hinein, er packt sie selbstständig aus, öffnet sie und stellt sie in eine Position, in der man gerade noch darauf treten muss. Chp-chpk und fertig.

Nach etwa sechs Monaten kaute sie etwa hundert Packungen Überschuhe durch und verschluckte sich. Es stellte sich heraus, dass es so viele bewegliche Teile gibt, dass wir sie entweder einmal im Monat an unserem Standort reparieren müssen (wir haben viele Kundentechniker, die in der Anlage herumlaufen, weil wir ein kommerzielles Rechenzentrum sind) oder dass wir sie kaufen müssen ein neuer.

Das zweite Problem besteht darin, dass wir später bei einer der regelmäßigen Reinigungen irgendwie einen „kleinen blauen Lappen“ fanden, der am Rost eines unserer Testgestelle hing. Der forensische Experte, vertreten durch einen X-Team-Ingenieur, identifizierte ein Fragment des Körpers des Schuhüberzugs. Es stellte sich heraus, dass es bequem war, in der Klinik Überschuhe zu tragen: Ich lief eine halbe Stunde herum und das war’s. Und manche Ingenieure können den ganzen Tag mit Hardware arbeiten. Schlurfende Füße. Viel schlurfen. Und die Schuhüberzüge zerfallen zu kleinen Fetzen, die durch die Turbinenhalle fliegen.

Wir haben fast sofort einen neuen Schuhüberzug gekauft. Wir haben einen Thermo-Stiefelkoffer genommen: Dabei handelt es sich um eine Maschine, in die eine Folie eingelegt wird und die diese Folie vorsichtig auf die Oberseite des Schuhs aufschrumpft. Schön, effektiv, langlebig. Weniger Streuung. Wir hatten sie recht lange, allerdings mussten wir die Schrumpffolie etwa alle 1-2 Stunden wechseln, da die Sohle dazu neigte, von selbst abzufallen.

Zuerst dachten wir, wir hätten Pech gehabt, aber die Leute lösen dieses Problem irgendwie. Aber nein. Wir haben unsere westlichen Kollegen gefragt – die gleiche Geschichte. Daraufhin begannen sie darüber nachzudenken, wie sie es richtig machen sollten. Aus der Turbinenhalle zurückzukehren und neue Schuhüberzüge zu holen, ist ehrlich gesagt eine mittelmäßige Idee. Wir haben Industriereiniger für Baustellen und Industrie gefunden. Das sind so etwas wie Wege, auf denen die Schicht in die Werkstatt gelangt. Wege mit einem Bündel Walzen reinigen alles und sind so konstruiert, dass sie, ob Sie es wollen oder nicht, sich festhalten und reinigen können. Sie kosten eine halbe bis eine Million Rubel. Wir haben herumgestöbert und das Gleiche für 200 gefunden, aber man muss selbst seinen Fuß hineinsetzen. Die Größe ähnelt einer Schuhputzmaschine. Du kommst hoch, steckst deinen Fuß hinein, sie kaut darauf und gibt es sauber zurück. Sie platzierten es am Eingang des Rechenzentrums.

Es funktioniert großartig, bis auf zwei Probleme. Erstens wurde schnell klar, dass das für uns Ingenieure normal ist. Doch in der Praxis kommen die unterschiedlichsten Menschen ins Rechenzentrum, darunter auch Spitzenmanager großer Unternehmen. Mit Schuhen aus Leder aus einem Drachenarsch. Und selbst zum Eincremen von Schuhen kostet ihre Bürste mehr als meine Trainingsschuhe, die Borsten werden speziell ausgewählt. Sie waren es, die sich weigerten, ihre Füße in unser Wundergerät zu stecken. Das zweite Problem trat im Winter auf: Wenn die Schuhe richtig schmutzig sind, kriegen sie nicht alles aus dem tiefen Profil heraus. Dann gehen Sie durch die Halle und hinterlassen Spuren von Ektoplasma.

Wir haben uns einfach entschieden. Daneben haben wir einen gerollten Schuhüberzug platziert. Trotzdem müssen wir alles gemäß dem Standard duplizieren.

Es ist ein neues Problem aufgetreten. Als wir das Verhalten der Kundeningenieure beobachteten, sahen wir das folgende Bild: Sie steckten zuerst ihre Füße zum Reinigen in die Maschine und hakten dann Schuhüberzüge von einem gerollten Schuhüberzug ein. Jetzt haben sie ein Schild angebracht, das darauf hinweist, dass es entweder das eine oder das andere ist, und dass es besser ist, sich selbst zu reinigen, aber wenn die Grundsätze des Lebens das Reinigen Ihrer Schuhe verbieten, dann tragen Sie Überschuhe. Es scheint, dass das Ticket, das für ein paar Tage galt, aber lange gültig war, geschlossen wurde. Hier ist das Gerät:

Alltag eines Rechenzentrums: nicht offensichtliche Kleinigkeiten über 7 Jahre Betrieb. Und eine Fortsetzung über die Ratte

„ku“ zweimal

Gemäß den PCI-DSS-Anforderungen müssen Sie in der Lage sein, die Rollen der Personen im Rechenzentrum visuell zu unterscheiden. Ohne genau auf den Pass zu schauen und dort etwas zu lesen, sondern direkt visuell, wie sich Militärangehörige an ihren Schultergurten unterscheiden, nur noch heller. Wir beschlossen, nicht anzugeben und verwendeten die gute alte Chatlan-Methode – die farbliche Differenzierung von Hosen. Insbesondere begannen sie, Passbänder in verschiedenen Farben herzustellen. Unsere Admins wählten Green sofort als ihren Favoriten.

Es klingt einfach, verursachte aber drei unerwartete Effekte:

  1. Um diese Durchgänge beim Tragen automatisch zurückzuziehen, waren Retraktoren erforderlich (das sind Dinge, die selbst die Länge des Bandes regulieren). Wir verfassten eine technische Spezifikation, die alle Wünsche aller Abteilungen berücksichtigte. Das war ein strategischer Fehler. Farbe, Format, Material, der Aufroller ist nicht aus Kunststoff, die Angelschnur ist aus Metall, um das Logo so anzubringen, dass es in das Band eingenäht ist. Die Stücke erwiesen sich als so teuer, dass wir die Anforderungen kürzen und das Format ändern mussten.
  2. Als die Differenzierung der Hosen zu funktionieren begann, wurde sie sehr praktisch. Auftragnehmer haben einige Bänder, externe Administratoren haben andere und unsere Administratoren haben andere. Sie können sehen, wer welche Rolle hat. Für Elektrik - nur graue, für Klimaanlage - blau. Und dann brauchten wir Bänder für die Fahrer (das ist eine separate Rolle, sie können den Entladebereich betreten, ihn aber nur draußen verlassen). Autofahrer benötigen keinen Pass. Zuerst haben wir ihnen Bänder ohne Ausweise gegeben. Dann entschieden die Sicherheitsleute, dass dies völlig seltsam sei und die Menschenwürde der Fahrer erniedrige. Sie haben ihre eigene militärische Logik, und jetzt kommen die Fahrer, um sofort einen Pass mit einer Schleife zu erhalten, aber dieser Pass erlaubt ihnen nicht, irgendwohin zu fahren. Aus Sicht der Sicherheit stellt es sich als Zeichen dafür heraus, dass die Sicherheitskräfte diese Person überprüft haben.
  3. Einer unserer Ingenieure schlug vor, statt Bändern grüne Uniformpullover herzustellen. Und er schickte einen Rationalisierungsvorschlag. Sie haben es auf halbem Weg geschafft: Sie haben die Pässe mit dem Band belassen, außerdem haben sie tatsächlich die grünen Uniformpullover genäht. Jetzt haben wir eine Admin-Uniform. Sicherheitsleute unterstützten den Witz und nahmen ihn in die Vorschriften auf. Jetzt ist es Pflicht (Hose, Hemd, Pullover, aber der Pullover kann ausgezogen werden).

Auch unsere Kunden beschwerten sich häufig über krumme Routen auf den Karten vor dem Betreten unseres Kompressor-Rechenzentrums. Sie geben die Adresse ein, aber die Straße wird falsch angezeigt. Am Ende rollten die Besucher in die falsche Richtung, weil dort eine Eisenbahnlinie war und dahinter ein Stau herrschte und es dort keine Möglichkeit gab, umzukehren. Zuerst wollten wir Schilder über der Straße anbringen. In der Stadt gibt es einen solchen Service: Platzieren Sie gelbe Zusatzschilder unter den üblichen Schildern, sie gelten als Werbung. Und der Preis dafür ist wie Werbung: Auf der Entuziastov-Autobahn kostet ein Schild eine Million Rubel pro Jahr. Gleichzeitig schrieben wir an Yandex und sie antworteten sogar plötzlich. Und sie hörten auf, sich zu benehmen. Sie können sogar die Gate-Dioden festlegen: Eingang durch einige, Ausgang durch andere.

Google, wenn Sie uns lesen, dann wissen Sie: Sie haben immer noch ein Problem und wir wissen nicht, wem wir davon erzählen sollen, damit wir gehört werden.

Einladungsschreiben enthielten nicht nur Links zu einer Adresse, sondern auch zu einer Adresse mit einer Route basierend auf der Geolokalisierung des Benutzers. Dadurch gab es weniger Fehlschüsse.

Goboprojektoren und andere Kleinteile

Wissen Sie, was Goboprojektoren sind? Wir wussten es auch nicht. Irgendwie haben wir darüber nachgedacht, wie wir die Regalreihen markieren sollen. Die Gepäckträger selbst sind natürlich mit speziellen Schnellverschlussmarkierungen gekennzeichnet, diese sind jedoch aus einer Entfernung von 1-2 Metern sichtbar. Die Halle selbst ist 500 qm groß, es gibt also viel Platz, um sich darin zu verlieren. Deshalb haben wir endlich angefangen, die Reihen zu markieren. Ein Brainstorming hat begonnen. Wie markieren, womit und wo? Auf dem Boden, an der Wand, Schildern an der Decke usw. Und dann hat unser Kollege gesehen, dass es bei Ikea früher Aufkleber gab, die sich auf dem Boden abnutzten, und dann erschienen helle Pfeile. Nun, wir haben beschlossen, es auf einfache Weise umzukehren: Gehen Sie zu Ikea und holen Sie einen der Projektoren heraus, um ihn anzusehen. Wir konnten es nicht bekommen: Während wir die Stühle trugen, fragte der Verkäufer, was wir machten. Und er half sofort und sagte, es sei ein Gobo. Es stellt sich heraus, dass es sich hierbei nicht um den Projektor selbst handelt, sondern um eine Platte oder Linse für ein Farbbild. Dieser Filter ist ein Gobo. Ein Projektor kostet ab 40 Rubel (es gibt eine leistungsstarke Lampe für den Tagesgebrauch), und wir haben 14 Reihen in jedem der vier Maschinenräume. Deshalb haben wir Aufkleber darauf angebracht.

Wir haben auch Diagramme an den Wänden, die im Laufe der Jahre verblassen. Wir haben sie durch laminierte ersetzt, mit speziellen „eingenähten“ Taschen für Prüfer. In unserem Fall ist der Inspektor der Chefingenieur, zu dessen Aufgaben die Überprüfung der Relevanz aller im Rechenzentrum befindlichen Systeme gehört. Daher müssen alle Pläne jährlich überprüft und von einem solchen Prüfer unterzeichnet werden. Und das Vorhandensein eines speziellen kleinen Magazins in der Tasche des Diagramms erleichtert diesen Vorgang und erfordert nicht, dass das Diagramm selbst alle drei Jahre ausgetauscht wird. Profitieren!

Wir haben den Doppelboden draußen rotierend gereinigt. Wir führen regelmäßige Reinigungen durch, wir haben Reinigungsmethoden und -zeiten. Doch die Räder der schweren Racks hinterlassen Spuren. Wir haben die Reinigung durchgeführt. Jetzt sind wir nervös: Es ist optisch nicht viel aufgeräumter geworden, aber aus bestimmten Blickwinkeln sind Highlights für bestimmte Leute entstanden, die ihre eigenen Filzstifte haben, die ihrem Geschmack entsprechen. Jetzt denken wir darüber nach und suchen nach einer Chemikalie, die den Boden aufhellt und ihm Glanz verleiht. Damit auch die Auserwählten keine Fragen haben.

Haben Sie die Konsolenregale gesehen? Dabei handelt es sich um reisende Buffettische, allerdings gibt es anstelle der Getränke ein Terminal zum Anschluss an das Rack. Bei diesen Kragarmregalen fallen die Räder ab und blockieren, wie bei Einkaufswagen im Supermarkt. Wir haben es unglaublich satt. Daher besteht die einzige Möglichkeit, das Problem wiederzubeleben, darin, ein neues Rad zu kaufen. Aber es war nicht mehr möglich, Räder speziell für unsere Modelle zu bekommen, wir haben alle Auftragnehmer befragt. Aus diesem Grund haben wir das Rack selbst entworfen und dabei den Schwerpunkt auf einfache Bewegung im Maschinenraum und Wartbarkeit gelegt. Es hat sehr gut geklappt.

Es gab eine Geschichte mit synthetischen Socken. Es gibt so etwas – antistatische Armbänder. Wenn Sie zum Rack gehen, verbinden Sie das Armband mit der Erde am Rack und es kommuniziert mit dem Potenzialausgleichssystem. Das Rack ist also geerdet, aber es kann sich herausstellen, dass der Techniker nicht geerdet ist. Kollegen aus früheren Arbeitsstätten erzählten uns, dass sie ein paar Mal Funken bei der Videoüberwachung gesehen hatten, und wir beschlossen aus Sünde, alle zu verpflichten, diese direkt gemäß den Vorschriften zu nutzen.

Kritische Ereignisse

Im Ernst: Es gab eine Situation, in der alle Kältemaschinen auf einmal abgeschaltet wurden. Unsere Kältemaschinen sind nicht durch eine USV geschützt, da wir an die Physik glauben und über einen Pool mit kaltem Wasser als Temperaturreserve verfügen. Wenn etwas ausfällt, benötigen Sie keine Batterien, um die Kühler anzutreiben, die das Wasser kühlen, sondern einfach das kalte Wasser selbst, das bereits bereitsteht. Bequem und einfach, aber es gibt eine Nuance. Die Kältemaschinen sind mit einer automatischen Sicherheitsausrüstung ausgestattet, die sie bei gefährlichen Parametern des Stromnetzes abschaltet. Wenn der Eingang ausgeschaltet ist, schalten wir den Dieselgenerator ein und die Kältemaschinen werden von dort mit Strom versorgt. Alles wäre gut, wenn wir nicht in Russland leben würden. Wir hatten oft Netzwerkausfälle, aber alles war in Ordnung. Aber eines Tages gab es einen starken Sprung, zuerst nach unten, dann steil nach oben, dann wieder nach unten – in wenigen Sekunden änderten sich die Eingabeparameter etwa viermal. Die Kühlschränke sind natürlich ausgeschaltet. Wir haben zuerst versucht, sie aus der Ferne einzuschalten, aber sie haben sich wie im Notfall sehr zuverlässig geschützt. Die Schicht musste mit den Füßen auf dem Dach laufen und sie manuell einschalten. Wichtig ist, dass eine solche Situation laut TierIII-Standard ein legitimer Grund für die Schließung des Rechenzentrums ist. Wir haben keine Pause gemacht, weil die Leute mit dem Kopf auf dem Boden liegen, und es gibt eine Übung mit Übungen. Aus diesem Grund hat uns die Benutzeroberfläche einfach regelmäßig verarscht, um sicher zu sein, was TIII Operational angeht. Wenn überhaupt, haben wir die UI-Rezertifizierung nach TIII Gold – Operational Sustainability bestanden. Auf dem russischen kommerziellen Markt für Rechenzentren gibt es nichts Cooleres, außer unserem, nur eines hat die gleiche Leistung Rechenzentrum. Ich stelle fest, dass eine Rezertifizierung schwieriger ist, als ein Zertifikat von Grund auf zu erhalten, da der vorherige Zeitraum überprüft wird, als ob Sie nicht Sie selbst wären, und viel mehr Nachweise erforderlich sind.

Es gab einen interessanten Vorfall mit den Kameras. Wir beschlossen, die toten Winkel für alle Fälle neu zu berechnen, zeichneten Kreuzungen ein, trugen Diagonalen der Blickwinkel auf dem Plan ein und plötzlich fanden wir mitten in einer der Hallen einen toten Winkel von etwa 30 Zentimetern mal 15 Metern. Schmal und lang. Im Nebenzimmer gibt es so etwas nicht. Es stellte sich heraus, dass sich die rotierende Kamera im Laufe der Jahre langsam bewegt hatte, sodass sie in der Extremposition etwa anderthalb Grad nach links zeigte, als sie sollte.

Es gab einen weiteren großen Vorfall in der Post über den Reparaturaustausch von DDIBP.

Referenzen

Source: habr.com

Kommentar hinzufügen