Das größte Verkehrsproblem in St. Petersburg sind die Brücken. Nachts muss man aus der Kneipe fliehen, ohne das Bier ausgetrunken zu haben. Oder man zahlt das Doppelte für ein Taxi. Morgens muss man die Zeit genau planen, damit man, sobald die Brücke gesenkt ist, wie ein wendiger Manguste zum Bahnhof kommt. Die Option „irgendwo im Zentrum, in der Nähe des Bahnhofs zu übernachten“ ziehen wir nicht in Betracht, da sie ideologisch bedenklich ist.
…Der „Sapsan“, der um 5:30 Uhr abfährt, wurde von Menschen erfunden, die Eulen nicht mögen. Natürlich ist es sehr praktisch, um neun Uhr morgens in Moskau zu sein, und St. Petersburg ist während der weißen Nächte unglaublich schön, aber um halb fünf, als ich ins Taxi stieg, hätte ich dem Frühaufsteher, der diesen Morgenzug erfunden hat, gerne den Kopf um 270 Grad drehen wollen.
„Alle guten Rechenzentren ähneln sich“ — dachte ich, als ich erfuhr, dass uns die Leute von DataLine zu Besuch eingeladen hatten.
Wie sich herausstellte, ist jedes Rechenzentrum auf seine eigene Weise gut (oder schlecht), besonders nachdem man einige Fehler gemacht hat, alle Hindernisse in der Umgebung gesammelt hat und die Lektionen aus eigenen (und ein wenig aus fremden) reichen Erfahrungen gelernt hat. So beschlossen wir (in einer Gruppe von fünf führenden linkmeup und ihren Freunden und Unterstützern) zu überprüfen, wie gut (oder nicht so gut) die Rechenzentren OST und NORD sind.
Nachdem wir ein wenig unterwegs gearbeitet hatten (hier könnte eine Werbung für einen Mobilfunkanbieter stehen, aber nein — die Abdeckung war wie gehabt schlecht), steigen wir am Leninplatz Bahnhof aus. Nun, wenigstens nicht unter Gazmanov.
Wir begannen unsere Tour durch die „grünen“ Rechenzentren bei OST — „dem einen“, das vor nicht allzu langer Zeit „gebrennt“ hat. Warum in Anführungszeichen — später mehr dazu. Währenddessen stehen wir, rauchen und warten auf die Verspäteten. Wir fotografieren das Büro von RT nebenan. Zu dieser Nachbarschaft gibt es viele lustige Geschichten — beginnend mit dem frischen Asphalt und dem Streichen der Bordsteinkanten, bevor hochrangige Persönlichkeiten ankamen, und endend mit Rabatten in den umliegenden Cafés, die den DataLine-Mitarbeitern wegen ähnlicher Namensschilder gewährt wurden.
Lautsprecher der totalitären Propaganda
Rechenzentrum mit strengen (Zugangs-)Regeln
Zugang, Verhaltensregeln, eine Art Fleischwolf am Eingang – fast genau so haben wir es gesehen . Haben Sie viele Cafés in Rechenzentren gesehen? Wir kennen jetzt einige. Die Mitarbeiter und Kunden haben auf ihren Namensschildern "Kaffee"-Guthaben, die regelmäßig aufgeladen werden, sodass man in einem vernünftigen Rahmen kostenlosen Kaffee genießen kann. Auch wir als geschätzte Gäste wurden verwöhnt.
Über den Kaffee kann ich nichts Negatives sagen – ganz gewöhnlich für eine "Netzwerk"-Cafeteria, aber die Lage überzeugt unwillkürlich, und das Interieur entspricht den besten modernen Traditionen.
Das Interieur des örtlichen Cafés
Auf den Fotos die Rechenzentren von NORD
Die Tour beginnt im Büro. Neben den überall im Russischen Internet bekannten Wandinschriften und der weiß-grünen Farbpalette gibt es auch einige amüsante Dinge. Das ist Requisitenmaterial, das von den Aufführungen des Unternehmens-Theaters übrig geblieben ist (können Sie sich einen technischen Direktor eines Rechenzentrums vorstellen, der in einem Stück spielt? Wir kennen ihn persönlich.).
Das stimmt.
Fotos von den Aufführungen.
Das Rechenzentrum (genauer gesagt, vier Rechenzentren) befindet sich in einem Komplex von Industriegebäuden, die noch im letzten Jahrhundert erbaut wurden (damals eine "Citroën"-Fabrik, und in der Sowjetzeit eine "Hydraulik"-Fabrik), sodass es auf der einen Seite eine raue Industrieatmosphäre mit metallenen Trägern, Loft-Atmosphäre und industriellen Artefakten aus verschiedenen Epochen gibt, die bei verschiedenen Arbeiten immer noch entdeckt werden. Auf der anderen Seite müssen die hermetischen Zonen des Rechenzentrums in bestehende Strukturen integriert werden, was gelegentlich Kompromisse mit der Realität erfordert. Ich würde jedoch nicht sagen, dass diese Kompromisse das Qualitätsniveau beeinträchtigt haben – aber die Jungs mussten bei der Planung sicherlich schwitzen. Gerüchten zufolge verläuft irgendwo in der Nähe die Metro-2, aber das ist nicht sicher.
Neben dem Theater gibt es auch ein eigenes Museum. Die Exponate sind natürlich archäologische Funde.
Ein paar Worte über . Ja, das Gebäude (oder besser gesagt, das Dach) hat tatsächlich gebrannt. Die äußeren Blöcke der Kühlsysteme und Kühlleitungen wurden beschädigt. An einigen Stellen ist die Verkabelung durchgebrannt und die Klimaanlagen hatten keinen Strom mehr. An anderen Stellen sind die Kühlschläuche explodiert. Dennoch haben die hermetischen Zonen tonnenweise Wasser, das auf sie gegossen wurde, standgehalten, die Ausrüstung hat überlebt. Unter der Leitung des „Stabes“ in Form der Unternehmensführung wurden in ganz Moskau und Umgebung sämtliche Kupferrohre abgegraben (sogar nachts mit einem BMW X5 transportiert) und alle nüchternen Monteure. Kritische Ausrüstung aus den betroffenen Datenzentren (betroffen durch den Verlust von Kälte, nicht durch das Feuer!) wurde zügig in andere Hallen verlegt, sodass bereits um fünf Uhr morgens nicht nur alle eigenen Services, sondern auch die der Kunden wieder online waren.
Wir haben persönlich die Halle überprüft, die am meisten „gelitten“ hat – abgesehen vom Geruch von Rauch und den ausgetauschten Fliesen des Doppelbodens erinnert absolut nichts (außer den Ständern mit Ausrüstung, die „vorübergehend“ in eine andere Datenhalle gebracht wurden, und dort auch verblieben) an das Feuer.
Statusanzeige
Beim Herumgehen in den Fluren sehen wir ein Touchscreen-Display mit etwas, das sehr ähnlich wie der Plan der Serverräume des Rechenzentrums aussieht. Dies ist die Statusanzeige. Sie sind in den Fluren reichlich verteilt und ermöglichen es den vor Ort arbeitenden Ingenieuren, schnell beispielsweise die benötigte Klimaanlage zu finden, und geben einfach den aktuellen Status an.
Die Überwachung basiert auf Nagios (mittlerweile mehrere unabhängige Cluster) und deckt alle Rechenzentren ab (sowohl OST als auch NORD). Zusätzlich gibt es Anwendungen für Android und iOS (für Kunden und Mitarbeiter), sowie eine Statusseite direkt auf der Website.
Auf dem Display bemerke ich einen ungewöhnlich hohen PUE – nicht überall in Russland wird er berücksichtigt, aber 1,90 ist doch etwas viel. Die Antwort darauf ist rein wirtschaftlich: In den Jahren 2012-2013 gingen die Server in den Rechenzentren weg wie warme Semmeln, sodass es an Sentimentalität und Energieeffizienz nicht mangelte. Wir setzen das ein, was auf dem Markt verfügbar ist, machen es möglichst schnell und kümmern uns überhaupt nicht um diesen PUE, denn warum? Bereits in der Planungsphase werden 80-90 % der Serverplätze gebucht, und das Gesetz über Energieeffizienz in Russland möchte darüber nichts wissen. Obwohl eine Kommission in Amsterdam bei solchen Zahlen sicherlich einen Anfall bekommen würde.
Nichts Persönliches. Nur Geschäft.
Eine weitere Besonderheit sind die Bezeichnungen der Rechenzentren. An jedem Standort haben die Rechenzentren neben der "offiziellen" alphanumerischen Codierung auch „menschenlesbare“ Pseudonyme aus dem NATO-Alphabet (Alfa-Bravo-Charlie-Delta…). Aus irgendeinem Grund lieben es alle Kunden, Whiskey zu trinken.
Im Umgang mit Kunden gibt es keine Kleinigkeiten.
Solche „Zäune“ werden für bestimmte Kunden aufgestellt. In unseren Maschinenräumen durfte nicht fotografiert werden, daher das Foto von DataLine ©.
Die Kunden von DataLine sind durchweg große und angesehene Unternehmen, die es ganz und gar nicht mögen, wenn man ihr Equipment fotografiert. Schon gar nicht, wenn der Name (oder das Logo) des Kunden in großen Buchstaben direkt auf dem Rack steht. Sie mögen es nicht – und das ist einfach so. Deshalb haben wir die bereits berühmten Wände mit verschiedenen Aufschriften und die Technik fotografiert. Auch bei der Technik durfte nicht überall und nicht alles fotografiert werden, aber wir haben unser Bestes gegeben. Da es sich um große und respektierte Kunden handelt, sind auch ihre Anforderungen manchmal spezifisch – spezielle Racks (oder sogar eine bestimmte High-End-Speicherlösung aus mehreren Racks verschiedener Anbieter), eigene Zäune, eigene Zutrittskontrollsysteme, eigene Videoüberwachung und eine Gruppe für Sofortreaktionen mit Waffen. Eines der inoffiziellen (aber auch offiziellen) Regeln von DataLine lautet, sich um den Kunden zu kümmern und ihm Gutes zu tun. Angefangen bei Warnwesten und ausgestatteten Arbeitsplätzen mit Internetzugang und Ladegeräten bis hin zu verschiedenen Veranstaltungen für Kunden. Letztere sind auch deshalb sehr nützlich, weil die gleichen Personen, die von Unternehmen zu Unternehmen wechseln, sie zu DataLine bringen. Einfach, weil hier alles gemütlich, bequem und zuverlässig ist. Das Geschäft von DataLine besteht nicht nur darin, Rackplätze zu vermieten. Es umfasst auch Cloud-Services, die sowohl nach 152-FZ als auch nach PCI-DSS zertifiziert sind (über die wir einen Podcast machen werden, verfolgen Sie die Ankündigungen) und die Bereitstellung von Konnektivität (eigene Glasfaserverbindungen zwischen Standorten und von jedem dieser Standorte zur M9, ein eigenes optisches Ringnetz in der Stadt und bis hin zur Organisation der letzten Meile zum Büro des Kunden).
M – Motivation
Apropos Aufschriften – die Ideen kommen nicht nur von den Mitarbeitern, sondern auch von Partnern und Kunden, nach denen für die besten Ideen auf DataLine auf FB abgestimmt werden kann. Und man kann dort auch seine eigene Idee vorschlagen.
Treffen an der Elbe
Cross-Over (Foto bereitgestellt von DataLine)
Wir halten an im Meet-Me-Room, wo sich die Betreiber befinden. Im MMR (es gibt drei Paare in OST, entsprechend der Anzahl der Hauptleitungen für die aktive und passive Anschaltung) werden die Verbindungen aus allen Data Halls zusammengeführt. Im Cross-Connect ist alles langweilig und ordentlich. Doch dort, wo die Betreiberaktivierung steht, erinnert man sich an die besten Jahre und an Bilder von einem BM18: Kabelsalat und vielseitige Ausrüstung (DLink, Extreme, Juniper, Mikrotik… und so weiter bis zum ASR9k). Hier gibt es mehr als fünf Dutzend Betreiber, also alles bunt. Aus dem MMR verteilt sich die Optik und das Kupfer in die Maschinenräume. Mindestens zwei Strecken für jede (es sind Varianten möglich), also über die Zuverlässigkeit der Verbindung kann man sich keine Sorgen machen. MMR wird "Elbe" genannt, was recht subtil ist.
IBM Power nötig?
Eine weitere Entdeckung — das IBM P-Series, das noch nie eingeschaltet wurde und seit mehreren Jahren in einem der Flure steht. Die Maschine (samt Bandbibliothek und SAN) wurde von einem Kunden bestellt, aber "wurde nicht benötigt", weshalb sie dem Rechenzentrum geschenkt wurde. Seitdem steht sie dort.
Es ist wahrscheinlich schön, wohlhabende Jungs zu sein und solche Geschenke zu machen, oder? (Oder vielleicht wurde es nicht geschenkt, sondern vergessen. Oder beim Kartenspiel verloren. Aber es steht schon lange dort.)
So ein schöner Kerl steht in NORD-4.
Wir gehen ins Energiezentrum — drei (oder sogar vier) Dieselgeneratoren für jedes Rechenzentrum (ich erinnere daran, dass es vier in OST gibt). Der Diesel erreicht seine volle Leistung in 30-40 Sekunden und liefert 1900 kVA. N+1-Redundanz, Synchronisierung und mehr sind im Lieferumfang enthalten. Die längste Zeit, die man in OST auf Dieselgeneratoren war, beträgt 12 Stunden. In NORD — 2,5 Tage (ein Lager für 85 Tonnen ist schließlich keine Kleinigkeit).
Natürlich gibt es Verträge mit verschiedenen Treibstoffunternehmen zur Lieferung von Treibstoff. Der Wechsel auf Diesel erfolgt regelmäßig, sodass der Treibstoff produziert wird und die Verträge überprüft werden. Übrigens, laut Kollegen, grünt die Wiese im NORD während der Testung der Dieselgeneratoren, die normalerweise nicht einen Stunden dauert, an dem Ort, an dem die warme Luft der Diesel abgeführt wird, sogar im Winter.
Nach einem kurzen Snack in dem bereits bekannten Café fahren wir zum NORD-Gelände. Dies ist ebenfalls kein einzelnes Rechenzentrum, sondern vier unabhängige Gebäude auf einem Gelände. Jedes hat eigene Stromanschlüsse, eigene Dieselgeneratoren und eigene Kühlung. NORD-1 und NORD-2 haben das Audit des Uptime Institute M&O bestanden. Das neueste (und beste Rechenzentrum von DataLine) ist NORD-4, deshalb gehen wir genau hierhin.
Trotz der scheinbar großen Anzahl an Rechenzentren in Moskau gibt es dennoch einen Mangel. Natürlich können Ihnen ein oder zwei Racks problemlos bereitgestellt werden. Sogar zwanzig werden bereitgestellt. Mehr als das ist bereits eine Frage (und DataLine hat Kunden mit solchen Bedürfnissen – nicht nur einen oder zwei). Konkret gibt es derzeit Platz im NORD-4, da ein großer Kunde in sein eigenes neugebautes Rechenzentrum umgezogen ist, aber an anderen Standorten könnte es bereits schlechter aussehen. Dennoch läuft derzeit die Planung für NORD-5, die Anfang 2020 in Betrieb genommen werden soll.
Aber kommen wir zurück zu unserer Tour. Da wir mit dem Auto fuhren, wurden wir durch ein Tor gelassen, wo Bewaffnete unsere Fahrzeugnummer mit der Anfrage abglichen und alle Passagiere aufforderten, auszusteigen, um ihre Ausweise für die Durchgänge zu erhalten (selbstverständlich mit Pass). Denn B steht für Sicherheit.
NORD-4 ist der Stolz des Unternehmens und eine Kompilation jahrelanger Erfahrung im Bau und Betrieb von Rechenzentren. Es verfügt über Zertifikate von Uptime Institute Tier III für das Designprojekt und die Facility (d.h. das gebaute Rechenzentrum) sowie für die operationale Nachhaltigkeit – die Verantwortlichen sind bei der Sache äußerst gewissenhaft vorgegangen. Innen gibt es vier unabhängige Bereiche mit zwei Hallen innerhalb eines Gebäudes. Jede hat ihr eigenes Energiezentrum (Notstromaggregate, Akku-Räume), Kühlkreisläufe und Brandschutzsysteme. Gemeinsam haben sie nur die Glasfaseranschlüsse (zwei pro Gebäude) und MMR.
Modding eines gesunden Ingenieurs
Am Eingang des Rechenzentrums erwartet uns bereits das bekannte Café (warum auch nicht?). Wir steigen ins Monitoring-Zentrum auf. Es gibt derzeit zwei Hauptzentren — in OST und NORD-4 (in NORD-1,2,3 sind ebenfalls ihre Schichten am Werk). Aus jedem Zentrum kann man beide Standorte überwachen, sodass auch hier Redundanz n+1 gewährleistet ist. An der Videowand — die uns bekannten Dashboards in einem grünen Farbton (die Parameter dort sind natürlich viel mehr als auf dem Statusdisplay). Wir sprechen ein wenig über das Monitoring — keine modischen Prometheus- und Grafana-Lösungen, nur Nagios, nur Hardcore und selbstgeschriebene Visualisierungen. In den zehn Jahren (eigentlich sogar länger) Nutzung wurden bereits viele benutzerdefinierte Prüfungen und Skripte geschrieben, sodass der Umstieg auf etwas anderes eher wie ein Abenteuer aussieht. Etwa einmal im Monat erscheint ein weiteres Unternehmen, das anbietet, alle Probleme „schnell und schmerzlos“ zu lösen, aber bisher hat das irgendwie nicht geklappt. Die Videowand läuft übrigens auch auf einer selbstgebauten Lösung, die um ein Vielfaches günstiger ist als kommerzielle Alternativen.
Das hierige CCU
Wenn man viele Jahre Rechenzentren plant, baut und betreibt, hat man nicht mehr so viel Angst, etwas selbst zu machen, anstatt fertige Lösungen zu kaufen. DataLine, zum Beispiel, scheut sich nicht zu sagen, dass sie, einfach durch den Maßstab, auf die maximale Anzahl an Hindernissen gestoßen sind, und jedes neue Rechenzentrum ist ein Kind schwieriger Fehler und einem Erfahrungsschatz von über zehn Jahren. Natürlich gibt es in jedem neuen Rechenzentrum eigene Innovationen, und beim Gehen durch NORD ertappt man sich immer wieder dabei, dass die Leute einfach gut gemacht haben. Nicht aus Show, nicht für Rankings und Zertifikate — ein ganz normaler Ingenieurprozess, bei dem du bei jeder Iteration über dich hinauswächst und immer besser wirst. Ein außenstehender Beobachter wird sagen, dass dies langweilig und konservativ ist, während der Kunde im Gegenteil mit seinem eigenen Geld eine solche Stabilität unterstützt. Und um etwas gut zu machen, ist es überhaupt nicht notwendig, Ingenieursysteme oder Software für viel, viel Geld zu kaufen (obwohl es manchmal ohne nicht geht). Erfahrung, Wissen und Ingenieursgeschick entscheiden oft mehr.
Zum Beispiel hat das Gebäude NORD-4 3,5 Etagen. Die ersten drei sind vollwertig mit Deckenhöhen von 4,5 Metern, in denen sich Maschinenräume befinden. Die letzte Etage ist technisch und nur 1,8 Meter hoch, ausschließlich für das Kühlsystem vorgesehen. Da die Etage technisch ist, sind die Anforderungen an sie viel geringer, was die Planung vereinfacht und Geld spart.
Blick auf das dreieckige Rechenzentrum
Max hat eine besondere Fähigkeit, sich auf Fotos nicht zu verraten.
Wir beenden die Tour auf dem Dach — hier eröffnet sich ein hervorragender Blick auf das danebenstehende Heizkraftwerk und das Wohngebiet sowie auf andere Gebäude von NORD. Zwei von ihnen sind dreieckig. Dazu lachten die Kollegen sogar, dass 'DataLine dumm ist, ein dreieckiges Rechenzentrum zu bauen', um dort dreieckige Racks und dreieckige Server aufzustellen. Aber egal — sie wurden gebaut und werden erfolgreich betrieben, und nutzen auch effektiv das vorhandene Gelände (das in Moskau, muss ich sagen, nicht kostenlos ist). Ein weiterer erstaunlicher (für mich) Fakt — die meisten kommerziellen Kunden wollen gerade in Moskau untergebracht sein. Ein Standort mehr als fünfzig Kilometer die Minsk-Autobahn entlang (auch wenn alle notwendigen Kapazitäten und Kommunikationen vorhanden sind) interessiert kaum jemanden. So drängen sich alle in den beengten Platz.
Die Kühltürme sind schon kein Rechenzentrum mehr, sondern ein Heizkraftwerk.
Damit geht unsere nächste Reise zu Ende.
Danach gab es noch eine lange und produktive Diskussion über gemeinsame Pläne und zukünftige Podcasts (ich hoffe, es dauert nicht lange), also bleibt dran, bald gibt es noch mehr Interessantes.
Wer alles mit eigenen Augen sehen möchte, kann sich bei DataLine für eine kostenlose Führung anmelden, aber nur nach vorheriger Anmeldung. Für die, die das Codewort 'linkmeup' nennen, gibt's Karma-Punkte.
Bleiben Sie dran!
Quelle: habr.com
