Das gröĂte Verkehrsproblem in St. Petersburg sind die BrĂŒcken. Nachts muss man aus der Kneipe fliehen, ohne das Bier ausgetrunken zu haben. Oder man zahlt das Doppelte fĂŒr ein Taxi. Morgens muss man die Zeit genau planen, damit man, sobald die BrĂŒcke gesenkt ist, wie ein wendiger Manguste zum Bahnhof kommt. Die Option âirgendwo im Zentrum, in der NĂ€he des Bahnhofs zu ĂŒbernachtenâ ziehen wir nicht in Betracht, da sie ideologisch bedenklich ist.
âŠDer âSapsanâ, der um 5:30 Uhr abfĂ€hrt, wurde von Menschen erfunden, die Eulen nicht mögen. NatĂŒrlich ist es sehr praktisch, um neun Uhr morgens in Moskau zu sein, und St. Petersburg ist wĂ€hrend der weiĂen NĂ€chte unglaublich schön, aber um halb fĂŒnf, als ich ins Taxi stieg, hĂ€tte ich dem FrĂŒhaufsteher, der diesen Morgenzug erfunden hat, gerne den Kopf um 270 Grad drehen wollen.

âAlle guten Rechenzentren Ă€hneln sichâ â dachte ich, als ich erfuhr, dass uns die Leute von DataLine zu Besuch eingeladen hatten.
Wie sich herausstellte, ist jedes Rechenzentrum auf seine eigene Weise gut (oder schlecht), besonders nachdem man einige Fehler gemacht hat, alle Hindernisse in der Umgebung gesammelt hat und die Lektionen aus eigenen (und ein wenig aus fremden) reichen Erfahrungen gelernt hat. So beschlossen wir (in einer Gruppe von fĂŒnf fĂŒhrenden linkmeup und ihren Freunden und UnterstĂŒtzern) zu ĂŒberprĂŒfen, wie gut (oder nicht so gut) die Rechenzentren OST und NORD sind.
Nachdem wir ein wenig unterwegs gearbeitet hatten (hier könnte eine Werbung fĂŒr einen Mobilfunkanbieter stehen, aber nein â die Abdeckung war wie gehabt schlecht), steigen wir am Leninplatz Bahnhof aus. Nun, wenigstens nicht unter Gazmanov.
Wir begannen unsere Tour durch die âgrĂŒnenâ Rechenzentren bei OST â âdem einenâ, das vor nicht allzu langer Zeit âgebrenntâ hat. Warum in AnfĂŒhrungszeichen â spĂ€ter mehr dazu. WĂ€hrenddessen stehen wir, rauchen und warten auf die VerspĂ€teten. Wir fotografieren das BĂŒro von RT nebenan. Zu dieser Nachbarschaft gibt es viele lustige Geschichten â beginnend mit dem frischen Asphalt und dem Streichen der Bordsteinkanten, bevor hochrangige Persönlichkeiten ankamen, und endend mit Rabatten in den umliegenden CafĂ©s, die den DataLine-Mitarbeitern wegen Ă€hnlicher Namensschilder gewĂ€hrt wurden.

Lautsprecher der totalitÀren Propaganda

Rechenzentrum mit strengen (Zugangs-)Regeln
Zugang, Verhaltensregeln, eine Art Fleischwolf am Eingang â fast genau so haben wir es gesehen . Haben Sie viele CafĂ©s in Rechenzentren gesehen? Wir kennen jetzt einige. Die Mitarbeiter und Kunden haben auf ihren Namensschildern "Kaffee"-Guthaben, die regelmĂ€Ăig aufgeladen werden, sodass man in einem vernĂŒnftigen Rahmen kostenlosen Kaffee genieĂen kann. Auch wir als geschĂ€tzte GĂ€ste wurden verwöhnt.
Ăber den Kaffee kann ich nichts Negatives sagen â ganz gewöhnlich fĂŒr eine "Netzwerk"-Cafeteria, aber die Lage ĂŒberzeugt unwillkĂŒrlich, und das Interieur entspricht den besten modernen Traditionen.

Das Interieur des örtlichen Cafés

Auf den Fotos die Rechenzentren von NORD
Die Tour beginnt im BĂŒro. Neben den ĂŒberall im Russischen Internet bekannten Wandinschriften und der weiĂ-grĂŒnen Farbpalette gibt es auch einige amĂŒsante Dinge. Das ist Requisitenmaterial, das von den AuffĂŒhrungen des Unternehmens-Theaters ĂŒbrig geblieben ist (können Sie sich einen technischen Direktor eines Rechenzentrums vorstellen, der in einem StĂŒck spielt? Wir kennen ihn persönlich.).

Das stimmt.

Fotos von den AuffĂŒhrungen.
Das Rechenzentrum (genauer gesagt, vier Rechenzentren) befindet sich in einem Komplex von IndustriegebĂ€uden, die noch im letzten Jahrhundert erbaut wurden (damals eine "CitroĂ«n"-Fabrik, und in der Sowjetzeit eine "Hydraulik"-Fabrik), sodass es auf der einen Seite eine raue IndustrieatmosphĂ€re mit metallenen TrĂ€gern, Loft-AtmosphĂ€re und industriellen Artefakten aus verschiedenen Epochen gibt, die bei verschiedenen Arbeiten immer noch entdeckt werden. Auf der anderen Seite mĂŒssen die hermetischen Zonen des Rechenzentrums in bestehende Strukturen integriert werden, was gelegentlich Kompromisse mit der RealitĂ€t erfordert. Ich wĂŒrde jedoch nicht sagen, dass diese Kompromisse das QualitĂ€tsniveau beeintrĂ€chtigt haben â aber die Jungs mussten bei der Planung sicherlich schwitzen. GerĂŒchten zufolge verlĂ€uft irgendwo in der NĂ€he die Metro-2, aber das ist nicht sicher.

Neben dem Theater gibt es auch ein eigenes Museum. Die Exponate sind natĂŒrlich archĂ€ologische Funde.
Ein paar Worte ĂŒber . Ja, das GebĂ€ude (oder besser gesagt, das Dach) hat tatsĂ€chlich gebrannt. Die Ă€uĂeren Blöcke der KĂŒhlsysteme und KĂŒhlleitungen wurden beschĂ€digt. An einigen Stellen ist die Verkabelung durchgebrannt und die Klimaanlagen hatten keinen Strom mehr. An anderen Stellen sind die KĂŒhlschlĂ€uche explodiert. Dennoch haben die hermetischen Zonen tonnenweise Wasser, das auf sie gegossen wurde, standgehalten, die AusrĂŒstung hat ĂŒberlebt. Unter der Leitung des âStabesâ in Form der UnternehmensfĂŒhrung wurden in ganz Moskau und Umgebung sĂ€mtliche Kupferrohre abgegraben (sogar nachts mit einem BMW X5 transportiert) und alle nĂŒchternen Monteure. Kritische AusrĂŒstung aus den betroffenen Datenzentren (betroffen durch den Verlust von KĂ€lte, nicht durch das Feuer!) wurde zĂŒgig in andere Hallen verlegt, sodass bereits um fĂŒnf Uhr morgens nicht nur alle eigenen Services, sondern auch die der Kunden wieder online waren.
Wir haben persönlich die Halle ĂŒberprĂŒft, die am meisten âgelittenâ hat â abgesehen vom Geruch von Rauch und den ausgetauschten Fliesen des Doppelbodens erinnert absolut nichts (auĂer den StĂ€ndern mit AusrĂŒstung, die âvorĂŒbergehendâ in eine andere Datenhalle gebracht wurden, und dort auch verblieben) an das Feuer.

Statusanzeige
Beim Herumgehen in den Fluren sehen wir ein Touchscreen-Display mit etwas, das sehr Àhnlich wie der Plan der ServerrÀume des Rechenzentrums aussieht. Dies ist die Statusanzeige. Sie sind in den Fluren reichlich verteilt und ermöglichen es den vor Ort arbeitenden Ingenieuren, schnell beispielsweise die benötigte Klimaanlage zu finden, und geben einfach den aktuellen Status an.
Die Ăberwachung basiert auf Nagios (mittlerweile mehrere unabhĂ€ngige Cluster) und deckt alle Rechenzentren ab (sowohl OST als auch NORD). ZusĂ€tzlich gibt es Anwendungen fĂŒr Android und iOS (fĂŒr Kunden und Mitarbeiter), sowie eine Statusseite direkt auf der Website.
Auf dem Display bemerke ich einen ungewöhnlich hohen PUE â nicht ĂŒberall in Russland wird er berĂŒcksichtigt, aber 1,90 ist doch etwas viel. Die Antwort darauf ist rein wirtschaftlich: In den Jahren 2012-2013 gingen die Server in den Rechenzentren weg wie warme Semmeln, sodass es an SentimentalitĂ€t und Energieeffizienz nicht mangelte. Wir setzen das ein, was auf dem Markt verfĂŒgbar ist, machen es möglichst schnell und kĂŒmmern uns ĂŒberhaupt nicht um diesen PUE, denn warum? Bereits in der Planungsphase werden 80-90 % der ServerplĂ€tze gebucht, und das Gesetz ĂŒber Energieeffizienz in Russland möchte darĂŒber nichts wissen. Obwohl eine Kommission in Amsterdam bei solchen Zahlen sicherlich einen Anfall bekommen wĂŒrde.
Nichts Persönliches. Nur GeschÀft.

Eine weitere Besonderheit sind die Bezeichnungen der Rechenzentren. An jedem Standort haben die Rechenzentren neben der "offiziellen" alphanumerischen Codierung auch âmenschenlesbareâ Pseudonyme aus dem NATO-Alphabet (Alfa-Bravo-Charlie-DeltaâŠ). Aus irgendeinem Grund lieben es alle Kunden, Whiskey zu trinken.

Im Umgang mit Kunden gibt es keine Kleinigkeiten.

Solche âZĂ€uneâ werden fĂŒr bestimmte Kunden aufgestellt. In unseren MaschinenrĂ€umen durfte nicht fotografiert werden, daher das Foto von DataLine ©.
Die Kunden von DataLine sind durchweg groĂe und angesehene Unternehmen, die es ganz und gar nicht mögen, wenn man ihr Equipment fotografiert. Schon gar nicht, wenn der Name (oder das Logo) des Kunden in groĂen Buchstaben direkt auf dem Rack steht. Sie mögen es nicht â und das ist einfach so. Deshalb haben wir die bereits berĂŒhmten WĂ€nde mit verschiedenen Aufschriften und die Technik fotografiert. Auch bei der Technik durfte nicht ĂŒberall und nicht alles fotografiert werden, aber wir haben unser Bestes gegeben. Da es sich um groĂe und respektierte Kunden handelt, sind auch ihre Anforderungen manchmal spezifisch â spezielle Racks (oder sogar eine bestimmte High-End-Speicherlösung aus mehreren Racks verschiedener Anbieter), eigene ZĂ€une, eigene Zutrittskontrollsysteme, eigene VideoĂŒberwachung und eine Gruppe fĂŒr Sofortreaktionen mit Waffen. Eines der inoffiziellen (aber auch offiziellen) Regeln von DataLine lautet, sich um den Kunden zu kĂŒmmern und ihm Gutes zu tun. Angefangen bei Warnwesten und ausgestatteten ArbeitsplĂ€tzen mit Internetzugang und LadegerĂ€ten bis hin zu verschiedenen Veranstaltungen fĂŒr Kunden. Letztere sind auch deshalb sehr nĂŒtzlich, weil die gleichen Personen, die von Unternehmen zu Unternehmen wechseln, sie zu DataLine bringen. Einfach, weil hier alles gemĂŒtlich, bequem und zuverlĂ€ssig ist. Das GeschĂ€ft von DataLine besteht nicht nur darin, RackplĂ€tze zu vermieten. Es umfasst auch Cloud-Services, die sowohl nach 152-FZ als auch nach PCI-DSS zertifiziert sind (ĂŒber die wir einen Podcast machen werden, verfolgen Sie die AnkĂŒndigungen) und die Bereitstellung von KonnektivitĂ€t (eigene Glasfaserverbindungen zwischen Standorten und von jedem dieser Standorte zur M9, ein eigenes optisches Ringnetz in der Stadt und bis hin zur Organisation der letzten Meile zum BĂŒro des Kunden).

M â Motivation
Apropos Aufschriften â die Ideen kommen nicht nur von den Mitarbeitern, sondern auch von Partnern und Kunden, nach denen fĂŒr die besten Ideen auf DataLine auf FB abgestimmt werden kann. Und man kann dort auch seine eigene Idee vorschlagen.

Treffen an der Elbe

Cross-Over (Foto bereitgestellt von DataLine)
Wir halten an im Meet-Me-Room, wo sich die Betreiber befinden. Im MMR (es gibt drei Paare in OST, entsprechend der Anzahl der Hauptleitungen fĂŒr die aktive und passive Anschaltung) werden die Verbindungen aus allen Data Halls zusammengefĂŒhrt. Im Cross-Connect ist alles langweilig und ordentlich. Doch dort, wo die Betreiberaktivierung steht, erinnert man sich an die besten Jahre und an Bilder von einem BM18: Kabelsalat und vielseitige AusrĂŒstung (DLink, Extreme, Juniper, Mikrotik⊠und so weiter bis zum ASR9k). Hier gibt es mehr als fĂŒnf Dutzend Betreiber, also alles bunt. Aus dem MMR verteilt sich die Optik und das Kupfer in die MaschinenrĂ€ume. Mindestens zwei Strecken fĂŒr jede (es sind Varianten möglich), also ĂŒber die ZuverlĂ€ssigkeit der Verbindung kann man sich keine Sorgen machen. MMR wird "Elbe" genannt, was recht subtil ist.

IBM Power nötig?
Eine weitere Entdeckung â das IBM P-Series, das noch nie eingeschaltet wurde und seit mehreren Jahren in einem der Flure steht. Die Maschine (samt Bandbibliothek und SAN) wurde von einem Kunden bestellt, aber "wurde nicht benötigt", weshalb sie dem Rechenzentrum geschenkt wurde. Seitdem steht sie dort.
Es ist wahrscheinlich schön, wohlhabende Jungs zu sein und solche Geschenke zu machen, oder? (Oder vielleicht wurde es nicht geschenkt, sondern vergessen. Oder beim Kartenspiel verloren. Aber es steht schon lange dort.)

So ein schöner Kerl steht in NORD-4.
Wir gehen ins Energiezentrum â drei (oder sogar vier) Dieselgeneratoren fĂŒr jedes Rechenzentrum (ich erinnere daran, dass es vier in OST gibt). Der Diesel erreicht seine volle Leistung in 30-40 Sekunden und liefert 1900 kVA. N+1-Redundanz, Synchronisierung und mehr sind im Lieferumfang enthalten. Die lĂ€ngste Zeit, die man in OST auf Dieselgeneratoren war, betrĂ€gt 12 Stunden. In NORD â 2,5 Tage (ein Lager fĂŒr 85 Tonnen ist schlieĂlich keine Kleinigkeit).
NatĂŒrlich gibt es VertrĂ€ge mit verschiedenen Treibstoffunternehmen zur Lieferung von Treibstoff. Der Wechsel auf Diesel erfolgt regelmĂ€Ăig, sodass der Treibstoff produziert wird und die VertrĂ€ge ĂŒberprĂŒft werden. Ăbrigens, laut Kollegen, grĂŒnt die Wiese im NORD wĂ€hrend der Testung der Dieselgeneratoren, die normalerweise nicht einen Stunden dauert, an dem Ort, an dem die warme Luft der Diesel abgefĂŒhrt wird, sogar im Winter.
Nach einem kurzen Snack in dem bereits bekannten CafĂ© fahren wir zum NORD-GelĂ€nde. Dies ist ebenfalls kein einzelnes Rechenzentrum, sondern vier unabhĂ€ngige GebĂ€ude auf einem GelĂ€nde. Jedes hat eigene StromanschlĂŒsse, eigene Dieselgeneratoren und eigene KĂŒhlung. NORD-1 und NORD-2 haben das Audit des Uptime Institute M&O bestanden. Das neueste (und beste Rechenzentrum von DataLine) ist NORD-4, deshalb gehen wir genau hierhin.
Trotz der scheinbar groĂen Anzahl an Rechenzentren in Moskau gibt es dennoch einen Mangel. NatĂŒrlich können Ihnen ein oder zwei Racks problemlos bereitgestellt werden. Sogar zwanzig werden bereitgestellt. Mehr als das ist bereits eine Frage (und DataLine hat Kunden mit solchen BedĂŒrfnissen â nicht nur einen oder zwei). Konkret gibt es derzeit Platz im NORD-4, da ein groĂer Kunde in sein eigenes neugebautes Rechenzentrum umgezogen ist, aber an anderen Standorten könnte es bereits schlechter aussehen. Dennoch lĂ€uft derzeit die Planung fĂŒr NORD-5, die Anfang 2020 in Betrieb genommen werden soll.
Aber kommen wir zurĂŒck zu unserer Tour. Da wir mit dem Auto fuhren, wurden wir durch ein Tor gelassen, wo Bewaffnete unsere Fahrzeugnummer mit der Anfrage abglichen und alle Passagiere aufforderten, auszusteigen, um ihre Ausweise fĂŒr die DurchgĂ€nge zu erhalten (selbstverstĂ€ndlich mit Pass). Denn B steht fĂŒr Sicherheit.
NORD-4 ist der Stolz des Unternehmens und eine Kompilation jahrelanger Erfahrung im Bau und Betrieb von Rechenzentren. Es verfĂŒgt ĂŒber Zertifikate von Uptime Institute Tier III fĂŒr das Designprojekt und die Facility (d.h. das gebaute Rechenzentrum) sowie fĂŒr die operationale Nachhaltigkeit â die Verantwortlichen sind bei der Sache Ă€uĂerst gewissenhaft vorgegangen. Innen gibt es vier unabhĂ€ngige Bereiche mit zwei Hallen innerhalb eines GebĂ€udes. Jede hat ihr eigenes Energiezentrum (Notstromaggregate, Akku-RĂ€ume), KĂŒhlkreislĂ€ufe und Brandschutzsysteme. Gemeinsam haben sie nur die GlasfaseranschlĂŒsse (zwei pro GebĂ€ude) und MMR.


Modding eines gesunden Ingenieurs
Am Eingang des Rechenzentrums erwartet uns bereits das bekannte CafĂ© (warum auch nicht?). Wir steigen ins Monitoring-Zentrum auf. Es gibt derzeit zwei Hauptzentren â in OST und NORD-4 (in NORD-1,2,3 sind ebenfalls ihre Schichten am Werk). Aus jedem Zentrum kann man beide Standorte ĂŒberwachen, sodass auch hier Redundanz n+1 gewĂ€hrleistet ist. An der Videowand â die uns bekannten Dashboards in einem grĂŒnen Farbton (die Parameter dort sind natĂŒrlich viel mehr als auf dem Statusdisplay). Wir sprechen ein wenig ĂŒber das Monitoring â keine modischen Prometheus- und Grafana-Lösungen, nur Nagios, nur Hardcore und selbstgeschriebene Visualisierungen. In den zehn Jahren (eigentlich sogar lĂ€nger) Nutzung wurden bereits viele benutzerdefinierte PrĂŒfungen und Skripte geschrieben, sodass der Umstieg auf etwas anderes eher wie ein Abenteuer aussieht. Etwa einmal im Monat erscheint ein weiteres Unternehmen, das anbietet, alle Probleme âschnell und schmerzlosâ zu lösen, aber bisher hat das irgendwie nicht geklappt. Die Videowand lĂ€uft ĂŒbrigens auch auf einer selbstgebauten Lösung, die um ein Vielfaches gĂŒnstiger ist als kommerzielle Alternativen.

Das hierige CCU
Wenn man viele Jahre Rechenzentren plant, baut und betreibt, hat man nicht mehr so viel Angst, etwas selbst zu machen, anstatt fertige Lösungen zu kaufen. DataLine, zum Beispiel, scheut sich nicht zu sagen, dass sie, einfach durch den MaĂstab, auf die maximale Anzahl an Hindernissen gestoĂen sind, und jedes neue Rechenzentrum ist ein Kind schwieriger Fehler und einem Erfahrungsschatz von ĂŒber zehn Jahren. NatĂŒrlich gibt es in jedem neuen Rechenzentrum eigene Innovationen, und beim Gehen durch NORD ertappt man sich immer wieder dabei, dass die Leute einfach gut gemacht haben. Nicht aus Show, nicht fĂŒr Rankings und Zertifikate â ein ganz normaler Ingenieurprozess, bei dem du bei jeder Iteration ĂŒber dich hinauswĂ€chst und immer besser wirst. Ein auĂenstehender Beobachter wird sagen, dass dies langweilig und konservativ ist, wĂ€hrend der Kunde im Gegenteil mit seinem eigenen Geld eine solche StabilitĂ€t unterstĂŒtzt. Und um etwas gut zu machen, ist es ĂŒberhaupt nicht notwendig, Ingenieursysteme oder Software fĂŒr viel, viel Geld zu kaufen (obwohl es manchmal ohne nicht geht). Erfahrung, Wissen und Ingenieursgeschick entscheiden oft mehr.
Zum Beispiel hat das GebĂ€ude NORD-4 3,5 Etagen. Die ersten drei sind vollwertig mit Deckenhöhen von 4,5 Metern, in denen sich MaschinenrĂ€ume befinden. Die letzte Etage ist technisch und nur 1,8 Meter hoch, ausschlieĂlich fĂŒr das KĂŒhlsystem vorgesehen. Da die Etage technisch ist, sind die Anforderungen an sie viel geringer, was die Planung vereinfacht und Geld spart.

Blick auf das dreieckige Rechenzentrum

Max hat eine besondere FĂ€higkeit, sich auf Fotos nicht zu verraten.
Wir beenden die Tour auf dem Dach â hier eröffnet sich ein hervorragender Blick auf das danebenstehende Heizkraftwerk und das Wohngebiet sowie auf andere GebĂ€ude von NORD. Zwei von ihnen sind dreieckig. Dazu lachten die Kollegen sogar, dass 'DataLine dumm ist, ein dreieckiges Rechenzentrum zu bauen', um dort dreieckige Racks und dreieckige Server aufzustellen. Aber egal â sie wurden gebaut und werden erfolgreich betrieben, und nutzen auch effektiv das vorhandene GelĂ€nde (das in Moskau, muss ich sagen, nicht kostenlos ist). Ein weiterer erstaunlicher (fĂŒr mich) Fakt â die meisten kommerziellen Kunden wollen gerade in Moskau untergebracht sein. Ein Standort mehr als fĂŒnfzig Kilometer die Minsk-Autobahn entlang (auch wenn alle notwendigen KapazitĂ€ten und Kommunikationen vorhanden sind) interessiert kaum jemanden. So drĂ€ngen sich alle in den beengten Platz.

Die KĂŒhltĂŒrme sind schon kein Rechenzentrum mehr, sondern ein Heizkraftwerk.
Damit geht unsere nÀchste Reise zu Ende.
Danach gab es noch eine lange und produktive Diskussion ĂŒber gemeinsame PlĂ€ne und zukĂŒnftige Podcasts (ich hoffe, es dauert nicht lange), also bleibt dran, bald gibt es noch mehr Interessantes.
Wer alles mit eigenen Augen sehen möchte, kann sich bei DataLine fĂŒr eine kostenlose FĂŒhrung anmelden, aber nur nach vorheriger Anmeldung. FĂŒr die, die das Codewort 'linkmeup' nennen, gibt's Karma-Punkte.
Bleiben Sie dran!
Quelle: habr.com
