Das größte Transportproblem in St. Petersburg sind die Brücken. Nachts muss man oft aus der Bar fliehen, ohne das Bier zu Ende zu trinken. Oder man bezahlt doppelt so viel für ein Taxi. Am Morgen muss man genau planen, damit man, sobald die Brücke senkt, geschwind zum Bahnhof gelangt. Die Option, "irgendwo im Zentrum, in der Nähe des Bahnhofs zu übernachten", ziehen wir nicht in Betracht, da sie ideologisch schädlich ist.
Der "Sapsan", der um 5:30 Uhr abfährt, wurde von Menschen erfunden, die Nachtmenschen nicht mögen. Natürlich ist es sehr praktisch, um neun Uhr morgens in Moskau anzukommen, und Petersburg ist während der weißen Nächte unglaublich schön, aber um halb fünf, als ich ins Taxi stieg, wollte ich demjenigen, der diesen frühen Zug erfunden hat, eine 270-Grad-Drehung mit dem Kopf geben.
"Alle guten Rechenzentren ähneln einander", dachte ich, als ich erfuhr, dass wir von den Jungs von DataLine eingeladen wurden.
Es stellt sich heraus, dass jedes Rechenzentrum auf seine Weise gut (oder schlecht) ist, besonders wenn man einige Erfahrungen gesammelt hat, aus seinen eigenen (und ein bisschen aus den eigenen) reichhaltigen Lektionen lernt. So haben wir (in einer Gruppe von fünf führenden linkmeup und einigen unterstützenden Freunden) beschlossen, zu prüfen, wie gut (oder auch nicht so gut) die Rechenzentren OST und NORD sind.
Nach ein wenig Arbeit unterwegs (hier könnte eine Werbung für einen Mobilfunkanbieter stehen, aber das Netz ist nach wie vor schlecht) kommen wir am Leningrader Bahnhof an. Nun, wenigstens nicht unter Gazmanov.
Wir begannen unsere Tour durch die 'grünen' Rechenzentren mit OST – 'demjenigen', das kürzlich 'gebrennt' hat. Warum in Anführungszeichen – das erfahren Sie später. Doch zunächst stehen wir hier, rauchen und warten auf die Verspäteten. Wir fotografieren das Büro von RT nebenan. Es gibt viele amüsante Geschichten über diese Nachbarschaft - von der frischen Asphaltierung und der Farbgebung der Bordsteinkanten vor dem Besuch von hohen Persönlichkeiten bis hin zu Rabatten in den umliegenden Cafés, die den Dateline-Leuten aufgrund der ähnlichen Ausweise gewährt wurden.
Lautsprecher totalitärer Propaganda
Rechenzentrum mit strengen (Zugangs-)Regeln
Ein Pass, Verhaltensregeln, ein Fleischwolf am Eingang – fast so etwas haben wir gesehen . Und wie viele Cafés haben Sie in Rechenzentren gesehen? Wir kennen jetzt ein paar. Die Mitarbeiter und Kunden haben auf ihren Badges "Kaffeekredite", die regelmäßig aufgefüllt werden, so dass man in angemessenem Rahmen völlig kostenlos einen Kaffee genießen kann. Auch wir, als Gäste, wurden verwöhnt.
Über den Kaffee kann ich nichts Schlechtes sagen – ganz normal für ein "Netzwerk"-Café, aber die Lage gefällt unbewusst und das Design entspricht ganz den besten modernen Traditionen.
Das Interieur des lokalen Cafés
Auf den Fotos die Rechenzentren NORD
Die Tour beginnt im Büro. Neben den in ganz RuNet bekannten Aufschriften an den Wänden und der weiß-grünen Farbpalette gibt es auch allerlei lustige Sachen. Das ist Requisitenmaterial, das von Auftritten des Unternehmens-Theater stammt (können Sie sich den technischen Direktor eines Rechenzentrums vorstellen, der in einem Stück spielt? Wir kennen ihn persönlich.).
Das ist wahr
Fotos von den Aufführungen
Die Rechenzentren (genauer gesagt, vier Rechenzentren) befinden sich in einem Komplex von Industriegebäuden, die bereits im 19. Jahrhundert erbaut wurden (ursprünglich eine Citroën-Fabrik und zur Zeit der Sowjetunion ein Werk für Hydraulikantriebe). Auf der einen Seite findet man hier raue Industriebauten, metallene Balken, Loft-Atmosphäre und industrielle Artefakte aus verschiedenen Epochen, die bei verschiedenen Arbeiten immer noch entdeckt werden. Auf der anderen Seite müssen die hermetischen Zonen der Rechenzentren in die bestehenden Strukturen integriert werden, was gelegentlich Kompromisse mit der Realität erfordert. Dennoch würde ich nicht sagen, dass diese Kompromisse die Qualität beeinträchtigt haben – die Jungs hatten sicherlich viel zu tun bei der Planung. Außerdem gibt es Gerüchte, dass irgendwo in der Nähe die Metro-2 verläuft, aber das ist nicht sicher.
Neben dem Theater gibt es hier auch ein eigenes Museum. Die Exponate sind tatsächlich archäologische Funde.
Ein paar Worte über . Ja, das Gebäude (genauer gesagt, das Dach) hat tatsächlich gebrannt. Die äußeren Komponenten der Kühlsysteme und die Kälteleitungen wurden beschädigt. Irgendwo hat die Verkabelung Schaden genommen, und die Klimaanlagen waren stromlos. An anderer Stelle sind die Kälterohre explodiert. Trotzdem haben die hermetischen Bereiche den Tonnen von Wasser, die auf sie floss, standgehalten, und die Ausrüstung überstand es. Unter dem Management des 'Stabs', vertreten durch die oberste Leitung, wurde alles mobilisiert — es wurden sogar nachts Kupferrohre auf BMW X5 nach Moskau und Umgebung gebracht — sowie alle nüchternen Monteure. Kritisch wichtige Geräte aus den betroffenen Rechenzentren (die unter dem Ausfall von Kälte litten, nicht unter dem Feuer!) wurden schnell in andere Räume verlegt, sodass bereits um fünf Uhr morgens nicht nur alle eigenen Dienstleistungen, sondern auch die der Kunden wiederhergestellt waren.
Wir haben persönlich den Raum überprüft, der am stärksten 'betroffen' war — abgesehen vom Geruch von verbranntem Material und den ausgetauschten Platten des Doppelbodens erinnert nichts mehr an das Feuer (außer den Ständen mit der Ausrüstung, die 'vorübergehend' in einen anderen Datenraum gebracht und dort belassen wurden).
Statusanzeige
Während ich durch die Flure gehe, entdecke ich einen Touchscreen mit etwas, das sehr an das Layout der Maschinenräume im Rechenzentrum erinnert. Es handelt sich um ein Statuspanel. Diese sind in den Fluren zahlreich verteilt und ermöglichen es den vor Ort tätigen Ingenieuren, schnell zum Beispiel die benötigte Klimaanlage zu finden, während sie einfach den aktuellen Status kommunizieren.
Die Überwachung basiert auf Nagios (mittlerweile mehrere unabhängige Cluster) und deckt alle Rechenzentren ab (sowohl OST als auch NORD). Zusätzlich gibt es Apps für Android und iOS (sowohl für Kunden als auch für Mitarbeiter), sowie eine Statusseite direkt auf der Webseite.
Auf dem Bildschirm bemerke ich einen ungewöhnlich hohen PUE-Wert – in Russland wird dieser nicht überall berücksichtigt, aber 1,90 ist dennoch etwas hoch. Die Antwort darauf ist rein ökonomisch: In den Jahren 2012-2013 gingen die Ständer in den Rechenzentren weg wie warme Semmeln, deshalb war keine Zeit für Sentimentalität und Energieeffizienz. Wir installieren, was auf dem Markt verfügbar ist, machen es so schnell wie möglich und kümmern uns überhaupt nicht um diese PUE-Werte, denn wozu? Bereits in der Planungsphase werden 80-90 % der Ständer belegt, und die Gesetzgebung in Russland will von Energieeffizienz nichts wissen. Eine Kommission in Amsterdam würde von solchen Zahlen wohl einen Schock bekommen.
Nichts Persönliches. Einfach Geschäft.
Eine weitere Besonderheit ist die Bezeichnung der Rechenzentren. An jedem Standort haben die Rechenzentren neben einer „offiziellen“ alphanumerischen Kodierung auch „menschliche“ Pseudonyme aus dem Buchstabieralphabet (Alfa-Bravo-Charlie-Delta…). Aus irgendeinem Grund lieben alle Kunden den Whiskey-Raum.
Bei der Kundenbetreuung gibt es keine Kleinigkeiten.
Solche „Zäune“ werden für bestimmte Kunden aufgestellt. In unseren Maschinenräumen durften wir keine Fotos machen, deshalb das Bild von DataLine ©.
Die Kunden von DataLine sind durchweg große und angesehene Unternehmen, die es überhaupt nicht mögen, wenn man ihre Geräte fotografiert. Vor allem, wenn der Name (oder das Logo) des Kunden in großen Buchstaben direkt auf dem Rack steht. Sie mögen das nicht – und das ist alles. Deshalb haben wir die mittlerweile berühmten Wände mit verschiedenen Aufschriften und die Technik fotografiert. Nicht alles und nicht überall kann man die Technik fotografieren, aber wir haben unser Bestes gegeben. Da es sich um große und angesehene Kunden handelt, sind auch ihre Anforderungen spezifisch – spezielle Racks (oder sogar eine Art Über-Speicherlösung aus mehreren Vendor-Racks), eigene Zäune, eigene Zutrittskontrollsysteme, eigene Überwachungssysteme und eine Einsatzgruppe mit Automaten. Eines der ungeschriebenen (aber auch ausgesprochenen) Regeln bei DataLine ist es, sich um den Kunden zu kümmern und ihm zu helfen. Angefangen bei Westen und ausgestatteten Arbeitsplätzen mit Internetzugang und Lademöglichkeiten bis hin zu verschiedenen Veranstaltungen für Kunden. Letztere sind auch aus dem Grund sehr nützlich, dass die gleichen Leute, wenn sie von einem Unternehmen zum anderen wechseln, sie zu DataLine bringen. Einfach, weil es hier gemütlich, komfortabel und zuverlässig ist. Das Geschäft von DataLine besteht nicht nur darin, Rack-Plätze zu vermieten. Es umfasst auch Cloud-Dienste, die sowohl nach 152-FZ als auch nach PCI-DSS zertifiziert sind (darüber planen wir, einen Podcast zu machen, halten Sie Ausschau nach Ankündigungen), sowie die Bereitstellung von Konnektivität (eigene Glasfaserverbindungen zwischen den Standorten und von jedem dieser Standorte bis zur M9, eigener optisches Ringnetz in der Stadt und bis hin zur Organisation der letzten Meile zum Büro des Kunden).
M — Motivation
Übrigens, was die Beschriftungen betrifft – Ideen kommen nicht nur von Mitarbeitern, sondern auch von Partnern und Kunden, und die erfolgversprechendsten können auf DataLine in FB abgestimmt werden. Zudem können dort auch eigene Vorschläge gemacht werden. Treffen an der Elbe
Kreuzungsraum (Foto bereitgestellt von DataLine)
Wir halten an der Meet-Me-Room an, wo die Betreiber angesiedelt sind. Im MMR (es gibt drei Paar im OST, entsprechend der Anzahl der Hauptanbindungen der Optik, für aktives und passives Equipment) werden die Verbindungen aller Rechenzentren zusammengeführt. Im Kreuzungsraum ist alles ruhig und ordentlich. An dem Ort, an dem die aktive Technik der Betreiber steht, denkt man an die besten Jahre zurück und an Bilder von einer BM18: Kabelsalat und verschiedenste Geräte (DLink, Extreme, Juniper, Mikrotik… und so bis zum ASR9k). Hier gibt es mehr als fünfzig Betreiber, sodass alles bunt gemischt ist. Von MMR aus verteilt sich die Optik und Kupfer in die Maschinenräume. Mindestens zwei Routen für jedes (Varianten sind möglich), sodass die Zuverlässigkeit der Verbindung gewährleistet ist. MMR wird „Elbe“ genannt, was sehr fein ist.
IBM Power – nicht notwendig?
Benötigen Sie IBM Power?
Eine weitere Entdeckung ist die IBM P-Serie, die nie eingeschaltet wurde und bereits seit mehreren Jahren in einem der Flure steht. Die Maschine (nebst Bandbibliothek und Speicherlösung) wurde von einem Kunden bestellt, war aber „nicht erforderlich“, daher wurde sie dem Rechenzentrum geschenkt. Seitdem steht sie hier.
Es muss schön sein, wohlhabend zu sein und solche Geschenke zu machen, oder? (Oder vielleicht haben sie sie nicht geschenkt, sondern vergessen. Oder beim Kartenspielen verloren. Aber sie steht schon lange hier.)
So ein schöner Kollege steht in NORD-4.
Gehen wir ins Energiekzentrum – drei (oder sogar vier) Backup-Stromaggregate für jedes Rechenzentrum (zum Vergleich, in OST sind es vier). Das Dieselaggregat erreicht seine volle Leistung in 30-40 Sekunden und liefert 1900 kVA. N+1 Redundanz, Synchronisation und weiteres sind im Paket enthalten. Die längste Diesel-Betriebszeit in OST beträgt 12 Stunden. In NORD sind es 2,5 Tage (schließlich ist ein Speicher für 85 Tonnen keine Kleinigkeit).
Natürlich gibt es Verträge mit verschiedenen Treibstoffunternehmen zur Lieferung von Kraftstoff. Der Wechsel zu Diesel erfolgt regelmäßig, sodass sowohl der Kraftstoff produziert als auch die Verträge überprüft werden. Übrigens berichten Kollegen, dass bei NORD während der Tests der Dieselgeneratoren, die normalerweise mehrere Stunden dauern, sogar im Winter das Gras an dem Ort, wo die heiße Luft der Diesel abgeführt wird, zu sprießen beginnt.
Nach einem kurzen Imbiss in unserem bekannten Café fahren wir zum NORD-Gelände. Das ist nicht nur ein Rechenzentrum, sondern vier unabhängige Gebäude auf demselben Gelände. Jedes Gebäude hat seine eigenen Stromanschlüsse, Dieselgeneratoren und eigene Kühlanlagen. NORD-1 und NORD-2 haben das M&O-Audit des Uptime Institute bestanden. Das neueste (und beste Rechenzentrum von DataLine) ist NORD-4, also gehen wir genau dorthin.
Trotz der scheinbar großen Anzahl an Rechenzentren in Moskau gibt es dennoch einen Mangel. Natürlich bekommt man ohne Probleme ein oder zwei Racks. Sogar zwanzig sind kein Problem. Bei mehr wird es jedoch schwierig (und DataLine hat Kunden mit solchen Bedarfen — nicht nur einen oder zwei). Konkret gibt es momentan im NORD-4 Raum (vorübergehend), weil ein großer Kunde in sein eigenes neugebautes Rechenzentrum umgezogen ist, aber an anderen Orten könnte die Verfügbarkeit schon anders sein. Nichtsdestotrotz wird derzeit intensiv an der Planung von NORD-5 gearbeitet, das Anfang 2020 in Betrieb genommen werden soll.
Aber kommen wir zurück zu unserer Führung. Da wir mit dem Auto unterwegs waren, wurden wir in einen Eingang geleitet, wo wir von Wachleuten ins Visier genommen wurden. Die Nummer unseres Autos wurde mit der Anfrage abgeglichen und alle Passagiere mussten aussteigen, um Ausweise (natürlich mit Reisepass) zu erhalten. Denn die Sicherheit steht an erster Stelle.
NORD-4 ist der Stolz unseres Unternehmens und das Ergebnis langjähriger Erfahrung im Bau und Betrieb von Rechenzentren. Es hat die Zertifikate des Uptime Institute Tier III für Projektdesign und Facility (d.h. das gebaute Rechenzentrum) sowie die Operational Sustainability erhalten – das Team hat sich höchst verantwortlich gezeigt. Innen befinden sich vier voneinander unabhängige hermetische Zonen mit jeweils zwei Sälen in einem Gebäude. Jede Zone hat ihr eigenes Energiezentrum (Notstromaggregat, Akku-Räume), Kühlsysteme und Brandbekämpfungssysteme. Gemeinsam sind nur die Glasfaseranschlüsse (zwei für das Gebäude) und der MMR.
Modding eines gesunden Ingenieurs
Am Eingang des Rechenzentrums erwartet uns ein bekanntes Café (warum nicht?). Wir steigen ins Monitoring-Zentrum auf. Es gibt derzeit zwei Hauptzentren – in OST und NORD-4 (in NORD-1, 2, 3 sind ebenfalls ihre Schichten). Von jedem Zentrum aus kann man beide Standorte überwachen, sodass hier auch Redundanz n+1 gewährleistet ist. Auf der Videowand sind bereits bekannte Dashboards in einem grünen Farbschema zu sehen (die Parameter sind natürlich deutlich zahlreicher als auf dem Statusdisplay). Wir sprechen ein wenig über das Monitoring – keine modischen Prometheus- und Grafana-Lösungen, nur Nagios, nur hardcore und selbstgeschriebene Visualisierungen. In den zehn Jahren (oder sogar länger) Nutzung wurden bereits viele benutzerdefinierte Prüfungen und Skripte geschrieben, sodass ein Umstieg auf etwas anderes wie eine echte Abenteuergeschichte wirkt. Etwa einmal im Monat taucht eine neue Firma auf, die „schnell und schmerzlos“ alle Probleme lösen möchte, aber bisher hat sich nichts ergeben. Die Videowand funktioniert übrigens auch auf einer selbstgebauten Lösung, die um ein Vielfaches günstiger ist als kommerzielle Alternativen.
Das hiesige Rechenzentrum
Wenn man über viele Jahre Rechenzentren plant, baut und betreibt, hat man nicht mehr so viel Angst, etwas selbst zu machen, anstatt fertige Lösungen zu kaufen. DataLine beispielsweise scheut sich nicht, zuzugeben, dass sie allein aufgrund ihrer Größe auf viele Stolpersteine gestoßen sind, und jedes neue Rechenzentrum ist ein Produkt aus herausfordernden Fehlern und über zehn Jahren Erfahrung. Selbstverständlich hat jedes neue Rechenzentrum seine eigenen Innovationen, und während man durch NORD schlendert, fällt einem immer wieder auf, dass die Leute einfach etwas gut gemacht haben. Nicht aus Angeberei oder wegen Rankings und Zertifikaten – es ist ein ganz normaler Ingenieurprozess, bei dem man sich in jeder Iteration weiterentwickelt und immer besser wird. Ein außenstehender Beobachter könnte sagen, dass das langweilig und konservativ ist, doch die Kunden unterstützen gerade diese Stabilität mit ihrem Geld. Um gut zu sein, benötigt man nicht unbedingt teure Ingenieursysteme oder Software (wobei dies manchmal auch notwendig ist). Oft entscheiden Erfahrung, Wissen und ingenieurtechnisches Geschick.
Das Gebäude NORD-4 hat beispielsweise 3,5 Etagen. Die ersten drei sind vollständig und haben eine Deckenhöhe von 4,5 Metern, in denen sich die Maschinenräume befinden. Die letzte Etage ist technischer Natur, nur 1,8 Meter hoch und ausschließlich für das Kühlsystem vorgesehen. Da es sich um eine technische Etage handelt, sind die Anforderungen an diese deutlich geringer, was die Planung vereinfacht und Kosten spart.
Blick auf das dreieckige Rechenzentrum
Max hat eine besondere Fähigkeit, in Fotos nicht aufzufallen
Wir beenden die Besichtigung auf dem Dach – von hier aus hat man einen großartigen Blick auf das benachbarte Heizkraftwerk und die Wohnsiedlung sowie auf andere Gebäude von NORD. Zwei davon sind dreieckig. Aus diesem Grund haben die Kollegen sogar gelacht und gesagt: „DataLine – warum bauen sie einen dreieckigen Rechenzentrum?“ Damit könnte man dreieckige Racks und dreieckige Server installieren. Aber nichts – sie haben es gebaut und betreiben es erfolgreich, während sie gleichzeitig das vorhandene Grundstück effizient nutzen (was in Moskau, wenn man ehrlich ist, nicht kostenlos ist). Ein weiterer erstaunlicher Fakt für mich ist, dass die meisten Geschäftskunden genau in Moskau untergebracht werden wollen. Ein Standort mehr als fünfhundert Kilometer auf der Minsk Autobahn (selbst wenn alle notwendigen Kapazitäten und Kommunikationsmittel vorhanden sind) interessiert kaum jemanden. So drängen sich alle in der begrenzten Fläche.
Kühltürme sind nicht mehr das Rechenzentrum, sondern das Heizkraftwerk.
Damit ist unsere nächste Reise zu Ende.
Anschließend gab es noch ein langes und produktives Gespräch über gemeinsame Pläne und zukünftige Podcasts (ich hoffe, wir müssen nicht lange warten), also bleibt dran, bald gibt es noch mehr Interessantes.
DataLine lädt alle Interessierten ein, die Dinge mit eigenen Augen zu sehen. Absolut kostenlos, aber mit vorheriger Anmeldung. Wer das Codewort „linkmeup“ nennt, erhält einen Pluspunkt in der Karma-Bilanz.
Bleiben Sie dran!
Quelle: habr.com
